- 概述
- 方法
- 二值化
- 标签生成
- 优化目标
- 实验及指标
当前文字检测主要分为基于检测和基于分割两种方法。相对于检测的方法，分割方法更便于检测各种不同形状的文本。它的缺点主要是后处理复杂，而且这部分可能成为时间性能瓶颈。而基于检测的方法优点是后处理简单，缺点是不好处理不规则形状的文本，例如弧形文本。
对于现有的基于分割的方法，在后处理方面思路基本上一致：对于一个概率图，首先要选定一个固定阈值，将这个概率图进行二值化，随后需要设计算法将二值化区域形成一个个的文字实例。这个阈值的设置，对于检测精度有着较大的影响。如下图所示，这里提出的方法对概率图的每个像素都预测一个二值化阈值，使得不用手动设置全局二值化阈值。
论文了提出一种可微分的二值化阈值方法（Differentiable Binarization，DB），改善了文字实例边缘分割精度和二值化阈值设置过程。
整体网络架构如下图所示。
在训练阶段首先输入图像经过一个特征金字塔网络，得到 1 4 frac {1}{4} 41 大小的特征图 F F F，然后基于这个特征图 F F F，预测一个概率图（Probability map，P）、一个阈值图（Threshold map，T）以及一个二值化图（approximate binary map，B）。在训练阶段对 P P P、 T T T 及 B B B 都计算损失。 P P P 和 B B B 还共用 GT 信息。
在推理阶段，文字实例 box 就可以由 B 或者 P 计算得来，由这两个得到的文字 box 差异不大。为了计算效率直接使用概率图输出，移除阈值图分支。box 根据下面几个步骤产生：
- 首先设置常数阈值将概率图或者近似二值图二值化（例如设置阈值 0.2）；
- 然后在二值图中获取文字连通区域；
- 将连通区域使用 Vatti clipping algorithm 算法进行扩张得到最终的文字区域。
对于一个大小
H
×
W
H×W
H×W 的特征图，给定一个自定义阈值
t
t
t，二值化结果就是：
这个过程是不可微分的，因此无法放到网络里面联合优化。作者提出可微分二值化 DB 过程：
其中
k
k
k 经验设置为 50，
T
T
T 是学习到的自适应阈值图，
P
P
P 是概率图结果。DB 模块不仅有利于帮助网络区分文字区域和背景，也可以帮助区分挨得很近的文字实例。如下图所示，对于预测错误的文字边界，DB 将给予很大的损失惩罚。
DB 生成的自适应阈值图有利于网络区分文字边界。另外为了提高对于宽高比很极端的文字实例的性能，还引入了可变形卷积（Deformable convolution）。
概率图和二值化图标签生成：受 PSENet 网络的方法启发，对于一个多边形标注，使用 Vatti clipping algorithm 算法，完成对多边形内部的收缩，收缩之后多边形内部区域作为概率图 GT。
阈值图标签生成：首先将多边形标注向外部扩充，扩充之后边界和概率图的边界之间的区域作为阈值图 GT 区域，也就是文本实例边界区域。
整体如下图所示：
损失函数
L
L
L 是 概率图损失
L
s
L_s
Ls、二值化图
L
b
L_b
Lb、阈值图损失
L
t
L_t
Lt 三者的加权和：
L
=
L
s
+
α
×
L
b
+
β
×
L
t
L=L_s + alpha × L_b + beta × L_t
L=Ls+α×Lb+β×Lt
其中 L s L_s Ls 和 L b L_b Lb 为交叉熵损失， L t L_t Lt 为 L 1 L1 L1 损失。设置 α alpha α、 β beta β 分别为 1.0 和 10。
实验及指标在 SynthText、MLT-2017 dataset、ICDAR-2015、MSRA-TD500 dataset、CTW1500 dataset、Total-Text dataset 数据集上进行了实验验证。
对每个实验，先在 SynthText 上预训练 100k 步，然后在对应的数据集上 finetune 1200 epoch。输入图像都 resize 到 640×640。
最终在各个数据集上的指标如下图。
