An end-to-end TextSpotter with Explicit Alignment and Attention

 An end-to-end TextSpotter with Explicit Alignment and Attention

论文下载：http://cn.arxiv.org/pdf/1803.03474
代码下载：https://github.com/tonghe90/textspotter

1方法概述
1.1主要思路
将文字检测和识别整合到一个端到端的网络中，检测使用PVAnet，识别使用RNN，其中加入一个Text-alignment layer和字符attention和mask机制，通过利用Text-alignment layer中的抽样网格将文字区域固定为64*8大的feature map，再输入双向LSTM进行识别。
1.2文章亮点
·提出Text alignment layer，用网格抽样方案代替RoI Pooling，处理多方向的文本区域
·增加字符attention和mask机制，使用字符的空间信息作为额外的监督，指导decode过程
·提出一个新颖的training strategy
1.3主要流程

·整个端到端识别主要有三个步骤：

·检测：用PVAnet代替ResNet50的EAST框架，得到任意方向的文本区域

·Test alignment：将四边形区域统一映射为大小为64*8的feature map

·识别：Test alignment得到的feature map经过encode-decode得到最终结果

2 方法细节

·检测

·检测的框架是用PVAnet代替ResNet50的EAST框架，通过调节IoU损失实现一个多任务预测。

·最终得到两个分支：第一个子分支返回文本分类概率。第二个子分支返回bounding box的五个参数，分别是当前点到上下左右边的距离以及倾斜角度。

·识别

上述得到的四边形将被输入RNN分支。

·Text-alignment layer：

·这步的目的：

·它可以将任意方向的region proposal固定为统一大小的feature map，精确地跟每个像素对齐

·为什么不用RoI Pooling

·RoI Pooling进行量化，不可避免地在原始RoI区域和提取出来的特性之间引入了misalignment。

·RoI Pooling是为矩形区域设计的，只能够定位水平region proposal。

·Text-alignment layer做什么

·给定一个四边形区域，首先在feature map中建立一个64*8大的采样网格，在这个区域内生成等间距的采样点，Vp代表每个采样点p空间位置（px，py）的特征向量，这个特征向量通过bilinear sampling计算，公式如下：

·Vpi是p周围的四个点，g（m，n）是双线性插值函数

·最终输出固定大小为64*8的文本区域

·Character Attention

·识别流程

·经过Text-Alignment Layer得到的feature map，经过多个inception模块，最终大小变为1*64，然后经过双向LSTM操作，encode-decode操作后输出最终识别结果。

·Attention alignment

·这张图与传统的注意力机制不同的地方是在增加了字符的attention作为监督，引入了字符对齐的损失函数，指导decode过程。这就是图中update的由来

·即attention point，它应该尽可能和字符的中心点尽可能对齐；

·是第t个字符GT的中心坐标，是当前字符的GT宽度，T是一个序列的字符数

·这个损失函数表示归一化的attention

·Character mask

·增加了binary masks，引入，mask数等于字符label数

·Position embedding

·从attention向量中生成一个one-hot向量，然后直接将one-hot向量和上下文向量直接连接起来，得到一个新的带有额外one-hot注意力信息的特征表示。

·Overall loss

·Lloc是文本检测的loss，Lword是文字识别的loss，Lalign和Lmask是可选的loss,可以不使用。λ1,λ2是平衡因子，这里面的实验都设为0.1。

·Training Strategy

·从800K张合成图像张随机抽取600K张，固定检测部分，提供Ground trut文本框进行单词识别的训练，迭代120K次，只计算识别，字符对齐和mask的loss

·打开检测部分，仍然提供GT文本框，更新权重，迭代80K次，接下来用检测部分生成抽样网格，进行端到端训练，迭代20K次

·在ICDAR2013和2015数据集上进行端到端训练，迭代60K次。

3 实验结果

·在ICDAR2013上得到的数据与最先进的结果相当，而在ICDAR2015上，这篇文章的方法大大超过了最新的结果。

·使用这篇文章的方法，一些小的文字和大幅度倾斜的文字都能很好的被识别到。

4 总结和收获

·检测部分用PVAnet代替ResNet50的EAST框架

·用bilinear sampling代替RoI Pooling，处理多方向的文本区域

·在原有的attention中增加字符的对齐信息和mask作为额外的监督，指导decode过程

·一个新颖的training strategy