AttnGAN: Fine-Grained Text to Image Generation with Attentional Generative Adversarial Networks 笔记

这篇文章的任务是 “根据文本描述” 生成图像。以往的常规做法是将整个句子编码为condition向量，与随机采样的高斯噪音$z$进行拼接，经过卷积神经网络（GAN，变分自编码等）来上采样生成图像。这篇文章发现的问题是：仅通过编码整个句子去生成图像会忽略掉一些细粒度的信息，而这些细粒度的信息是由单词层面来决定的（例如颜色、形状等）。

解决的方法是在生成过程中引入对单词的注意力机制，这种注意力机制需要把相关的单词与对应的图像区域匹配起来，如果让我自己去设计这种匹配关系，我的第一反应是要先进行大量的人工标注（根据单词先人工框出来图像中对应的区域），这样搞的话光标注就需要巨大的人力与时间（特别是在COCO这么大的数据集上。。。）。

AttnGAN没有对数据集进行额外的标注，利用生成过程中的 $C \times N \times N$ feature map ，有 $N^{2}$ 个位置。每一位置的向量维度是 $C$，为了表示某一位置与句子中某一单词的相关性，可以根据某一位置向量与单词向量的内积 / 某一位置向量与句子中所有单词向量内积之和来得到与某一单词的权重（相关）系数，那么在某一位置上的单词表征可以表示为所有单词向量的加权和。

方法

模型包含两个部分，

注意力生成网络
多模态注意力相似模型（DAMSM，是个匹配网络）

注意力生成网络包含多个阶段的生成（这里是三次生成，只要计算资源足，还可以加）， coarse-to-fine的图像生成模式。 DAMSM需要在真实的数据对上预训练，相当于给生成网络加了一个监督信息，使生成的图像能像真实图像那样与相应的文本匹配。

Attentional Generative Network（注意力生成网络）

输入文本，经过Text Encoder（用的是双向LSTM）编码输出“整句特征”（global sentence vector）$\bar{e}$ 和拼接起来的“单词特征” $e \in \mathbb{R}^{D \times T}$。 $\bar{e}$ 经过 Conditioning Augmentation（具体可以看stackgan和vae的文章，目的是为了降维以及增加多样性）进行降维转换来作为条件向量，用 $F^{ca}$ 来表示Conditioning Augmentation操作。

第一次的image features的生成过程为：
\[
h_{0} = F_{0}(z, F^{ca}(\bar{e}))
\]
从图中可以看出$F_{0}$代表着一系列的上采样操作，但还没有生成最后的图像，输出了一个隐含特征$h_{0}$。这个隐含特征已经初具图像的位置和物体信息。后面的生成过程为：
\[
h_{i} = F_{i}(h_{i-1}, F^{attn}_{i}(e,h_{i-1}))
\]
这里面最重要的就是$F_{i}^{attn}$的操作，也是作者所提出的创新点，即如何将单词信息融入到生成的过程中去，而且不同单词对于图像中不同区域的attention作用也是不同的。先来看看$F^{attn}_{i}$的操作，输入是单词向量矩阵 $e$ 以及前一阶段所得到的image features $h_{i-1}$（$h \in \mathbb{R}^{\hat{D} \times N}$）。单词向量要经过一次乘积转换（可以加个全连接层）来改变维度到$\hat{D}$维，$e^{'}=Ue$ where $U\in\mathbb{R}^{\hat{D}\times D}$，与image features的维度保持一致，有助于后面进行内积操作计算相似性。 $h$ 中的每一列其实都代表着图像的一个sub-region，其中$N=\sqrt{N}\times \sqrt{N}$。对于第 $j$ 个sub-region，用句子中所有的单词向量来进行表示，那么相关的单词向量应具有更大的权重，不相关的单词向量与其的相关权重应很小，每个sub-region进行单词向量加权和的结果称为“word-context”（相当于加入了具有侧重点的文本condition）。每一个sub-region与所有的单词向量权重计算以及最后的word-context计算过程为
\[
c_{j} = \sum\limits_{i=0}\limits^{T-1}\beta_{j,i}e^{'}_{i},　ｗhere　\beta_{j,i}=\frac{exp(s^{'}_{j,i})}{\sum_{k=0}^{T-1}exp(s^{'}_{j,k})}
\]
$s^{'}_{j,i}=h^{T}_{j}e^{'}_{i}$， $\beta_{j,i}$表示当生成图像第$j$个子区域时，第$i$个单词所获得的关注程度。$c_{j}$代表着第$j$个子区域的word-context向量，$F^{attn}$就是为了生成所有子区域的word-context向量：$F^{attn}(e,h)=(c_{0},c_{1},\ldots,c_{N-1})\in \mathbb{R}^{\hat{D}\times N}$。

图像的生成是根据Image features $h_{i}$
\[
\hat{x_{i}}=G_{i}(h_{i})
\]
在注意力生成网络里的损失也就是常规的conditionGAN损失的变种（包含带有文本条件与不带有条件）：

Deep Attentional Multimodal Similarity Model（匹配模型）

这一部分的提出相当于额外加了一个文本-图像匹配的监督信息，由于DAMSM是在真实数据集上预训练好的（即真实图像与相关的文本匹配损失会比较小），在输入生成的图像与相关的文本信息时，它会倒逼着注意力生成网络生成更加真实且与文本相关的图像。在这一模型中，从两个部分来计算匹配损失，分别是基于整个句子的和基于逐个单词的。

图像编码器（image encode）将图像下采样到feature matrix $f\in \mathbb{R}^{768\times 289}$（这是从$768\times 17\times 17$ reshape 过来的），为了度量图像与文本的相似性，文本与图像的特征维度应保持一致，在这里，是将图像的特征进行转换与单词向量的维度保持一致：
\[
v=Wf,　　\bar{v}=\bar{W}\bar{f}
\]
$v$是图像特征转换过之后的特征$v\in \mathbb{R}^{D\times 289}$，$\bar{v}\in \mathbb{R}^{D}$表示图像的全局向量，$\bar{f}$是从Inception-v3网络的最后一层（全连接分类层）提取出来的，作为全局特征。

经过维度统一之后，下面的单词层面的匹配操作类似于attention生成过程中的word-context计算过程，只不过这里是针对每个单词计算出相应的sub-region的加权和，也就是说每个单词都有个视觉信息的加权表征。计算过程如下：
\[
s=e^{T}v
\]
$s\in \mathbb{R}^{T\times 289}$，表示单词与sub-region的内积来度量相似性。这里搞了一个归一化，说是能提升效果
\[
\bar{s}_{i,j} = \frac{exp(s_{i,j})}{\sum_{k=0}^{T-1}exp(s_{k,j})}
\]
也就是针对同一个sub-region，所有单词相似性的归一化。

针对每一个单词所有的sub-region视觉信息加权和称为“region-context”向量，记作$c_{i}$，计算过程为
\[
c_{i}=\sum_\limits{j=0}^\limits{288}\alpha_{j}v_{j},　　where　　\alpha_{j}=\frac{exp(\gamma_{1}\bar{s}_{i,j})}{\sum_{k=0}^{288}exp(\gamma_{1}\bar{s}_{i,k})}
\]
$\gamma_{1}$表示对于相关的sub-regions扩大它的影响（相似性值越大的占的比重更大）。这样每一个单词都有一个对应的region-context视觉信息，可以进行单词-视觉信息相关的匹配度量，这里用余弦距离来衡量差异
\[
R(c_{i},e_{i})=(c_{i}^{T}e_{i})/(||c_{i}||||e_{i}||)
\]
基于单词层面来衡量整个图像与文本的相似性
\[
R(Q,D)=log\left(\sum_\limits{i=1}^\limits{T-1}exp(\gamma_{2}R(c_{i},e_{i}))\right)^{\frac{1}{\gamma_{2}}}
\]
之所以用这个形式，是为了突出最相关的word-to-region-context pair，用$\gamma_{2}$来调节突出程度，当$\gamma_{2} \rightarrow \infty$ 时，上式结果

趋近于$\max_{i=1}^{T-1}R(c_{i},e_{i})$。

DAMSM的监督标签是"图片与整个句子是否匹配"。用图片去匹配句子，目标函数的后验概率形式为

$Q$表示图像，$D$表示句子

基于单词水平的匹配损失函数为：

对应的，在以句子匹配图像的情况下，损失函数为

另外，基于整个句子的匹配损失设计与上面的类似，不同点是直接用全局向量计算相似距离。
\[
R(Q,D)=(\bar{v}^{T}\bar{e}/\left(||\bar{v}||||\bar{e}||\right))
\]