2.基于GA-Net的图像描述模型

针对图像描述生成模型图像特性利用不充分、生成句子质量不高的问题，本文提出的基于GA-Net（门控注意网络）的图像描述方法，通过使用辅助网络动态选择要参加的元素子集，并计算注意力权重以聚合所选元素。结合了两种依赖于输入的动态机制，即注意力机制和动态网络配置，并具有动态稀疏的注意力结构，极大的提高图像描述的准确性。模型结构如图2.1所示，主要包含三部分：第一个部分通过Inception V4提取图像特征信息；第二个部分结合GA-Net动态选择特征并生成上下文向量；第三部分使用循环神经网络生成图像的描述语句。