基于混合注意力与强化学习的文本摘要生成方法研究

摘  要：基于递归神经网络的序列到序列的模型在文本摘要生成任务中取得了非常好的效果，但这类模型大多存在生成文本重复、曝光偏差等问题。针对重复问题，采用一种由存储注意力和解码自注意力构成的混合注意力，通过存储历史注意力和增加对历史生成单词的注意力来克服该问题；使用强化学习作为一种新的训练方式来解决曝光偏差问题，同时修正损失函数。在CNN/Daily Mail数据集对模型进行测试，以 ROUGE 为评价指标，结果表明混合注意力与强化学习均可以带来一定程度的优化，整体效果相比使用其他方法的模型在ROUGE-1、ROUGE-2和ROUGE-L上分别带来了%1、%3和%2的性能提升。

关键词：自然语言处理，文本摘要生成，注意力机制，强化学习，曝光偏差