对于非欧式结构数据进行处理
更新日期:2022-03-18     浏览次数:226
核心提示:1.1基于深度学习的文本分类目前,大多数的文本分类方法是基于深度学习,其中代表性的如应用于语句分类的CNN[5],基于双向长短期记忆BiLSTM[6]的RNN,

1.1 基于深度学习的文本分类

目前,大多数的文本分类方法是基于深度学习,其中代表性的如应用于语句分类的CNN[5],基于双向长短期记忆BiLSTM[6] 的RNN,以及BERT模型[7]等。Kim于2014年提出了基于卷积神经网络(CNN)的语句分类[5], 它把一维卷积应用在文本语句上,分类准确度上取得了比较好的结果。Liu,Qiu等人[1]通过将LSTM应用在文本分类中,以学习文本表示,提高了文本的表达能力。Jacob等人[7]提出了BERT模型,一种预训练语言的文本表示模型,在大量文本语料中训练了一个通用的语言表示模。这些模型的出现,很大程度上解决了传统分类方法文本表征不足的问题。CNN与RNN都主要是针对局部连续的单词序列,无法得到语料库中单词的全局共现信息;BERT方法能够很好的得到单词表示,但仍缺少句子的结构信息。以上模型都局限于欧式结构的数据的学习,对于非欧式结构数据进行处理,则无法得到数据的结构信息。

随着深度学习技术的发展,图神经网络(GNN)的研究得到越来越多的关注。GNN不仅具有参数共享、降低计算量的优点,而且非常适合文本中单词之间非欧式结构数据的处理,取得了机器学习领域的突破。GNN还能够提取多尺度的局部空间特征并抽象组合成高层特征。通过图嵌入,GNN能够学习图的节点、边以及子图的低维度向量表示[9],突破了一般机器学习需要依赖手工的网络结构设计问题,提高了学习的灵活性。在文献[9]中,Cai等人证明了图神经网络能够很好的处理具有丰富的关系结构任务,能够在图嵌入的过程中保留图的全局信息。