2018年2月 Journal on Communications February 2018
2018024-1
第39卷第2期
通 信 学 报 V ol.39 No.2结合全局向量特征的神经网络依存句法分析模型
王衡军1，司念文1，宋玉龙2，单义栋1
（1. 解放军信息工程大学三院，河南 郑州 450001；2. 73671部队，安徽 六安 237000）
摘 要：利用时序型长短时记忆（LSTM, long short term memory ）网络和分片池化的卷积神经网络（CNN, con-
volutional neural network ），分别提取词向量特征和全局向量特征，将2类特征结合输入前馈网络中进行训练；模
型训练中，采用基于概率的训练方法。与改进前的模型相比，该模型能够更多地关注句子的全局特征；相较于最
大化间隔训练算法，所提训练方法更充分地利用所有可能的依存句法树进行参数更新。为了验证该模型的性能，
在宾州中文树库（CTB5, Chinese Penn Treebank 5）上进行实验，结果表明，与已有的仅使用LSTM 或CNN 的句
法分析模型相比，该模型在保证一定效率的同时，能够有效提升依存分析准确率。
关键词：依存句法分析；图模型；长短时记忆网络；卷积神经网络；特征
中图分类号：TN912.3
文献标识码：A
doi: 10.11959/j.issn.1000-436x.2018024
Neural network model for dependency parsing
incorporating global vector feature
WANG Hengjun 1, SI Nianwen 1, SONG Yulong 2, SHAN Yidong 1
1. The Third Institute, PLA Information Engineering University, Zhengzhou 450001, China
2. 73671 Army, Luan 237000, China
Abstract: LSTM and piecewise CNN were utilized to extract word vector features and global vector features, respec-
tively. Then the two features were input to feed forward network for training. In model training, the probabilistic training
method was adopted. Compared with the original dependency paring model, the proposed model focused more on global
features, and used all potential dependency trees to update model parameters. Experiments on Chinese Penn Treebank 5
(CTB5) dataset show that, compared with the parsing model using LSTM or CNN only, the proposed model not only re-
mains the relatively low model complexity, but also achieves higher accuracies.
Key words: dependency parsing, graph-based model, long short-term memory network, convolutional neural network,
feature
1 引言
句法分析作为自然语言处理的一个重要环节，
对于提升机器理解文本的准确率具有重要作用。依
存句法分析因其灵活简洁、易于理解和标注等特点
而受到大量研究人员的青睐，准确率也不断提升。
文献[1]最早提出将依存句法分析归结为从一个完
全有向图中寻找最大生成树问题，采用在线学习算
法学习边的权值，模型解码利用Eisner 算法[2]，通
过自底向上不断合并低阶子树，构成更高阶的子树，直到找出最优依存句法树结构。 传统的基于图的依存句法分析[1~6]采用线性模型计算树的分值，树的分值由满足特定结构的子树分值之和确定，子树的分值由该子树的特征函数和相应权向量乘积得到。典型的线性模型依存分析器如MSTParser [1]已经能够达到一定的准确率，然而，这类传统模型依靠人工设计的特征模板提取特征，存在明显不足：1) 特征提取过程受限于固定的特征
收稿日期：2017-06-12；修回日期：2017-12-08
通信作者：司念文，snw1608@https://www.doczj.com/doc/563470676.html, 万方数据