下载文档原格式
基于BERT的短文本相似度判别模型方子卿，陈一飞*（南京审计大学信息工程学院，江苏南京211815）摘要：短文本的表示方法和特征提取方法是自然语言处理基础研究的一个重要方向，具有广泛的应用价值。
本文提出了BERT_BLSTM_TCNN模型，该神经网络模型利用BERT的迁移学习，并在词向量编码阶段引入对抗训练方法，训练出包括句的语义和结构特征的且泛化性能更优的句特征，并将这些特征输入BLSTM_TCNN层中进行特征抽取以完成对短文本的语义层面上的相似判定。
在相关数据集上的实验结果表明：与最先进的预训练模型相比，该模型在有着不错的判定准确率的同时还有参数量小易于训练的优点。
关键词：词向量模型；自然语言处理；短文本相似度；卷积神经网络；循环神经网络中图分类号：G642文献标识码：A文章编号：1009-3044(2021)05-0014-05开放科学（资源服务）标识码（OSID）：Short Text Similarity Discrimination Model based on BERTFANG Zi-qing,CHEN Yi-fei*(Nanjing Audit University,Nanjing211815,China)Abstract:Short text representation methods and feature extraction methods are an important direction of basic research in natural language processing,and have a wide range of applications.This paper proposes the BERT_BLSTM_TCNN model.The neural net⁃work model uses BERT's transfer learning and introduces an adversarial training method in the word vector encoding stage to train sentence features that include the semantic and structural features of the sentence and have better generalization performance,and combine these The feature is input into the BLSTM_TCNN layer for feature extraction to complete the similarity determination on the semantic level of the short text.The experimental results on the relevant data set show that:compared with the most advanced pre-training model,this model has a good judgment accuracy rate and also has the advantages of small parameters and easy train⁃ing.Key words:word embedding model;natural language processing;short text similarity;convolutional neural networks;recurrent neu⁃ral networks近些年来随着个人计算机的普及和各种网络信息技术的快速进步，数字化的文本数量也随之呈现爆炸式的增长。
（2017版）面上项目是国家自然科学基金研究项目系列中的主要部分，支持从事基础研究的科学技术人员在国家自然科学基金资助范围内自主选题，开展创新性的科学研究，促进各学科均衡、协调和可持续发展。
面上项目申请人应当具备以下条件：1．具有承担基础研究课题或者其他从事基础研究的经历；2．具有高级专业技术职务（职称）或者具有博士学位，或者有2名与其研究领域相同、具有高级专业技术职务（职称）的科学技术人员推荐。
正在攻读研究生学位的人员不得申请面上项目，但在职人员经过导师同意可以通过其受聘单位申请。
面上项目申请人应当充分了解国内外相关研究领域发展现状与动态，能领导一个研究组开展创新研究工作；依托单位应当具备必要的实验研究条件；申请人应当按照面上项目申请书撰写提纲撰写申请书，申请的项目有重要的科学意义和研究价值，理论依据充分，学术思想新颖，研究目标明确，研究内容具体，研究方案可行。
面上项目合作研究单位不得超过2个，资助期限为4年（仅在站博士后研究人员作为申请人申请的项目可按照依托单位的书面承诺填写相应的资助期限)。
特别提醒申请人注意：1. 申请人撰写申请书，应注意符合本年度《国家自然科学基金项目指南》-“申请须知”-“关于申请书撰写要求”及正文面上项目相应部分的要求，请认真阅读。
2. 申请书中不得出现任何违反法律及有关保密规定的内容，依托单位须认真审核。
由于违反相关规定而导致的一切后果由申请人和依托单位负责。
（2017版）面上项目申请书由信息表格、正文、个人简历和附件构成。
一、信息表格：包括项目基本信息、项目主要参与者和项目资金预算表，填写时应按操作提示在指定的位置选择或按要求输入正确信息；项目资金预算表应按照《国家自然科学基金资助项目资金管理办法》、《国家自然科学基金项目资金预算表编制说明》认真填写，应保证信息真实、准确。
二、正文：参照以下提纲撰写，要求内容翔实、清晰，层次分明，标题突出。
请勿删除或改动下述提纲标题及括号中的文字。
2017年度国家自然科学基金项目指南一、简介2017年度国家自然科学基金项目指南标志着我国科学基金制度的进一步完善和科学研究的深入发展。
自然科学基金是国家为了促进基础研究和培养学术科研人员而设立的专项基金，每年资助的项目数量众多。
对于大部分科研工作者来说，能够获得自然科学基金的资助，是一种荣誉，也是一种责任。
对于该项目指南的深入了解和细致把握是非常必要的。
二、项目指南内容分析1. 项目类别2017年度国家自然科学基金项目指南中，根据科研方向的不同，划分为一般项目、青年项目、优青项目、面上项目、重大研究计划项目等多个类别，这为不同阶段和不同水平的科研人员提供了更多的选择。
2. 申请条件不同类别的项目有着不同的申请条件，包括学位等级、芳龄、科研成果等方面的要求。
在选择申请项目时，科研人员需根据自身的实际情况进行合理选择，并明确适合自己的申请类别。
3. 申请流程项目指南中详细介绍了申请流程、材料准备和评审方式等一系列的操作性内容，这些对于首次申请自然科学基金的科研人员尤为重要。
4. 申请指南对于每一个类别的项目都有着详细的申请指南，包括项目要求、申请材料、评审要点等内容。
在申请时，科研人员需要根据指南要求仔细准备材料，并注意遵循指南规定。
三、我的个人观点和理解从今年的项目指南中可以看出，国家自然科学基金对于科研人员的支持和鼓励是非常大的。
通过精心准备申请材料，有机会获得这些项目的资助，无疑将会对科研人员的研究和发展起到积极的作用。
国家自然科学基金项目的资助更需要科研人员在学术研究上有着扎实的基础和独到的见解，这也能够促进科研人员在学术研究上的不断创新与突破。
国家自然科学基金项目指南的出台为广大科研人员提供了更多的发展机会，也为科研人员的学术研究提供了更多的资金和资源支持。
希望广大科研人员可以抓住这一机会，努力做好申请准备，争取能够获得更多的资助和支持，为科研事业的发展贡献自己的力量。
四、总结通过对2017年度国家自然科学基金项目指南的深入了解和分析，我们不仅可以清晰地了解各类项目的申请条件和申请流程，还可以更好地把握项目申请的重点和难点。
2017年国家自然科学基金青年科学基金项目“ 青年科学基金项目支持青年科学技术人员在科学基金资助范围内自主选题，开展基础研究工作，培养青年科学技术人员独立主持科研项目、进行创新研究的能力，激励青年科学技术人员的创新思维，培育基础研究后继人才。
”青年科学基金项目申请人应当具备以下条件：（1）具有从事基础研究的经历；（2）具有高级专业技术职务（职称）或者具有博士学位，或者有2名与其研究领域相同、具有高级专业技术职务（职称）的科学技术人员推荐；（３）申请当年1月1日男性未满35周岁（1982年1月1日（含）以后出生），女性未满40周岁（1977年1月1日（含）以后出生）。
符合上述条件的在职攻读博士研究生学位的人员，经过导师同意可以通过其受聘单位申请，但在职攻读硕士研究生学位的人员不得申请。
作为负责人正在承担或者承担过青年科学基金项目的（包括资助期限１年的小额探索项目以及被终止或撤销的项目），不得作为申请人再次申请。
青年科学基金项目重点评价申请人本人的创新潜力。
申请人应当按照青年科学基金项目申请书撰写提纲撰写申请书。
青年科学基金项目的合作研究单位不得超过２个，资助期限为３年（仅在站博士后研究人员作为申请人申请的项目可按照依托单位的书面承诺填写相应的资助期限）。
2016年度青年科学基金项目共资助16112项，资助直接费用311670万元，平均资助强度为19.34万元／项，资助率为22.89％，比2015年度降低了1.69个百分点。
2017年，青年科学基金项目的资助强度将比2016年有所增加，直接费用平均资助强度预计达到25万元／项（管理科学部20万元／项）。
请按照研究工作需要，实事求是地提出申请。
数理科学部青年科学研究人才的成长，对数理科学的发展尤显重要。
数理科学部一贯重视对青年科学研究人员的培养和支持，青年科学基金项目资助率始终高于面上项目资助率。
2017年度将持续保持青年科学基金项目的较高资助率，使更多的青年人能获得独立开展科学研究的机会，以培养从事基础科学研究的优秀人才。
