基于BLSTM_attention_CRF模型的新能源汽车领域术语抽取

基于BLSTM-CRF的领域知识点实体识别技术周海华;曹春萍【摘要】传统的中文分词方法是一种基于单词标注的传统机器学习方法,但学习方法需要人工配置和提取中文文本的特征.缺点是同义词库维度较高且CPU训练模型较长.本文针对以上问题进行了研究,构建了内嵌条件随机场的长短时神经网络模型,使用长短时神经网络隐含层的上下文向量作为输出层标注的特征,使用内嵌的条件随机场模型表示标注之间的约束关系采用双向LSTM和CRF相结合的训练方法进行特定领域知识点的中文分词.对中文分词测试常用语料库的实验比较表明,基于BLSTM和CRF网络模型的方法可以获得比传统机器学习方法更好的性能;使用六字标记并添加预训练的字嵌入向量可以实现相对较好的分词性能;BLSTM-CRF网络模型方法更易于推广并应用于其他自然语言处理中的序列标注任务.【期刊名称】《软件》【年(卷),期】2019(040)002【总页数】5页(P1-5)【关键词】实体识别;神经网络;BLSTM;CRF【作者】周海华;曹春萍【作者单位】上海理工大学光电信息与计算机工程学院,上海 200082;上海理工大学光电信息与计算机工程学院,上海 200082【正文语种】中文【中图分类】TP391.41互联网应用的爆发式增长，对海量数据的分类和知识发现提出了新的要求，知识图谱在自然语言处理（Natural Language Processing, NLP）领域的作用越来越大，其中知识库就是构建知识图谱的重中之重，然而这些知识库往往缺乏一定的领域通用性，不能满足特定领域下的需求，对于一个特定领域的知识图谱，领域实体与实体关系的数量庞大，若以人力统计构建，耗时且费力，更重要的是，特定区域中的数据源并非全部是结构化的或半结构化的，并且在大多数情况下以非结构化形式存在。

这也大大增加了特定领域知识的获取难度。

知识是客观事物的属性和联系的反映，是人脑中客观世界的主观形象。

人的学习是以知识点为单位的，对于考生来说，时间是最为宝贵的资源，如何高效准确的找出题目中的关键知识点并加以攻克对于考生针对性复习具有重大意义。

融合attention机制的BI-LSTM-CRF中文分词模型黄丹丹;郭玉翠【期刊名称】《软件》【年(卷),期】2018(39)10【摘要】中文的词语不同于英文单词,没有空格作为自然分界符,因此,为了使机器能够识别中文的词语需要进行分词操作.深度学习在中文分词任务上的研究与应用已经有了一些突破性成果,本文在已有工作的基础上,提出融合Bi-LSTM-CRF模型与attention机制的方法,并且引入去噪机制对字向量表示进行过滤,此外为改进单向LSTM对后文依赖性不足的缺点引入了贡献率λ对BI-LSTM的输出权重矩阵进行调节,以提升分词效果.使用改进后的模型对一些公开数据集进行了实验.实验结果表明,改进的attention-BI-LSTM-CRF模型以及训练方法可以有效地解决中文自然语言处理中的分词、词性标注等问题,并较以前的模型有更优秀的性能.【总页数】7页(P260-266)【作者】黄丹丹;郭玉翠【作者单位】北京邮电大学理学院北京 100876;北京邮电大学理学院北京 100876【正文语种】中文【中图分类】TP391【相关文献】1.融合Gate过滤机制与深度Bi-LSTM-CRF的汉语语义角色标注 [J], 张苗苗;刘明童;张玉洁;徐金安;陈钰枫2.基于BI-LSTM-CRF模型的中文分词法 [J], 张子睿;刘云清3.融合依存信息Attention机制的药物关系抽取研究 [J], 李丽双;钱爽;周安桥;刘阳;郭元凯4.融合Gate过滤机制与深度Bi-LSTM-CRF的汉语语义角色标注 [J], 张苗苗;刘明童;张玉洁;徐金安;陈钰枫;5.融合Self-Attention机制和n-gram卷积核的印尼语复合名词自动识别方法研究 [J], 丘心颖; 陈汉武; 陈源; 谭立聪; 张皓; 肖莉娴因版权原因，仅展示原文概要，查看原文内容请购买。

基于BLSTM-CNN-CRF的中文命名实体识别方法一、引言随着信息技术的发展和智能化应用的日益普及，自然语言处理（NLP）领域的研究和应用也得到了前所未有的发展。

命名实体识别（Named Entity Recognition, NER）作为NLP 领域的重要技术之一，其主要任务是识别和提取文本中具有特定意义的实体名称，如人名、地名、组织机构名等。

在中文命名实体识别任务中，由于中文语言特有的语法结构和词汇特征，NER任务面临着一些挑战，如长词性、歧义性等。

如何有效地利用深度学习模型来解决中文NER问题成为了研究的热点之一。

本文将介绍基于双向长短期记忆网络（Bidirectional Long Short-Term Memory, BLSTM）、卷积神经网络（Convolutional Neural Network, CNN）和条件随机场（Conditional Random Field, CRF）的中文命名实体识别方法。

首先将介绍BLSTM、CNN和CRF模型的原理及其在命名实体识别任务中的应用。

然后结合这三个模型，介绍其联合使用的思路和具体设计。

通过实验分析，验证了基于BLSTM-CNN-CRF的中文命名实体识别方法的有效性和性能优势。

二、BLSTM模型BLSTM是一种适用于序列数据建模的深度学习模型，其能够对历史和未来信息进行建模，因此在处理自然语言等序列数据时表现出良好的性能。

BLSTM模型由两个LSTM（长短期记忆网络）组成，分别沿着时间轴的正向和反向进行推理，并将两个方向的输出连接在一起，形成一个综合的输出。

通过这种方式，BLSTM能够捕捉序列数据中的长期依赖关系和上下文信息，适用于命名实体识别等序列标注任务。

三、CNN模型CNN是一种常见的深度学习模型，主要用于图像处理领域，但在自然语言处理任务中也有着广泛应用。

CNN通过卷积层和池化层来提取输入数据中的特征，并通过全连接层进行分类或标注。

基于ALBERT预训练模型的通用中文命名实体识别方法吕海峰;冀肖榆;陈伟业;邸臻炜【期刊名称】《梧州学院学报》【年(卷),期】2022(32)3【摘要】HMM、CRF等机器学习算法在中文实体抽取任务上存在大量依靠特征提取及准确率低的缺陷,而基于BiLSTM-CRF、BERT等深度神经网络算法在中文实体识别准确率高,但BiLSTM模型依赖大规模标注数据,BERT存在参数量大、效率低等问题。

该研究提出了基于ALBERT-Attention-CRF模型进行中文实体抽取的方法。

首先将glove、Word2vec等静态词向量替换为ALBERT预训练模型字向量,可有效解决分词错误、数据稀疏、OOV、过拟合以及一词多义等问题;然后采用ALBERT作为编码层并对其输出利用Attention机制捕获上下文语义特征;最后结合CRF作为解码层输出实体正确标签,摒弃主流BiLSTM-CRF模型,最终在《人民日报》数据的测试集上取得了理想的效果。

试验结果表明,该方法有助于提升通用中文实体识别的准确率和效率,其有效性也得到了较好的验证。

【总页数】8页(P10-17)【作者】吕海峰;冀肖榆;陈伟业;邸臻炜【作者单位】梧州学院大数据与软件工程学院;梧州学院广西机器视觉与智能控制重点实验室;梧州学院广西高校图像处理与智能信息系统重点实验室【正文语种】中文【中图分类】TP391.41【相关文献】1.基于ALBERT的中文命名实体识别方法2.基于ALBERT-BGRU-CRF的中文命名实体识别方法3.基于预训练模型的文博数据命名实体识别方法4.基于ALBERT-CAW模型的时政新闻命名实体识别方法5.基于预训练语言模型的中文地址命名实体识别因版权原因，仅展示原文概要，查看原文内容请购买。

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202110062146.9(22)申请日 2021.01.18(71)申请人 同方知网（北京）技术有限公司地址 100084 北京市海淀区清华园清华大学36区华业大厦B1410、1412、1414室申请人 同方知网数字出版技术股份有限公司(72)发明人 李佳媛　刘晓蒙　罗思明　(74)专利代理机构 北京天奇智新知识产权代理有限公司 11340代理人 陈新胜(51)Int.Cl.G06F 40/279(2020.01)G06F 40/30(2020.01)G06N 5/02(2006.01)G06N 3/04(2006.01)(54)发明名称一种基于Bert+BiLSTM+CRF的知识元自动抽取方法(57)摘要本发明公开了一种基于Bert+BiLSTM+CRF的知识元自动抽取方法包括基于Bert的篇章结构划分以及基于Bert+BiLSTM+CRF的知识元的自动抽取；所述基于Bert的篇章结构划分以及基于Bert+BiLSTM+CRF的知识元的自动抽取分别包括模型训练阶段和知识元抽取阶段；所述模型训练阶段基于Bert模型特点，通过分析法律文书的主要内容和篇章结构特点进行方法设计，构建基于Bert的篇章段落标引模型Bert ‑PMC；以及基于Bert ‑PMC，融合双向递归神经网络BiLSTM和条件随机场CRF，构建基于Bert+BiLSTM+CRF的知识元自动抽取模型Bert ‑BiLSTM ‑CRF；所述知识元抽取阶段依次调用训练好的Bert ‑PMC和Bert ‑BiLSTM ‑CRF进行法律知识元抽取。

权利要求书2页 说明书6页 附图2页CN 112836501 A 2021.05.25C N 112836501A1.一种基于Bert+BiLSTM+CRF的知识元自动抽取方法，其特征在于，所述方法包括基于Bert的篇章结构划分以及基于Bert+BiLSTM+CRF的知识元的自动抽取；所述基于Bert的篇章结构划分以及基于Bert+BiLSTM+CRF的知识元的自动抽取分别包括模型训练阶段和知识元抽取阶段；所述模型训练阶段基于Bert模型特点，通过分析法律文书的主要内容和篇章结构特点进行方法设计，构建基于Bert的篇章段落标引模型Bert‑PMC；以及基于Bert‑PMC，融合双向递归神经网络BiLSTM和条件随机场CRF，构建基于Bert+ BiLSTM+CRF的知识元自动抽取模型Bert‑BiLSTM‑CRF；所述知识元抽取阶段依次调用训练好的Bert‑PMC和Bert‑BiLSTM‑CRF进行法律知识元抽取。

基于BERT嵌入BiLSTMCRF模型的中文专业术语抽取研究一、概要随着自然语言处理技术的不断发展，中文专业术语抽取已经成为了研究的热点。

本文提出了一种基于BERT嵌入BiLSTMCRF模型的中文专业术语抽取方法。

该方法首先使用BERT模型对文本进行特征提取，然后将提取到的特征输入到BiLSTMCRF模型中进行序列标注。

通过对比实验，我们发现该方法在中文专业术语抽取任务上取得了显著的性能提升。

同时我们还对模型进行了调优和改进，以进一步提高其性能和鲁棒性。

本文的研究为中文专业术语抽取提供了一种有效的解决方案，具有一定的理论和实际应用价值。

1. 研究背景和意义随着自然语言处理技术的不断发展，文本挖掘和信息抽取已经成为了学术界和工业界的热点问题。

在众多的自然语言处理任务中，专业术语抽取是一项具有重要意义的任务。

专业术语是指在特定领域内具有特殊含义和用途的词汇，它们在文本中的出现频率较低，但对于理解文本内容和进行知识推理具有重要价值。

因此研究如何从大量的非结构化文本数据中自动抽取专业术语，对于提高文本分析的效率和准确性具有重要的理论和实际意义。

然而现有的专业术语抽取方法仍然存在一些局限性，首先这些方法主要针对单个领域的专业术语抽取，对于跨领域的专业术语抽取仍存在困难。

其次现有的方法往往需要人工提取特征或设计复杂的模型结构，这增加了算法的复杂性和计算成本。

此外现有方法在处理长文本和多义词等问题时也存在一定的局限性。

2. 相关工作概述在自然语言处理领域，文本挖掘和信息抽取一直是一个重要的研究方向。

针对中文专业术语抽取问题，研究者们提出了许多方法，如基于规则的方法、基于统计的方法和基于机器学习的方法等。

这些方法在一定程度上提高了专业术语抽取的准确性和效率，但仍然存在一些局限性，如对未登录词的处理不足、对长文本的处理能力有限以及对于歧义词汇的处理不够准确等。

近年来随着深度学习技术的快速发展，基于BERT等预训练模型的中文专业术语抽取方法逐渐成为研究热点。

情报学报2020年4月第39卷第4期Journal of the China Society for Scientific and Technical Information,Apr.2020,39(4):409-418DOI:10.3772/j.issn.1000-0135.2020.04.007基于BERT嵌入BiLSTM-CRF模型的中文专业术语抽取研究吴俊1，程垚1，郝瀚1，艾力亚尔·艾则孜2，刘菲雪1，苏亦坡1（1.北京邮电大学经济管理学院，北京100876；2.深圳暴风智能科技有限公司，北京100191）摘要专业术语的识别与自动抽取对于提升专业信息检索精度，构建领域知识图谱发挥着重要基础性作用。

为进一步提升中文专业术语识别的精确率和召回率，提出一种端到端的不依赖人工特征选择和领域知识，基于谷歌BERT 预训练语言模型及中文预训练字嵌入向量，融合BiLSTM和CRF的中文专业术语抽取模型。

以自建的1278条深度学习语料数据为实验对象，该模型对术语提取的F1值为92.96%，相对于传统的浅层机器学习模型（如左右熵与互信息算法、word2vec相似词算法等）和BiLSTM-CRF深度神经网络模型的性能有较为显著的提升。

本文也给出了模型应用的具体流程，能够为中文专业术语库的构建提供实践指南。

关键词BERT；BiLSTM；CRF；专业术语抽取Automatic Extraction of Chinese Terminology Based on BERTEmbedding and BiLSTM-CRF ModelWu Jun1,Cheng Yao1,Hao Han1,Ailiyaer·Aizezi2,Liu Feixue1and Su Yipo1(1.School of Economics and Management,Beijing University of Posts and Telecommunications,Beijing100876;2.Shenzhen Storm Intelligent Technology Co.,Ltd,Beijing100191)Abstract：High quality professional term recognition and its extraction play an important role in the fields of domain infor‐mation retrieval and knowledge graph building.To improve the precision and recall rate of terminology recognition,we propose a Chinese terminology recognition and extraction approach that does not rely on specific domain knowledge or ar‐tificial ing the latest developments in representation learning,this study introduces BERT embedding as a char‐acter-based pre-trained model and incorporates it with a bi-directional long short-term memory(BiLSTM)and a condition‐al random field(CRF)to extract deep learning terminologies from1278annotated datasets collected from domain e-books.The experimental results show that the proposed model reaches92.96%in F-score and outperforms other competing algo‐rithms,such as left and right entropy,mutual information,a word2vec based similar terminology recognition algorithm, and a BiLSTM-CRF model.The best practices and related procedures for the implementation of the proposed model are al‐so provided to guide its users in its further improvement.Key words：BERT；BiLSTM；CRF；terminology recognition and extraction收稿日期：2019-10-10；修回日期：2019-10-30基金项目：国家重点研发计划项目“基于模式创新的科技咨询服务平台研发与应用示范”（2018YFB1403600）；北京市社会科学基金一般项目“基于大数据的北京市共享单车产业监测与发展趋势研究”（17YJB018）。

基于BLSTM-CRF中文领域命名实体识别框架设计作者：张俊飞毕志升王静吴小玲来源：《计算技术与自动化》2019年第03期摘; ;要：为在不依赖特征工程的情况下提高中文领域命名实体识别性能，构建了BLSTM-CRF神经网络模型。

首先利用CBOW模型对1998年1月至6月人民日报语料进行负采样递归训练，生成低维度稠密字向量表，以供查询需要;然后基于Boson命名实体语料，查询字向量表形成字向量，并利用Jieba分词获取语料中字的信息特征向量;最后组合字向量和字信息特征向量，输入到BLSTM-CRF深层神经网络中。

实验结果证明，该模型面向中文领域命名实体能够较好的进行识别，F1值达到91.86%。

关键词：BLSTM-CRF;CBOW;Boson;命名实体识别中图分类号：X853; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ;文献标识码：AAbstract：The BLSTM-CRF neural network model is built to improve the performance of Chinese domain named entity recognition in the absence of feature engineering.First，the CBOW model was used to carry out recursion training of negative sampling on the corpus of People's Daily from January to June in 1998 to generate a low-dimensional dense word vector table for the query needs;then，based on Boson entity corpus，the word vector was formed by querying the word vector table，and the information feature vector of the words in the corpus was obtained by using the Jieba participle;finally，the combined word vector and word information feature vector are input into BLSTM-CRF deep neural network.Experimental results show that the model can be well identified for the Chinese domain named entities，and the F1 value is up to 91.86%.Key words：BLSTM-CRF;CBOW;Boson;named entity recognition命名实体识别是自然语言处理中的一项基础任务，旨在从文本中识别命名实体如人名、地名和组织机构名等。

33Internet Technology互联网+技术基于BERT—BiLSTM—CRF 模型的运营商 文本命名实体与关系联合提取摘要：本文使用大规模预训练汉语模型的 BERT-BiLSTM-CRF 方法，从运营商的非结构化文本数据中联合提取命名实体与关系。

首先，通过运营商非结构化文本数据建立运营商文本语料库，对语料进行文本标签标注；然后，提出一种基于运营商文本命名实体与关系提取的 BERT-BiLSTM-CRF 模型方法。

实验结果表明，该技术在运营商文本命名实体与关系联合提取中适用性较强，在运营商文本的命名实体与关系联合提取中，F1 值高达 93.2%，可以将该方法应用到实际问题解决中。

关键词：BERT；BiLSTM；CRF；实体识别；词嵌入一、引言随着信息化发展和数据积累，电信运营商拥有数量巨大的用户，沉淀了海量结构化和非结构化数据，作为非结构化的对话文本是运营商办理客户业务和处理客户问题的重要数据资源。

运营商非结构化的对话文本数据具有非结构化、口语化、业务性强等特点，对该数据进行数据挖掘和实体与关系的抽取可以有效利用其中包含的语义信息，推动运营商智能化发展。

实体和关系抽取研究如何自由文本中抽取所需命名实体和关系的技术，但中文自然语言具有表达的灵活性，运营商文本信息具有专业性的特点，进行运营商的文本信息提取是当前研究的难点问题，探索相关有效的信息提取方法具有重要价值。

二、相关工作对运营商领域知识提取的方法研究主要涉及两个方面：①运营商非结构化中文语料库构建与运营商领域文本词嵌入技术；②运营商命名实体识别与关系提取技术。

（一）中文运营商语料库与词嵌入技术词向量是一种表示自然语言中词的方法，把每个词都表示为一个N 维空间内的点，即一个高维空间内的向量。

通过这种做法，把自然语言计算转换为向量计算。

词嵌入技术（Word Embeddings）是一种将文本中的每个字符、词、句封装为向量表达式的技术，是机器学习算法执行自然语言处理的基础。