中文命名实体识别方法研究及其在文本分类中的应用

*本文系国家社会科学基金项目“古代中国医学文献的知识标注与知识挖掘研究”（项目编号：17BTQ060）研究成果和国家社会科学基金重大项目“中国古代典籍跨语言知识库构建及应用研究”（项目编号：21&ZD331）研究成果。

古代中国医学文献的命名实体识别研究——以Flat-lattice 增强的SikuBERT 预训练模型为例*谢靖，刘江峰，王东波摘要标注古代中医文献的命名实体能挖掘其蕴藏的中医学知识，推进中医现代化发展。

文章基于BERT-base 、RoBERTa 、SikuBERT 、SikuRoBERTa 预训练模型，以《黄帝内经·素问》为研究对象、Flat-lattice Transformer （FLAT ）结构为微调模型，构建中医文献中病证、病理、经络、穴位、五行等命名实体识别任务。

实验结果表明：直接使用古文繁体BERT 模型对古代中医文献进行领域命名实体识别，基于繁体《四库全书》的SikuBERT 、SikuRoBERTa 预训练模型效果优于BERT-base 、RoBERTa 模型；引入FLAT 结构作为微调模型后，SikuBERT 在有标点情况下表现最优，识别效果可提升4%左右，SikuRoBERTa 在无标点情况下表现最优，识别效果可提高2%~3%。

实验验证了FLAT 作为微调模型对BERT 模型在中医专业领域中古文献命名实体识别工作上的有效性。

该微调模型可以有效避免分词错误引起的实体识别传播错误，提高中医命名实体的识别效率。

关键词命名实体识别中医典籍素问SikuBERT FLAT引用本文格式谢靖，刘江峰，王东波.古代中国医学文献的命名实体识别研究——以Flat-lattice 增强的SikuBERT 预训练模型为例[J].图书馆论坛，2022，42（10）：51-60.Study on Named Entity Recognition of Traditional Chinese Medicine Classics ：Taking SikuBERT Pre-training Model Enhanced by the Flat-lattice Transformer for ExampleXIE Jing ，LIU Jiangfeng &WANG DongboAbstractNamed Entity Recognition （NER ）can help to further excavate the knowledge of Traditional ChineseMedicine （TCM ），and promote the modernization of TCM as well.With the traditional Chinese Siku Quanshu version of Huangdi Neijin ·Suwen as the corpus ，this paper tries to testify the performance of BERT-base ，RoBERTa ，SikuBERT ，SikuRoBERTa pre-training models in NER of TCM classics ，especially in the recognition of named entities related to disease syndrome ，pathology ，meridian ，acupoint ，etc.The result shows that ：When directly used to perform NER of TCM classics ，the pre-training models of SikuBERT and SikuRoBERTa are better than those of BERT-base and RoBERTa.When enhanced and modified by the Flat-lattice Transformer （FLAT ），SikuBERT Pre-training Model performs best under the premise of punctuation ，and its recognition efficiency can be improved by about 4%；while SikuRoBERTa Pre-training Model performs best under the premise of no punctuation ，and its recognition efficiency can be improved by 2%~3%.In short ，FLAT performs well in the enhancement and modification of BERT pre-training models in NER of TCM classics ，and it should be further used to improve the recognition efficiency of TCM classics.Keywords named entity recognition ；traditional Chinese medicine classics ；Suwen ；SikuBERT ；FLAT0引言古代中国医学文献所记录的中医知识是中华传统科学文化的重要分支，对中医文献进行深度加工和知识标注，有助于挖掘蕴含在其中的古代医学知识及中医哲学思想。

条件随机场模型在命名实体识别中的应用一、介绍命名实体识别是自然语言处理领域中的一个重要任务，其目标是从文本中识别出特定类型的命名实体，如人名、地名、组织机构名等。

条件随机场（Conditional Random Field，CRF）是一种概率图模型，被广泛应用于自然语言处理任务中，包括命名实体识别。

本文将探讨条件随机场模型在命名实体识别中的应用。

二、条件随机场模型条件随机场是一种概率无向图模型，用于建模给定输入序列和输出序列之间的关系。

在命名实体识别任务中，输入序列通常是一个句子的词序列，输出序列是每个词对应的标签，表示该词是否属于命名实体。

条件随机场模型利用特征函数对每个可能的标签序列进行打分，然后通过归一化得到条件概率分布。

三、特征函数条件随机场模型的核心在于特征函数的设计。

特征函数是对输入序列和输出序列的特征提取，通常包括词性、词义、上下文等信息。

在命名实体识别中，特征函数可以包括当前词的词性、前后词的词性、词本身的字符特征等。

这些特征函数可以帮助模型捕捉到词语之间的关系，从而提高命名实体识别的准确率。

四、标注数据在条件随机场模型中，需要大量的标注数据来训练模型。

对于命名实体识别任务来说，标注数据通常由人工标注的句子和对应的命名实体标签组成。

这些标注数据对于条件随机场模型的训练至关重要，可以帮助模型学习到不同类型命名实体的特征。

五、模型训练与预测条件随机场模型的训练和预测过程都是基于标注数据和特征函数。

在训练阶段，模型通过最大化对数似然函数来学习特征函数的权重，以及标签之间的转移概率。

在预测阶段，模型利用动态规划算法，根据输入序列和特征函数，计算得到最优的输出序列，即最可能的命名实体标签序列。

六、应用实例条件随机场模型在命名实体识别中已经取得了一系列成功的应用实例。

比如在医药领域，利用条件随机场模型可以从医学文本中识别出疾病、药物等命名实体，为临床研究和医疗决策提供支持。

在金融领域，条件随机场模型可以用于识别公司、股票代码等命名实体，帮助投资者快速获取关键信息。

自然语言处理中常见的命名实体识别工具自然语言处理（NLP）是一门涉及计算机和人类语言之间交互的学科，它涉及语音识别、语言理解、语言生成等一系列技术。

在NLP的研究和应用中，命名实体识别（NER）是一个非常重要的任务。

它指的是在文本中识别并定位出指定类别的实体，比如人名、地名、组织机构名等。

在这篇文章中，我将会介绍一些常见的命名实体识别工具，并分析它们的优缺点。

1. Stanford NERStanford NER是斯坦福大学自然语言处理组开发的一款命名实体识别工具。

它基于条件随机场（CRF）算法，可以识别出包括人名、地名、组织机构名在内的多种实体。

Stanford NER在准确性和性能上都有很高的表现，特别是对于英文文本的处理效果非常出色。

然而，Stanford NER也存在一些缺点，比如对于一些特定领域或者非英文文本的处理能力不足。

2. NLTKNLTK是自然语言处理领域非常知名的工具包，它提供了丰富的文本处理功能，包括命名实体识别。

NLTK中的命名实体识别模块使用了最大熵模型（MaxEnt）和支持向量机（SVM）等算法，可以对不同类型的实体进行准确识别。

此外，NLTK还支持多种语言的文本处理，对于跨语言的NLP任务有很好的适应性。

然而，NLTK的性能并不是特别突出，尤其是在处理大规模文本时可能会出现效率较低的情况。

3. SpacySpacy是一款流行的NLP工具包，它不仅提供了命名实体识别功能，还包括分词、词性标注、句法分析等一系列功能。

Spacy的命名实体识别模块基于卷积神经网络（CNN）和递归神经网络（RNN）等深度学习模型，因此在实体识别的准确性和泛化能力上有一定优势。

此外，Spacy还提供了多语言支持和自定义实体类型的功能，可以满足不同应用场景的需求。

然而，Spacy也存在一些局限性，比如对于一些特定领域的实体识别效果可能不够理想。

4. LTPLTP（Language Technology Platform）是一款由哈尔滨工业大学开发的自然语言处理工具包，它提供了包括分词、词性标注、命名实体识别等多种功能。

实体类的识别方法实体类识别是自然语言处理领域中的一个重要任务，其目标是从文本中识别出具体的实体对象。

下面是关于实体类识别的50种方法，并对每种方法进行详细描述:1. 基于规则的方法: 使用预定义的规则或模式来识别特定类型的实体。

使用正则表达式识别电话号码或邮件地址。

2. 基于词典的方法: 使用预先构建的词典来匹配文本中的实体。

词典可以包含各种实体类型，如人名、地名、组织名等。

3. 基于统计的方法: 利用统计模型来识别实体。

这种方法通常使用标记序列模型，如隐马尔可夫模型（HMM）或条件随机场（CRF）。

4. 基于机器学习的方法: 使用机器学习算法来训练模型，从而识别实体。

常用的机器学习算法包括支持向量机（SVM）和神经网络。

5. 基于深度学习的方法: 使用深度神经网络模型来学习文本的表示，并从中提取实体信息。

使用循环神经网络（RNN）或卷积神经网络（CNN）。

6. 基于模式匹配的方法: 根据已知的模式来匹配实体。

使用关键词匹配来识别特定类型的实体。

7. 基于依存句法分析的方法: 利用句子的依存句法结构来识别实体。

通过分析句子中的依存关系，可以确定实体的范围和类型。

8. 基于词性标签的方法: 使用词性标签来过滤出可能是实体的词。

通过识别名词短语来识别人名或地名。

9. 基于实体关系的方法: 根据实体之间的关系来识别实体。

通过分析实体的上下文来确定实体的类型。

10. 基于上下文信息的方法: 使用文本中的上下文信息来识别实体。

通过分析实体周围的词语来确定实体的类型。

11. 基于语义角色标注的方法: 利用语义角色标注来识别实体。

语义角色标注可以帮助确定词语在句子中的语义角色，从而识别实体。

12. 基于实体链接的方法: 使用实体链接技术将文本中的实体链接到知识图谱或数据库中的实体。

通过实体链接，可以进一步获取实体的更多信息。

13. 基于预训练模型的方法: 使用在大规模数据集上预训练的模型来识别实体。

预训练模型通常具有强大的语义表示能力。

中文命名实体识别任务的评估方法中文命名实体识别（Named Entity Recognition，简称NER）是自然语言处理领域中的一项重要任务，旨在从文本中识别出具有特定意义的实体，如人名、地名、组织机构名等。

对于NER任务的评估方法，是评估模型性能和效果的重要依据。

本文将介绍几种常见的中文NER评估方法。

一、数据集划分在进行NER任务的评估时，首先需要将数据集划分为训练集、验证集和测试集。

训练集用于训练模型，验证集用于调整模型的超参数，测试集用于评估模型的性能。

划分数据集时应保持数据的随机性和平衡性，以确保评估结果的准确性和可靠性。

二、评估指标1. 准确率（Precision）准确率是指模型预测为正样本的实体中，真正为正样本的比例。

计算公式为：准确率 = 正确预测的实体数量 / 预测的实体数量。

2. 召回率（Recall）召回率是指模型正确预测为正样本的实体数量占所有真实正样本实体数量的比例。

计算公式为：召回率 = 正确预测的实体数量 / 真实的实体数量。

3. F1值F1值是准确率和召回率的调和平均值，综合考虑了模型的精确性和全面性。

计算公式为：F1值 = 2 * (准确率 * 召回率) / (准确率 + 召回率)。

三、评估方法1. 精确匹配评估精确匹配评估方法是将模型预测的实体与真实实体进行精确匹配，只有完全匹配的实体才被认为是正确的。

该方法简单直观，但对于模型预测的实体边界稍有偏差的情况，将被视为错误。

因此，在使用精确匹配评估方法时，需要对实体边界进行严格限制。

2. 宽松匹配评估宽松匹配评估方法是允许模型预测的实体与真实实体存在一定的边界偏差，只要两者存在重叠部分即视为正确。

该方法相对于精确匹配评估方法更加宽容，能够更好地适应实际应用场景中实体边界模糊的情况。

3. 基于BIO标注的评估BIO标注是一种常用的实体标注方式，将每个字分为三类：B（Begin），表示实体的开头；I（Inside），表示实体的中间部分；O（Outside），表示非实体。

第44卷㊀第3期㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀湖北科技学院学报㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀Vol.44,No.3㊀2024年6月㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀Journal of Hubei University of Science and Technology㊀㊀㊀㊀㊀㊀㊀㊀Jun.2024文章编号:2095-4654(2024)03-0151-06㊀㊀㊀㊀基于BERT-BiLSTM-CRF古籍文献命名实体识别㊀㊀㊀㊀蔡维奕(西北民族大学㊀数学与计算机科学学院,甘肃㊀兰州㊀730030)摘㊀要:古籍文献中存在着大量的多字词㊁歧义词㊁异体字等问题,使得古籍文献命名实体识别成为了一项具有挑战性的任务㊂本文提出一种基于BERT-BiLSTM-CRF模型的古籍文献命名实体识别方法㊂该方法首先用预训练语言模型BERT来建模字的上下文表示,然后通过BiLSTM模型对BERT的输出进行加工,解决长距离依赖问题,得到更加丰富的特征信息,最后通过CRF模型对这些特征进行联合建模,从而实现对古籍文献中命名实体的精确识别㊂实验结果显示,BERT-BiLSTM-CRF性能超过了所有基线模型㊂关键词:BiLSTM模型;BERT模型;古籍文献中图分类号:TP391.1㊀㊀㊀㊀㊀㊀㊀㊀文献标识码:A㊀㊀㊀㊀㊀开放科学(资源服务)标识码(OSID ):㊀㊀古籍文献包含了丰富的历史㊁文化和语言信息,对于人类文明的研究和传承具有重要意义㊂古籍文献的命名实体识别旨在自动识别出古籍文本中人名㊁地名㊁机构名等实体㊂它是正确分析处理古籍文献文本的基础步骤,也是深度挖掘㊁分析古代人文知识与文化的重要前提㊂然而,由于古籍文献的特殊性,如书写方式㊁语言习惯等,使得古籍文献命名实体识别(Named Entity Recognition,NER)成为了一项具有挑战性的任务㊂近年来,学界已有多项研究[1-3]关注史籍㊁方志㊁诗词㊁中医等类目的古籍命名实体识别,构建了一些针对垂直领域的小型标注数据集,实体标注的体系和规范有所差异,识别范围往往由三种基本实体类别扩充至人文计算研究所需的多种特殊类别,如书名㊁药物名㊁疾病名㊁动植物名等㊂这些研究所构建针对特殊领域的小型标注数据集,实体类型有差异㊂另一方面,古文字词含义的多样性㊁行文结构的连续性以及多用繁体字㊁无句点等特点,也增加了古籍文献命名实体识别任务的复杂和困难程度㊂在过去的几年中,深度学习技术在自然语言处理领域取得了巨大的成功,BERT(Bidirectional En-coder Representations from Transformers)模型[4]作为其中的代表之一,以其卓越的性能和广泛的应用受到了广泛关注㊂基于BERT的古籍文献NER任务[3]已经成为了当前研究的热点之一㊂然而,由于BERT模型本身是一个字词级别的模型,而古籍文献中存在着大量的多字词㊁歧义词㊁异体字等问题,这就需要我们对BERT进行改进和优化㊂本文提出了一种基于BERT-BiLSTM-CRF模型的古籍文献NER方法㊂该方法首先用预训练语言模型BERT来建模字的上下文表示的基础上,引入了BiLSTM[5](Bi-directional Long Short Term Memo-ry)和CRF[6](conditional Rondom Fields)模型,通过BiLSTM模型对BERT的输出进行加工,得到更加丰富的特征信息,然后通过CRF模型对这些特征进行联合建模,从而实现对古籍文献中命名实体的精确识别㊂本文的主要贡献包括:∗收稿日期:2023-12-08(1)提出了一种基于BERT-BiLSTM-CRF模型的古籍文献命名实体识别方法;(2)在公开数据集上进行了大量实验,并与其他方法进行了对比;(3)分析了实验结果,探讨了该方法的优缺点和改进方向㊂一㊁相关工作在自然语言处理领域,命名实体识别(NER)是一个重要的任务,其目的是从文本中识别出具有特定意义的实体,如人名㊁地名㊁机构名等㊂近年来,深度学习技术在自然语言处理领域取得了巨大的成功,其中基于预训练语言模型的NER方法已经成为了当前研究的热点之一㊂1.预训练语言模型预训练语言模型是指在大规模文本数据上进行无监督预训练的语言模型,它可以学习到丰富的语言知识,并将这些知识应用于各种自然语言处理任务中㊂其中BERT是一种基于Transformer架构的预训练语言模型,它通过双向编码器对输入序列进行编码,从而学习到上下文相关的词向量表示㊂BERT 模型在多项自然语言处理任务上取得了卓越的性能,如情感分析[7,8]㊁问答系统[9]㊁文本分类等[10]㊂2.基于BERT的命名实体识别方法基于BERT的命名实体识别方法是自然语言处理领域中的研究热点之一,在多个数据集上均取得了优秀的表现㊂目前,基于BERT的命名实体识别方法的研究现状主要包括以下几个方面: (1)模型结构的改进:通过引入不同的模型结构来提高命名实体识别的性能㊂例如,将BERT与BiLSTM㊁CRF等模型结合[11-13],可以更好地捕捉上下文信息和标签之间的依赖关系㊂(2)数据增强的研究:由于命名实体识别数据集通常较小,对模型的训练和泛化能力造成了一定的影响㊂因此,研究者通过数据增强等方法来扩充训练数据集[14],从而提高模型的性能㊂(3)多语言命名实体识别:由于BERT在多语言上均有较好的表现,因此研究者将其应用于多语言命名实体识别任务中㊂例如,通过使用跨语言预训练模型来进行多语言实体识别[15]㊂(4)迁移学习:在预训练阶段,BERT学习了大量无标签的语言数据,从而捕获了丰富的语言特征㊂然而,对于特定的下游任务,这些预训练的语言表示可能不够精确,因此需要进行微调㊂迁移学习是一种常用的微调方法,它利用预训练模型已经学习到的知识来帮助解决新的任务㊂在迁移学习中,预训练模型首先被加载并冻结(即不参与训练),然后使用任务特定的数据来微调模型的顶部层(通常是全连接层)㊂通过这种方式,模型可以利用已经学习到的知识来改善对新任务的适应能力㊂将BERT预训练模型进行微调,可用于不同领域和不同任务的命名实体识别[16,17]㊂本文把中文训练的BERT-Base-Chinese语言模型,运用于古籍文献,本质上将BERT预训练模型作微调,进行迁移学习,并结合BiLSTM㊁CRF等模型结合更好地捕捉上下文信息和标签之间的依赖关系㊂图1㊀模型总体结构图二㊁模型基于BERT-BiLSTM-CRF的古籍文献NER方法旨在提高古籍文献NER任务的准确性㊂它是一种基于预训练语言模型BERT㊁双向LSTM和条件随机场(CRF)的命名实体识别方法㊂该方法BERT-BiLSTM-CRF模型的结构如图1所示㊂首先使用BERT预训练语言模型对输入序列进行编码,然后将编码结果输入到BiLSTM序列模型中,从而学习到上下文相关的特征表示㊂最后,通过CRF模型对标签序列进行建模,从而实现对命名实体的识别㊂1.BERT层BERT是一种基于Transformer架构的预训练语言模型,它通过双向编码器对输入序列进行编码,在本文方法中主要学习古文字的上下文相关的向量表示㊂BERT通过两个阶段的训练来获得上下文相关的输出字向量表示:第一阶段是无监督的预训练,用于学习通用的语言知识;第二阶段是有监督的微调,用于将BERT模型应用于特定的自然语言处理任务㊃251㊃湖北科技学院学报㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀总第44卷中㊂在古籍文献NER任务中,一个输入可表示为s =(w1,w2, ,w n),其中w i表示输入的第i的字㊂每个字w i编码由三部分组成:(1)token embedding:将字转换成固定维度的向量㊂每个字会被转换成768维的向量表示㊂此外,两个特殊的token会被插入到tokenization的结果的开头([CLS])和结尾([SEP])㊂(2)segment embedding:用于区分一个token属于句子对中的哪个句子㊂Segment Embeddings包含两种向量表示㊂前一个向量是把0赋给第一个句子中的各个token,后一个向量是把1赋给第二个句子中的各个token㊂如果输入仅仅只有一个句子,那么它的segment embedding就是全0㊂(3)position embedding:由于Transformers无法编码输入的序列的顺序性,所以BERT在各个位置上学习一个向量表示来将序列顺序的信息编码进来㊂最终,古文字w i由三个embedding编码连接得到,即E i=E token E seg E pos㊂经过BERT层,得到每个字的向量表示:X i=Bert(E i)㊂2.Bi-LSTM层本文采用双向LSTM来学习每个古文字的中间表示,其优点可利用远距离的特征㊂对每一个LSTM 单元由多个实向量组合而成,包括输入门向量i t,忘记门向量f t,输出门向量o t,内存单元c t和隐藏状态h t㊂各变量内计算公式如下:i t=σ(W(i)x t+U(i)h t-1+b(i)f t=σ(W(f)x t+U(f)h t-1+b(f)o t=σ(W(o)x t+U(o)h t-1+b(o)u t=tanh(W(u)x t+U(u)h t-1+b(u)c i=i t☉u t+f t☉c t-1h t=o t☉tanh(c i)式中σ,tanh表示神经元的激活函数㊂W,U是权重矩阵,b是偏差向量㊂对于序列中的每个字,其输入为BERT层的输出,即x t㊂输出为h t,在Bi-LSTM网络中,其输出向量为左㊁右LSTM的输出连接组成,即h t=[h➝t,h t]㊂3.CRF层最后,本文采用CRF对标签序列进行全局建模,并考虑标签之间的依赖关系㊂具体地,对BiL-STM层的输出序列h1, ,h n作为CRF的特征输入,一个标签序列y=y1, ,y n的条件概率采用下面公式计算为:o i=Wh ip(y|s)=eði o i[y i]+T[y i,y i-1]ðy'eði o i[y'i]+T[y'i,y'i-1]其中y'=y'1, ,y'n是一个候选标签序列输出, W为发射矩阵,T为状态转移矩阵㊂在推断时,采用Viterbi算法发现概率最高的标签序列㊂在训练时,采用交叉熵损失,具体地,假设给定古文序列的黄金标签是g=g1, ,g n该实例的损失函数定义如下:L ner=-log p(g|s)三、实验与分析1.数据集文本采用2023中国计算语言学大会古籍命名实体识别评测数据集,由北京大学数字人文研究中心组织标注,语料来源是网络上公开的部分中国古代正史纪传文本㊂数据集以 二十四史 为基础语料,包含13部书中的22卷语料,随机截断为长度约100字的片段,标注了人名(PER)㊁书名(BOOK)㊁官职名(OFI)三种实体,总计15.4万字(计标点)㊂数据集统计如下:表1㊀实验用数据集统计总字数实例数人名数书名数官职数实体总数15.4万字23476670213336310246㊀㊀标签方案采用 BISO ,其中 B 表示实体的开始字符, I 表示实体的其它字符, S 表示只含单字实体, O 表示非实体字符㊂下面给出一个标签例子:友_B-PER倫_I-PER幼_O亦_O明_O敏_O,_ O通_O論_B-BOOK語_I-BOOK㊁_O小_B-BOOK 學_I-BOOK,_O曉_O音_O律_O㊂_O存_S-PER已_O死_O,_O太_B-PER祖_I-PER以_O友_B-PER 倫_I-PER為_O元_B-OFI從_B-OFI馬_I-OFI軍_I -OFI指_I-OFI揮_I-OFI使_I-OFI},_O表_O右_B -OFI威_I-OFI武_I-OFI將_I-OFI軍_I-OFI㊂2.实验设置实验时标注语料按8ʒ1ʒ1分别分为训练集㊁开发集和测试集㊂主要超参数设置如表2所示㊂㊃351㊃2024年第3期㊀㊀㊀㊀㊀㊀㊀㊀㊀蔡维奕:基于BERT-BiLSTM-CRF古籍文献命名实体识别表2㊀超参设置表超参值超参值dropout0.5L21e-8 Batch size16Learing rate1e-5 Optimizer Adm Learning rate decay0.05 Momentum0.9Learning rate clipping 5.0㊀㊀实验采用精度(P)㊁召回率(R)和F1值三个指标评估模型性能,分别表示如下:P=预测正确的实体数预测的总实体数R=预测正确的实体数总实体数F1=2∗P∗RP+R3.实验结果为了比较本文采用的模型,实验引入3个基线,分别描述如下:(1)CRF:结合了最大熵模型和隐马尔可夫模型的特点,在序列标注任务中取得了很好的效果,特征采用相连5个窗口内的字符及其组合㊂(2)BiLSTM-CRF:结合BiLSTM与CRF,字向量表示随机初始化㊂模型参数与本文所提出模型的对应组件相同㊂(3)BERT-CRF:使BERT学习到字符的表示,并做为特征直接输出到CRF㊂模型参数与本文所提出模型的对应组件相同㊂表3给出基线与本文所提模型的实验结果㊂可以发现,仅采用离散特征的CRF模型性能远低于采用密向量表示的模型㊂在三个密向量表示的模型,采用预训练语言模型的BERT-CRF的性能高于未采用预训练语言模型的BiLSTM-CRF㊂本文所采用模型充分利用BERT与BiLSTM的优点,在精度㊁召回率和F1值都取得最高的分数㊂表3㊀基线与本文所提模型的实验结果模型P R F1CRF82.4882.3282.40BiLSTM-CRF89.8787.5488.69BERT-CRF92.590.6591.57BERT-BiLSTM-CRF93.591.292.34 4.实验分析本节从学习率㊁训练批大小方面分析了超参对性能的影响,此外,也比较分析了不同实体类型㊁不同文本长度的性能㊂(1)学习率影响图2显示了不同学习率对性能的影响,可以看到,当学习率为1e-5时,本文模型在精度㊁召回率和F1值达到了最好的性能㊂图2㊀不同学习率的性能(2)批训练大小的影响批训练大小也是重要超参之一㊂图3显示了不同批训练大小的F1值,可以看出,当批训练大小为16时,模型取得了最好的性能㊂图3㊀不同批训练大小的性能(3)不同类型实体识别结果表3给出不同类型的命名实体的识别比较结果㊂可以看出,书名实体的识别效果最差,人名识别效果最好,主要原因是书名的训练实例太少,而人名的训练实例比较多㊂此外,本文采用模型在所有的类型上都超过了BERT-CRF的识别性能㊂表3㊀模型对不同类型命名实体的识别比较类型BERT-CRF BERT-BiLSTM-CRF 人名(PER)92.4593.86书名(BOOK)83.4685.6官职名(OFI)91.1391.65 (4)不同文本长度的实验结果BiLSTM能抓住长距离依存特征㊂实验比较了不同文本长度的识别性的影响㊂我们样本按句子长度分为4组:小于10㊁大于等于10及小于30㊁大于等于30及小于50㊁大于等于50.表4给出本文模型与BERT-CRF的比较结果㊂可以看出,当文本长度㊃451㊃湖北科技学院学报㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀总第44卷小于10时,两个模型性能基本相同㊂随着文本长度增大,两个模型的识别性能差距不断变大,当长度大于50时,本文模型超过BERT-CRF模型达到2.11%㊂这显示本文模型能有效抓住长文本的长距离依存信息㊂表4㊀不同长度文本的识别F1值比较文本长度BERT-CF BERT-BiLSTM-CRF<1097.3197.3410ɤ㊃ɤ3094.1094.2130<㊃ɤ5088.5389.04>5078.3580.46㊀㊀(5)实例分析为了更好地与基线进行比较,表5给出了本文方法与BiLSTM-CRF在古文命名实体识别的实例分析㊂在例子1中,BiLSTM-CRF方法由于缺少更多的上下文语义信息,并没有识别出人名{王鐵槍| PER}㊂在例子2中,本文所提方法识别出了所有的实体,而BiLSTM-CRF把两个OFI实体没有识别准确,这说明本文所提方法能获得更多边界信息㊂表5㊀实例分析与比较序号句子实例BiLSTM-CRF BERT-BiLSTM-CRF1持一鐵槍,騎而馳突,奮疾如飛,而佗人莫能舉也,軍中號{王鐵槍|PER}㊂持一鐵槍,騎而馳突,奮疾如飛,而佗人莫能舉也,軍中號王鐵槍㊂持一鐵槍,騎而馳突,奮疾如飛,而佗人莫能舉也,軍中號{王鐵槍|PER}㊂2壬午,{匡國軍節度使|OFI}{劉知俊|PER}爲{潞州行營招討使|OFI}㊂癸巳,改卜郊㊂{張文蔚|PER}薨㊂壬午,匡國軍{節度使|OFI}{劉知俊|PER}爲潞州行營{招討使|OFI}㊂癸巳,改卜郊㊂{張文蔚|PER}薨㊂壬午,{匡國軍節度使|OFI}{劉知俊|PER}爲{潞州行營招討使|OFI}㊂癸巳,改卜郊㊂{張文蔚|PER}薨四㊁结论古籍文献命名实体识别是正确分析处理古籍文献文本的基础步骤,也是深度挖掘㊁分析古代人文知识与文化的重要前提㊂本文采用BERT-BILSTM-CRF模型实现对古籍文献命名实体识别,实验表明模型的准确率㊁召回率和F1值均达到了较好的效果㊂此外实验也显示本模型能有效抓住长距离文本的依存信息㊂虽然书名实体识别性能不佳,这主要是由于训练语料太少,模型训练不充分所致㊂本文主要研究人名㊁书名㊁官职名三类古籍文献命名实体㊂后期研究工作中,将收集整理更大规模的古籍文献命名实体语料,研究更多的不同类型的古籍文献命名实体,并进一步研究模型各项参数,训练更好的模型,为古籍文献命名实体识别提供帮助㊂参考文献:[1]㊀崔丹丹,刘秀磊,陈若愚,等.基于Lattice LSTM的古汉语命名实体识别[J].计算机科学,2020,47(S2):18-22.[2]㊀胡为,刘伟,石玉敬.基于BERT-BiLSTM-CRF的中医医案命名实体识别方法[J].计算机时代,2022(9):119-122+135.[3]㊀余馨玲,常娥.基于DA-BERT-CRF模型的古诗词地名自动识别研究 以金陵古诗词为例[J].图书馆杂志,2023,42(10):87-94+73.[4]㊀Devlin J,Chang MW,Lee K.Bert:Pre-training of deepbidirectional transformers for language understanding[J/OL].https:///pdf/1810.04805.pdf.11Oct.2018.[5]㊀Schuster M,Paliwal KK.Bidirectional recurrent neuralnetworks[J].IEEE transactions on Signal Processing.1997,45(11):2673-2681.[6]㊀McCallum A.Efficiently inducing features of conditionalrandom fields[C].//Inproceedings of the Nineteenthconference on Uncertainty in Artificial Intelligence,USA,7Aug.2002.[7]㊀Gao Z,Feng A,Song X,etal.Target-dependent senti-ment classification with BERT[J].Ieee Access,2019(7):154290-154299.[8]㊀Catelli R,Pelosi S,Esposito M.Lexicon-based vs Bert-based sentiment analysis:A comparative study in Italian[J].Electronics,2022,11(3):374.[9]㊀Guven Z A,Unalir M O.Natural language based analysisof SQuAD:An analytical approach for BERT[J].ExpertSystems with Applications,2022,195:116592. [10]Esmaeilzadeh A,Taghva K.Text classification using neu-ral network language model(nnlm)and bert:An empiri-cal comparison[C].//Intelligent Systems and Applica-tions:Proceedings of the2021Intelligent Systems Confer-ence(IntelliSys)Volume3.Springer International Pub-lishing,2022:175-189.[11]Souza F,Nogueira R,Lotufo R.Portuguese named entityrecognition using BERT-CRF[J/OL].https://arxiv.㊃551㊃2024年第3期㊀㊀㊀㊀㊀㊀㊀㊀㊀蔡维奕:基于BERT-BiLSTM-CRF古籍文献命名实体识别org/pdf/1909.10649.pdf.23Sep.2019. [12]Alsaaran N,Alrabiah M.Arabic named entity recogni-tion:A BERT-BGRU approach[J].Computers,Materi-als and Continua,2022,68:471-485.[13]Jiang S,Zhao S,Hou K,etal.A BERT-BiLSTM-CRFmodel for Chinese electronic medical records named entityrecognition[C].//12th international conference on intelli-gent computation technology and automation(ICICTA).IEEE,2019:166-169.[14]Tikhomirov M,Loukachevitch N,Sirotina A,ingbert and augmentation in named entity recognition for cy-bersecurity domain[C].//Natural Language Processingand Information Systems:25th International Conference onApplications of Natural Language to Information Systems,Germany,24–26June,2020.[15]Hakala K,Pyysalo S.Biomedical named entity recogni-tion with multilingual BERT[C].//Proceedings of the5thworkshop on BioNLP open shared tasks.ACL,2019:56-61.[16]Labusch K,Kulturbesitz P,Neudecker C,etal.BERTfor named entity recognition in contemporary and historicalGerman[C].//Proceedings of the15th conference on nat-ural language processing.ACL,2019:8-11. [17]Montejo-Ráez,A and Jiménez-Zafra,S.M.Current Ap-proaches and Applications in Natural Language Processing[J].Applied Sciences,2022,12(10):4859.Named Entity Recognition in Ancient Books andLiterature Based on BERT-BiLSTM-CRFCAI Wei-yi(School of Mathematics and Computer Science Northwest Minzu University,Lanzhou730030,China)Abstract:There are a lot of complex words,ambiguous words,variant characters,and other problems in ancient texts,making named entity recognition in ancient texts a challenging task.This paper proposes a named enti-ty recognition method for ancient texts based on the BERT-BiLSTM-CRF model.This method first uses a pre-trained language model BERT to model the context representation of characters,then processes the output of BERT through a BiLSTM model to solve the problem of long-distance dependencies and obtain richer feature information. Finally,these features are jointly modeled through a CRF model to achieve accurate identification of named entities in ancient documents.Experimental results show that the performance of BERT-BiLSTM-CRF exceeds all baseline models.Key words:Bilstm model;Bert model;Ancient texts责任编辑:彭茜珍㊃651㊃湖北科技学院学报㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀总第44卷。

命名实体识别AI技术中的命名实体识别模型与信息提取在当前人工智能技术迅猛发展的背景下，命名实体识别（Named Entity Recognition, NER）技术作为自然语言处理的重要组成部分，发挥着重要的作用。

本文将介绍命名实体识别AI技术中的命名实体识别模型与信息提取，旨在探讨其原理与应用。

一、命名实体识别模型命名实体识别模型是指通过训练机器学习算法，从文本中识别并提取出具有特定意义的实体，如人名、地名、组织机构名等。

目前，主流的命名实体识别模型主要包括规则匹配、基于规则的有限状态自动机、基于转移的有向无环图模型和基于深度学习的模型等。

1. 规则匹配模型规则匹配模型是最早应用于命名实体识别的方法之一，其核心思想是基于人工编写的规则，通过在文本中查找与规则匹配的模式，从中提取出命名实体。

这种方法有着较高的准确性，但对于复杂的语义关系难以涵盖，且规则编写较为复杂。

2. 基于规则的有限状态自动机基于规则的有限状态自动机是一种从自然语言文本中识别命名实体的有力工具。

它通过将自然语言文本转换为有限状态自动机图，并利用相应的状态转移规则来提取命名实体。

该方法的优点是处理速度快，但需要手动编写状态转移规则，且对于复杂的语义关系匹配较为困难。

3. 基于转移的有向无环图模型基于转移的有向无环图模型是近年来命名实体识别领域的研究热点之一，其主要思想是将命名实体识别问题转化为序列标注问题，并利用条件随机场（CRF）或者其他类似的方法来建模。

该模型充分考虑了上下文信息和语义关联，具有较高的准确性和鲁棒性。

4. 基于深度学习的模型近年来，随着深度学习技术的快速发展，一些基于神经网络的模型也被引入到命名实体识别领域。

这些模型主要采用卷积神经网络（CNN）、循环神经网络（RNN）和注意力机制等技术，能够自动学习特征表示，大幅提高了命名实体识别的准确性和鲁棒性。

二、信息提取命名实体识别模型的输出结果可以为后续的信息提取提供依据。

命名实体识别标注方法
命名实体识别标注方法，哇塞，这可真是个超级重要的事儿呢！
命名实体识别标注主要包括以下这些步骤哦。

首先要确定标注的实体类型，比如人名、地名、组织机构名等等。

然后仔细阅读文本，逐字逐句地去判断哪些是需要标注的实体。

在标注的时候，一定要非常细心，不能有丝毫马虎呀，不然就会像盖房子没打牢地基一样，后面可就麻烦啦！注意不能把不是实体的部分错误标注，也不能漏标真正的实体呀。

而且要保持标注的一致性，不能一会儿这样标，一会儿那样标。

在这个过程中，安全性和稳定性那也是相当重要的呀！就好像是走钢丝，必须稳稳当当的。

要保证数据的安全，不能让标注的数据轻易丢失或被篡改。

同时，标注系统也要稳定运行，不能时不时就出问题呀，不然多耽误事儿呢！
命名实体识别标注的应用场景那可多了去啦！在自然语言处理中，它可是大显身手呢。

比如在信息提取中，能快速准确地找到关键信息；在机器翻译中，让翻译更加精准。

它的优势也是很明显的呀，能提高处理效率，让一切都变得更加高效快捷。

来看看实际案例吧！比如说在智能客服中，通过命名实体识别标注，客服系统能快速理解用户的问题，准确找到关键信息，然后给出合适的回答。

这就像是有了一双火眼金睛，一下子就能抓住重点，多厉害呀！
命名实体识别标注方法真的是超级重要的呀，它就像是打开自然语言处理宝藏的钥匙，没有它可不行呢！我们一定要重视它，好好利用它，让我们的生活变得更加美好呀！。

命名实体识别文献综述
命名实体识别（Named Entity Recognition，NER）是自然语言处理
领域中的一个重要研究方向。

它是指按照预定义的类别（如人名、地名、
组织机构名等）识别出文本中的具有特定意义的词或词组。

NER 在很多语
言处理任务中都扮演着重要的角色，比如信息抽取、文本分类、机器翻译、问答系统等。

以下是关于命名实体识别方面的一些文献综述。

1. An Introduction to Named Entity Recognition（《命名实体识
别介绍》）。

2. Survey of Named Entity Recognition Systems（《命名实体识
别系统概述》）。

3. Recent Advances in Named Entity Recognition（《命名实体识
别新进展》）。

4. Evaluation of Named Entity Recognition Systems（《命名实
体识别系统评估》）。

5. Deep Learning for Named Entity Recognition: A Review
（《深度学习在命名实体识别中的应用综述》）。

AI自然语言处理命名实体识别在生物医学信息抽取中的应用随着科技的不断进步和人工智能的发展，自然语言处理（NLP）在生物医学领域的应用也日益广泛。

在生物医学信息抽取中，命名实体识别（NER）技术被广泛应用，以提取出生物医学文本中的实体名称并进行分类。

本文将探讨AI自然语言处理中命名实体识别在生物医学信息抽取中的一些具体应用。

一、基本概念命名实体识别是指从文本中识别出具有特定意义的实体名称，这些实体可以是人名、地名、组织机构名以及专有名词等。

在生物医学领域，命名实体识别主要是针对抽取和分类生物医学文本中的基因、蛋白质、药物、疾病等实体。

二、实体抽取与分类在生物医学信息抽取中，命名实体识别的一个重要任务是将文本中的实体抽取出来，并进行分类。

通过采用机器学习和深度学习等技术，命名实体识别系统能够自动地从文本中识别出基因、蛋白质、药物、疾病等实体，并将其进行分类。

这不仅可以帮助研究人员高效地获取和整理生物医学信息，还可以为药物发现、疾病诊断和治疗等方面提供重要的支持。

三、实体关系提取除了实体的抽取和分类，命名实体识别还可以用于提取实体之间的关系。

在生物医学领域，基因、蛋白质、药物和疾病之间的关系可以是相互作用、治疗关系、副作用等。

命名实体识别系统可以通过分析生物医学文本中的语义和语境，自动地提取出实体之间的关系，帮助研究人员深入理解生物医学知识，发现新的生物医学关联。

四、文本挖掘和信息抽取命名实体识别通过将生物医学文本中的实体抽取出来，并进行分类和关系提取，对文本进行挖掘和信息抽取。

通过命名实体识别技术，研究人员可以从大量的生物医学文献、病例报告和临床数据库中高效获取有用的信息并进行整理和分析。

这为医学研究、药物开发和疾病诊断等方面提供了重要的支持和借鉴。

五、挑战与前景命名实体识别在生物医学信息抽取中的应用面临着一些挑战。

首先，生物医学文本的复杂性和多样性使得命名实体识别系统需要具备很高的鲁棒性和泛化能力。

使用ChatGPT进行实体识别和命名实体识别近年来，随着自然语言处理技术的不断发展，人们对于文本数据的处理能力也越来越强。

其中，实体识别和命名实体识别是自然语言处理中的重要任务之一。

本文将介绍一种基于ChatGPT模型的实体识别和命名实体识别方法，并探讨其应用和潜在的挑战。

ChatGPT是由OpenAI开发的一种基于深度学习的自然语言处理模型。

它通过大规模的语料库训练，能够生成连贯的自然语言响应。

在实体识别和命名实体识别任务中，ChatGPT可以通过对输入文本进行解析和分析，识别出其中的实体和命名实体。

实体识别是指在文本中识别出具有特定意义的实体，如人名、地名、组织机构名等。

命名实体识别则是在实体识别的基础上，进一步识别出这些实体的具体类别，如人名中的人物、地名中的城市等。

ChatGPT可以通过对训练数据的学习，掌握各种实体和命名实体的特征，从而在输入文本中准确地进行识别。

然而，使用ChatGPT进行实体识别和命名实体识别也面临一些挑战。

首先，ChatGPT的训练过程是基于大规模的语料库，而这些语料库可能存在一定的偏差。

这就意味着ChatGPT在进行实体识别和命名实体识别时，可能会受到这些偏差的影响，导致识别结果不够准确。

其次，ChatGPT是基于生成模型的，它生成的文本可能存在一定的模糊性和歧义性。

这就需要我们在使用ChatGPT进行实体识别和命名实体识别时，对其生成的结果进行后处理和消歧。

为了解决这些挑战，我们可以采用一些策略来提高ChatGPT的实体识别和命名实体识别的准确性。

首先，我们可以通过增加训练数据的多样性来降低偏差的影响。

例如，可以引入不同领域、不同风格的文本数据进行训练，以提高模型的泛化能力。

其次，我们可以结合其他的实体识别和命名实体识别方法，如规则匹配、统计模型等，来进行结果的校对和验证。

这样可以提高ChatGPT的识别准确性，并降低模糊性和歧义性。

除了实体识别和命名实体识别，ChatGPT还可以在其他自然语言处理任务中发挥重要作用。