面向农业图书资源语义挖掘的主题模型应用设计研究

◎2022年第10期

◎专题：“SikuBERT:数字人文下的古籍智能信息处理”

专题：“SikuBERT:数字人文下的古籍智能信息处理”

面向数字人文的典籍语义词汇抽取研究

——以SikuBERT预训练模型为例*

孙文龙，张逸勤，王凡铭，鱼汇沐，刘江峰，王东波

*本文系国家社科基金重大项目“中国古代典籍跨语言知识库构建及应用研究”（项目编号：21&ZD331）和江苏省社会科学基金项目“人工智能辅助青少年传统文化教育研究”（项目编号：20JYB004）研究成果。摘要利用关键词抽取技术可以帮助读者提取高度凝练的文本主题，快速获得古籍文本的中心内容，对普及古汉语知识和传播中华优秀传统文化有着重要意义。文章以先秦两汉时期的“儒家”“史书”数据库语料为分析对象，测试SikuBERT预训练模型在古汉语文本关键词抽取任务中的性能。实验结果表明，从两类语料中分别抽取的20个关键词基本能体现出相应典籍类别的主题内容：前者与所抽儒家典籍文本的相似度为76%～78%，后者与所抽史书文本的相似度为75%～78%。实验验证了SikuBERT模型在古籍文本关键词抽取中的适用性，能为开展古汉语文本主题分类、聚类和知识深度开发提供参考。关键词数字人文SikuBERT关键词提取汉语典籍引用本文格式孙文龙，张逸勤，王凡铭，等.面向数字人文的典籍语义词汇抽取研究——以Siku⁃BERT预训练模型为例[J].图书馆论坛，2022，42（10）：31-41.

StudyonKeywordExtractionfromAncientChineseClassicsinthe

ContextofDigitalHumanities：TakingSikuBERTPre-training

ModelforExampleSUNWenlong，ZHANGYiqin，WANGFanming，YUHuimu，

LIUJiangfeng&WANGDongbo

AbstractKeywordextractiontechnologycouldhelpreaderstoobtainthethemesaswellasthecorecontentofhighly-condensedancientChineseclassicsmoreeffectively，whichisofgreatsignificancetothepopularizationofancientChineseaswellasthedisseminationoftraditionalChineseculture.WithPre-QinandHanConfucianworksandhistoricalworksasthecorpus，thispapertriestotestifySikuBER’sperformanceinkeywordextractionfromancientChineseclassics.Theresultshowsthatthe20keywordsextractedfromPre-QinandHanConfucianworksbearasimilarityof76%~78%tothethemesofthetargettexts，whilethe20keywordsextractedfromPre-QinandHanhistoricalworksbearasimilarityof75%~78%tothethemesofthetargettexts.SinceitsapplicabilityinkeywordextractionfromancientChineseclassicsisverified，SikuBERTcouldbefurtherusedinthethematicclassification，textclusteringandknowledgeminingofancientChinesetexts.

文本挖掘技术在情报分析中的应用研究

引言：

近年来，信息技术的迅猛发展带来了大量的文本数据，这促使人们对如何从文本数据中挖掘有价值的信息产生了浓厚的兴趣。在情报分析领域，文本挖掘技术的应用也引起了广泛的关注。本文将探讨文本挖掘技术在情报分析中的应用研究，并介绍其在情报预警、情报收集和情报评估等方面的具体应用。

第一部分：情报分析的背景和挑战

在现代社会，信息爆炸的时代，情报分析成为了国家安全和商业竞争的重要手段。然而，情报分析面临着大量的文本信息和多样化的信息源，如何高效准确地从大规模文本数据中提取有价值的情报成为了重要的问题。

第二部分：文本挖掘技术的基本原理

文本挖掘技术是指通过计算机自动从文本中提取信息和知识的一种方法。它涵盖了文本分类、文本聚类、情感分析等多个子领域。常用的文本挖掘技术包括词频统计、主题模型、命名实体识别等。这些技术通过计算机自动处理和分析文本数据，从中发现隐藏的模式和规律。

第三部分：情报预警中的应用研究

情报预警是指在情报分析过程中，通过监测和分析各类信息源，及早预测和发现与国家安全或商业竞争相关的风险和机会。文本挖掘技术可以帮助情报分析人员从大量的文本数据中找出潜在的线索和模式，提供及时准确的情报预警。例如，情报分析人员可以利用文本挖掘技术对新闻报道和社交媒体数据进行情感分析，发现可能的社会动荡和安全隐患。

第四部分：情报收集中的应用研究

情报收集是情报分析的重要环节，也是情报系统中获取信息的过程。当面对大量的文本数据时，情报人员需要利用文本挖掘技术对海量数据进行筛选和提取有价值的情报。例如，情报分析人员可以使用文本分类技术将情报源按照不同的主题和关键词进行分类，从而节省人力和时间成本。

第五部分：情报评估中的应用研究

情报评估是情报分析过程中的最后一步，通过综合分析和评估情报的可信度和价值，为决策者提供有效的建议。文本挖掘技术可以帮助情报分析人员对收集到的大量情报进行自动化处理和分析，从而提供更准确和全面的评估结果。例如，基于主题模型的文本挖掘技术可以帮助情报分析人员发现情报之间的关联和联系，辅助评估情报的可信度和置信度。

1 文本数据挖掘及其应用

摘要：随着Internet上文档信息的迅猛发展，文本分类成为处理和组织大量文档数据的关键技术。本文首先对文本挖掘进行了概述包括文本挖掘的研究现状、主要内容、相关技术以及热点难点进行了探讨，然后通过两个例子简单地说明了文本挖掘的应用问题。

关键词：文本挖掘 研究现状 相关技术 应用

1 引言

随着科技的发展和网络的普及，人们可获得的数据量越来越多，这些数据多数是以文本形式存在的。而这些文本数据大多是比较繁杂的，这就导致了数据量大但信息却比较匮乏的状况。如何从这些繁杂的文本数据中获得有用的信息越来越受到人们的关注。“在文本文档中发现有意义或有用的模式的过程"n1的文本挖掘技术为解决这一问题提供了一个有效的途径。而文本分类技术是文本挖掘技术的一个重要分支，是有效处理和组织错综复杂的文本数据的关键技术，能够有效的帮助人们组织和分流信息。

2 文本挖掘概述

2.1文本挖掘介绍

数据挖掘技术本身就是当前数据技术发展的新领域，文本挖掘则发展历史更短。传统的信息检索技术对于海量数据的处理并不尽如人意，文本挖掘便日益重要起来，可见文本挖掘技术是从信息抽取以及相关技术领域中慢慢演化而成的。

1）文本挖掘的定义

文本挖掘作为数据挖掘的一个新主题 引起了人们的极大兴趣，同时它也是一个富于争议的研究方向。目前其定义尚无统一的结论，需要国内外学者开展更多的研究以进行精确的定义，类似于我们熟知的数据挖掘定义。我们对文本挖掘作如下定义。

定义 2.1.1 文本挖掘是指从大量文本数据中抽取事先未知的可理解的最终可用的信息或知识的过程。直观地说，当数据挖掘的对象完全由文本这种数据类型组成时，这个过程就称为文本挖掘。

2 )文本挖掘的研究现状

国外对于文本挖掘的研究开展较早，50年代末，H.P.Luhn在这一领域进行了开创性的研究，提出了词频统计思想于自动分类。1960年，Maron发表了关于自动分类的第一篇论文，随后，众多学者在这一领域进行了卓有成效的研究工作。研究主要有围绕文本的挖掘模型、文本特征抽取与文本中间表示、文本挖掘算法（如关联规则抽取、语义关系挖掘、文本聚类与主题分析、趋势分析）、文本挖掘工具等，其中首次将KDD中的只是发现模型运用于KDT。

《农业网络信息》２ｏ０６年第６期　研究与开发　

面向语义Ｗｅｂ的农业知识表示研究　谢能付　（中国农业科学院农业信息研究所，北京１０００８１）　摘要：本文介绍了基ｉｆ－ｉ￣Ｙ，．Ｗｅｂ技术的农业知识表示，目的是将以自然语言形式的农业信息转变为机器可理解形式的　农业知识，使得农业知识能够有效的共享和重用。　关键词：语义Ｗｅｂ；农业本体；知识表示　中图分类号：Ｓ１２６　文献标识码：Ａ　文章编码：１６７２—６２５１（２００６｝０６—０００８～０４　Ｒｅｓｅａｒｃｈ　ｏｎ　ｓｅｍｉｔｉｃ　ｗｅｂ—－ｏｒｉｅｎｔｅｄ　ａｇｒｉｃｕｌｔｕｒａ１．ｋｎｏｗｌｅｄｇｅ　ｒｅｐｒｅｓｅｎｔａｔｉｏｎ　ＸＩＥ　Ｎｅｎｇ－ｆｕ　（Ａ　ｃｕｌｔｕｒａｌ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｉｎｓｔｉｔｕｔｅ，ＣＡＡＳ，Ｂｅｉｊｉｎｇ　１０００８１，Ｃｈｉｎａ）　Ａｂｓｔｒａｃｔ：Ａ　ｍｅｔｈｏｄ　ｏｆ　ｓｅｍａｎｔｉｃ　ｗｅｂ　ｔｅｃｈｎｏｌｏｇｉｅｓ—ｂａｓｅｄ　ａｇｒｉｃｕｌｔｕｒａｌ　ｋｎｏｗｌｅｄｇｅ　ｒｅｐｒｅｓｅｎｔａｔｉｏｎ　ｗａｓ　ｐｒｅｐｏ￣ｌ，ｗｈｉｃｈ　ｔｒａｎｓｆｏｒｍｓ　ｎａｔｕｒａｌ　ｌａｎｇｕａｇｅ　ｆｏｒｍ—ｂａｓｅｄ　ａｇｒｉｃｕｌｔｕｒａｌ　ｉｎｆｏｒｍａｔｉｏｎ　ｉｎｔｏ　ｃｏｍｐｕｔｅｒ－ｕｎｄｅｒｓｔａｎｄａｂｌｅ　ａｇｒｉｃｕｌｔｕｒａｌ　ｋｎｏｗｌｅｄｇｅ　ｔｈａｔ　Ｃａｎ　ｂｅ　ｒｅｕｓｅｄ　ａｎｄ　ｓｈａｒｅｄ　ｅｍｃｉｅｎｔｌｙ．　Ｋｅｙｗｏｒｄｓ：Ｓｅｍａｎｔｉｃ　ｗｅｂ；Ａｇｒｉｃｕｌｔｕｒａｌ　ｏｎｔｏｌｏｇｙ；Ｋｎｏｗｌｅｄｇｅ　ｒｅｐｒｅｓｅｎｔａｔｉｏｎ　１　引言　当今的社会是一个信息爆炸的社会，互联网的出现　加速了这种信息爆炸的当量，导致信息泛滥成灾，严重　地阻碍和影响着知识和信息的传播。对于农业领域来　说，同样面临着Ｗｅｂ信息过载问题。农业知识是一种高　质量的生产要素，可以使农业劳动力和资本生产的效率　大幅度提高，加快我国农业信息化进程。农业知识还是　一种特殊的领域知识，是农业信息应用的基础，像农业　教学系统、农业语言处理系统和农业专家系统都离不开　农业知识。然而，农业知识与其它的领域知识有很大的　差别，有自己独特的特点。首先，农业知识涉及到的学科　知识多．比如，生物、化学、医学、气象学、病理学等等，这　就加大了对农业知识处理的难度，如何使这些知识得到　有效的共享、重用，特别是在机器间以及机器与人类之　间通信．目前仍是一个重要的挑战；其次，农业知识量　大．但目前这些知识都是以自然语言的形式存于文本载　体中．机器很难处理这些自由结构的知识，使知识无法　得到有效的共享和重用。要开发出有效的、具有智能的、　高效的系统．需要一种机器能理解的表达知识方法。本　体能够帮助解决这些知识表达问题，利用语义Ｗｅｂ技术　能够有效的集成农业信息。　粮农组织世界农业信息中心最近在研制农业本体　论服务（ＡＯＳ）中指出开发本体服务主要目标是为更佳的　资源索引、更好地检索资源以及增加农业领域内的交互　作用提供一个基础框架。在语义网方面．农业本体论服　务对多种语言的农业资源进行描述并把它们联合起来，　在获得这些资源过程中增加功能性及相关性，并为共享　农业领域内的通用说明、定义和关系提供一个框架。　语义Ｗｅｂｔ　的出现就是为了改变上述现状．使计算　机和人能够更好地合作与交流。作为信息空间，语义　Ｗｅｂ不仅可以促进人与人之间的交流．并且便于计算机　处理Ｗｅｂ信息以及信息之间的交流。其语言层次模型如　图１所示