下载文档原格式
基于主题的Web人名抽取系统的设计与实现
何婧瑗;尹美娟;金晓燕
【期刊名称】《信息工程大学学报》
【年(卷),期】2010(011)006
【摘要】从社会关系抽取的角度出发,设计了一个基于主题的Web人名抽取系统.该系统可根据给定的主题获取相应的Web文档,并从中抽取出与该主题相关的中英文人名,从而为基于主题的Web社会关系抽取提供有效的数据支撑.
【总页数】5页(P700-704)
【作者】何婧瑗;尹美娟;金晓燕
【作者单位】信息工程大学,信息工程学院,河南,郑州,450002;信息工程大学,信息工程学院,河南,郑州,450002;61785部队,北京,100075
【正文语种】中文
【中图分类】TP391
【相关文献】
1.基于HTMLParser的Web信息抽取系统的设计与实现 [J], 李彦刚;魏海平;侯兴华
2.基于网格的Web信息抽取系统的设计与实现 [J], 贡正仙;支丽艳;朱巧明;李培峰
3.基于信息抽取的Web查询系统的设计与实现 [J], 杨文柱;李智玲;徐林昊;李天柱
4.基于WebGIS技术的PANDA断面海洋主题数据库系统可视化查询的设计与实现 [J], 周林;刘海行;宋转玲;贾贞
5.基于Web的酒店评论文本观点抽取系统的设计与实现 [J], 王涛;刘立波
因版权原因，仅展示原文概要，查看原文内容请购买。
基于规则的中文人名识别与抽取关键技术研究
基于规则的中文人名识别与抽取关键技术研究摘要：新兴媒体时代的发展使大量的信息涌入了我们的视线和大脑，广大网名用户在面对网上的信息时需要找寻符合自己的资料，在这种情况下，信息抽取发展起来了。
国内的信息抽取技术起步时间较短，又由于中文信息的复杂性，所以在中文信息抽取领域，此技术还不是特别的成熟。
在本文中，作者对基于规则的中文人名抽取技术进行了初步探索和研究。
关键词：自然语言处理，信息抽取，命名实体识别，人名识别
1 有关背景
信息时代的发展，我们每天都会面临大量的信息，不同的用户接触的信息虽然不同，但用户都需要从这些大量的信息中抽取出自己感兴趣和有实际用途的信息，信息抽取技术在这种情况下慢慢地发展了起来。
目前，信息抽取的主要任务是将文字中大量的信息准确地进行分词、识别、整理，提取出人和事的关键特征词，组织成关键语句，方便于查询检索，提高检索效率。
在互联网时代，信息抽取技术是信息检索技术的技术支撑，它既可以提高检索效率，又能准确的抓取面对用户有用的信息。
例如，信息抽取系统可以从用户感兴趣的信息中分词抽取出时间、地点、关键人物、原因等，将抽取结果保存在数据库中，为用户进一步查询和分析提供支持和帮助。
信息抽取的关键任务包括：命名实体识别、句法分析、篇章分析与推理、知识获取等。
学士学位论文论文题目：基于人物信息嵌入的人物关系挖掘姓名：刘春花学号： BK1231209院系：信息科学学院专业：计算机科学与技术指导教师：于东二〇一六年六月北京语言大学学士学位论文(2012级)论文题目：基于人物信息嵌入的人物关系挖掘院系：信息科学学院专业：计算机科学与技术学生姓名：刘春花指导教师姓名：于东论文完成日期： 2016年6月论文原创性声明本人郑重声明：所呈交的论文，是本人在导师指导下，独立进行的研究工作及取得的研究成果。
尽我所知，除了文中已经注明引用和致谢的地方外，论文中不包含其他人或集体已经发表或撰写的研究成果，也不包含为获得北京语言大学或其他教育机构的学位或证书所使用过的材料。
对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。
本人完全意识到本声明的法律结果由本人承担。
签名：________日期：________学位论文知识产权权属声明本人郑重声明：本人所呈交论文，是在导师指导下所完成的，论文知识产权归属北京语言大学。
学校有权保留并向国家有关部门或机构送交论文的复印件和电子版本，允许论文被查询和借阅，将论文编入有关数据库进行检索等。
本人离校后发表或使用学位论文或与该论文直接相关的学术论文获成果时，署名仍为北京语言大学。
签名：________导师签名：________日期：________目录摘要 (I)ABSTRACT (II)第一章绪论 (1)1．1 研究背景 (1)1.2 研究现状 (1)1.2.1 关系抽取的研究现状 (1)1.2.2 人物关系抽取的研究现状 (2)1.3 本文研究内容 (3)1.4 论文框架 (4)第2章中文信息处理相关工具介绍 (4)2.1 相关工具 (4)2.1.1 哈工大语言技术平台（LTP）功能简介 (4)2.1.2 哈工大语言技术平台（LTP）的使用 (7)2.2 Perl语言概述 (8)2.3 正则表达式 (9)第3章基于规则和依存句法抽取人物实体关系 (9)3.1 基于半结构化数据上的规则抽取 (9)3.2 基于依存句法的人物关系抽取 (10)3.2.1 预处理 (11)3.2.2人名实体在句中的位置分布 (11)3.2.3 人名实体关系分类 (12)3.3 基于句法分析的模式提取 (12)第4章实验设计和实现 (18)4.1 实验设计 (18)4.3实验结果 (19)第5章总结 (20)致谢 (21)参考文献 (22)基于人物信息嵌入的人物关系挖掘作者：刘春花指导教师：于东摘要：互联网技术的高速发展使得网络上的爆发式增长，如何从这些大规模文本中获取有价值的信息并且将其转化为结构化的数据用于计算机的识别与处理是目前研究的重要课题。
中文URL信息自动提取算法的研究与实现的开题报告一、研究背景随着互联网的发展，各种类型的网页不断涌现，其中大量是以中文为主要语言进行撰写和发布的。
而网页中往往会涉及到各种类型的链接，如超链接、图片链接、音频链接等等。
为了方便用户阅读和使用，需要对于这些链接进行信息提取和分类。
其中，中文URL信息的自动提取就成为了一个重要的研究领域。
中文URL信息自动提取的主要任务是从中文网页中提取出包含链接信息的URL地址，并进行分类和标注。
这对于互联网搜索引擎、网络爬虫等应用都具有非常重要的价值。
然而，由于中文语言的复杂性以及各种网页格式的多样性，中文URL信息自动提取面临着一定的挑战性。
二、研究目的和意义中文URL信息自动提取的研究目的是通过开发一种高效可靠的算法，能够从中文网页中自动提取出URL信息，并对其进行分类和标注。
这可以帮助用户更快速、准确地找到所需信息，提高互联网搜索引擎的检索和排序效率。
此外，中文URL信息自动提取的算法还可以应用于一些特定的领域，如安全领域、金融领域等。
在安全领域，该算法可以帮助用户快速检测出恶意链接和未经授权的链接，从而避免因点击这些链接而导致的信息泄露和其他安全问题。
在金融领域，该算法可以帮助金融机构更加精准地识别并阻止建立在欺诈链接上的诈骗行为，从而保护用户资产安全。
三、研究内容和方法本研究将尝试开发一种基于深度学习的自然语言处理算法，用于中文URL信息的自动提取。
具体内容包括以下几个方面：1. 中文网页数据集的构建：为了进行实验验证和训练模型，需要从互联网上收集一定规模的中文网页数据集，包括各类网页、新闻文章等。
2. 特征提取和预处理：针对中文网页中的链接信息，需要进行特征提取和预处理，包括文本分词、词向量表示、去除停用词等。
3. 模型训练和评估：基于已构建好的中文网页数据集和预处理后的链接信息，将开发基于深度学习的自然语言处理算法进行模型训练和评估。
具体采用的方法包括基于卷积神经网络（CNN）、循环神经网络（RNN）等。
基于统计学习的中文信息抽取技术研究的开题报告一、研究背景和意义现代社会中，文本信息呈现爆炸式增长的趋势，信息获取和处理变得越来越困难。
在大量文本信息中，我们需要快速准确地获取所需信息，而自动信息抽取技术成为了当前信息处理领域研究的热点之一。
信息抽取技术是计算机自动识别文本中的实体、关系和事件等，并将其抽取为结构化信息的过程。
其应用涉及很多领域，如搜索引擎、自然语言理解系统、问答系统、智能客服等。
在信息抽取技术中，中文信息抽取是一个重要的研究方向。
相比于英文，中文存在着结构复杂、歧义多义、语法变化较大等问题，因此中文信息抽取技术的研究具有一定的难度和挑战性。
本研究旨在利用统计学习方法，针对中文信息抽取问题，探索一种高效准确的信息抽取算法。
二、研究内容和技术路线1. 研究内容本研究将从以下三个方面进行探索：（1）实体识别：针对中文文本中存在的各类实体进行识别，如人名、地名、组织名等。
采用字级别的序列标注算法，并结合外部知识库进行实体识别。
（2）关系抽取：多数实体之间都存在着一定的关系，如人与人之间的关系、人与组织之间的关系等。
通过建立关系抽取模型，自动地从中文文本中抽取出这些关系。
（3）事件抽取：事件是文本中最基本的语义单元，因此事件抽取是信息抽取中的关键问题。
通过利用统计学习方法，从文本中挖掘出各种事件类型及其相关信息。
2. 技术路线（1）语料库构建和预处理：首先需要采集和整理中文语料，并进行文本预处理，如分词、去停用词等。
（2）实体识别算法：采用基于条件随机场（CRF）的序列标注算法对中文文本进行实体识别。
并结合外部知识库，如百度百科、中文维基百科等，提高实体识别准确率。
（3）关系抽取算法：采用基于卷积神经网络（CNN）的模型来从文本中进行关系抽取。
根据实体之间的语义信息和位置关系，抽取实体之间的关系。
（4）事件抽取算法：采用基于深度学习的事件抽取模型，包括事件类型分类和论元识别两个子任务。
通过训练模型，自动地从文本中挖掘出各种事件类型及其相关信息。
国内图书分类号: TP301.6 密级：公开 国际图书分类号: 681.14
西 南 交 通 大 学 研 究 生 学 位 论 文
基于Web的大规模中文人物信息提取研究 年 级 二〇一〇级 姓 名 胡万亭 申请学位级别 硕 士 专 业 计算机系统结构 指 导 教 师 杨燕 教授
二〇一三 年 五 月 Classified Index: TP301.6 U.D.C: 681.14
Southwest Jiaotong University Master Degree Thesis
RESEARCH ON LARGE-SCALE CHINESE PEOPLE INFORMATION EXTRACTION BASED ON WEB
Grade: 2010 Candidate: Wanting Hu Academic Degree Applied for: Master Speciality: Computer Architecture Supervisor: Prof. Yan Yang
May,2013 西南交通大学 学位论文版权使用授权书
本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权西南交通大学可以将本论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复印手段保存和汇编本学位论文。
本学位论文属于 1．保密□，在 年解密后适用本授权书； 2．不保密□，使用本授权书。 （请在以上方框内打“√”）
学位论文作者签名： 指导老师签名： 日期： 日期： 西南交通大学硕士学位论文主要工作（贡献）声明 本人在学位论文中所做的主要工作或贡献如下： 1、 采集人物相关网页数据，主要包括编写程序下载好大夫在线、评师网、百度百科等网站数百万网页，CNKI网站三千多万条论文数据。 2、 对基于统计的网页正文提取算法做出一些改进，并结合DOM解析工具实现正文提取程序。用该程序提取了网页的正文。 3、 完成分词系统的组织机构名识别模块，主要工作包括：统计词语词频并排序、整理机构后缀词词典、建立机构名词典、统计机构名组成词词频、构建数学模型并实现基于词频统计的机构名识别算法。用该分词系统完成对网页正文的分词。 4、 编程实现对半结构化和非结构化人物信息的提取，其中非结构化人物信息的提取采用基于规则的提取算法，手动建立了规则库，规则依赖于实验室分词系统对正文的分词标注。
本人郑重声明：所呈交的学位论文，是在导师指导下独立进行研究工作所得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中作了明确说明。本人完全了解违反上述声明所引起的一切法律责任将由本人承担。
学位论文作者签名： 日期： 西南交通大学硕士研究生学位论文 第I页 摘 要 现代人越来越依赖于从互联网上检索信息，人物信息是人们关注检索的一个重要领域。本文致力于抽取尽可能多的重要人物信息，构建一个人物信息的知识库，既可以作为人物搜索引擎的知识库，也可以作为语义搜索引擎的知识库的人物相关部分。网络上有海量的人物信息，但是这些信息格式多样、内容纷乱，大量的垃圾信息又充斥其中，如何从互联网中自动高效地抽取准确的信息相对复杂，有很多问题需要解决。本文研究了一个从网页数据采集、网页正文抽取、中文分词处理到人物信息结构化的完整过程，每个部分都对应论文的一章。 首先是网页数据的采集。论文详述了人物信息网页来源的选取和网页的下载方法。网页下载越来越困难，网站对爬虫程序的限制越来越严，甚至采取了各种反爬虫措施，比如对同一IP访问频率的限制。作者自己编写程序下载网页数据，针对网站的不同情况采用了三种网页数据的下载方式：一般下载方式、代理下载方式和动态网页数据的下载方式。 然后是对网页正文进行抽取。论文综述了网页正文抽取的相关研究，采用了基于统计和DOM的方法进行正文抽取。方法采用的统计信息是正文字长、超链接数和结束标点符号数。对每个容器标签，统计三个信息值后，利用它们的数量比值判断标签是否正文标签，进而抽取正文。 接着是对网页正文进行分词处理。常见的分词系统在实体识别方面存在不足，不能很好适用于知识抽取、自然语言处理等。本文分词处理使用的是西南交大思维与智慧研究所开发的分词系统，该系统在实体识别方面显著优于其它分词系统。机构名识别算法由本文作者实现，算法基于词频统计。实验中训练数据主要通过百度百科词条整理得到。训练时，作者利用百度百科词条名在词条文本中的频数统计，进行机构构成词的词频统计。在此基础上，构建了数学模型，实现了组织机构名识别算法。 最后是网页人物信息的结构化。网页上的人物信息一般以半结构化和非结构化呈现，人物信息抽取的最后部分就是抽取半结构化和非结构化的人物信息并保存为结构化的人物信息。对于半结构化人物信息，需要正文去匹配人物属性词典，然后结合简单规则，直接提取属性值就行了，方法简单而有效。对于非结构化人物信息的提取，采用基于规则的提取方法，过程中建立触发词库和规则库，触发词库包括基本人物属性和对应的触发词，规则库是人工定义的提取属性值的规则。
关键词：信息抽取；结构化；分词；词频统计；正文抽取 西南交通大学硕士研究生学位论文 第II页 Abstract
Currently，people increasingly rely on the Internet to retrieve information. The information about people is an important aspect. The aim of this thesis is extracting information of famous people as much as possible. It can be used as a knowledge base of the people search engine, also can be used as a part of the knowledge base of the semantic search engine. This is vast personal information on the network. But, the format of information is different and complex. At the same time, a lot of spam full of the Internet. So, extracting accurate information from the network automatically and relatively faces with many difficulties. This thesis proposes a complete process of personal information extraction. It consists of downloading page, extracting webpage content, word segmentation and extracting structured personal information. Firstly, this thesis introduces the processing of data collection. The thesis narrates the process of selecting Web data sources and ways of page-downloading. It is more difficult to download page than in the past. Some Websites take a variety of measures against reptiles, such as limiting access frequency of the same IP. The writer makes up the downloading program and used three ways of page-downloading: general way, agent download way and dynamic Web data download way. Then, the content of page should be extracted. This thesis summarizes the relative research of content extraction and uses the extraction way based on statistics and DOM. To each container label, the thesis gets content length, the number of links and the number of end punctuation and computes their ratio. Then, it can be judged that whether the label contains content. The next step is word segmentation. Common segmentation systems are less effective in entity recognition so that they don’t suite for knowledge extraction and natural language processing. The segmentation system of Southwest Jiaotong University is better than the other system in entity recognition. And, the organization name recognition algorithm is implemented in this thesis. The recognition algorithm is based on word frequency statistics. Training data mainly comes from Baidu encyclopedia entries. In the process of training, the organization names are split into a number of words and all the words frequency are computed. On the basis of computation of words frequency, this thesis establishes the mathematical model and implements the algorithm of organization name recognition. Finally, the most critical step is extracting the structured personal information. The personal information commonly is semi-structured and unstructured. At this part,
