面向Web的中文信息处理技术研究

第３８卷　Ｖ０１．３８　第１０期　ＮＯ．１０　计算机工程　Ｃｏｍｐｕｔｅｒ　Ｅｎｇｉｎｅｅｒｉｎｇ　２０１２年５月　Ｍａｖ　２０１２　・人工智能及识别技术・　文章编号：１０００—－３４２８（２０１２）１ｍ＿＿０ｌ８２—＿０３　文献标识码ｔ　Ａ　中圈分类号：ＴＰ３０１．６　面向Ｗｅｂ信息检索的虚核文本分类算法　

李静，杨小帆，孙启干　（重庆大学计算机学院，重庆４０００４４）　摘要：提出一种虚核文本分类算法。通过单类别下标记数据的特征词频计算该类别虚核在每个特征项处的特征引力场强，进而获得类别　虚核，根据类别虚核对待标记文本产生的引力大小判断其所属类别。实验结果表明，与ｋ近邻算法和朴素贝叶斯算法相比，虚核算法在分　类精度和时间开销方面具有较大的优势。　关键词：信息检索；文本分类；特征选择；向量空间模型；引力场模型；虚核　Ｖｉｒｔｕａｌ　Ｋｅｒｎｅｌ　Ｔｅｘｔ　Ｃａｔｅｇ０ｒｉｚａｔｉ０ｎ　Ａｌｇｏｒｉｔｈｍ　ｆｏｒ　ｂ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｒｅｔｒｉｅｖａｌ　ＬＩ　Ｊｉｎｇ，ＹＡＮＧ　Ｘｉａｏ—ｆａｎ，ＳＵＮ　Ｑｉ－ｇａｎ　（Ｃｏｌｌｅｇｅ　ｏｆＣｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ，Ｃｈｏｎｇｑｉｎｇ　Ｕｎｉｖｅｒｓｉｔｙ，Ｃｈｏｎｇｑｉｎｇ　４０００４４，Ｃｈｉｎａ）　［Ａｂｓｔｒａｃｔ］Ｔｈｉｓ　ｐａｐｅｒ　ｐｒｏｐｏｓｅｓ　ａ　ｎｏｖｅｌ　Ｖｉｒｔｕａｌ　Ｋｅｒｎｅｌ（ＶＫ）ｔｅｘｔ　ｃａｔｅｇｏｒｉｚａｔｉｏｎ　ａｌｇｏｒｉｔｈｍ．Ｉｔ　ｏｂｔａｉｎｓ　ａ　ｖｉｒｔｕａｌ　ｋｅｒｎｅｌ　ｆｏｒ　ｅａｃｈ　ｃａｔｅｇｏｒｉｚｅ　ｔｈｒｏｕｇｈ　ｅｖａｌｕａｔｉｎｇ　ｔｈｅ　ｃｏｎｔｒｉｂｕｔｉｏｎ　ｏｆ　ｅａｃｈ　ｆｅａｔｕｒｅ　ｔｅｒｍ．Ｗｈｅｎ　ａｎ　ｕｎｌａｂｅｌｅｄ　ｔｅｘｔ　ｃｏｍｅｓ，ｔｈｅ　ａｌｇｏｒｉｔｈｍ　ｃａｎ　ｇｉｖｅ　ｔｈｅ　ｃａｔｅｇｏｒｉｚｅ　ｉｔ　ｂｅｌｏｎｇｓ　ｔｏ　ｔｈｒｏｕｇｈ　ｅｖａｌｕａｔｉｎｇ　ｔｈｅ　ａｔｔｒａｃｔｉｏｎ　ｗｈｉｃｈ　ｉｓ　ｆｒｏｍ　ｅｖｅｒｙ　ｖｉｒｔｕａｌ　ｋｅｒｎｅ１．Ｅｘｐｅｒｉｍｅｎｔａｌ　ｒｅｓｕｌｔｓ　ｓｈｏｗ　ｔｈａｔ　ｃｏｍｐ￣ｅｄ　ｗｉｔｈ　ｔｈｅ　ｋ　Ｎｅａｒｅｓｔ　Ｎｅｉｇｈｂｏｒ（ｋＮＮ）ａｎｄ　ｎａｉｖｅ　Ｂａｙｅｓ　ａｌｇｏｒｉｔｈｍｓ，ｔｈｅ　ｐｒｏｐｏｓｅｄ　ａｌｇｏｒｉｔｈｍ　ｉｓ　ｒｅｍａｒｋａｂｌｙ　ｓｕｐｅｒｉｏｒ　ｔｏ　ｔｈｅｍ　ｉｎ　ｔｅｒｍｓ　ｏｆ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ｅｆｆｉｃｉｅｎｃｙ　ａｎｄ　ｔｉｍｅ　ｃｏｓｔ．　［Ｋｅｙ　ｗｏｒｄｓ］ｉｎｆｏｒｍａｔｉｏｎ　ｒｅｔｒｉｅｖａｌ；ｔｅｘｔ　ｃａｔｅｇｏｒｉｚａｔｉｏｎ；￣ａｔｕｒｅ　ｓｅｌｅｃｔｉｏｎ；ｖｅｃｔｏｒ　ｓｐａｃｅ　ｍｏｄｅｌ；ａｔｔｒａｃｔｉｏｎ　ｆｉｅｌｄ　ｍｏｄｅｌ；Ｖｉｒｔｕａｌ　Ｋｅｍｅｌ（ＶＫ）　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００—３４２８．２０１２．１０．０５５　

科技１吾恳　慨ｂ信息抽取技术研究　戴慧敏　。朱艳辉　唐杰　（１．湖南工业大学计算机与通信学院２．湖南工学院计算机与信息科学学院）　［摘要］随着互联网技术的快速发展，Ｗｅｂ信息呈现爆炸性增长，人们发现用信息检索的方法不能及时的得到想要的信息，于是出　现了信息抽取，Ｗｅｂ信息抽取是－￣Ｙ，ＸＷｅｂ文档中自动抽取感兴趣信息的过程。本文主要介绍Ｗｅｂ信息抽取的研究现状及抽取工具　和抽取方法。　［关键词］Ｗｅｂ信息抽取抽取工具抽取方法　Ｗｅｂ信息抽取就是从Ｗｅｂ页面所包含的无结构或半结构的信息中　识别用户感兴趣的数据，并将其转化为结构和语义更为清晰的格式。　信息抽取技术其实是一种文本处理技术，其目的是根据预定义的信息，　从自然语言文本中抽取出特定的信息，并将其以结构化的形式存储在　数据库中供用户查询使用。　在国外，从２Ｏ世纪８０年代开始，信息抽取研究蓬勃开展起来。随　着信息抽取技术的发展，出现了一些典型的信息抽取系统，如基于自然　语言处理方式的信息抽取系统有ＲＡＰＩＥＲ，ＳＲＶ，ＷＮＩＳＫ；基于包装器　（Ｗｒａｐｐｅｒ）归纳方式的信息抽取系统有ＴＡＬＫ—ＥＲ，ＳＯＨＴＭＥＡＬＹ，ＷＩＥＮ；　基于ＨＴＭＬ结构的信息抽取系统有ＬＩＸＴＯ等。各种信息抽取工具的分　类方式并不是一成不变的，有些工具可以同时属于其中的两种或多种　类型。　抽取工具方面，随着许多新技术的发展，也开发了许多信息抽取工　具。南加州大学信息科学研究所研制开发了一个信息集成系统，应用　多种人工智能技术，构造了一个智能的动态接口。该系统采用带有明　确的分隔符以区分不同元素的元组列表的形式来表达半结构化的信　息；美国斯坦福大学计算机科学系的Ｈａｍｍｅｒ等人开发了一个用于从　Ｗｅｂ上抽取相关信息的工具，利用网页的结构特点来构造抽取规则，其　准确率较高，但是针对不同的网页结构该工具需要定义不同的规则，通　用性较差。　国内在信息抽取方面的研究起步较晚，中文信息抽取系统的完整　实现还处于探索阶段。Ｉｎｔｅｌ中国研究中心的ＺｈａｎｇＹｉｍｉｎ等人在计算　语言学协会第３８届年度会议（ＡＣＬ一２０００）上演示了他们开发的一个信　息抽取系统，该系统用于抽取以中文命名的实体及其相互关系。国内　比较著名的研究是中国人民大学数据与知识研究所提出的基于预定义　模式的包装器、中国科技大学提出的基于多层模式的多记录网页信息　抽取方法、中国科学院软件研究所提出的基于ＤＯＭ的Ｗｅｂ信息抽取、　浙江大学人工智能研究所提出的基于本体论的Ｗｅｂ信息抽取等。这些　信息抽取技术的提出对解决Ｗｅｂ信息抽取中存在的问题有一定的帮　助，推动了抽取技术的发展，但这些抽取方法有其局限性。如大部分信　息抽取系统采用自定义的语言描述抽取规则，导致抽取模式不统一，扩　展性不强。　现阶段的ｗｅｂ信息抽取方法，分类的角度有多种。　根据Ｗｅｂ信息抽取对象划分，可以分为三种类型。从自由格式的　文本中抽取出所需要的信息内容：基于自然语言处理（ＮＰＬ）的方式，基　于规则的方式，基于统计学习的方式；从半结构化的文本中，抽取出所　需要的信息内容；从结构化的文本中抽取出所需要的信息内容。　根据自动化程度可以分为：人工方式的信息抽取、半自动方式的信　息抽取和全自动方式的信息抽取三大类。　根据抽取工具采用的原理不同对信息抽取方法进行的分类主要　有：基于自然语言处理方式的信息抽取；基于包装器归纳方式的信息抽　取；基于Ｏｎｔｏｌｏｇｙ方式的信息抽取；基于Ｗｅｂ查询的信息抽取。　Ｗｅｂ信息抽取虽然在不断的向前发展，但是也存在很多不足，并且　面ｌ临很多挑战。首先，现有信息抽取的抽取来源大多数都是从半结构　化的ＨＴＭＬ文本中抽取，那么对那些含有新技术的动态网页的信息抽　取是否能达到很好的召回率和查准率？其次，信息抽取的自动化程度　还没有达到完全自动，大多数时候还是需要用户的参与。还有，对中文　网页的信息抽取也是一个难点。　总之，Ｗｅｂ信息抽取是一个十分活跃的领域，虽然现在得到了一定　的发展，但也存在很多的不足之处，随着信息抽取的运用已变得越来越　广泛，需要更多这个领域的研究，从而使抽取技术变得更加自动化。　参考文献　［１］崔春．Ｗｅｂ信息抽取研究综述［Ｉ］．电脑知识与技术，２０１ｌ（４）：　７－１Ｏ　［２］石宇．基于ＸＭＬ的Ｗｅｂ信息抽取与集成技术的研究［Ｄ］．大连：　大连海事大学硕士学位论文，２００６　ｌ　３　ｊ　Ｈａｍｍｅｒ　Ｊ．Ｔｅｍｐｌａｔｅ—ｂａｓｅｄ　ｗｒａｐｐｅｒｓ　ｉｎ　ｔｈｅ　ＴＳＩＭＭＩＳ　ｓｙｓｔｅｍ．Ｉｎ　Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　１９９７　ＡＣＭ　ＳＩＧＭＯＤ　ｉｎｔｅｒｎａｔｉｏｎａｌ　ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｍａｎａｇｅｍｅｎｔ　ｏｆｄａｔａ，１９９７：５３２—５３５　［４］蒲筱哥．基于Ｗｅｂ的信息抽取技术研究综述［Ｉ］．现代情报，　２００７．２７（１０）　（上接第３１９页）　ｓ１，ｓ２这两个按钮，另外加上数码管，仿真控制中　心，用ｓ１，ｓ２模拟系统的各个状态。ｓｌ，ｓ２都是不自锁的开关，当按ｓ１时，　数码管加ｌ，当按ｓ２时，数码管减１。程序流程图如图４。　将结果传给ＩＥ浏览器：（此程序是被客户端浏览器点击后才运行　ＣＧＩ程序（图５）。　当我们远离着家，从互联网上发现家里的设备有异常变化时可以　通过互联网控制家里的设备，为了实现这一功能，我们可以通过在网页　上写上一个数，把数传给数码管来模拟这一功能。　ＣＧＩ程序流程图如图６：　（４）Ｎｅｔ—ｓｔａｒｔ通信程序　此程序的功能在于跟单片机通信，然后将结果输出到网页上。在　这里，通信协议跟单片机的波特率一样，一位停止位，无校验位。上面　的硬件设计已经介绍过利用拨码盘来模拟电冰箱，发光二极管模拟电　灯。因为这一功能是交互式的，所以在通信上有３个程序，一个是接收　单片机电路的电冰箱温度的程序，一个是开电灯程序，一个是关电灯程　序。读电冰箱的程序将读的温度实时显示在网页上，开电灯程序是通　过网页上的一个开按钮，点击后，执行开电灯程序，程序向单片机电路　发送数据Ｏ１，类似的数据０２为关电灯。　１）读电冰箱程序流程图：（图７）　结果的输出同Ｎｅｔ—ｓｔａｒｔ评估板数码管程序一样，不是很严格实时　・－——３２０・－——　的显示ｆｉｌｅ２文件的值。流程见图８。　２）开关电灯程序流程图：（图９）　

面向Web服务的“江苏省太湖流域水环境信息共享平台”设计

摘 要：太湖流域是我国最大的综合工业基地之一，社会经济的快速发展和城市化速度的加快加剧了环境污染。“江苏省太湖流域水环境信息共享平台”旨在充分利用先进的gis技术、数据库技术、网络通讯技术、分布式计算等技术，建设一个科学、高效的环境地理信息系统。

关键词：环境保护； gis； 平台设计； web服务； ria

中图分类号：x321 文献标识码：a 文章编号：1006-3315（2014）04-174-001

一、引言

太湖流域自然条件优越，水陆交通便利，农业生产基本条件好，工业发达，经济基础雄厚，人口稠密，劳动力素质高，科技力量强，市场信息灵通，基础设施和投资环境较好，有苏州、无锡、常州、镇江等大中城市及迅速发展的城镇乡村。然而，社会经济的快速发展和城市化速度的加快加剧了环境污染。“江苏省太湖流域水环境信息共享平台”建设的总体目标是充分利用先进的gis技术、数据库技术、网络通讯技术、分布式计算等技术，建设一个科学、高效的环境地理信息系统。在充分整合与利用环境空间数据和基础地理信息的基础上，实现对环境空间信息的科学组织和有效管理，使环境管理人员能够方便地对各种环境空间信息进行可视化管理，并实现环境空间信息的查询、维护以及专题分析、专题制图、信息服务等功能，并能结合环境管理业务和技术应用需要，为环境管理决策分析提供科学依据。

二、平台设计

1.平台设计的主要内容

“江苏省太湖流域水环境信息共享平台”的建设成果主要包括数据平台建设和应用系统开发两个方面。

1.1数据平台建设。平台中的数据主要分为基础地理数据和环境专题数据两大类。

基础地理数据包括基础矢量数据、基础影像数据和地名数据三类。基础矢量数据和基础影像数据采用地图缓存技术存储，从1：50万到1：2千的比例尺分成了七个比例尺级别。地名数据建立了数据服务层，供用户查询。

在环境专题数据中，与地理坐标有关的数据，例如工业污染源、国家考核断面、太湖湖体测点、污水处理厂、水质监测站等与地理信息直接相关的信息，我们称之为环境基础信息，其他与地理信息无直接关联的数据，例如各监测点历年监测结果、普查结果以及环保行业的政策法规，我们称之为环境属性信息。

中文信息处理的应用研究报告

在多元化的信息中，文字信息是一种最普遍的形式。例如：文件、信函、报表、记录、印刷品等基本上采用文字表达的形式。

“中文信息处理”一词是从20世纪70年代流行起来的，实际上，自古以来，中文信息处理工作源远流长。可以说，自从有了中文（汉字），即相应地出现了中文信息处理的工作。从开始编制第一部汉字字典和编写第一篇文摘起就开始了中文信息的分析与综合处理的研究。然而，现代人们言及的“中文信息处理”包括了有关中文信息的采集、存储、传输和利用，是指利用电子计算机和现代通信、照明、排版、等自动化技术对汉字信息进行输入输出整理、加工、转换、传输、复制、等各种处理的一项新兴的科学技术。其交叉性使之成为“信息科学”的分支；其综合性应用使之成为“系统工程”的一个实例。它涉及到语言文字学、计算机科学、信息科学、工程心理学、数理统计学、声学、自动识别技术、人工智能、网络技术、文献检索学等等。故可以说它是一门新兴的多边缘科学。中国要实施先进的信息处理技术手段，中文信息化是一项重要的资源开发工作。中文信息网已逐渐成为我国现代化社会的神经系统，它将促进人民文化和社会生产效率迅速提高。中文信息处理工程已建立起现代化中文语言文字信息系统，使凝聚在语言文字中的知识信息发挥更大效能，使汉语汉字得到最佳利用。

计算机中文信息处理技术从70年代至今，经历20多年，完成了由初级阶段向比较成熟阶段的过渡，这是微电子技术和IT技术高速发展以及迫切的应用需求所促成的。

现在，许多移动电话都已具备中文菜单和显示中文短信息功能，但都有缺陷，还不是真正意义上的“全中文”。只有当它既能显示中文又能输入和处理中文，也就是说，能直接利用手机进行中文输入时，才可以说是“全中文”。然而，一般移动电话仅有数字键，这无疑对汉字数字输入法（简称数字码)提出了很迫切也是很高的要求。顺便说一下，在WAP技术成为新的热点之时，连英文也面临着需要编码输入的严峻事实。