基于MapReduce的多文档自动文摘的设计与实现

基于MapReduce的微博文本采集平台于留宝;胡长军;苏林晗【期刊名称】《计算机科学》【年(卷),期】2012(039)0z3【摘要】Micro-blogs is not only large volumes of data but also high real-time, while it is difficult to obtain sufficient micro-blogs in a short period of time by using traditional Web text crawling methods. To solve the problem about data collection when researching the micro-blogs, this paper presents a data collection platform based on MapReduce which is set up on hadoop platform, and takes full advantage of the characteristics of the hadoop distributed framework to crawler micro-blogs with multi-node at the same time, greatly improving the crawling rate. To solve the problem that the input data of micro-blogs collection is too small that hadoop cannot effectively balance load, this paper presents we can effectively solve the problem with the input of a number of small files. Finally we test sina micrcrblogs as an example. The results show that the system is of low cost,scalable,and of high performance. This system can be widely used in public opinion analysis,communication and social network based on the data on micro-blogs,as their basic data collection platform.%微博不仅数据量大,而且实时性高,采用传统的Web文本爬取方式,很难在短时间内获取足量的微博.为了解决研究微博数据面临的数据采集问题,提出了基于MapReduce的微博数据采集平台,将整个微博抓取系统部署在hadoop平台上,充分利用hadoop分布式框架的特点,实现多节点同时抓取微博,很大程度上提高了抓取速率；并就微博采集过程中因输入数据过小导致hadoop不能有效均衡负载的问题,提出了采用多个小文件的输入方式,有效地解决了负载不均衡的问题.最后以Sina微博为例进行结,结果表明,该系统成本低、扩展性好、效率高,可广泛应用于基于微博数据的舆情分析以及传播学和虚拟社会学等方面的研究,并作为其基础数据采集平台.【总页数】3页(P143-145)【作者】于留宝;胡长军;苏林晗【作者单位】北京科技大学计算机与通信工程学院北京100083;北京科技大学计算机与通信工程学院北京100083;北京科技大学计算机与通信工程学院北京100083【正文语种】中文【中图分类】TP311【相关文献】1.政务微博与传统媒体微博在灾难传播中的框架表达比较研究--基于雅安地震后政务微博和传统媒体微博1230条微博文本的分析 [J], 杨菁2.基于MapReduce的新型微博用户影响力排名算法研究 [J], 徐文涛;刘锋;朱二周3.基于PageRank的微博排名MapReduce算法研究 [J], 舒琰;向阳;张骐;张熊熊;张君瑛4.基于微博平台的用户评论数据采集 [J], 黄红桃;江盈锋5.基于MapReduce微博数据清洗的研究与实现 [J], 王国珺;林峰因版权原因，仅展示原文概要，查看原文内容请购买。

经 网 络 、贝 叶 斯(Bayes)和 决 策 树 等 。 其 中 贝 叶 斯 分 类 方 法 是 基 于 贝 叶 斯 学 习 方 法,其 原 理 虽 然 较 简 单,但 是 其 在 实 际 应 用 中 很 成功。
由 Google 实 验 室 提 出 的 MapReduce 并 行 分 布 式 计 算 模 型
软件时空
… emit(k1, v1) //统计词频 TF 值 … emit(k2, v2)//统计类文档数 … emit(k3, v3)//统计总文档数 … } reduce(key, values) { sum = 0; while (values.hasNext()) {
sum += values.next().get(); } collect(key, sum); } 计算 DF、类 中文 档 数 和语 料 中 总 词 数 和 计 算 TF 值 是 类 似 的计算过程。
软件时空
文 章 编 号 :1008-0570(2010)03-3-0190-02
《微计算机信息》(管控一体化 )2010 年第 26 卷第 3-3 期
基于 MapReduce 的并行贝叶斯分类算法的设计与实现
Design and Implementation of Parallel Bayes Classification Algorithm Using MapReduce
3 实验与结果分析
3.1 实验环境和方法简述 Hadoop 是 MapReduce 框架的 Java 实现,我们的实验就是 基于此开源框架中实现。 本实验的数据使用搜狗实验室提供的文本分类语料库,该 语 料 库 是来 自 搜 狐新 闻 08 年 1 月-6 月 期 间 18 个频 道 的 数 据, 本 实 验选 取 了 奥运 、体 育 、IT、财 经 、旅 游 、教 育 、房 产 、娱 乐 和 女 性 10 个类做测试。原始语料库共 3.4G 大小,我们选取其中 2.8G 的 数 据 作 为 训 练 集 ,650M 数 据 作 为 测 试 集 , 并 分 别 使 用 Paoding's Knives 中 文 分 词 器 分 别 对 训 练 集 和 测 试 集 进 行 分 词 处理。 Hadoop 集 群 中 各 节 点 配 置 :Intel Pentium Dual CPU

基于MapReduce的多文档自动文摘的设计与实现胡琪;邹细勇【期刊名称】《计算机工程与应用》【年(卷),期】2011(047)035【摘要】Multi-document summarization is a technology of natural languages processing, which extracts important information from multiple texts about same topic according to ratio of compression.lt can execute data mining of Internet informa tion from the global perspective.In the face of rapid growth of network resources, how to process automatic text summariza tion accurately and efficiently from mass data source is a main challenge in multi-document summarization.MapReduce is a distributed and parallel computing method recommend by Google which can be deployed in cluster of any ordinary commer cial computers.lt can coordinate compute tasks of each computer in cluster, take full advantage of the processing power of computer cluster and analyze mass data efficiently.This paper presents an effective experimental model, which implements multi-document automatic summarization technology with MapReduce, which is a distributed and parallel framework.The re sults show that MapReduce can effectively improve the performance in the processing of extracting abstracts in the premise of the quality of summarization.%多文档文摘是将同一主题下的多个文本描述的主要的信息按压缩比提炼为一个文本的自然语言处理技术,它可以从全局的角度对网络信息进行挖掘.在面对飞速增长的网络资源时,如何准确、高效地从海量数据源内进行自动文摘处理,是多文档自动文摘面临的主要难题之一.MapReduce是Google提出的一种分布式并行计算方法,它可以部署在任意一个普通商用计算机组成的集群上,能够有效地协调集群内各计算机的计算任务,充分利用计算机集群的处理能力,能够对海量数据进行有效的分析处理.提出了一个有效的实验模型,将MapReduce分布式并行框架应用在多文档自动文摘技术中.实验结果表明,MapReduce在保证文摘质量的前提下,能够有效地提高文摘抽取过程的处理性能.【总页数】4页(P67-70)【作者】胡琪;邹细勇【作者单位】中国计量学院光学与电子科技学院,杭州310018;中国计量学院光学与电子科技学院,杭州310018【正文语种】中文【中图分类】TP311【相关文献】1.基于非完全吸收马尔科夫链的多文档自动文摘算法 [J], 高晶;房俊2.基于主题模型与冗余控制的中文多文档自动文摘技术研究 [J], 袁龙云;张琳3.基于局部主题关键句抽取的多文档自动文摘方法 [J], 徐超;王萌4.基于主题模型与冗余控制的中文多文档自动文摘技术研究 [J], 袁龙云;张琳5.基于Siamese LSTM的中文多文档自动文摘模型 [J], 龚永罡;王嘉欣;廉小亲;裴晨晨因版权原因，仅展示原文概要，查看原文内容请购买。

基于自适应聚类的中文多文档自动文摘研究的开题报告摘要：随着信息时代的到来，人们需要处理越来越多的文本信息，如何有效地获取所需信息并快速获取其中的精华已成为了一项热门的研究课题。

本文的研究目标旨在开发一种基于自适应聚类的中文多文档自动文摘算法，该算法可以根据不同的文本特点灵活地调整聚类参数，提高文本摘要的质量和效率。

研究将采用实验和模拟数据对算法进行比较和分析。

关键词：自适应聚类；中文多文档自动文摘；算法；质量和效率。

一、研究背景在信息爆炸的时代，需要处理的文本信息越来越多，如何有效地获取所需信息并快速获取其中的精华已成为了一个热门的研究课题。

随着自然语言处理技术的发展，自动文摘技术逐渐成为解决这一问题的重要手段。

目前，自动文摘技术已经被广泛应用于新闻报道、科技文献、商业信息等领域。

自动文摘可以通过对文本进行自动提取、筛选和重组，将文本中的核心信息提炼出来，以便用户快速地浏览和获取所需信息。

在现有的文本摘要技术中，基于聚类的文本自动摘要技术已经得到广泛的应用。

它通过将文本中的句子聚类，以提取出文本中的主题信息。

然而，现有的聚类算法往往不能有效地处理复杂的文本数据，从而导致摘要的质量和效率不稳定。

因此，本研究旨在开发一种基于自适应聚类的中文多文档自动文摘算法，该算法可以灵活地调整聚类参数，提高文本摘要的质量和效率。

同时，本研究还将使用实验和模拟数据对算法进行比较和分析，以便更好地评估和优化所提出的算法。

二、研究内容和方法本研究的主要内容是开发一种基于自适应聚类的中文多文档自动文摘算法。

具体而言，研究将采用以下两种方法：1. 自适应聚类方法本方法将使用自适应聚类算法来处理文本数据。

与传统的聚类算法不同，自适应聚类算法可以根据不同的文本特征自动调整聚类参数，从而提高文本摘要的质量和效率。

本研究的自适应聚类方法将与其他聚类算法进行比较和分析，以便更好地评估其性能和优越性。

2. 中文多文档自动文摘算法本方法将利用聚类结果来进行多文档自动文摘。