网络舆情分析系统的研究与设计
摘要：网络舆情是指在一定的社会空间内，通过网络围绕中介性社会事件的发生、发展和变化，民众对公共问题和社会管理者产生和持有的社会政治态度、信念和价值观。随着科技的发展，政府迫切需要更好地监控与引导网络，本文通过研究现今网络舆情分析系统的技术特征，并根据需要，介绍了网络舆情分析系统的一种可行模型，能够提高网络舆情分析的准确性和灵活性，有效促进我国网络舆情分析工作的迅速发展。
关键词：网络舆情；网页文本结构化；文本分类；文本聚类
互联网的高速发展使网络信息越来越难以处理，所以，传统的以人工分类为基础的处理方式已完全不能够适应如此规模的网络信息量得处理工作。作为一个新的研究课题，对网络舆情的监控和分析，必须建立在高科技的现代信息技术当中，从而能够及时面对网络舆情并第一时间对其进行主动控制和疏导。
一、网络舆情分析系统的总体模型概括
网络舆情分析系统根据用户的不同需求，对特定种类的以网络为载体的新闻和消息在收集后通过网页净化、词频统计等手段对信息进行有效的预处理活动，并将预处理的所得结果入库，并通过数据挖掘算法对信息进行分析，最后会得到一定时期内网络所出现出现的热点信息，并对其进行追踪，得到事件的详细信息。
1.1 输入输出层面
输入层指互联网搜索、数据源等。随着网络在获取信息方面的便捷性和灵活性的提高，许多信息平台，如博客、新闻和政府网站都成为网络舆情的监控源。输出层一般来说指的是前端展示输出，对于网络舆情分析系统来说，其输出程序主要根据用户需要提供信息，其信息的种类呈现出多样化的特点。
1.2 业务处理层面
1.2.1网络舆情系统信息采集以及预处理方式
网络舆情监控系统需要在了解用户需求的前提下，设定所需主题或目标，并利用人工和自动相结合的信息采集手段完成信息收集的任务。对于已经定位的网络资源，需要知道网络资源是否已进入数据库中，若己保存到数据库，系统需继续进行其他资源的收集。网络舆情信息预处理是网络舆情信息分析系统的准备阶段，能够对网页当中的信息进行数据清洗和分类处理后，形成格式化的数据然后上传到数据库，并进行信息过滤，滤除无关信息，保存重要信息。
1.2.2 网络舆情数据存储
舆情数据存储主要包含数据入库、网页快照与附件存储等，舆情数据需要在收集后保存在相应的数据库中，并需要根据不同种类的信息类型，对数据库进行相应的分类。
1.2.3网络舆情语义分析
网络舆情语义分析作为整个系统最重要的模块，能够挖掘出在信息预处理模块中所获得的信息，所运用的技术主要有追踪热点、关联分析与趋势分析等，能够有效实现网络舆情监控和热点追踪的功能。在此过程中，所使用信息分析的方法基于向量空间模型，采用多种组合式的数据挖掘技术和算法，更好地对文本信息分析和处理，保证了整个系统基于用户需求，即使进行策略调整，使整个系统达到运行的最佳状态。
二、网络舆情信息的预处理技术手段
模板配置法、网页的文本结构化信息处理法等方法是主要的网络舆情信息数据的预处理方法，但模板配置法需设定每个信息源的网站模板，使工作量和维护量过大，而网页的文本结构化信息处理法利用页面结构分析与智能节点分析转换的方法，在自动抽取数据后，有效识别与清除网页内的无效内容，所以一般来说，网络舆情系统采用文本结构化处理方法。
Web 网页一般包括关注内容和掺杂内容两部分。关注内容是网页的主要内容，在一个网页当中，其新闻内容、帖子内容等都属于网页的关注内容，而掺杂内容指的是诸如搜索条、广告灯与主体内容无关的信息要素。所以，在信息预处理中，如何快速处理掺杂内容，成为网络舆情分析系统的重要技术之一。首先利用HTML 网页标签树实现网页净化，有效地降低网页结构的复杂性，缩减网页空间，从而节省后续分析过程的时间和空间花费。
三、网络舆情分析系统的语义分析技术
网络舆情分析系统语义分析技术，主要对各项新闻热点敏感话题等进行分析，是整个网络舆情系统的最关键技术，是影响网络舆情信息分析结果是否准确的重要手段。语义分析技术包含文档特征库、算法库、分析结果库等数据库，并采纳了数据挖掘中的文本分类和文本聚类的算法，对已完成预处理之后的网络舆情信息进行分析和处理，产生相应的分析结果库。而算法库以及算法调度和线程处理是语义分析模块的主要工作
3.1算法库管理
算法库能够有效地为每一处理线程生成一种恰当的算法供算法调度程序进行使用，在接收管理员的设置和查询要求之后，将所设置的特定信息和各种特殊信息要求存储到算法配置信息库中并进行恰当的管理。
3.2算法调度
算法调度主要负责进程的分配以及多线程的管理工作，是整个舆情分析的动力构成。通
过各种手段，控制线程的运行。而且系统为每个用户的个人进程进行控制，并可以为一个用户同时处理多个不同的进程。
3.3线程处理
每一个的线程处理，就是一次进行文本分类或文本聚类的过程，其中包括了权值向量的生成、特征选择或特征抽取、文本分类或文本聚类。首先需要通过算法库，确定其中各个部分恰当的算法，每个部分根据其特征，采用一种特定的算法。然后按照事先设定好的时间频度和处理手段，从数据库中抽取相应内容，并进行深层次的分析与处理，最后获得结果后将最终的处理结果存入相应的结果库中，并帮助用户根据自身的特定需要，进行处理结果的查询，并利用恰当的手段和表现方式，将这些分析后的所得结果展现给需要查询的用户。
四、结语
本系统的最大优点，便是能够灵活搭配算法和自由处理的架构，真正实现分析和追踪热点的效应，网络舆情分析系统的核心技术在于舆情的分析和引擎，这些技术手段包括文本分类、文本聚类、观点倾向性辨别等计算机文本信息识别技术，真正实现了热点追踪与分析。随着网络系统的发展，若本系统能够大量投入运用，将成为各个级别部门的重要网络舆情监控工具，并创造大量的经济效益和社会效益。
参考文献：
[1] Jianping Zeng,Shiyong Zhang,Chengrong Wu,Jianfeng Xie.Pre－dictive Model for Internet Public Opinion.IEEE. V ol.3,pp.7 -11,2007.
[2] 王娟.网络舆情监控分析系统构建[J],长春理工大学学报,2007（4）.
[3] 孟春艳.用于文本分类和文本聚类的特征抽取方法的研究[J],微计算机信息.2009(3).
[4] 胡学钢,董学春,谢飞.基于词向量空间模型的中文文本分类方法[J]. 合肥工业大学学报(自然科学版). 2007（10）.
[5] 许鑫,章成志,李雯静.国内网络舆情研究的回顾与展望[J]. 情报理论与实践. 2009（3）.
什么是网络舆情监测系统？ 系统背景 随着互联网的快速发展，网络媒体作为一种新的信息传播形式，已深入人们的日常生活。网友言论活跃已达到前所未有的程度，不论是国内还是国际重大事件，都能马上形成网上舆论，通过这种网络来表达观点、传播思想，进而产生巨大的舆论压力，达到任何部门、机构都无法忽视的地步。可以说，互联网已成为思想文化信息的集散地和社会舆论的放大器。 网络舆情是通过互联网传播的公众对现实生活中某些热点、焦点问题所持的有较强影响力、倾向性的言论和观点，主要通过BBS论坛、博客、新闻跟贴、转贴等实现并加以强化。当今，信息传播与意见交互空前迅捷，网络舆论的表达诉求也日益多元。如果引导不善，负面的网络舆情将对社会公共安全形成较大威胁。对相关政府部门来说，如何加强对网络舆论的及时监测、有效引导，以及对网络舆论危机的积极化解，对维护社会稳定、促进国家发展具有重要的现实意义，也是创建和谐社会的应有内涵。 系统概述 Goonie网络舆情监控分析系统依托自主研发的搜索引擎技术和文本挖掘技术，通过网页内容的自动采集处理、敏感词过滤、智能聚类分类、主题检测、专题聚焦、统计分析，实现各单位对自己相关网络舆情监督管理的需要，最终形成舆情简报、舆情专报、分析报告、移动快报，为决策层全面掌握舆情动态，做出正确舆论引导，提供分析依据。 功能特点 ·自定义URL来源及采集频率 Goonie网络舆情监控分析系统用户可以设定采集的栏目、URL、更新时间、扫描间隔等，系统的扫描间隔最小可以设置成1分钟，即每隔一分钟，系统将自动扫描目标信息源，以便及时发现目标信息源的最新变化，并以最快的速度采集到本地。 ·支持多种网页格式 Goonie网络舆情监控分析系统可以采集常见的静态网页(HTML/HTM/SHTML)和动态网页(ASP/PHP/JSP)，还可以采集网页中包含的图片信息。 ·支持多种字符集编码 Goonie网络舆情监控分析系统采集子系统能够自动识别多种字符集编码，包括中文、英文、中文简体、中文繁体等，并可以统一转换为GBK编码格式。 ·支持整个互联网采集
网络舆情中的大数据分析方法研究 网络舆情是指在网络空间中对网民和生活中的社会事件尤其是一些突发事件的看法和态度。网络舆情通常涉及社会的热点事件，因而经常在网络中快速传播，成为人们谈论的焦点。因而，对网络舆情进行分析和正确的引导显得尤为重要。文章采用大数据分析方法分析网络数据，通过聚类的方法发掘网络舆情中的热点问题。实验证明该分析方法具有较高的热点挖掘能力和及时的能力。 标签：网络舆情；大数据分析；统计方法 一、舆情信息的获取 舆情分析的第一步是要对网页中的信息进行抓取，第二步是对抓取的网页的信息进行预处理。 对网页信息抓取主要采用网络爬虫，爬虫的主要作用是将互联网上的网页下载到本地形成一个互联网内容的镜像备份。它既可以爬取网页链接，又可以爬取网页的文本信息和图像信息。它通过关键字的搜索将对应的统一资源定位为相关的网页页面进行抓取，通過对其进行文本和图像的解析，提取对应网页的文本和图像信息并进行保存。本文中主要提取的是网页的文本信息。 而中文分词是把中文中的汉字系列分割为一个个独立的中文词汇。由于中文词汇与词汇之间的界限远不如英文单词那样清晰，因此，中文分词也是一个技术难点。当前中文分词主要是从主要包括字符串匹配分词方法和机器学习的统计分词方法。字符串匹配分词方法是事先通过一定的方法建立一个庞大的数据库字典，按照一定的方法把待分词的词汇与数据库字典中的词进行匹配从而实现分词的方法。机器学习的统计分词方法是通过词汇出现的频率和在文中的含义等信息对汉字的这些特征进行训练，从而实现分词。字符串匹配分词方法比较准确，但缺乏灵活性，机器学习的统计分词方法能对词的语意进行识别，但由于算法的不完善，准确率不高，因此，在实际中通常是将这两种结合来实现分词。 中文分词的词性主要包括名词、动词、形容词和副词等，形容词和副词常表示事物的状态和特征，因而经常能表明作者对事件的喜怒哀乐之情；动词一般就是用来表示动作或状态，它是对事物采取的动作的直接体现。这些词在舆情分析中就显得尤为重要。 二、文档特征的提取 一个网页的文本通过分词后会有成百上千个中文词汇，如果直接对其分类会影响分类的效率和准确性。因此，在分类前要去除一些无关的词语，留下最能代表文档特征的一些分词作为文档的特征。文档特征提取最主要的方法是把文档的内容和词频进行结合。
舆情监控系统可行性分析报告 2011年4月
1 目录 第一章项目总述 (2) 1.1 系统背景 (2) 1.2 数安舆情监控系统的必要性 (2) 1.3 我国网络舆情现状 (3) 1.4 系统设计方针和原则 (3) 第二章项目可行性分析 (4) 2.1价值分析 (4) 2.2 数安舆情监控系统三大模块 (5) 2.2.1 舆情分析引擎 (5) 2.2.2 互联网信息采集 (5) 2.2.3 搜索引擎数据管理 (5) 2.3 数安舆情监控系统先进技术 (5) 2.3.1 网络信息采集技术 (5) 2.3.2 数安舆情监控系统舆情智能分析技术 (6) 2.3.3 自然语言智能处理技术 (7) 2.3.4 全文检索技术 (7) 第三章实施方案 (7) 3.1 总体框架 (7) 3.2 数安舆情监控系统系统特点 (8) 3.2.1 自定义URL来源及采集频率 (9) 3.2.2 支持多种网页格式 (9) 3.2.3 支持多种字符集编码 (9) 3.2.4 支持整个互联网采集 (9) 3.2.5 支持内容抽取识别 (10) 3.2.6 基于内容相似性去重 (10) 3.2.7 热点话题、敏感话题识别 (10) 3.2.8 舆情主题跟踪 (10) 3.2.9 自动摘要 (10) 3.2.10 舆情趋势分析 (10) 3.2.11 突发事件分析 (10) 3.2.12 舆情报警系统 (10) 3.2.13 舆情统计报告 (11) 3.3 价值实现 (11) 第四章项目投资 (12)
第一章项目总述 1.1 系统背景 随着互联网的快速发展，网络媒体作为一种新的信息传播形式，已深入人们的日常生活。网友言论活跃已达到前所未有的程度，不论是国内还是国际重大事件，都能马上形成网上舆论，通过这种网络来表达观点、传播思想，进而产生巨大的舆论压力，达到任何部门、机构都无法忽视的地步。可以说，互联网已成为思想文化信息的集散地和社会舆论的放大器。 1.2 数安舆情监控系统的必要性 网络舆情是通过互联网传播的公众对现实生活中某些热点、焦点问题所持的有较强影响力、倾向性的言论和观点，主要通过BBS论坛、博客、新闻跟贴、转贴等实现并加以强化。当今，信息传播与意见交互空前迅捷，网络舆论的表达诉求也日益多元。如果引导不善，负面的网络舆情将对社会公共安全形成较大威胁。对我们说，如何加强对网络舆论的及时监测、有效引导，以及对网络舆论危机的积极化解，对维护社会稳定、促进国家发展具有重要的现实意义，也是创建和谐社会的应有内涵。 统计数据显示，我国正在跃升为全球领先的舆论媒体大国。截至2006年初，电视数量、报纸发行量和30岁以下网民人数均已排名全球首位；现有3000多个电视频道、2000多份报纸和9000多种杂志。在舆情媒体规模、媒体种类等发展迅猛的同时，舆情导向的监测预警显得愈发重要，特别是互联网这把“双刃剑”，既提供了大量进步、健康、有益的提倡性信息，也有不少反动、迷信、低级的误导性言论，这样就更需要有舆情监测预警的出现，防范误导性舆论的社会危害于未然，把握和保障正确舆论的前进导向，为构建和谐社会的舆情保驾护航。 2
国内网络舆情研究综述 丁 也 （周口师范学院新闻系 ４６６００１） 【摘 要】自互联网进入中国后，国内关于网络传播的研究一直没有中断过，但对网络舆情的研究尚处起步阶段。作为一个新兴的研究领域，网络舆情研究在理论与实践的紧密结合中不断拓展和创新。为更好地了解国内网络舆情的研究现状，本文根据对“中国期刊网”的检索结果，选取了其中一些有代表性的文献从网络舆情的概念、形成与传播、收集与研判、监控与引导以及网络舆情危机的预警等方面进行综述。 【关键词】网络舆情；传播；研判；引导；预警 随着网络的兴起和网络技术的普及，网络开始成为舆情汇集的新通道、传播的主阵地。作为现实社会舆情问题在网络空间中的延伸，网络舆情也渐渐走上社会发展的舞台，并发挥了越来越重要的作用。为更好地了解国内网络舆情的研究现状，本研究根据对“中国期刊网”的检索结果，试选取其中一些有代表性的研究成果做一综述，以期全面展示已有相关研究成果，供理论界参考借鉴，并以此推动网络舆情研究的进一步深化。 一、网络舆情的概念 周如俊、王天琪（２００５）认为网络舆情从书面上理解就是在互联网上传播的公众对某一“焦点”、“热点”问题所表现的有一定影响力、带有倾向性的意见或言论的情况。刘毅（２００６）认为网络舆情是由各种社会群体构成的公众，在一定的社会空间内，对自己关心或与自身利益紧密相关的各种公共事务所持有的多种情绪、态度和意见交错的总和。徐晓日（２００７）认为网络舆情是社会舆情的一种表现形式，是公众在互联网上公开表达的对某种社会现象或社会问题的具有一定影响力和倾向性的共同意见。纪红、马小洁（２００７）认为网络舆情就是指在网络空间内，围绕舆情因变事项的发生、发展和变化，网民对执政者及其政治取向所持有的态度。 二、网络舆情的形成与传播 一些研究者从新闻传播学维度对网络舆情的形成和传播规律进行了探讨。周如俊、王天琪（２００５）认为网络舆情的形成主要源于社会矛盾、个人意见的扩展以及偶发事件的激发等诱因。张勇锋（２００８）通过对《旅游新报》事件网络舆情信息在“量”和“质”上的梳理与分析，指出网络舆情所表达的观点和立场倾向其根源和指向仍然是现实生活中存在的现象和问题。曹劲松（２０１０）指出，依据时间轴线分析，网络舆情的发展具有“散播———集聚———热议———流行”四个阶段和“爆发、升华、延续”三个关口。刘毅（２００７）认为，电子邮件和新闻组、即时通讯工具、ＢＢＳ、博客和维客四类网络言论传播渠道是网络舆情传播的基本途径。曾润喜、徐 晓林（２０１０）以新浪网新闻《村官疑因考试领先公安局长之子被设套成逃犯》为研究样本，对网络舆情的传播规律进行研究后发现，网络舆情受到新闻刊发时间的影响，与信息获取便捷度正相关；网络舆情受到网络舆情事件涉及地区的影响，与互联网普及率正相关；网络舆情受到使用媒介类型的影响，互联网网民是主体，手机网民逐步增加；网络舆情的网民态度受到情绪的影响，容易指向党政机关和整个社会，呈现一边倒趋势。 三、网络舆情的收集与研判 网络舆情的收集与研判，是目前国内学术界就网络舆情进行研究的一个重要的内容。当前学术界就此问题进行了卓有成效的研究，取得了较为丰硕的理论成果。李雯静、许鑫、陈正权（２００９）根据网络舆情的特点，从指标设计、分类、构建等方面，在网络舆情信息汇集、分析、预警的工作流程中，按照主题将信息分门别类，统计、计算出若干指标值，对舆情进行横向、纵向的监测和评估，筛选出有价值的信息，帮助舆情工作者对舆情突发事件进行研判及态势预测。 郑魁、疏学明、袁宏永（２０１０）根据公共安全网络舆情研究的需求，将中文分词技术应用于突发事件应急管理中，提出基于ＩＣＴＣＬＡＳ分词技术的网络舆情热点信息的自动发现方法，并通过１个突发事件的实例验证了该方法的实用性和可靠性。该方法读入新闻文本并进行分词和词频统计，从词频表中去除停用词，合并多单位关键词得到突发事件热点信息关键词列表，对网络信息及时进行检索，为突发事件应急决策提供技术支持。柳虹、徐金华（２０１１）提出了一个包括舆情信息采集、信息预处理、特征提取、ＶＳＭ生成、热点发现算法和评价指标等几个部分的网络舆情热点发现模型，并通过实验比较了两种算法：Ｋ－ｍｅａｎｓ方法和ＳＶＭ方法，实验结果表明ＳＶＭ对于网络舆情热点发现方面具有比较好的优势。 刘毅（２００６）研究了内容分析法在网络舆情分析中的作用，认为内容分析法在网络上的应用主要体现在对网络的内容挖掘、对网络的结构挖掘和对网络的使用记录挖掘上，内容分析法在网络舆情信息分析中的作用主要体现在三个方面：（１）描述网络中传播的舆情信息；（２）推论网络舆情信息传播主体的意图以及态度和情绪的倾向性；（３）描述和推论网络舆情信息的产生和变化趋势。黄晓斌、赵超（２００９）研究了文本数据挖掘法在网络舆情分析中的作用。文本挖掘的技术主要包括特征提取、文本分类、文本聚类、关联分析、文本总结、趋势预测等。文本挖掘技术在网络舆情信息分析中的应用体现在五个方面：（１）对网络舆情进行描述；（２）对网络— ０ ６—
网络舆情监测预警机制 方案背景 据中国互联网信息中心调查，截至2009年12月31日，中国网民达到3.84亿人，全国互联网普及率28.9%，手机网民规模达到2.33亿。网络媒体已被公认为是继报纸、广播、电视之后的“第四媒体”，网络成为反映社会舆情的主要载体之一。网络环境下的舆情信息的主要来源于新闻评论、BBS、博客、聚合新闻(RSS)，网络舆情表达快捷、信息多元，方式互动，具备传统媒体无法比拟的优势。 由于互联网具有虚拟性、隐蔽性、发散性、渗透性和随意性等特点，越来越多的网民乐意通过BBS论坛、博客、新闻跟贴/转贴等渠道来表达观点传播思想。如果引导不善，负面网络舆情将对社会公共安全形成威胁。对相关部门来说，加强对网络舆论的及时监测、有效引导，以及对网络舆论危机的积极化解，对维护社会稳定、促进国家发展具有重要的现实意义，也是创建和谐社会的应有内涵。对企业来说，准确掌握产品和市场情况，监控竞争对手和行业动态，是企业市场、行销决策的重要支撑。 方案内容 系统介绍 易观网络舆情监控系统，整合互联网信息采集技术及信息智能处理技术，通过对互联网海量信息自动抓取、自动分类聚类、主题检测聚焦，倾向性研判等，实现用户的网络舆情监测和新闻主题追踪等信息需求，形成简报、报告、图表等分析结果，为客户全面掌握群众思想动态，做出正确舆论引导，提供分析依据。 系统结构图
系统组网图 系统功能 1) 深度多渠道网络信息采集，为用户提供监控源配置功能，可以对监控源的优先级进行配置调整。
2) 完善的信息预处理机制：超链分析，编码识别，URL去重，锚文本处理，垃圾信息过滤，内容去重，关键字抽取，正文抽取等。 3) 强大的索引分词机制，对舆情信息实施双重过滤，具有自动分类、自动聚类、相似性排重功能，系统能够自动完成热点发现。 4) 热点舆情：系统自动识别出热点焦点事件，以舆情形式分新闻、论坛和博客三种类别呈现。及时发现网络热点信息。 5) 专题追踪：生成专题报道对网络话题进行专题化的侦测和追踪，如两会、奥运会，对专题话题形成系统性的掌握和监控。 6) 分站/分类浏览：对系统中舆情可以按网站和不同的分类进行浏览。同时可以对显示的舆情进行操作（设置影响、入简报、专题、收藏、删除）。 7) 趋势分析：来源载体/站点分布、单个/多个关键词热度曲线图、主题/关键词热度的整体趋势、文章转载量日均/总体趋势分析、舆情信息的地域分布、网民检索行为分析。 8) 突发事件分析：对突发事件进行预警，跨时间、跨空间综合分析，获知事件发生全貌。 9) 多种舆情检索方式：可按网站、类别、时间段、关键词等条件进行专项化全文检索，并可生成查询时间和次数、关键词查询频率等查询统计数据。另外还将结合检索关键词，随时补充全文检索库中的关键词，有机结合个人操作习惯，可在检索结果中进行二次检索。 10) 舆情统计报告：根据舆情分析引擎处理后生成报告，用户可通过浏览器浏览，根据指定条件对热点话题、倾向性进行查询，并浏览信息的具体内容，提供决策支持。 11) 统计报表：系统生成各种形式的报表。报表包括图表和数据表格，图表包括饼图、折线图、直方图等，如总量图、趋势图等；数据表格是对舆情信息的数理统计，以数字的形式记录各项舆情数据。另外用户可以自己需求定制报表模版，比如日报、周报、月报等。 12) 舆情报警系统：对突发事件、涉及内容安全的敏感话题及时发现并报警，系统提供多种报警方式。 系统特点 1) 精准全面的网络舆情采集，能够对论坛、博客、新闻评论等内容进行全面、精确的采集和及时的更新，为舆情分析提供强有力的数据保障。 2) 多维度实时监测、过滤网络舆情信息，采集到本地的文章会自动标注并分析，具有
网络舆情分析研究 舆情是指在一定的社会空间内，围绕中介性社会事件的发生、发展和变化，民众对社会管理者产生和持有的社会政治态度。它是较多群众关于社会中各种现象、问题所表达的信念、态度、意见和情绪等等表现的总和。网络舆情形成迅速，对社会影响巨大，不仅需要各级党政干部密切关注，也需要社会各界高度重视。随着因特网在全球范围内的飞速发展，网络媒体已被公认为是继报纸、广播、电视之后的“第四媒体”，网络成为反映社会舆情的主要载体之一。网络环境下的舆情信息的主要来源有：新闻评论、BBS、聊天室、博客、聚合新闻(RSS)。 网络舆情表达快捷、信息多元，方式互动，具备传统媒体无法比拟的优势。网络的开放性和虚拟性，决定了网络舆情具有以下特点：1、直接性，通过BBS，新闻点评和博客网站，网民可以立即发表意见，下情直接上达，民意表达更加畅通；2、突发性，网络舆论的形成往往非常迅速,一个热点事件的存在加上一种情绪化的意见,就可以成为点燃一片舆论的导火索；3、偏差性,由于发言者身份隐蔽，并且缺少规则限制和有效监督，网络自然成为一些网民发泄情绪的空间。在现实生活中遇到挫折,对社会问题片面认识等等，都会利用网络得以宣泄。因此在网络上更容易出现庸俗、灰色的言论。 与国外相比，我国网络舆情还存在以下特殊情况：一是由于历史的原因，我国曾长期处于封闭状态，容易受到外来思想文化的冲击。二是目前我国正处于社会转型期，不可避免地存在诸多矛盾，容易使一些人出现情绪化冲动，以致不能明辨是非。三是少数社会管理者对于舆论习惯于回避或堵塞。因此，网络这把锋利的“双刃剑”在提供了下情上达的便捷方式的同时，也对我国政治安全和文化安全构成了严重威胁，具体表现在以下三个方面：一是西方国家利用网络对我国进行“西化”“分化”，网上思想舆论阵地的争夺战日趋激烈。二是传统的政治斗争手段，在网上将以更高效的方式实现，利用网络串联、造谣、煽动将比在现实中容易得多，也隐蔽得多。三是通过网络，西方的观念、生活方式可以便捷地渗透进来。对于网络舆情的这些特点，社会管理者应当了然于心。对现实中出现的各种网络舆论，社会管理者应能做出及时反馈，防微杜渐，防患于未然。因此必须利用现代信息技术对网络舆情予以分析，从而进行控制和引导。由于网上的信息量十分巨大，仅依靠人工的方法难以应对网上海量信息的收集和处理，需要加强相关信息技术的研究，形成一套自动化的网络舆情分析系统，及时应对网络舆情，由被动防堵，化为主动梳理、引导。 这样的系统应该具备以下功能：首先是舆情分析引擎。这是舆情分析系统的核心功能，包括：1、热点话题、敏感话题识别，可以根据新闻出处权威度、评论数量、发言时间密集程度等参数，识别出给定时间段内的热门话题。利用关键字布控和语义分析，识别敏感话题。2、倾向性分析，对于每个话题，对每个
基于大数据的舆情分析系统架构 前言 互联网的飞速发展促进了很多新媒体的发展，不论是知名的大V，明星还是围观群众都可以通过手机在微博，朋友圈或者点评网站上发表状态，分享自己的所见所想，使得“人人都有了麦克风”。不论是热点新闻还是娱乐八卦，传播速度远超我们的想象。可以在短短数分钟内，有数万计转发，数百万的阅读。如此海量的信息可以得到爆炸式的传播，如何能够实时的把握民情并作出对应的处理对很多企业来说都是至关重要的。大数据时代，除了媒体信息以外，商品在各类电商平台的订单量，用户的购买评论也都对后续的消费者产生很大的影响。商家的产品设计者需要汇总统计和分析各类平台的数据做为依据，决定后续的产品发展，公司的公关和市场部门也需要根据舆情作出相应的及时处理，而这一切也意味着传统的舆情系统升级成为大数据舆情采集和分析系统。 分析完舆情场景后，我们再来具体细化看下大数据舆情系统，对我们的数据存储和计算系统提出哪些需求： ?海量原始数据的实时入库：为了实现一整套舆情系统，需要有上游原始输出的采集，也就是爬虫系统。爬虫需要采集各类门户，自媒体的网页内容。在抓取前需要去重，抓取后还需要分析提取，例如进行子网页的抓取。 ?原始网页数据的处理：不论是主流门户还是自媒体的网页信息，抓取后我们需要做一定的数据提取，把原始的网页内容转化为结构化数据，例如文章的标题，摘要等，如果是商品点评类消息也需要提取有效的点评。 ?结构化数据的舆情分析：当各类原始输出变成结构化的数据后，我们需要有一个实时的计算产品把各类输出做合理的分类，进一步对分类后的内容进行情感打标。根据业务的需求这里可能会产生不同的输出，例如品牌当下是否有热点话题，舆情影响力分析，转播路径分析，参与用户统计和画像，舆论情感分析或者是否有重大预警。
舆情监测系统建设方案标准化管理处编码[BBX968T-XBB8968-NNJ668-MM9N]
突发公共事件发生前、中、后均可进行舆情监测，对网络舆情进行实时关注，及时发生社会稳定的不利因素。 常态和非常态，自动搜索关注量较大的新闻和热点，通过对新闻及相关数据的挖掘、分析，及时发现社会安全隐患，及时发出预警信号，达到早发现、早报告、早处置的目的，做好社会安定防控工作。 舆情监测系统通过对热点问题和重点领域比较集中的网站信息，如：网页、论坛、博客等进行24小时监控，随时下载最新的消息和意见。下载后完成对数据格式的转换及元数据的标引。对下载本地的信息，进行初步的过滤和预处理，减少智能分析的工作量。对热点问题和重要领域实施监控，前提是必须通过人机交互建立舆情监测的知识库，用来指导智能分析的过程。对热点问题的智能分析，首先基于传统基于向量空间的特征分析技术上，对抓取的内容做分类、聚类和摘要分析，对信息完成初步的再组织。然后在监控知识库的指导下进行基于舆情的语义分析、倾向性分析，使管理者看到的民情民意更有效，更符合现实。最后将监控的结果，分别推送到不同的职能部门，供制定对策使用。 1.1互联网舆情监控系统 1.1.1需求分析 通过对网页、论坛、博客、新闻评论信息的深度搜索和挖掘，实时对突发公共卫生事件的媒体报道和公众舆论信息进行汇聚和统计分析，使市卫生局应急办人员能够随时了解社会公众的声音，每天自动生成舆情监测专报，上报相关领导，为领导决策提供准确、全面的信息。
1.1.2建设方案 1.1. 2.1网络舆情抓取 自动采集网络媒体发布的网络新闻、BBS论坛信息、博客内容信息，舆情采集用户只需输入一个待采集的目标网址即可实现图文结合采集到本地。网页采集模块在互联网上不断采集新闻信息，并对这些信息统一加工过滤、自动分类，保存新闻的标题、出处、发布时间、正文、新闻相关图片等信息，经过手工配置还可以获得本条新闻的点击次数。以网络论坛BBS为代表的交互性网络站点，往往是一些突发事件的网络舆情爆发点。 1.1. 2.2网络舆情热点自动发现 对重要的热点新闻信息进行分析和追踪，对于突发事件引起的网络舆情，可以及时掌握舆情爆发点和事态。系统会根据新闻文章数及文章在各大网站和社区的传播链进行自动跟踪统计，提供不同时间段（1天、3天、7天、10天）的热点新闻。对每条热点新闻还可以查看新闻相关传播链，了解在某一时间段该热点新闻在哪些站点的传播数量。同样也提供热点帖子、热点专题等功能。 1.1. 2.3多维度关联的舆情展现 自动对每天采集的海量的、无类别的舆情进行归类，把内容相近的文档归为一类，并自动为该类生成主题词。可支持自动生成新闻专题、重大新闻事件追踪、情报的可视化分析等诸多应用。 1.1. 2.4舆情分析和统计 1、热点专题统计 热点专题总体分布、重点预警事件总分布、各类重点预警事件分布。
舆情监控系统 设 计 方 案
目录目录
网络舆情监测系统解决方案 网络舆情监测系统利用互联网信息采集技术、智能信息处理技术和全文检索技术；结合网络舆情的传播分析模型：对境内外网络中的新闻网页、论坛、贴吧、博客、微博等网络资源进行全网监控、定向采集和智能分析，把互联网读薄，读透，提供相关舆情、负面舆情、热点信息的发现、主题事件监测、分类监测、舆情实进预警、舆情监管、统计分析、辅助决策支持等多层次，多维度的舆情信息的服务，根据用户有网络舆情监测和定向追踪等信息需求，形成简报、报告、图表等分析结果，从而帮助用户及时掌握舆情动向．为领导和舆情工作部门提供信息参考和决策支持． 一、背景概述 随着互联网的快速发展，网络媒体作为一种新的信息传播形式，已深入人们的日常生活．网友言论活跃已达到前所未有的程度，不论是国内还是国际重大事件，都能马上形成网上舆论，涉军涉警事件更是成为部分网民炒作对象，通过这种网络来表达观占、传播思想，进而产生巨大的舆论压力，达到任何部门、机构都无法忽视的地步．可以说，互联网已成为思想文化信息的集散地和社会舆论的放大器． 网络舆情是通过互联网传播的公众对现实生活中某些热点、焦
点问题所持的有较强影响力、倾向性的言论和观点，主要通过ＢＢＳ论坛、博客、新闻跟贴(回贴) 、转帖等实现并加以强化．当今，信息传播与意见交互空前迅捷，网络舆论的表达诉求也日益多元．对部队来说，如何加强对涉军涉警网络舆论的及时监测、有效引导，以及对网络舆论危机的积极化解，对维护部队声誉、促进部队健康发展具有重要的现实意义． "网络舆情监控系统"是针对在一定的社会空间内，围绕涉军涉警事件的发生、发展和变化，民众对部队的态度天网络上表达出来意愿集合而进行的计算机监测的系统统称． "网络舆情"是较多群众关于社会中各种现象、问题所表达的信念、态度、意见和情绪等等表现的总和．网络舆情形成迅速，对社会影响巨大，加强互联网信息监管的同时，组织力量开展信息汇集整理和分析，对于及时应对网络突发的涉军涉警事件和全面掌握社情民意很有意义． 二、建设必要性 由于舆情有突发性，随机性，多样性等特点，传统舆情监控已经无法满足目前的形势需要，互联网舆情监测系统应运而生． 各单位对于突发事件，如果有工具能及时监测发现舆情信息及其根源，及时做好危机公关，做好积极的舆论引导工作，处理还处
网络舆情监控项目建设方案 青岛惠信科技有限公司
目录 第1章项目背景 (3) 第2章网络舆情概述 (4) 第3章舆情监控系统简介 (6) 第4章舆情监控系统使命 (7) 第5章舆情监控系统架构 (8) 第6章舆情监控理论模型 (10) 第7章配置清单与功能列表 (11) 第8章网络舆情采集(c/s架构) (12) 第9章网络舆情分析与展示(B/S端) (14) 第10章系统特点 (18) 第11章硬件部署与网络接入 (19) 第12章支持与服务 (20) 12.1 顾问咨询服务 (20) 12.2 售后服务 (20) 12.3 软件产品升级服务 (22) 12.4 技术巡检计划 (23) 第13章项目预算 (24) 第14章舆情信息系统特殊功能报价： (25) 第15章部分成功案例 (26)
第1章项目背景 当前，互联网已成为思想文化信息的集散地和社会舆论的扩大器 ---胡锦涛CNNIC《报告》显示，我国的网民规模和宽带网民规模增长迅猛，互联网规模稳居世界第一位。截至2009年6月底，中国网民规模达到3.38亿，较2008年底增长13.4%，半年增长了4000万；而宽带网民规模则达到了3.2亿，占总网民数的94.3%，较2008年底上升了3.7个百分点。 与网民规模持续增长相对应的，是我国互联网普及率的稳步提升。数据显示，截至2009年6月底，我国互联网普及率达到25.5%，保持平稳上升的态势。就是这样一个庞大的群体构成了第四媒体---网络媒体，网络媒体时代，人人都有麦克风，不是你听我说，而是大家听大家说。互联网作为继电视、广播、报纸之外的第四媒体，已经成为反映社会舆情的一个重要载体。由于网络的开放性和虚拟性，网上舆情已经越来越复杂，对社会的影响也越来越复杂。 互联网聚集的人气、展开的场景与揭示的真相，推动新闻事件的发展、形成网络舆论，甚至直接影响社会主流舆论，己经成为推进社会变革的一股强大的力量。 对相关政府部门来说，如何加强对网络舆情的及时监测、有效引导，如何对网络舆论危机的积极化解，网络舆情管理成为一大难点。网络舆情的监管对维护社会稳定、促进国家发展具有重要的现实意义，也是创建和谐社会的应有内涵。网络舆情的持续性研究也将是一个长期的课题。
《网络舆情分析原理与方法》教学大纲 课程编号：WX051026 课程名称(中文)：网络舆情分析原理与方法 课程名称(英文)：Principles and Methods of Network Public Opinion Analysis 学分：2总学时:32( 实践学时：12适应专业：网络与新媒体专业 先修课程：新闻学概论、传播学概论、新媒体概论、舆情学等 主讲学院：文学与新闻传播学院 一、课程教学内容与要求 （一）课程的性质与教学目的 > 1、课程性质 通过本课程的学习，应使学生掌握网络舆情的基本理论;熟悉网络舆情的监测方法及其发展趋势;最终能够用网络舆情分析的相关理论分析和解决实际问题。 2、教学目的 （1）讲授网络舆情相关知识，使学生了解熟悉当前网络舆情发展背景、规律，能整理出有价值的舆情信息，以专业视角对其进行全面、客观的分析和科学的研判。 （2）运用新闻学和传播学专业识和，在网络信息监测和分析工具的支持下，为各级政府机构、企事业单位以及个人提供互联网信息的监测、分析和咨询服务。 （二）基本要求 1、使学生理解并掌握网络舆情的基本特征、社会功能、传播场域等基本理论知识;使学生掌握舆情的主要知识体系、基本理论与基本方法。 2、通过课堂讲解、讨论和课下阅读、思考，使学生在掌握网络舆情及其实践分析技术方法相关知识的基础上，对现实中的一些问题能有一定的独立思考能力。 \ 3、要求学生在学完本课程后，能运用网络舆情分析的方法和基本理论，独立地分析网络舆情的具体分析及其应对措施，提高分析问题和解决问题的能力。 （三）课程的基本内容及重点与难点 1、课程的基本内容
绪论网络舆情研究的兴起 第一章网络舆情信息源 第一节互联网言论 第二节传统媒体网络版 第三节无线／即时通讯 第四节新兴社交型媒体 第二章网络舆情选题 第一节舆情选题类型 第二节舆情选题标准 第三节舆情选题定位 第四节网络舆情选题途径 第三章网络舆情抽样 第一节舆情抽样搜索工具 第二节舆情样本内涵标准 第三节舆情抽样外延标准 第四章网络舆情分析报告 第一节舆情样本分析工具 第二节舆情抽样分类统计 第三节舆情图表分析模型 第四节舆情分析偏差校正 第五节网络舆情报告文案 第五章网络舆情研判与应对 第一节网络舆情周期 第二节网络舆情宏观研判 第三节政务舆情应对指标 第四节企业舆情应对指标 第五节网络舆情应对点评 2、教学重点与难点 教学重点：掌握网络舆情理论及工作体系，有效应用网络技术、数据库技术、信息检索、统计分析技术，对网络舆情进行有效设计、采集和分析应对，理解并确立网络舆情管理工作体系和处理机制。 教学难点：信息分析与预测，舆情的检索分析技术，舆情研判和应对方法。
济南舆情监测系统平台数据分析报告 监测周期：2020-02-20 00:00:00~2020-02-20 23:59:59 分析范围：济南 媒体类型：全部 信息类型：全部 信息倾向性：全部 去重类型：相同URL去重 查询类型：发布信息 报告导出：2020-02-20 18:33:21 一、趋势分析 在整体发展趋势中，2020.02.20 00:00声量最高，共产生1688条信息。在2020.02.20 00:00重要媒体声量最高，共产生63条信息。 （一）整体趋势 监测时间全部声量重要媒体声量2020.02.20 00:00 1688 63 2020.02.20 01:00 0 0 2020.02.20 02:00 0 0 2020.02.20 03:00 0 0 2020.02.20 04:00 0 0 2020.02.20 05:00 0 0 2020.02.20 06:00 0 0 2020.02.20 07:00 0 0 2020.02.20 08:00 0 0 2020.02.20 09:00 0 0 2020.02.20 10:00 0 0 2020.02.20 11:00 0 0 2020.02.20 12:00 0 0 2020.02.20 13:00 0 0
2020.02.20 14:00 0 0 2020.02.20 15:00 0 0 2020.02.20 16:00 0 0 2020.02.20 17:00 0 0 2020.02.20 18:00 0 0 （二）原创/转发趋势 （三）原创/转发分布
类型数据量占比 原创声量1013 60.01% 转发声量675 39.99% （四）媒体/网民趋势 （五）媒体/网民分布 类型数据量占比
网络舆情分析系统的研究与设计 摘要：网络舆情是指在一定的社会空间内，通过网络围绕中介性社会事件的发生、发展和变化，民众对公共问题和社会管理者产生和持有的社会政治态度、信念和价值观。随着科技的发展，政府迫切需要更好地监控与引导网络，本文通过研究现今网络舆情分析系统的技术特征，并根据需要，介绍了网络舆情分析系统的一种可行模型，能够提高网络舆情分析的准确性和灵活性，有效促进我国网络舆情分析工作的迅速发展。 关键词：网络舆情；网页文本结构化；文本分类；文本聚类 互联网的高速发展使网络信息越来越难以处理，所以，传统的以人工分类为基础的处理方式已完全不能够适应如此规模的网络信息量得处理工作。作为一个新的研究课题，对网络舆情的监控和分析，必须建立在高科技的现代信息技术当中，从而能够及时面对网络舆情并第一时间对其进行主动控制和疏导。 一、网络舆情分析系统的总体模型概括 网络舆情分析系统根据用户的不同需求，对特定种类的以网络为载体的新闻和消息在收集后通过网页净化、词频统计等手段对信息进行有效的预处理活动，并将预处理的所得结果入库，并通过数据挖掘算法对信息进行分析，最后会得到一定时期内网络所出现出现的热点信息，并对其进行追踪，得到事件的详细信息。 1.1 输入输出层面 输入层指互联网搜索、数据源等。随着网络在获取信息方面的便捷性和灵活性的提高，许多信息平台，如博客、新闻和政府网站都成为网络舆情的监控源。输出层一般来说指的是前端展示输出，对于网络舆情分析系统来说，其输出程序主要根据用户需要提供信息，其信息的种类呈现出多样化的特点。 1.2 业务处理层面 1.2.1网络舆情系统信息采集以及预处理方式 网络舆情监控系统需要在了解用户需求的前提下，设定所需主题或目标，并利用人工和自动相结合的信息采集手段完成信息收集的任务。对于已经定位的网络资源，需要知道网络资源是否已进入数据库中，若己保存到数据库，系统需继续进行其他资源的收集。网络舆情信息预处理是网络舆情信息分析系统的准备阶段，能够对网页当中的信息进行数据清洗和分类处理后，形成格式化的数据然后上传到数据库，并进行信息过滤，滤除无关信息，保存重要信息。 1.2.2 网络舆情数据存储
南京邮电大学通达学院 软件说明书 题目：网络舆情分析系统的设计与构建 专业计算机科学与技术 学生姓名张晓磊 班级学号07006014 指导教师徐小龙 指导单位计算机学院/计算机科学与技术系日期2011年6月10日
一、https://www.doczj.com/doc/782054025.html,运行环境配置介绍 1.IIS的安装、配置 IIS是Internet Information Service的缩写，一般，WinXP默认的安装不会带有IIS，下面介绍它在该系统下的安装、配置内容： (1)安装IIS 首先在光驱中插入windows安装光盘，此时会自动弹出“欢迎使用Microsoft Windows XP”窗口；接着点击“安装可选的Windows组件”，在“Internet信息服 务（IIS）”上打钩，点击“下一步”，安装完成。 或选择“控制面板”下的“添加或删除程序”的“添加/删除Windows组件”，在“Internet信息服务（IIS）”上打钩，点击“下一步”，安装完成。 (2)配置IIS 打开windows的“控制面板”，选择“管理工具”，双击“Internet信息服务”，接着点击“+”号，可以看到“默认网站”，在“默认网站”上点击右键，选择“属性”，出现“默认网站属性”对话框，在该对话框中选择“主目录”。主目录就是我们放置我们网站的地方，在“本地路径”框中输入网站的存放路径，一般将下 面的所有属性全部打钩。接着选择“文档”选项卡，在“启用默认文档”复选框 上打钩，一般将默认文档设置为：Default.aspx。最后点击“确定”。 https://www.doczj.com/doc/782054025.html, Framework 3.5的安装与配置 因为我们使用的开发工具是VS2008，而在安装visual studio2008时，就已经默认安装并配置了.NET Framework 3.5，所以不需要我们再另行下载安装配置。 https://www.doczj.com/doc/782054025.html,运行测试 IIS与.NET Framework3.5都已经安装与配置好，我们应该测试安装与配置是否成功，https://www.doczj.com/doc/782054025.html,是否能够成功运行： 我们直接使用visual studio2008开发软件进行测试。在VS2008中先新建一个网站，在“Default.aspx”文件中，在已有的代码框架下，将