基于大数据的网络舆情分析系统设计

龙源期刊网

网络舆情分析系统功能研究

作者：张合斌

来源：《新闻爱好者》2009年第16期

摘要：网络舆情及其管理是信息化时代政府和主管部门构建和谐社会的关键工作之一，针对此进行网络舆情分析系统研究是有效开展此项工作极为重要的技术保障因素。本文以此为切入点。系统分析网络舆情分析系统的七大基本功能需求和系统设计中的四个部分，其核心部分功能的八大模块及相关主要技术等。

关键词：网络舆情分析 基本功能需求 核心部分 功能模块

2008年中国的网络新闻得到快速发展，网络新闻的使用率较去年提升了近5个百分点，网络新闻用户达到2.34亿，互联网已经成为一个不可忽视的舆情策源地与宣传阵地。舆情是指在一定的社会空间内，围绕社会事件的发生、发展和变化，民众对社会管理者产生和持有的社会政治态度。它是较多群众关于社会中各种现象、问题所表达的信念、态度、意见和情绪等表现的总和。互联网因其虚拟性、隐蔽性、发散性、渗透性和随意性等特点，吸引越来越多的人通过这一渠道表达自己的想法。当网民的言论达到了一定规模时，就形成了网络舆论。作为社会舆论的一种重要表现形式，网络舆情形成迅速，对社会的影响巨大。

由于网络的信息量十分巨大，仅依靠人工的方法难以应对网络海量信息的收集和处理，需要加强相关信息技术的研究，形成一套自动化的网络舆情分析系统，及时应对网络舆情，由被动防堵化为主动梳理、引导。

网络舆情分析系统的基本功能

在我国，作为网络舆情管理的主体一般是地方政府和主管部门，其对网络舆情管理的基本要求是：及时掌控所辖范围内网站上的信息情况(包括论坛、博客、网站等)，防止网络突发事件的发生进而诱发群体事件，维持安全健康的网络环境和稳定的社会环境。

因此，服务于地方政府或主管部门的网络舆情分析系统应该具备以下七大基本功能。

网站的设置功能：舆情分析系统所配置的来源网站主要包括国内知名的门户网站、论坛、贴吧、博客、所关注的境外网站以及辖区内一些有影响力的网站。 龙源期刊网

基于大数据分析的社会舆情监测与预警系统设计与实现

摘要

随着互联网的发展，社会的信息爆炸式增长使得传统的信息收集方法已经无法满足实时获取和处理大量信息的需要。基于大数据分析的社会舆情监测与预警系统便应运而生。本文对大数据分析技术进行了概述，并对社会舆情监测与预警系统进行了详细的设计与实现。此外，本文还通过三个不同领域的案例分析，展示了基于大数据分析的社会舆情监测与预警系统的应用情况与优势，并对现有存在的问题提出了相应的解决方案。

关键字

大数据分析，社会舆情监测与预警系统，微博，论坛，社交网络

引言

随着移动互联网的发展，海量的数据不断涌现，如何更高效地分析和利用这些数据成为了一个难题。同时，众多机构、企业以及政府部门都急需实时了解人民群众的舆论态度，从而灵活调整政策、应对突发事件等。因此，社会舆情监测与预警系统应运而生。本文基于大数据分析技术，设计并实现了社会舆情监测与预警系统，并对现有的三个案例进行了详细的分析。

1. 大数据分析技术的概述

大数据分析技术是指通过计算机和互联网，采用一系列的数学、统计和算法技术，对大量的计算机生成的数据进行挖掘、处理和分析。它是一种全新的数据处理方式，通过对数据进行深入挖掘，发现其中的关联、趋势和规律，从而支持决策和创新。

大数据分析技术的基本流程包括数据获取、预处理、建模、分析以及结果呈现。其中，数据获取是整个过程中的第一步，其涉及数据抓取、爬虫技术、数据库技术等。预处理则是指对获取到的原始数据进行清洗、去重、过滤等处理，以保证后续的分析结果能够准确地反映出数据的特征。建模则是对预处理后的数据进行模型的构建和数据挖掘分析。分析是针对建模后的数据和模型进行分析和评估。最后，结果呈现则是将分析结果进行可视化并呈现给用户。

2. 社会舆情监测与预警系统设计与实现的概述

社会舆情监测与预警系统是一种通过互联网、数据挖掘等技术手段，对人民群众的言论、情绪以及态度等信息进行实时监测并进行分析的系统。它的主要功能是实时采集和处理网络中大量的、不同来源的文本信息，将这些信息进行分类、分析、挖掘和预警，并为决策者提供有效的参考依据。

基于大数据的舆情分析与舆情预测模型研究

随着互联网的普及和信息的爆炸式增长，舆情分析成为了各行各业关注的焦点。通过对大数据的深度挖掘和分析，可以帮助政府、企业和个人了解社会热点、公众舆论和市场趋势，从而实现科学决策和战略规划。本文将探讨基于大数据的舆情分析与舆情预测模型的研究现状与发展趋势。

一、舆情分析模型的研究现状

1. 文本挖掘技术在舆情分析模型中的应用

文本挖掘技术是舆情分析的基础。通过机器学习、自然语言处理、信息检索和数据挖掘等技术手段，可以从文本数据中自动提取、转换和理解信息。舆情分析模型可以根据文本情感分析、主题建模和事件追踪等方法来进行舆情分析。例如，通过情感分析可以判断社会舆论的倾向性，通过主题建模可以发现舆论热点，通过事件追踪可以了解舆论发展的演变过程。

2. 社交媒体数据在舆情分析模型中的应用

随着社交媒体的兴起，大量的用户生成内容被发布在社交媒体平台上，这些内容包含了公众的观点、意见和情感等信息。舆情分析模型可以通过对社交媒体数据的分析，抓取公众的观点和态度，进而了解社会热点和舆论趋势。如利用社交媒体数据可以预测选举结果、产品销售趋势以及公众对政策的反应等。

3. 网络爬虫技术在舆情分析模型中的应用

网络爬虫技术可以自动化地获取互联网上的文本数据。舆情分析模型可以通过网络爬虫技术实时地获取和更新数据，从而建立准确的数据集。网络爬虫还可以获取各类媒体的评论信息，通过对这些评论信息的情感分析和主题建模，可以了解公众对特定事件和议题的态度和反应。

二、舆情预测模型的研究现状

1. 时间序列分析在舆情预测模型中的应用

时间序列分析是一种用来解释和预测时间序列数据的统计方法。在舆情预测模型中，可以利用时间序列分析方法对历史舆情数据和相关的外部因素进行建模和分析，从而预测未来舆情的走势。例如，对于选举结果的预测，可以通过将选举候选人的舆情数据与选举日期的时间序列数据相结合，构建相应的模型来进行预测。

网络舆情监测与分析系统的设计与实现

随着互联网的普及和当今社会对信息的依赖，网络舆情监测和数据分析变得越来越重要。传统的监测方法往往费时费力，效率低下，而网络舆情监测与分析系统的出现，可以更加方便和快速地获取并分析数据。本文将介绍网络舆情监测与分析系统的设计与实现。

一、系统设计

1. 数据源

网络舆情监测与分析系统需要具备良好的数据源，以获取足够的信息。数据源可以分为两种：一种是外部数据源，包括社交媒体、新闻网站、论坛等；另一种是内部数据源，如企业内部的数据。

2. 数据采集

数据采集是整个系统的重要部分。数据采集方式有多种，如API接口、爬虫等方式。数据来源不同，采集方式会有所不同。

3. 数据存储

数据存储是一个容易被忽视但非常关键的部分。数据量不断增加，数据管理的难度也会相应增加。因此，需要采用有效的数据存储方案。通常采用的方式是关系型数据库和非关系型数据库。 4. 数据分析

数据分析包括情感分析、关键词提取、主题分析等。这一部分需要依托良好的算法支持，以快速准确地处理数据，并为用户提供实时反馈。

5. 系统展示

系统展示是将分析结果以可视化的形式呈现给用户的过程。如数据报表、仪表盘、图表等。它可以相对客观地呈现分析结果，方便用户更直观地了解信息。

二、系统实现

网络舆情监测与分析系统的设计实现需要一个跨学科的工作团队，包括软件工程师、数据分析师、人机交互设计师等专业人员。其中，系统实现分为以下五个阶段：

1. 需求分析

首先需要梳理用户需求，通过需求分析定义系统范围、功能和界面等。针对不同用户需求，需要设计不同的分析模型。

2. 架构设计

根据需求分析，设计系统架构和模块划分。优先考虑如何保证系统的可靠性、扩展性与可维护性，以及如何提高数据的处理和存储效率。 3. 数据采集与存储

数据采集和存储是系统设计的核心环节，需要考虑大数据量时的处理和存储速度问题，并且需要确保数据追溯性和数据的安全性。