基于大数据分析的舆情监测与分析系统设计与实现

Ｉｎｆｏｒｍａｔ　ｉｏｎ　Ｔｅｃｈｎｏｌｏｇｙ・信息技术・软硬件　

电力行业舆情监测系统的设计与实现　

王亨桂　

（四川省电力公司广安电业局　四川广安６３８０００）　

【摘要】公共危机事件是一个沿着若干级差从无序向有序逐渐递进或者消减的过程。公共危机事件爆发时。常常　

容易引起群众的广泛关注，造成相关信息在短时间内迅速传递，爆发出大量舆论信息。一些非理性议论、小道消息或　

负面报道常常在一定程度上激发人们普遍的危机感，网民对事件的关注与反响令社会震惊不已，使企业承受着巨大　

的舆论压力。　

【关键词】电力行业；网络舆情监测；Ｗｅｂ挖掘技术；搜索引擎技术；互联网公共危机　

Ｄｅｓｉｇｎ　ａｎｄ　Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ　ｏｆ　Ｐｕｂｌｉｃ　Ｏｐｉｎｉｏｎ　Ｍｏｎｉｔｏｒｉｎｇ　Ｓｙｓｔｅｍ　ｉｎ　Ｐｏｗｅｒ　Ｉｎｄｕｓｔｒｙ　

Ｗａｎｇ　Ｈｅｎｇ－ｇｕｉ　（ＥｌｅｃｔｒｉｃＰｏｗｅｒＢｕｒｅａｕｏｆＧｕａｎｇＡｎ　ＳｉｃｈｕａｎＧｕａｎｇａｎ　６３８０００）　

【Ａｂｓｔｒａｃｔ】Ｐｕｂｌｉｃ　ｃｒｉｓｉｓ　ｉｓ　ａ　ｐｒｏｃｅｓｓ　ｗｈｉｃｈ　ｉｓ　ｖａｒｉｎｇ　ｆｒｏｍ　ｄｉｓｏｒｄｅｒ　ｔｏ　ｏｒｄｅｒ　ｇｒａｄｕａｌｌｙ．Ａｔ　ｔｈｅ　ｏｕｔｂｒｅａｋ　ｏｆ　ｐｕｂｌｉｃ　ｃｒｉｓｉｓ　ｅｖｅｎｔｓ，ｏｆｔｅｎ　ｅａｓｉｌｙ　ｃａｕｓｅｄ　ｅｘｔｅｎｓｉｖｅ　

ｃｏｎｃｅｍ　ｏｆ　ｔｈｅ　ｍａｓｓｅｓ，ｃａｕｓｉｎｇ　ｔｈｅ　ｒｅｌｅｖａｎｔ　ｉｎｆｏｒｍａｔｉｏｎ　ｑｕｉｃｋｌｙ　ｉｎ　ａ　ｓｈｏｒｔ　ｔｉｍｅ，ｔｈｅ　ｏｕｔｂｒｅａｋ　ｏｆ　ａ　ｌｏｔ　ｏｆ　ｐｕｂｌｉｃ　ｏｐｉｎｉｏｎ　ｉｎｆｏｒｍａｔｉｏｎ．Ｓｏｍｅ　ｉｒｒａｔｉｏｎａｌ　

ａｒｇｕｍｅｎｔｓ，ｈｅａｒｓａｙ　ｏｒ　ｎｅｇａｔｉｖｅ　ｒｅｐｏｒｔｓ　ｏｆｔｅｎ　ｐａｒｔｌｙ　ｅｘｃｉｔｅｄ　ｐｅｏｐｌｅ’ｓ　ｓｅｎｓｅ　ｏｆ　ｃｒｉｓｉｓ，ｔｈｅ　ｎｅｔｉｚｅｎ　ａｔｔｅｎｔｉｏｎ　ａｎｄ　ｒｅｓｐｏｎｓｅ　ｔｏ　ｔｈｅ　ｉｎｃｉｄｅｎｔ　ｓｈｏｃｋｅｄ　ｔｈｅ　ｌｏｃａｌ　ｅｎｔｅｒｐｒｉｓｅｓ，ｅｎｔｅｒｐｒｉｓｅｓ　ｕｎｄｅｒ　ｇｒｅａｔ　ｐｒｅｓｓｕｒｅ　ｏｆ　ｐｕｂｌｉｃ　ｏｐｉｎｉｏｎ．　

毕业设计（论文）

中文题目：微博舆情管理平台

数据分析系统的设计与实现

英文题目: MicroBlog Public Opinion

Management Platform: The Design

and Implementation of the Data

Analysis System

学 院：

专 业 ：

学生姓名：

学 号：

指导教师：

年 月 日 北京交通大学毕业设计（论文）

中文摘要

随着网络技术应用的普及和发展，舆情的传播方式和传播速度都发生了根本性变化, 网络舆情对人类的社会状态产生了全方位的影响，微博舆情则是网络舆情的重要组成部分，它的特点有：直接性，突发性，偏差性，丰富性和互动性。

本文以微博消息为研究对象，研究了微博消息传播的特点与模型，通过对抓取数据的分析发现了微博传播的单向性，便捷性，背对脸等特点，还有微博意见领袖在微博传播中的重要作用，微博热点的产生规律。根据对数据分析的结果提出了趋势分析的算法。利用空间向量模型完成对微博内容的结构数据化，利用K-means算法完成对微博消息的聚类分析，找到所要分析的某类微博内容，进而在这类微博中找出微博消息意见领袖，提出微博意见领袖影响力评估算法，WeiboRank算法，并结合算法完成了微博消息预警模块的实现，初步实现了微博舆情管理平台的数据预警分析功能。

关键词：微博舆情 文本聚类 趋势分析 北京交通大学毕业设计（论文）

Abstract

Along with the universal application and rapid development of

network technology, the approaches that the net-mediated public

sentiment spread have been fundamentally changed. The net-mediated

网络与信息工程2018.06

y数据4视化

批流计算交互式分析魏挖

W

计(Maoreduce

、 Hive

)

(Storm(SQL on(Mahout, Wn

头

*时

(Spark),S

4)

Hadoop技术）

eka)

分

布

式

服

务新的 Mapreduceflr

:%

(yarn

)

分而式内心数掂庳

劣时分彻式W

纰数掘厍

HBase

关系型数据皞

分/li

式文件系统HDFS

数职导入提取、$々换、加栽)、数椐分发

数椐源(营销业务系统、用电偵息采集、KMS

、G

丨s

等）大数据分析在用电采集数据分析与智能监测系统的设计与实现

田琴

(国网合肥供电公司营销部，安徽合肥，230022 )

摘要：本文利用设计各种分析模型，完成对电网运行情况的在线监测与异常诊断性能，以便实时掌握电网运行中潜藏的问题，

设定妥善的处理措施，进而提高用户的供电服务水平与电力企业的经济效益。

关键词：大数据分析；用电采集；数据分析；智能监测系统；设计与实现

Design and implementation of big data Analysis data Analysis and

Intelligent Monitoring system for Electric Power acquisition

Tian Qin

(Marketing Department of Hefei Power supply Company, Hefei Anhui, 230022)

Absrtact: In this paper, various analytical models are designed. Performance of on-line monitoring and

anomaly diagnosis of power network operation is completed in order to master power grid operation in real

基于大数据的电信用户行为分析系统的设计与实现

作者：宋曼

来源：《科学与财富》2020年第36期

摘 要：本文基于电信大数据设计了一个移动互联网用户行为分析系统。该系统具备数据处理、数据统计分析、数据可视化和数据管理等多个功能，为用户提供一站式移动互联网用户行为分析服务。系统提供用户流量分群分析和用户行为特征分析两个场景，对用户上网时段分布、流量特征、服务和应用偏好进行分析研究，满足移动互联网用户行为数据挖掘的需要。

关键词：移动互联网;用户行为分析;电信大数据 1. 引言

移动互联网用户上网过程中每分每秒都产生着大量的数据，电信运营商为用户提供管道服务的同时也收集了移动用户位置、上网情况、话务记录等海量数据。通过大数据技术从海量数据中分析移动互联网用户上网的共性和个性特征，发现用户流量特征、内容偏好、上网时段分布等行为习惯规律，无论是对于电信运营商有效进行网络资源配置调优，还是对于各行各业商家实现精细化运营、提高用户体验，都具有十分重要的意义和价值。

2. 用户行为分析系统需求分析

2.1 系统的总体需求

系统总体需求分以下五个步骤，数据通过处理后可以得到有价值的分析结果。具体流程如图1所示。

2.2 系统功能需求

系统的功能需求包括用户分群分析、用户行为特征分析、数据挖掘计算和数据源管理四大功能模块，系统功能结构如图2所示。

3. 用户行为分析系统的设计与实现

3.1 系统总体设计

系统总体采用SSH框架进行设计。底层采用HDFS+Spark组成的分布式集群，通过SSH框架处理用户交互逻辑并对结果进行可视化展示。系统采用视图层、控制层、服务层和数据层的分层设计模式。

1. 视图层

视图层通过前端界面接受用户请求操作，将请求发往控制层。视图层通过调用Echarts插件将结果等以柱状图、折线图、饼图等进行可视化展示。