网络热点事件发现_计算智能

1 上海大学2015～2016学年冬季学期研究生课程考试 文献阅读报告

课程名称： 《计算智能》 课程编号： 08SB69005 题目: 网络热点事件检测 研究生姓名: 学 号: 论文评语:

成 绩: 任课教师: 王 路 评阅日期: 2

网络热点事件检测 2016年03月15日 摘 要：网络的事件检测与内容挖掘是一个重要的研究方向，其任务是实时监控新闻报道流、网页及微博、微信等媒体，并从中识别新话题、新事件。现有方法在基于网页的事件识别中已经比较成熟，然而对于一些与传统媒体相差甚大的新媒体，例如微信，事件识别算法还比较欠缺。本文通过分析三篇事件检测的论文，对事件检测的方法进行了探讨，并且对于新媒体的事件检测算法提出了一些改进建议及思考。

关键词：事件检测 算法 新媒体 Inheritance Anomaly in Concurrent Object Orientation Abstract: Network event detection and content mining is a hot topic. Its task is to monitor the real-time news streaming, web pages, microblogging, blogs and other media, and then identify the new topic and event. The existing methods are mainly focused to identify the webpage-based event, and it has been relatively mature, however, for some of the new media like twitter, which is highly different from the normal webpage, event recognition algorithm is relatively lacking. This paper analyzes three event detection papers, and gives a brief introduction, finally put forward some suggestions for new media event detection algorithm in future improvement.

Key Words: event detection; algorithm; new media 1 研究背景及意义 热点事件是指某个时间段内各个领域内发生的引起人们较大关注的事件。如：“郭美美事件”、“表叔杨达才事件”、“房姐龚爱爱事件”等。这些事件都是来源于网络热点事件，这些事件对社会产生了重要的影响。然而目前对于热点事件的提取通常都是人工筛选的。 然而，在信息化的时代，网络信息的数据量成几何级增长，而且由于网络中言论的自由化，虚拟化，导致网络信息真假难辨，鱼龙混杂，此外网络中的信息传播速度快，受众量大，传播范围广，尤其是近年来出现的微信，微博等新兴传媒形式，具有内容简短，参与发言人数众多，话题随意性强等特征。这些网络媒体所具有的特征导致人工识别和研判显得力不从心，如何利用计算机网络技术、人工智能技术和数据挖掘技术自动的检测和挖掘热点事件成为一个重要的研究课题。 热点事件的发现方法有很多，目前研究的一个重要方向是在话题的基础上进行热点事件检测。话题是指一个种子事件以及所有与其直接相关的事件与活动。例如：马航飞机的失联，失联本身是一个热点事件也是一个种子事件，而随后发生的一系列的营救活动，经济影响，政治影响等均属于此话题的直接相关事件。 目前有关话题事件的研究的工作主要集中于两类方法：一种是基于传统向量，空间话题模型的话题演化挖掘［13］，通过将文档的时间信息作为话题属性引入到话题特征计算，进而构建具有动态演变性的话题模型；另一种方法则是在概率话题模型的基础上，通过计算时间信息与话题、文档、词项的后验概率分布完成对话题事件的内容检测和挖掘［19,20］。 随着微博这种新兴传媒的产生，其内容简短、随意性强的特性导致了一个新的热点事件检测方 3

向。[1]探讨了利用tweeter来做事件检测，运用其中的时间、文本以及地理标识[1]。Cheng[7] 等提出了一个通过用户发布的微博内容预测用户发布微博的位置信息的模型。文献[8]中则提出了社会化社区中流行事件跟踪的统计模型，并和传统的感染模型进行了比较。Lee等人[10,11]对关键词定义了BursT加权公式，并引入了滑动窗口实时监控事件的发生。［12］使用主题模型，对微博文本进行主题建模，从而避免数据稀疏问题。

2 基于关键词元的话题内事件检测[23] 2.1 主要思想 由于事件的个数难以确定，且相同话题的不同事件新闻间的相似度较大。所以之前的基于话题的事件检测算法算法有所不足，于是本文提出了基于事件词元委员会的事件检测与关系发现方法。即首先挖掘每个事件的核心词元，从事件区别于其他事件的核心词元(词元委员会) 入手, 以核心词元代表事件, 通过新闻与核心词元的相似度判断事件的核心新闻, 进而根据新闻与事件核心新闻的相似度判断新闻所属事件。在Linguistic Data Consortium ( LDC) 的两个数据集上的实验结果显示, 提出的事件检测与关系发现方法可以显著地改善已有方法的效果。 2.2 算法主要步骤 本文算法主要分为基于词元委员会的事件检测和基于词元委员会的事件关系发现两个部分。 2.2.1 基于词元委员会的事件检测 a) 新闻表示 先进行分词、简写识别与名称归一化、词性标注等预处理，随后对每个新闻生成词频向量。 最后根据词频向量生成新闻的带有词元权重信息的新闻描述向量。 b) 事件词元委员会的发现 首先对于每个词元建立一个新闻集合:F (w ) = { d | d 为包含词元w 的新闻文档} 。 词元发现委员会算法：将所有词元组成一个集合R，对于R中词元进行层次聚类，生成词元委员会C。 c) 事件中心新闻的提取 虽然一个事件的主要内容为几个核心词汇，但是事件往往有略微的主题漂移，即某篇新闻的主要内容并非事件的核心内容。因此需要根据词元委员会发现一个事件的核心新闻簇，并利用此新闻簇做最终的事件检测。对于一个词元委员会C，建立一个对应的核心新闻簇DC ，若一个新闻d 包含一半或一半以上C中的词元，则将d加入到新闻簇DC。 d) 新闻事件分配 将每篇新闻与不同的核心新闻簇做相似性比较，相似度采用新闻与新闻簇中的所有新闻的相似度的平均值。若最高相似度大于预定义阈值，则将此新闻加入到相应的新闻簇中，否则新建一个新闻簇，并加入此新闻。

2.2.2 基于词元委员会的事件关系发现 a) 使用事件的时间顺序与事件间新闻的平均相似度两个属性。 b) 词源类型：与整体话题紧密相关的词元、此事件紧密相关的词元、相关事件紧密相关的词元和非重点词元。其中第一类和第四类会产生噪声，只有第二、三类是有用的。 c) 重新定义词元权重：对原来的权重进行加权，用以消除第一类和第四类噪声。定义事件间相 4

似度：两个事件间新闻相似度的平均值。 d) 定义事件关系：对于事件ej，定义ej之前的所有事件ek中与ej相似度最高且高于某阈值的事件ei为ej的父亲事件。

3 基于twitter的事件检测[1] 3.1 主要思想 由于越来越多的人在使用twitter，直至2012年，已经有超过5亿用户。而且其实时性强，平均每人每天刷微博次数大于1次。此外，很多事件都是从twitter最早发现并扩散开的，例如：Haiti的大地震。 因此这篇文章是基于twitter的事件检测，其做法是将Twitter用户看做是传感器（sensor）。当地震发生时，Twitter用户会大量发布相关的微博，被看做是传感器感应并发送的信息。文章先通过一个分类器，监测到目标事件，然后通过一个概率时空模型找到事件位置的中心和动态。 这篇文章的主要贡献：（1）提出了一个融合了语义特征和实时性的twitter的数据的一个应用前景。（2）对于地震预测和早期发现报警，本文提出了一种自发的，社会性的方法。 算法的整体流程如图1所示：

图1 算法流程示意图 3.2 算法主要步骤 3.2.1 目标事件的选择 这篇文章选取的目标事件具有以下几个特征：（1）大规模，如：海啸、地震；（2）影响人们的日常生活（3）有显著的时间和空间特征。 这篇文章作为实验选择的是日本的大地震。 3.2.2 事件检测 a) 关于twitter的语义分析 主要包含：选取关键词，如：earthquake等；噪音分类：与目标事件无关的，如：“I am attending an earthquake conference”，和非实时性的事件，如：“The earthquake yesterday was scaring”；使用svm算法去除噪音，以：“I am in Japan, earthquake right now!”（搜索关键词为：earthquake）为例，其特征如下表1所示： 表1 SVM的特征 特征名称 特征含义 举例 数值特征 Tweet的长度及搜索词所在位置 7个词、第5个

关键词特征 切分词 I am in Japan earthquake 5

right now 上下文特征 关键词前后位置的词 Japan right b) Tweet作为感知传感器 （1）假设1：每个twitter被认为是一个传感器，当检测到目标事件时，传感器以一定概率发送消息。 （2）Tweet作为虚拟传感器，有如下特征：一些人会受事件影响发送消息，而另一些不会；数目庞大；每个传感器可能工作或者不工作，例如：在睡觉，那么就非工作状态。 （3）假设2：Tweet是包含时间戳和地理信息的 3.2.3 时空建模 a) 时间建模 （1） 分布规律。图2是关于地震事件发生后的tweet的发送量分布图，从图中可以看出，其分布是在一个齐次泊松分布时间间隔后会出现指数分布。 （2）干扰的消除：包含延时干扰，即tweet发送时非实时的，和虚警的干扰，即tweet本身并不是关于这个事件的，但是确被算入了。

图2 地震事件发生后的tweet的发送量分布图 b) 空间建模 由于每个tweet的位置不同，那么就会产生很多的位置信息，需要将错误的删除，并选出正确的地理位置。 这篇文章使用了：首先利用马尔科夫链生成一个时序的地理位置改变线，通过这个步骤可以得出发tweet的轨迹，就可以判断最初的事件位置。然后利用粒子滤波排除错误的点和干扰点，再得出事件地理中心。 c) 考虑传感器的地理分布 不同地理位置的tweet是有不同影响力的，如大城市的tweet密集，而乡村稀疏。所以赋予他们不同的权重，给予稀疏的地区的tweet更高的权重。 3.3 算法分析 3.3.1 优点 本文算法的优点主要有：（1）使用tweet对事件进行检测并地理位置的定位。（2）使用了对于tweet产生的一些噪音进行了很好的消除，如：延时、虚警等。 3.3.2 缺点 本文算法的缺点主要有：（1）考虑的是重大的事件，如：地震等，不够一般化。（2）实时性不强，可以看出文中的算法是需要在一段时间的分布中确定，那么就不能够实时的发现问题。