基于Python的微博用户关系挖掘研究_林晓丽
- 格式:pdf
- 大小:309.29 KB
- 文档页数:5
Abstract Taking Sina Weibo platform as the research object,w e can automatically obtain the authorization and grab the microblog data from the application interface by using Python language and Web automation tools. Then,the data are converted into the required format. The depth first search algorithm is used to analyze the user relationship,and the relationship is visualized. In addition,the improved K - means algorithm is proposed for topic clustering analysis. Experimental results demonstrate that the proposed method is more accurate and effective. Finally,an interest correlation matrix is generated based on the user information; the improved K - means algorithm is used to analyze the similarity of attention behavior betw een Microblog users. Key words Sina Weibo user relationship data mining clustering analysis
Python - based Analysis of Microblog User's Relationship Mining
Lin Xiaoli1,2 Hu Keke2 Hu Qing1
(1. School of Computer Science and Technology,Wuhan University of Science and Technology,Wuhan 430065; 2. City College,Wuhan University of Science and Technology,Wuhan 430083)
用户在发布信息 的 同 时 ,信 息 会 被 送 到 接 收 终 端 ( 电脑 或 移 动 设 备) ,“粉 丝”( 关 注 此 用 户 的 其 他 用 户) 接收到此信息之后便可及时做出评论或转发,让 更多其他的用户分享此信息。在信息的传播过程中, 信息像广播一样同时快速地传递给所有的“粉丝”。
国内外网 络 微 博 发 展 的 基 本 逻 辑 是“植 入 式 嵌 套”,它与其 他 网 络 的 基 本 差 异 在 于 嵌 套 式 的 发 展 逻 辑。微博中的信息传 播 具 有 很 鲜 明 的 嵌 套 性 特 点 ,使 用微博的每一个用 户 都 是 这 个 网 络 上 的 一 个 节 点 ,包 含用户关注的其他用户节点的全部信息。同时这也是 以每个用户为中心 的 人 际 关 系 网,这 个 人 际 关 系 网 在
2. 2 改进的聚类算法 聚类就是将一个数据对象 集合分组成为类似的对象组成的多个类的过程。每个 类中的对象具有相 似 的 特 征 ,不 同 类 中 的 对 象 具 有 相 异的特征。K 均值方法是把含有 n 个对象的集合划分
·146·
情报杂志
第 33 卷
成指定的 K 个族,每个族中的对象的平均值称为该族 的聚点( 中心) ,两个族的相似度就是根据两个聚点而 计算出来的。
微博信息传递过程 中 不 断 的 向 外 扩 展 ,在 自 己 关 注 别 人或被别人关注时 ,会 自 动 地 加 入 到 另 一 个 用 户 的 人 际关系网中[10],其关注机制如图 2 所示:
图 2 用户关注与被关注
通过挖掘、分析微博数据背后隐藏的关系,可以准 确、高效地为那些具 有 共 同 兴 趣 爱 好 的 微 博 用 户 群 体 进行个性化推荐,避免了网络中的无用信息泛滥,降低 社会复杂 性,同 时,也 可 以 减 少 企 业 推 销 成 本[11]。 近 年来,国内外研究者做了大量的研究工作。Armentano 等[12]从社交关系网络中提取和分析用户的兴趣特征, 并将用户可能感兴 趣 的 信 息 进 行 排 序 ,根 据 候 选 信 息 序列为用户推荐信息。Yamaguchi 等[13]根据微博用户 的自定义标签建立群体用户清单进行信息推荐。为了 能够根据用户的兴趣变化推荐更有价值的信息,Ushiama 等[14]首先提取用户兴趣特征,然后向具有共同兴 趣的微博用户群体进行个性化推荐。
微博用户只需进 行 实 名 注 册 ,即 可 关 注 自 己 的 好 友,以及实时获 取 好 友 的 信 息 、状 态、心 情。 用 户 可 以 通过选择性关注来 筛 选 自 己 所 需 要 的 信 息 ,同 时 系 统 也会根据用户关注的方向自动向用户推荐一些可能感 兴趣的话题。
随着微博使用人 群 的 快 速 增 长 ,各 种 状 态 信 息 更
除 App_ key 和 App _ secret 之 外 还 需 要 Redirtct _ uri,这个参数 是 一 个 回 调 网 页,是 当 用 户 进 入 你 创 建 的应用并对你进行 授 权 之 后 跳 转 的 页 面 ,但 此 次 属 于 理论研究,因而可以设定为新浪公司的默认回调页面。
第 33 卷 第 6 期 2014 年 6 月
情报杂志
JOURNAL OF INTELLIGENCE
Vol. 33 No. 6 June 2014
基于 Python 的微博用户关系挖掘研究
林晓丽1,2 胡可可2 胡 青1
(1. 武汉科技大学计算机科学与技术学院 武汉 430065; 2. 武汉科技大学城市学院 武汉 430083)
摘 要 以新浪微博平台为研究对象,利用 Python 语言和 Web 自动化工具通过平台提供的应用接口实现自动认证
和微博数据的自动抓取,将其转换成需要的数据格式之后,运用深度优先搜索算法进行分析,获得用户的关系并可
视化。此外,采用改进的 K - means 算法进行主题聚类,实验结果表明,改进后的算法更加准确有效。最后,根据用
对于社交网站应用,人们不再满足于单纯的聊天,
而是向着多元化发展。它允许用户发送 280 字符左右 的原创信息,能够发表图片及图片集,支持他人对信息 的转发、评论,以及多 人 对 同 一 话 题 的 讨 论 ,成 为 当 前 实事交流、休闲娱乐的一种渠道,极大地促进人们生活 中的沟通与交流。手机、电脑同步,能满足人们即写即 发、即拍即发的要 求,具 有 实 时 交 互 性[4],对 于 现 今 信 息化时代显得非常重要。
收稿日期:2014 - 02 - 27
修回日期:2014 - 03 - 24
基金项目:湖北省教育厅科学技术研究计划指导性项目“基于 LP 的社交网络用户关系挖掘平台”( 编号:B2013258) 。
作者简介:林晓丽(1980 - ) ,女,硕士,讲师,研究方向:Web 数据挖掘;胡可可(1990 - ) ,女,硕士研究生,研究方向:数据挖掘;胡 青(1984
在获得新浪微博的 OAuth2 授权之后,第三 方软 件就可以利用新浪微博提供的 API 获取用户在微博中 的授权信息。
在新浪微博客户 端 中 申 请 一 个 账 号 ,并 关 注 一 些 用户。在使用自己账 号 登 陆 新 浪 微 博 之 后 ,使 用 新 浪 微博开放平台 API,获取当前账号关注的用户信息,获 得发布者、发微博途径、转发次数、评论次数等信息。
K - means 算法的主要问题是初始簇与局部解问 题。因此,本文通过对密度的衡量,筛选出最大密度作 为初始簇,采用高斯函数作为算法中的影响力函数,这 样可以避免出现相 同 密 度 点,并 且 采 用 最 大 梯 度 点 作 为剔除周围点的依据,从而减轻陷入局部解的可能性。
code = raw _input( ) request = api. request_access_token( code,REDIRECT_ URL) access_token = request. access_token expires_in = request. expires_in api. set_access_token( access_token,expires_in) print( api. statuses__public_timeline( ) )
2. 1 微博数据抓取 本文采用新浪微博开放平台 API 获取数据。要调用新浪微博 API 的开放平台,需 要先将自己申请成 为 开 发 者 ,并 用 新 浪 微 博 账 号 在 开 发平台上创建一个应用,完整填写相关信息,在通过审 核之后,会获取新浪提供的 App_key 和 App_secret,只 有获取了这两个号码才能完成接下来用户的认证工 作,这样保证了数据的完全传递[15 - 。 16]
0引言
自从埃文· 威廉姆( Evan Williams) 创办的 Twitter( 推特) 以 社 交 网 站 形 式 于 2006 年 在 美 国 问 世 以 来,微博( 微型博客 M icro - Bloging ) 应用在人们的日 常生活中变得尤为 流 行,从 最 初 的 手 机 发 送 文 本 信 息 的形式发展至现在的信息分享、传播以及获取的平台, 使得 用 户 可 以 通 过 各 种 渠 道 组 建 自 己 的 个 人 社 区[1 -3]。新浪微博自 2009 年 8 月运行以来,为广大用 户所接受和追捧。 随 后,搜 狐、网 易、腾 讯 等 门 户 网 站 相继推出微博服务,然而,新浪微博是中国微博行业的 主流之一,注册用户现已超过 3 亿。