新浪微博数据采集方法

  • 格式:docx
  • 大小:2.99 MB
  • 文档页数:14

下载文档原格式

  / 14
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

本文介绍使用八爪鱼采集微博数据-发布的全部微博为例

采集网站:

使用功能点:

●分页列表及详细信息提取

/tutorial/fylbxq7.aspx?t=1

●八爪鱼7.0教程——AJAX滚动教程

/tutorial/ajgd_7.aspx?t=1

●八爪鱼7.0教程——AJAX点击和翻页教程

/tutorial/ajaxdjfy_7.aspx?t=1 相关采集教程:

58同城信息采集

豆瓣电影短评采集

步骤1:创建采集任务

1)进入主界面,选择“自定义模式”

2)将要采集的网址复制粘贴到网站输入框中,点击“保存网址”

1)系统自动打开网页,进入微博页面。在页面右上角,打开“流程”,以展现出“流程设计器”和“定制当前操作”两个板块。将当前微博页面下拉至底部,出现“正在加载中,请稍后”的字样。等待约2秒,页面会有新的数据加载出来。经过2次下拉加载,页面达到最底部,出现“下一页”按钮

(新浪微博数据采集方法图3)

“打开网页”步骤涉及Ajax下拉加载。打开“高级选项”,勾选“页面加载完成后向下滚动”,设置滚动次数为“4次”,每次间隔“3秒”,滚动方式为“直接滚动到底部”,最后点击“确定”

(新浪微博数据采集方法图4)

注意,这里的滚动次数、间隔时间,需要针对网站进行设置,可根据相关功能点教程进行学习:

八爪鱼7.0教程——AJAX滚动教程

八爪鱼7.0教程——AJAX点击和翻页教程

/tutorial/ajaxdjfy_7.aspx?t=1

2)将页面下拉到底部,点击“下一页”按钮,在右侧的操作提示框中,选择“循环点击下一页”

(新浪微博数据采集方法图5)

此步骤同样涉及了Ajax下拉加载。打开“高级选项”,勾选“页面加载完成后向下滚动”,设置滚动次数为“4次”,每次间隔“3秒”,滚动方式为“直接滚动到底部”,最后点击“确定”

(新浪微博数据采集方法图6)

1)移动鼠标,选中页面里的第一条微博链接。选中后,系统会自动识别页面里的其他相似链接。在右侧操作提示框中,选择“选中全部”

(新浪微博数据采集方法图7)2)选择“循环点击每个链接”,以创建一个列表循环

1)在创建列表循环后,系统会自动点击第一条微博链接,进入微博详情页。点击需要的字段信息,在右侧的操作提示框中,选择“采集该元素的文本”。继续选择要采集的字段,选择“采集该元素的文本”

(新浪微博数据采集方法图9)

2)继续选中要采集的字段,这里选中了微博链接,在操作提示框中,选择“采集该链接的地址”。重复以上操作,直至需要的字段选择完成

(新浪微博数据采集方法图10)

3)字段信息选择完成后,选中相应的字段,可以进行字段的自定义命名。完成后,点击左上角的“保存并启动”,启动采集任务

(新浪微博数据采集方法图11)4)选择“启动本地采集”

步骤5:数据采集及导出

1)采集完成后,会跳出提示,选择“导出数据”。选择“合适的导出方式”,将采集好微博发博数据导出

(新浪微博数据采集方法图13)

2)这里我们选择excel作为导出为格式,数据导出后如下图

(新浪微博数据采集方法图14)

八爪鱼——70万用户选择的网页数据采集器。

1、操作简单,任何人都可以用:无需技术背景,会上网就能采集。完全可视化流程,点击鼠标完成操作,2分钟即可快速入门。

2、功能强大,任何网站都可以采:对于点击、登陆、翻页、识别验证码、瀑布流、Ajax脚本异步加载数据的网页,均可经过简单设置进行采集。

3、云采集,关机也可以。配置好采集任务后可关机,任务可在云端执行。庞大云采集集群24*7不间断运行,不用担心IP被封,网络中断。

4、功能免费+增值服务,可按需选择。免费版具备所有功能,能够满足用户的基本采集需求。同时设置了一些增值服务(如私有云),满足高端付费企业用户的需要。