下载文档原格式
安卓HttpClient+Jsoup+Httpwatch模拟登陆正方教务获取信息分类： android | 标签: 安卓,爬虫| 作者： u013082133 相关| 发布日期 : 2014-10-03 | 热度 : 1107°目录[+]之前想要写一下关于爬数据的文章的，发现时间有点急迫。
所以今天在期末考试之前写完跟大家分享一下的我的心得，先上之前的图。
今天我也以正方教务体统抓取成绩的例子来给大家讲解，第一次写博客，可能会写的不会，还请大家谅解，不过保证大家看的懂，请耐心看完。
好了，下面开始！！！第一步：登陆你们的教务，这是我们学习的教务的主页/，进去之后，打开httpWatch,至于没用过的话，自己去研究下，因为里面有将我们需要的Post参数和Post地址都归纳出来的，很好用。
如图：进去之后你会看见HttpWatch刷刷的，出来一大片数据，当然我们的从当中挑选出有用的数据。
如图，我们打开上栏中的第一列标签，就是横线的地方。
首先我们来观看下数据，请求方法：post，状态值：302，请求的URL:/default2.aspx。
然后，我们来观察下面大圈圈中的数据，这里是Post所带的参数，里面有__ViewStat(我也不知道是什么，不过一起带着Post就好了，这里有个情况，我等会在下面讲，先用绿色标记)，Button的值（乱码），lbLanguage（不管，先记下），RadioButtonList1（单选按钮：学生...），TextBox1：账号，TextBox2：密码。
Ok.......下面我们来看一下Button和lbLanguage和RadioButtonList1具体的值，下面的标签打开Stream，如图：看，里面有一些不认识的参数的值。
Button="" ，lbLanguage=""，RadioButtonList1="%D1%A7%C9%FA"，哦了。
跟我学《Web组件与框架开发技术》——如何应用Telnet和HttpWatch监测Http请求和响应信息1.1应用Telnet连接远程服务器并监测Http请求和响应信息1.1.1基于Telnet协议的Telnet客户端和支持Telnet的服务器程序1、Telnet是什么（1）Telnet协议Telnet协议（Telnet是Teletype Network的缩写）是TCP/IP协议族中的一员，是Internet 远程登陆服务的标准协议。
这一协议需要通过用户名和口令进行认证，是Internet远程登陆服务的标准协议。
应用Telnet协议能够把本地用户所使用的计算机变成远程主机系统的一个终端。
（2）基于Telnet协议的Telnet客户端和支持Telnet的服务器程序在许多技术资料中如果没有明确地说明为“Telnet协议”而只是给出“Telnet”这个词时一般是指基于Telnet协议的Telnet客户端程序。
因此，Telnet在通常的情况下是指Internet 上远程登录的一种程序。
2、Telnet程序（准确地说应该是基于Telnet协议的Telnet客户端程序）的主要功能Telnet客户端程序（在Windows操作下为telnet命令程序）为用户提供了在本地计算机上完成操作和控制远程服务器主机的能力，在终端使用者的电脑中（在Windows操作系统中为DOS命令行运行环境）使用telnet命令程序，可以连接到远程服务器。
并且可以在telnet程序中输入操作命令，就可以在本地计算机中控制远程服务器。
如果在连接远程服务器时需要进行访问验证，哪么在开始一个telnet会话时，必须要输入用户名和密码来登录远程服务器。
3、在Windows操作系统中提供有telnet客户端程序和服务器端程序其中的telnet.exe是telnet的客户机程序，而tlntsvr.exe是telnet的服务器程序。
此外，Windows操作系统还提供有telnet服务器管理程序tlntadmn.exe。
HTTP协议详解之响应1.什么是HTTP响应当服务器收到浏览器的请求后，会发送响应消息给浏览器。
一个完整的响应消息主要包括响应首行、响应头信息、空行和响应正文。
其中，每个部分都代表了不同的含义。
下面我们会围绕HTTP响应消息的每个组成部分进行详细分析。
2.HTTP响应消息分析下面我们通过HttpWatch抓包工具，抓取一段响应信息，然后对该信息进行分析。
(1)创建web应用Example05，将该应用发布到Tomcat服务器，启动Tomcat服务器。
在浏览器地址栏输入http://localhost:8080/Example05/index.jsp。
使用HttpWatch进行抓包，抓取的响应消息，如例1-1所示：例1-1响应消息HTTP/1.1200OKServer:Apache-Coyote/1.1Content-Type:text/html;charset=UTF-8Content-Length:624Date:Mon,03Nov201406:37:28GMT<!DOCTYPE HTML PUBLIC"-//W3C//DTD HTML 4.01Transitional//EN"> <html><head><base href="http://localhost:8080/Example05/"><title>My JSP'index.jsp'starting page</title><meta http-equiv="pragma"content="no-cache"><meta http-equiv="cache-control"content="no-cache"><meta http-equiv="expires"content="0"><meta http-equiv="keywords" content="keyword1,keyword2,keyword3"><meta http-equiv="description"content="This is my page"><!--<link rel="stylesheet"type="text/css"href="styles.css">--></head><body>This is my JSP page.<br></body></html>由例1-1响应消息内容，分析可知：(1)响应首行：其内容是”HTTP/1.1200OK”●HTTP/1.1：表示协议版本●200：表示响应状态码，200表示响应成功。
1概述H ttpWatch强大的网页数据分析工具，集成在Internet Explorer工具栏，包括网页摘要、Cookies管理、缓存管理、消息头发送/接受、字符查询、POST 数据和目录管理功能、报告输出等功能。
H ttpWatch 是一款能够收集并显示页页深层信息的软件。
它不用代理服务器或一些复杂的网络监控工具，就能够在显示网页同时显示网页请求和回应的日志信息。
甚至可以显示浏览器缓存和IE之间的交换信息。
集成在Internet Explorer工具栏。
版本：HttpWatch Professional Edition2安装HttpWatch略过^_^3基本功能介绍启动Httpwatch从IE的“工具”—“HttpWatch Professional”启动HttpWatch（快捷键Shift+F2）。
如下图所示：以下是HttpWatch程序界面以下用登陆百度，搜索网页的例子来展示Httpwatch:HttpWatch点击“Record”后，在IE打开需要录制的网址, ，输入需要搜索的关键字后，点击“百度一下”，然后在点击HttpWatch的“Stop”后，录制的全部请求。
4菜单栏4.1Record（录制）点击“Record”按钮开始录制Http请求操作4.2Stop（停止）点击“Stop”按钮停止录制Http请求操作4.3Clear（清除）点击“Clear”按钮，清除所有录制HTTP请求log记录，如下图所示红框中内容：4.4View（视图）功能菜单说明Group by Page按照页面来分组Time Chart Column显示时间图表字段Select Columns...选择字段Summary汇总信息Properties属性信息Collapse All折叠全部Expand All展开全部Expand New Pages新页面展开Offset Timings时间偏移Local Time本地时间GMT/UTC格林尼治时间在页面中采用时间偏移Offset Timings withinPage4.5Summary（统计）点击“Summary”按钮，显示或隐藏所有请求信息汇总统计概述以下用httpwatch工具记录打开过程，Summary信息如下：4.5.1Network网络信息汇总，可以对选中的页面进行汇总，也可以对全部的请求进行汇总。
HttpWatch的使用方法
一概述：
HttpWatch强大的网页数据分析工具.集成在Internet Explorer工具栏.包括网页摘要.Cookies管理.缓存管理.消息头发送/接受.字符查询.POST 数据和目录管理功能.报告输出 HttpWatch 是一款能够收集并显示页页深层信息的软件。
它不用代理服务器或一些复杂的网络监控工具，就能够在显示网页同时显示网页请求和回应的日志信息。
甚至可以显示浏览器缓存和IE之间的交换信息。
集成在Internet Explorer工具栏。
二基本功能介绍
启动HttpWatch
从IE的“查看”—“浏览器栏”—“HttpWatch”启动HttpWatch。
如下图所示
以下是HttpWatch程序界面
以下用登录我的邮箱例子来展示Httpwatch:
点击“Record(记录)”后，在IE打开需要录制的网址,，输入用户名，密码后完成登录操作。
10.6 httpwatch 、wireshark等抓包工具应用
1） HTTPWATCH 抓包过程
这个软件适用于网页无法打开，视频网站观看视频卡，网页游戏卡、无法打开等网页类的问题。
首先，打开IE在工具兰中点击httpwatch打开软件。
打开软件后在网页下方会生成一个新的窗口。
按红色record按钮，开始抓包，抓包开始后打开要抓包的网页。
抓包开始后，在地址栏输入要抓包的网站网址，待网站完全打开后抓包完成。
视频抓包在视频播放几分钟后可以完成抓包。
点击“stop”完成抓包。
点击“save”，保存抓包结果
6.2 Wireshark抓包过程
wireshark是非常流行的网络封包分析软件，功能十分强大。
可以截取各种网络封包，显示网络封包的详细信息。
使用wireshark进行网络分析的人须了解网络协议，否则就看不懂wireshark了。
为了安全考虑，wireshark只能查看封包，而不能修改封包的内容，或者发送封包。
wireshark 启动界面如下：
Wireshark软件抓包：适用于无法正常连接网络的客户端类软件抓包，主要抓取经过网卡的数据包。
wireshark是捕获机器上的某一块网卡的网络包，当你的机器上有多块网卡的时候，你需要选择一个网卡。
软件打开后的界面是这样的，单击接口列表或左上角快捷按钮，选择网卡后开始抓包。
然后点击"开始"按钮, 开始抓包。
在软件开始抓包3-5分钟后可按“停止”按钮进行停止。
停止后单击“保存”按钮将抓包结果保存，抓包结束。
HTTP协议头部与Keep-Alive模式详解/home-space-uid-42237-do-blog-id-234552.html1、什么是Keep-Alive模式？我们知道HTTP协议采用“请求-应答”模式，当使用普通模式，即非KeepAlive模式时，每个请求/应答客户和服务器都要新建一个连接，完成之后立即断开连接（HTTP协议为无连接的协议）；当使用Keep-Alive模式（又称持久连接、连接重用）时，Keep-Alive功能使客户端到服务器端的连接持续有效，当出现对服务器的后继请求时，Keep-Alive功能避免了建立或者重新建立连接。
http 1.0中默认是关闭的，需要在http头加入"Connection: Keep-Alive"，才能启用Keep-Alive；http 1.1中默认启用Keep-Alive，如果加入"Connection: close "，才关闭。
目前大部分浏览器都是用http1.1协议，也就是说默认都会发起Keep-Alive的连接请求了，所以是否能完成一个完整的Keep- Alive连接就看服务器设置情况。
2、启用Keep-Alive的优点从上面的分析来看，启用Keep-Alive模式肯定更高效，性能更高。
因为避免了建立/释放连接的开销。
下面是RFC 2616上的总结：1.1.By opening and closing fewer TCP connections, CPU time is saved inrouters and hosts (clients, servers, proxies, gateways, tunnels, orcaches), and memory used for TCP protocol control blocks can besaved in hosts.2.HTTP requests and responses can be pipelined on a connection.Pipelining allows a client to make multiple requests without waitingfor each response, allowing a single TCP connection to be used muchmore efficiently, with much lower elapsed time.work congestion is reduced by reducing the number of packetscaused by TCP opens, and by allowing TCP sufficient time todetermine the congestion state of the network.tency on subsequent requests is reduced since there is no timespent in TCP's connection opening handshake.5.HTTP can evolve more gracefully, since errors can be reported withoutthe penalty of closing the TCP connection. Clients using futureversions of HTTP might optimistically try a new feature, but ifcommunicating with an older server, retry with old semantics afteran error is reported.RFC 2616（P47）还指出：单用户客户端与任何服务器或代理之间的连接数不应该超过2个。
测试内容：1、点击对话观察对话窗口加载的速度。
大概花费时长多少。
2、有掉消息的情况是否频繁。
最好有截图。
3、HttpWatch操作。
如下“关于HttpWatch”。
*4、有可能的话观察一下所有客服的360测量分析。
*5、在“开始”“运行”中输入“cmd”回车后，在黑窗口输入“tracert”回车。
如果第一行就是“Request time out”（就不用做后面的截图了。
）显示“complete”就可以把黑窗口截图下来。
-------------------------------------------------关于HttpWatch安装：1、将软件解压出来双击“httpwatchpro.exe”2、 License文件就是这个“httpwatch.lic”3、然后一路next就OK了，（除了安装路径可以改外不要改动其他选项。
）测试网站：1、打开IE（没有任何页面打开的情况）按shift+F2，屏幕下方出现httpwatch的主界面。
2、在打开主界面后点击“Record”，然后在IE地址栏输入网站，等到IE加载完成后20秒点击“stop”，再点击“Save”。
（这个.hwl文件需要发送给我们。
）测试对话：1、现在在刚才的页面点击对话，等对话窗口加载完成后。
把对话窗口的地址复制下来，然后把IE的缓存清除关闭浏览器。
2、打开IE按shift+F2再调出HttWatch的主界面，再点击“Record后把刚才的对话地址粘贴到地址栏中回车。
3、等待加载“完成”后20秒点击“stop”再点击“save”。
（这个.hwl文件同样需要发送给我们。
）。
urlwatch是一个可以帮助用户监控网页变化的工具，它可以定期检查网页的变化，并在发现变化时提醒用户。
本文将介绍urlwatch的使用实例，包括如何安装和配置urlwatch，以及如何利用urlwatch监控网页的变化。
1. 安装urlwatch要使用urlwatch，首先需要在计算机上安装该工具。
urlwatch支持Linux、Mac OS和Windows系统，用户可以根据自己的操作系统选择相应的安装方式。
在Linux系统上，用户可以通过包管理工具直接安装urlwatch，例如在Ubuntu系统上可以使用以下命令安装：```shell$ sudo apt-get install urlwatch```如果用户使用的是Mac OS系统，可以通过Homebrew安装urlwatch，如下所示：```shell$ brew install urlwatch```而在Windows系统上，用户可以通过pip工具安装urlwatch，具体命令如下：```shell$ pip install urlwatch```2. 配置urlwatch安装完成urlwatch之后，需要对其进行配置，以便监控指定网页的变化。
用户可以通过编辑urlwatch的配置文件来进行配置，配置文件通常位于用户的家目录下的.urlwatch目录中，具体路径可以根据操作系统不同而有所差异。
用户可以使用文本编辑器打开配置文件，根据自己的需求进行配置。
在配置文件中，用户可以添加要监控的网页位置区域和监控频率等信息。
用户可以添加以下内容来监控“xxx”网页的变化：```yaml- name: exampleurl: xxxfilter:- html2textfrequency: 3600```上述配置表示每隔3600秒（1小时）监控一次“xxx”网页的变化，并将变化以文本形式显示。
3. 监控网页变化配置完成之后，就可以使用urlwatch来监控网页的变化了。
一概述：HttpWatch强大的网页数据分析工具.集成在Internet Explorer工具栏.包括网页摘要.Cookies管理.缓存管理.消息头发送/接受.字符查询.POST 数据和目录管理功能.报告输出HttpWatch 是一款能够收集并显示页页深层信息的软件。
它不用代理服务器或一些复杂的网络监控工具，就能够在显示网页同时显示网页请求和回应的日志信息。
甚至可以显示浏览器缓存和IE之间的交换信息。
集成在Internet Explorer工具栏。
二安装HttpWatchHttpWatch下载地址：/view/118645192410757.html三基本功能介绍启动Httpwatch从IE的“查看”—“浏览器栏”—“HttpWatch”启动HttpWatch。
如下图所示：以下是HttpWatch程序界面以下用登录我的邮箱例子来展示Httpwatch:点击“Record”后，在IE打开需要录制的网址,，输入用户名，密码后完成登录操作1．3.1 Overview（概要）表示选定某个信息显示其概要信息如上图红框所示：URL：/external/closea_d.jsResult：200请求的URL是/external/closea_d.js ，返回的Htpp状态代码结果200，表示成功；Resync URL Browser requested refresh if changed - /external/closea_d.js浏览器请求的URLStarted At2008-Jan-04 09:21:09.422 (local time)请求开始时间(实际记录的是本机的时间)Conn ect Connect to IP address '218.107.55.86'请求的网址的IP地址Http Request Unconditional request sent for /external/closea_d.jsHttp请求，当浏览器向Web服务器发出请求时，它向服务器传递了一个数据块，也就是请求信息Http ResponseHeaders and content returnedHttp响应，当浏览器接受到web服务器返回的信息时2．3.2 Header（报头）表示从Web服务器发送和接受的报头信息；/a/p/main.htm?sid=UBDCcOJJDknBulMFzSJJipPzfROMNqHO如上图红框所示：Http请求头发送信息Headers Sent valueRequest-Line GET /external/closea_d.js HTTP/1.1以上代码中“GET”代表请求方法，“closea_d.js”表示URI，“HTTP/1.1代表协议和协议的版本。
Accept*/*指示能够接受的返回数据的范围, */*表示所有Accept-Encoding gzip, deflateAccept-Encoding表明了浏览器可接受的除了纯文本之外的内容编码的类型，比如gzip压缩还是deflate压缩内容。
Accept-Language zh-cn表示能够接受的返回数据的语言Connection Keep-Alive保持Tcp请求连接备注：在HTTP工作开始之前，Web浏览器首先要通过网络与Web服务器建立连接，该连接是通过TCP 来完成的，该协议与IP协议共同构建Internet，即著名的TCP/IP协议族，因此Internet又被称作是TCP/IP网络。
HTTP是比TCP更高层次的应用层协议，根据规则，只有低层协议建立之后才能，才能进行更层协议的连接，因此，首先要建立TCP连接，一般TCP连接的端口号是80Cookie vjuids=-1b9063da8.1173d33f879.0.9aab8b85a459d; vjlast=1199406314;_ntes_nnid=a1e69963f40453af8a9ad171cc4cd8da,0|tech|;NTES_UFC=3000000100000000000000000000000000000000000000000000000000000000; Province=021; City=021; ntes_mail_firstpage=normal;NTES_SESS=68LUOUH9ewcCBFyN5OXZ_0qf._IOMCkFscaGYrooXpjtVF7r8Vx7jAzg7HGdWo00GQEn1Zmr ZcX7FMAXnb052r8XOFZZYk.hN; NETEASE_SSN=mayingbao2002;NETEASE_ADV=11&23&1199409658752;Coremail=VDeAMrrrDFaTa%XCVwJiXXsRLSLkbLhZXXZGqPJkEXFKNtCookie没什么说的就是客户端记录相关信息Host 请求连接的主机名称’Referer /a/p/main.htm?sid=XCVwJiXXsRLSLkbLhZXXZGqPJkEXFKNt包含一个URL，用户从该URL代表的页面出发访问当前请求的页面User-Agent Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)客户端标识浏览器类型Http请求头返回信息Headers Received ValueStatus-Line Http/1.0200 ok表示Http服务端响应返回200Accept-Ranges bytesHttp请求范围的度量单位Age117表示Http接受到请求操作响应后的缓存时间Cache-Control max-age=3600一个用于定义缓存指令的通用头标Connection keep-alive保持Tcp请求连接Content-Type application/x-javascript标明发送或者接收的实体的MIME类型Date Fri, 04 Jan 2008 01:12:26 GMT发送HTTP消息的日期Etag"10f470-734-b32eb00"一种实体头标，它向被发送的资源分派一个唯一的标识符Expires Fri, 04 Jan 2008 02:12:26 GMT指定实体的有效期Last-Modified Fri, 04 Jan 2008 01:01:00 GMT指定被请求资源上次被修改的日期和时间Server Apache一种标明Web服务器软件及其版本号的头标X-Cache HIT from 表示你的httprequest是由proxyserver回的3．3.3 Cookies显示Cookies信息如上图所示City=021，其实是我163邮箱中设置城市信息值，在Cookies中记录为021(代表上海这个城市)备注：什么是cookie？Cookie是一种在客户端保持HTTP状态信息的技术，Cookie是在浏览器访问WEB服务器的某个资源时，由WEB服务器在HTTP响应消息头中附带传送给浏览器的一片数据，WEB服务器传送给各个客户端浏览器的数据是可以各不相同的。
浏览器可以决定是否保存这片数据，一旦WEB浏览器保存了这片数据，那么它在以后每次访问该WEB服务器时，都应在HTTP请求头中将这片数据回传给WEB服务器。
显然，Cookie最先是由WEB服务器发出的，是否发送Cookie和发送的Cookie的具体内容，完全是由WEB 服务器决定的。
Cookie在浏览器与WEB服务器之间传送的过程如图7.1所示。
4．3.4 Cache(缓存)显示在请求完成前后的浏览器缓存里URL地址栏里的详细信息5．3.5 Query String(查询字符串)显示查询字符串被用在是传递参数url中如下图所示：/setcookie.jsp?username=mayingbao2002&domain=&loginCookie=uaLr3t2p5 wKi_ku90vYy04gK1MamttMzYGFxdsppqrz3ZhjsWZ8jzDlVjmxEIpSSx2hn__w3ZsoBSFu6gKRZyRUdIgZYzVci X&clearPersistCookie=如上面的红框中显示的mayingbao2002字符串，是存在于请求的URL传递的参6．3.6 POST Data显示通过Post方式数据信息以下是登录过程中POST Data，如下图所示：https:///logins.jsp?type=1&url=/coremail/fcg/ntesdoor2?lightweight%3D1%26 verifycookie%3D1%26language%3D-1%26style%3D-1上面的红框：application/x-www-form-urlencoded表示，post方式默认提交数据编码备注：以下为Post方式提交数据编码几种方式：text/plain 以纯文本的形式传送application/x-www-form-urlencode默认的编码形式，即URL编码形式dmultipart/form-data MIME编码，上传文件的表单必须选择该Mime Type指的是如text/html,text/xml等类型MIME（Multipurpose Internet Email Extension），意为多用途Internet邮件扩展，它是一种多用途网际邮件扩充协议，在1992年最早应用于电子邮件系统，但后来也应用到浏览器。
服务器会将它们发送的多媒体数据的类型告诉浏览器，而通知手段就是说明该多媒体数据的MIME类型，从而让浏览器知道接收到的信息哪些是MP3文件，哪些是JPEG文件等等。
当服务器把把输出结果传送到浏览器上的时候，浏览器必须启动适当的应用程序来处理这个输出文档。
在HTTP中，MIME类型被定义在<head>、</head>部分的Content-Type中。
数据类型MIME类型超文本标记语言文本 .htm,.html文text/html（数据类别是text，种类是html，下同）件纯文本，.txt文件text/plainRTF文本，.rtf文件application/rtfGIF图形，.gif文件image/gifJPEG图形，.jpeg, .jpg文件image/jpegau声音，.au文件audio/basicMIDI音乐，mid,.midi文件audio/midi,audio/x-midiRealAudio音乐，.ra, .ram文件audio/x-pn-realaudioMPEG，.mpg,.mpeg文件video/mpegAVI，.avi文件video/x-msvideoGZIP，.gz文件application/x-gzipTAR，.tar文件application/x-tar如上图红圈所表示，可以看到POST Data 中的password和username数据；备注：get方法和Post方法区别GET方法GET方法是默认的HTTP请求方法，我们日常用GET方法来提交表单数据，然而用GET方法提交的表单数据只经过了简单的编码，同时它将作为URL的一部分向Web服务器发送，因此，如果使用GET方法来提交表单数据就存在着安全隐患上。
