当前位置：文档之家 › httpwatch教程

httpwatch教程

  • 格式：doc
  • 大小：536.00 KB
  • 文档页数：18

一概述：HttpWatch强大的网页数据分析工具.集成在Internet Explorer工具栏.包括网页摘要.Cookies管理.缓存管理.消息头发送/接受.字符查询.POST 数据和目录管理功能.报告输出 HttpWatch 是一款能够收集并显示页页深层信息的软件。

它不用代理服务器或一些复杂的网络监控工具，就能够在显示网页同时显示网页请求和回Explorer工具栏。

二安装HttpWatch略过^_^三基本功能介绍启动Httpwatch从IE的“查看”—“浏览器栏”—“HttpWatch”启动HttpWatch。

如下图所示：以下是HttpWatch程序界面以下用登录我的邮箱例子来展示Httpwatch:点击“Record”后，在IE打开需要录制的网址,，输入用户名，密码后完成登录操作1． 3.1 Overview（概要）表示选定某个信息显示其概要信息Resync URL Browser requested refresh if changed- /external/closea_d.js浏览器请求的URLStarted At 2008-Jan-04 09:21:09.422 (local time)请求开始时间(实际记录的是本机的时间)Connect Connect to IP address '218.107.55.86'请求的网址的IP地址Http Request Unconditional request sent for /external/closea_d.js Http请求，当浏览器向Web服务器发出请求时，它向服务器传递了一个数据块，也就是请求信息Http Response Headers and content returnedHttp响应，当浏览器接受到web服务器返回的信息时2． 3.2 Header（报头）表示从Web服务器发送和接受的报头信息；如上图红框所示：Http请求头发送信息Headers Sent valueRequest-Line GET /external/closea_d.js HTTP/1.1以上代码中“GET”代表请求方法，“closea_d.js”表示URI，“HTTP/1.1代表协议和协议的版本。

Accept */*指示能够接受的返回数据的范围, */*表示所有Accept-Encoding gzip, deflateAccept-Encoding表明了浏览器可接受的除了纯文本之外的内容编码的类型，比如gzip压缩还是deflate压缩内容。

Accept-Language zh-cn表示能够接受的返回数据的语言Connection Keep-Alive保持Tcp请求连接备注：在HTTP工作开始之前，Web浏览器首先要通过网络与Web服务器建立连接，该连接是通过TCP来完成的，该协议与IP协议共同构建Internet，即著名的TCP/IP协议族，因此Internet又被称作是TCP/IP网络。

HTTP是比TCP更高层次的应用层协议，根据规则，只有低层协议建立之后才能，才能进行更层协议的连接，因此，首先要建立TCP连接，一般TCP连接的端口号是80Cookie vjuids=-1b9063da8.1173d33f879.0.9aab8b85a459d;vjlast=1199406314; _ntes_nnid=a1e69963f40453af8a9ad171cc4cd8da,0|tech|;NTES_UFC=300000010000000000000000000000000000000000000000000000000000 0000; Province=021; City=021; ntes_mail_firstpage=normal;NTES_SESS=68LUOUH9ewcCBFyN5OXZ_0qf._IOMCkFscaGYrooXpjtVF7r8Vx7jAzg7HGdWo00GQEn1ZmrZcX7FMAXnb052r8XOFZZYk.hN;NETEASE_SSN=mayingbao2002; NETEASE_ADV=11&23&1199409658752; Coremail=VDeAMrrrDFaTa%XCVwJiXXsRLSLkbLhZXXZGqPJkEXFKNtCookie没什么说的就是客户端记录相关信息Host 请求连接的主机名称’Referer/a/p/main.htm?sid=XCVwJiXXsRLSLkbLhZXXZGqPJkEXFKNt包含一个URL，用户从该URL代表的页面出发访问当前请求的页面User-Agent Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR1.1.4322; .NET CLR2.0.50727)客户端标识浏览器类型Http请求头返回信息Headers Received ValueStatus-Line Http/1.0 200 ok表示Http服务端响应返回200Accept-Ranges bytesHttp请求范围的度量单位Age 117表示Http接受到请求操作响应后的缓存时间Cache-Control max-age=3600一个用于定义缓存指令的通用头标Connection keep-alive保持Tcp请求连接Content-Type application/x-javascript标明发送或者接收的实体的MIME类型Date Fri, 04 Jan 2008 01:12:26 GMT发送HTTP消息的日期Etag "10f470-734-b32eb00"一种实体头标，它向被发送的资源分派一个唯一的标识符Expires Fri, 04 Jan 2008 02:12:26 GMT指定实体的有效期Last-Modified Fri, 04 Jan 2008 01:01:00 GMT指定被请求资源上次被修改的日期和时间Server Apache一种标明Web服务器软件及其版本号的头标X-Cache HIT from 表示你的 http request 是由 proxy server 回的3． 3.3 Cookies显示Cookies信息如上图所示City=021，其实是我163邮箱中设置城市信息值，在Cookies中记录为021(代表上海这个城市)备注：什么是cookie？Cookie是一种在客户端保持HTTP状态信息的技术，Cookie是在浏览器访问WEB服务器的某个资源时，由WEB服务器在HTTP响应消息头中附带传送给浏览器的一片数据，WEB服务器传送给各个客户端浏览器的数据是可以各不相同的。

浏览器可以决定是否保存这片数据，一旦WEB浏览器保存了这片数据，那么它在以后每次访问该WEB服务器时，都应在HTTP请求头中将这片数据回传给WEB服务器。

显然，Cookie最先是由WEB服务器发出的，是否发送Cookie和发送的Cookie的具体内容，完全是由WEB服务器决定的。

Cookie在浏览器与WEB服务器之间传送的过程如图7.1所示。

4． 3.4 Cache(缓存)显示在请求完成前后的浏览器缓存里URL地址栏里的详细信息5． 3.5 Query String(查询字符串)显示查询字符串被用在是传递参数url中如下图所示：/setcookie.jsp?username=mayingbao2002&domain=&logi nCookie=uaLr3t2p5wKi_ku90vYy04gK1MamttMzYGFxdsppqrz3ZhjsWZ8jzDlVjmxEIpSS x2hn__w3ZsoBSFu6gKRZyRUdIgZYzVciX&clearPersistCookie=如上面的红框中显示的mayingbao2002字符串，是存在于请求的URL传递的参6． 3.6 POST Data显示通过Post方式数据信息以下是登录过程中POST Data，如下图所示：https:///logins.jsp?type=1&url=/coremail/fcg/ntesdoor2?l ightweight%3D1%26verifycookie%3D1%26language%3D-1%26style%3D-1上面的红框：application/x-www-form-urlencoded表示，post方式默认提交数据编码备注：get方法和Post方法区别GET方法GET方法是默认的HTTP请求方法，我们日常用GET方法来提交表单数据，然而用GET方法提交的表单数据只经过了简单的编码，同时它将作为URL的一部分向Web服务器发送，因此，如果使用GET方法来提交表单数据就存在着安全隐患上。

例如Http://127.0.0.1/login.jsp?Name=zhangshi&Age=30&Submit=%cc%E+%BD%BB从上面的URL请求中，很容易就可以辩认出表单提交的内容。

（？之后的内容）另外由于GET 方法提交的数据是作为URL请求的一部分所以提交的数据量不能太大POST方法POST方法是GET方法的一个替代方法，它主要是向Web服务器提交表单数据，尤其是大批量的数据。

POST方法克服了GET方法的一些缺点。

通过POST方法提交表单数据时，数据不是作为URL请求的一部分而是作为标准数据传送给Web服务器，这就克服了GET方法中的信息无法保密和数据量太小的缺点。

因此，出于安全的考虑以及对用户隐私的尊重，通常表单提交时采用POST方法。

7． 3.7 Content统计显示收到的Http响应信息如下图所示：可以查看ightweight%3D1%26verifycookie%3D1%26language%3D-1%26style%3D-1页响应具体内容：8． 3.8 Stream显示客户端发送的数据，然后服务器端返回的数据客户端发送总数据：901 bytes sent to 218.107.55.86:80客户端接受到服务器端返回总数据：247 bytes received by 192.168.52.188.10720以下用请求一个中的Logo图标为例说明：/logo/163logo.gif左边：客户端向服务器端发送数据流1 GET /logo/163logo.gif HTTP/1.1以上代码中“GET”代表请求方法，“closea_d.js”表示URI，“HTTP/1.1代表协议和协议的版本。

合集下载

如何用c# 实现网站数据的抓取？

如何用c# 实现网站数据的抓取？

如何用c# 实现网站数据的抓取？如何用c# 实现网站数据的抓取？首先大家需要清楚一点的是：任何网站的页面，无论是php、jsp、aspx这些动态页面还是用后台程序生成的静态页面都是可以在浏览器中查看其HTML源文件的。

所以当你要开发数据采集程序的时候，你必须先对你试图采集的网站的前台页面结构（HTML）要有所了解。

当你对要采集数据的网站里的HTML源文件内容十分熟悉之后，剩下程序上的事情就很好办了。

因为C#对Web站点进行数据采集的原理就在于“把你要采集的页面HTML源文件下载下来，分析其中HTML代码然后抓取你需要的数据，最后将这些数据保存到本地文件”。

一般情况下基本的抓取思路是：1）页面源文件下载2）页面分析采集页面分析就是要将网页源文件中某个特定或是唯一的字符（串）作为抓取点，以这个抓取点作为开端来截取你想要的页面上的数据。

以博客园为列，比方说我要采集博客园首页上列出来的文章的标题和链接，就必须以"<a class=\"titlelnk\" href=\""作为抓取点，以此展开来抓取文章的标题和链接。

3）数据保存当你把需要的数据从网页截取下来后，将数据在程序中稍加整理保存到本地文件(或插入到自己本地的数据库中)。

这样整个采集工作就算搞一段落了。

下面我们来聊一下具体应该如何抓取：1、抓取一般内容需要三个类：WebRequest、WebResponse、StreamReader所需命名空间：、System.IO核心代码：WebRequest 类的Create 为静态方法，参数为要抓取的网页的网址；Encoding 指定编码，Encoding 中有属性ASCII、UTF32、UTF8 等全球通用的编码，但没有gb2312 这个编码属性，所以我们使用GetEncoding 获得gb2312 编码。

2、抓取图片或其它二进制文件（如文件）需要四个类：WebRequest、WebResponse、Stream、FileStream所需命名空间：、System.IO核心代码：用Stream读取3、抓取网页内容POST方式在抓取网页时，有时候，需要将某些数据通过Post 的方式发送到服务器，将以下代码添加在网页抓取的程序中，以实现将用户名和密码Post 到服务器：4、 抓取网页内容－防止重定向在抓取网页时，成功登录服务器应用系统后，应用系统可能会通过Response.Redirect 将网页进行重定向，如果不需要响应这个重定向，那么，我们就不要把reader.ReadToEnd() 给Response.Write 出来，就可以了。

安卓HttpClient+Jsoup+Httpwatch模拟登陆正方教务获取信息

安卓HttpClient+Jsoup+Httpwatch模拟登陆正方教务获取信息

安卓HttpClient+Jsoup+Httpwatch模拟登陆正方教务获取信息分类： android | 标签: 安卓,爬虫| 作者： u013082133 相关| 发布日期 : 2014-10-03 | 热度 : 1107°目录[+]之前想要写一下关于爬数据的文章的，发现时间有点急迫。

所以今天在期末考试之前写完跟大家分享一下的我的心得，先上之前的图。

今天我也以正方教务体统抓取成绩的例子来给大家讲解，第一次写博客，可能会写的不会，还请大家谅解，不过保证大家看的懂，请耐心看完。

好了，下面开始！！！第一步：登陆你们的教务，这是我们学习的教务的主页/，进去之后，打开httpWatch,至于没用过的话，自己去研究下，因为里面有将我们需要的Post参数和Post地址都归纳出来的，很好用。

如图：进去之后你会看见HttpWatch刷刷的，出来一大片数据，当然我们的从当中挑选出有用的数据。

如图，我们打开上栏中的第一列标签，就是横线的地方。

首先我们来观看下数据，请求方法：post，状态值：302，请求的URL:/default2.aspx。

然后，我们来观察下面大圈圈中的数据，这里是Post所带的参数，里面有__ViewStat(我也不知道是什么，不过一起带着Post就好了，这里有个情况，我等会在下面讲，先用绿色标记)，Button的值（乱码），lbLanguage（不管，先记下），RadioButtonList1（单选按钮：学生...），TextBox1：账号，TextBox2：密码。

Ok.......下面我们来看一下Button和lbLanguage和RadioButtonList1具体的值，下面的标签打开Stream，如图：看，里面有一些不认识的参数的值。

Button="" ，lbLanguage=""，RadioButtonList1="%D1%A7%C9%FA"，哦了。

httpwatch如何使用

httpwatch如何使用

1、httpwatch由“-”号或者“+”组合在一起的分组上图可以看到httpwatch分为几组，每一组代表加载一个页面相关的组件，一些不属于任何组的则表示该组建是独立的，不属于任何页面2、httpwatch各列的意义httpwatch的说明文档对个列中都有明确的定义Started：表示请求一个文件的时间开始的时间距离第一个捕捉到日志的时间，比如说上图中的第二组记录，Started为00:00:12.127，也就是说距离记录第一组开始时间为00:00:12.127 Time Chart：这里是个时间图，表示该http请求各个状态所花费的时间Time ：表示请求一个链接所花费的总时间Sent：表示发送一个http请求所发送http 头的大小Received：表示接送http请求返回数据的大小Result：result表示Request返回的状态码，比如请求成功则为200，404未找到页面，302重定向，403不允许访问，304文件未被修改（该状态的请求不会下载组建，但是仍然会向服务器发一个请求，确认Last-Modify的时间没修改），Cache则从浏览器缓存中读取（不会向服务器发请求）Method：httpRequest请求的方式，一般是Get或者PostType:请求文件类型URL：请求文件的链接5.1.3、新建规则过滤IP：指定来源IP或者目标IP等于某个IP：例：ip.src eq 192.168.1.107 or ip.dst eq 202.102.192.68或者模糊书写：ip.addr eq 202.102.192.68将能显示出源和目的等于该IP的会话；过滤端口：例：tcp.port eq 80或者tcp.port==80不区分源或者目的端口只要数据包包含有80端口都将被过滤；tcp.port eq 80 or udp.port eq 80多条件匹配，匹配TCP或者UDP端口为80的数据包，不区分源或者目的端口；tcp.dst port==80显示目的端口为80的数据包； tcp.src port==80显示源端口为80的数据包；tcp.port>=1and tcp.port<=80过滤显示TCP端口大于等于1小于等于80范围内的数据包；过滤协议：例：在Filter（过滤）框内直接输入tcp、udp、arp、icmp、http、smtp、ftp、dns、msnms、ip、ssl、oicq、bootp、等等；可直接过滤协议。

httpWatch使用教程

httpWatch使用教程

一概述：HttpWatch强大的网页数据分析工具.集成在Internet Explorer工具栏.包括网页摘要.Cookies管理.缓存管理.消息头发送/接受.字符查询.POST 数据和目录管理功能.报告输出HttpWatch 是一款能够收集并显示页页深层信息的软件。

它不用代理服务器或一些复杂的网络监控工具，就能够在显示网页同时显示网页请求和回应的日志信息。

甚至可以显示浏览器缓存和IE之间的交换信息。

集成在Internet Explorer工具栏。

二安装HttpWatch略过^_^三基本功能介绍启动Httpwatch从IE的“查看”—“浏览器栏”—“HttpWatch”启动HttpWatch。

如下图所示：以下是HttpWatch程序界面以下用登录我的邮箱例子来展示Httpwatch:点击“Record”后，在IE打开需要录制的网址,，输入用户名，密码后完成登录操作1． 3.1 Overview（概要）表示选定某个信息显示其概要信息如上图红框所示：Result：200请求的URL是/external/closea_d.js，返回的Htpp状态代码结果200，表示成功；Resync URL Browser requested refresh if changed -/external/closea_d.js浏览器请求的URLStarted At 2008-Jan-04 09:21:09.422 (local time)请求开始时间(实际记录的是本机的时间)Connect Connect to IP address '218.107.55.86'请求的网址的IP地址Http Request Unconditional request sent for/external/closea_d.jsHttp请求，当浏览器向Web服务器发出请求时，它向服务器传递了一个数据块，也就是请求信息Http Response Headers and content returnedHttp响应，当浏览器接受到web服务器返回的信息时2． 3.2 Header（报头）表示从Web服务器发送和接受的报头信息；/a/p/main.htm?sid=UBDCcOJJDknBulMFzSJJipPzfR OMNqHO如上图红框所示：Http请求头发送信息Headers Sent valueRequest-Line GET /external/closea_d.js HTTP/1.1以上代码中“GET”代表请求方法，“closea_d.js”表示URI，“HTTP/1.1代表协议和协议的版本。