当前位置：文档之家 › 用C#实现网络爬虫

用C#实现网络爬虫

  • 格式：doc
  • 大小：62.00 KB
  • 文档页数：10

网络爬虫在信息检索与处理中有很大的作用，是收集网络信息的重要工具。

接下来就介绍一下爬虫的简单实现。

爬虫的工作流程如下爬虫自指定的URL地址开始下载网络资源，直到该地址和所有子地址的指定资源都下载完毕为止。

下面开始逐步分析爬虫的实现。

1. 待下载集合与已下载集合为了保存需要下载的URL，同时防止重复下载，我们需要分别用了两个集合来存放将要下载的URL和已经下载的URL。

因为在保存URL的同时需要保存与URL相关的一些其他信息，如深度，所以这里我采用了Dictionary来存放这些URL。

具体类型是Dictionary<string, int> 其中string是Url字符串，int是该Url相对于基URL的深度。

每次开始时都检查未下载的集合，如果已经为空，说明已经下载完毕；如果还有URL，那么就取出第一个URL加入到已下载的集合中，并且下载这个URL的资源。

2. HTTP请求和响应C#已经有封装好的HTTP请求和响应的类HttpWebRequest和HttpWebResponse，所以实现起来便不少。

为了提高下载的效率，我们可以用多个请求并发的式同时下载多个URL的资源，一种简单的做法是采用异步请求的法。

控制并发的数量可以用如下法实现1 private void DispatchWork()2 {3 if (_stop) //判断是否中止下载4 {5 return;6 }7 for (int i = 0; i < _reqCount; i++)8 {9 if (!_reqsBusy[i]) //判断此编号的工作实例是否空闲10 {11 RequestResource(i); //让此工作实例请求资源12 }13 }14 }由于没有显式开新线程，所以用一个工作实例来表示一个逻辑工作线程1 private bool[] _reqsBusy = null; //每个元素代表一个工作实例是否正在工作2 private int _reqCount = 4; //工作实例的数量每次一个工作实例完成工作，相应的_reqsBusy就设为false，并调用DispatchWork，那么DispatchWork就能给空闲的实例分配新任务了。

接下来是发送请求1 private void RequestResource(int index)2 {3 int depth;4 string url = "";5 try6 {7 lock (_locker)8 {9 if (_urlsUnload.Count <= 0) //判断是否还有未下载的URL10 {11 _workingSignals.FinishWorking(index); //设置工作实例的状态为Finished12 return;13 }14 _reqsBusy[index] = true;15 _workingSignals.StartWorking(index); //设置工作状态为Working16 depth = _urlsUnload.First().Value; //取出第一个未下载的URL17 url = _urlsUnload.First().Key;18 _urlsLoaded.Add(url, depth); //把该URL加入到已下载里19 _urlsUnload.Remove(url); //把该URL从未下载中移除20 }2122 HttpWebRequest req = (HttpWebRequest)WebRequest.Create(url);23 req.Method = _method; //请求法24 req.Accept = _accept; //接受的容25 erAgent = _userAgent; //用户代理26 RequestState rs = new RequestState(req, url, depth, index); //回调法的参数27 var result = req.BeginGetResponse(new AsyncCallback(ReceivedResource), rs); //异步请求28 ThreadPool.RegisterWaitForSingleObject(result.AsyncWaitHandle, //注册超时处理法29 TimeoutCallback, rs, _maxTime, true);30 }31 catch (WebException we)32 {33 MessageBox.Show("RequestResource " + we.Message + url + we.Status);34 }35 }第7行为了保证多个任务并发时的同步，加上了互斥锁。

_locker是一个Object类型的成员变量。

第9行判断未下载集合是否为空，如果为空就把当前工作实例状态设为Finished；如果非空则设为Working并取出一个URL开始下载。

当所有工作实例都为Finished的时候，说明下载已经完成。

由于每次下载完一个URL后都调用DispatchWork，所以可能激活其他的Finished工作实例重新开始工作。

第26行的请求的额外信息在异步请求的回调法作为参数传入，之后还会提到。

第27行开始异步请求，这里需要传入一个回调法作为响应请求时的处理，同时传入回调法的参数。

第28行给该异步请求注册一个超时处理法TimeoutCallback，最大等待时间是_maxTime，且只处理一次超时，并传入请求的额外信息作为回调法的参数。

RequestState的定义是1 class RequestState2 {3 private const int BUFFER_SIZE = 131072; //接收数据包的空间大小4 private byte[] _data = new byte[BUFFER_SIZE]; //接收数据包的buffer5 private StringBuilder _sb = new StringBuilder(); //存放所有接收到的字符67 public HttpWebRequest Req { get; private set; } //请求8 public string Url { get; private set; } //请求的URL9 public int Depth { get; private set; } //此次请求的相对深度10 public int Index { get; private set; } //工作实例的编号11 public Stream ResStream { get; set; } //接收数据流12 public StringBuilder Html13 {14 get15 {16 return _sb;17 }18 }1920 public byte[] Data21 {22 get23 {24 return _data;25 }26 }2728 public int BufferSize29 {30 get31 {32 return BUFFER_SIZE;33 }34 }3536 public RequestState(HttpWebRequest req, string url, int depth, int index)37 {38 Req = req;39 Url = url;40 Depth = depth;41 Index = index;42 }43 }TimeoutCallback的定义是1 private void TimeoutCallback(object state, bool timedOut)2 {3 if (timedOut) //判断是否是超时4 {5 RequestState rs = state as RequestState;6 if (rs != null)7 {8 rs.Req.Abort(); //撤销请求9 }10 _reqsBusy[rs.Index] = false; //重置工作状态11 DispatchWork(); //分配新任务12 }13 }接下来就是要处理请求的响应了1 private void ReceivedResource(IAsyncResult ar)2 {3 RequestState rs = (RequestState)ar.AsyncState; //得到请求时传入的参数4 HttpWebRequest req = rs.Req;5 string url = rs.Url;6 try7 {8 HttpWebResponse res = (HttpWebResponse)req.EndGetResponse(ar); //获取响应9 if (_stop) //判断是否中止下载10 {11 res.Close();12 req.Abort();13 return;14 }15 if (res != null && res.StatusCode == HttpStatusCode.OK) //判断是否成功获取响应16 {17 Stream resStream = res.GetResponseStream(); //得到资源流18 rs.ResStream = resStream;19 var result = resStream.BeginRead(rs.Data, 0, rs.BufferSize, //异步请求读取数据20 new AsyncCallback(ReceivedData), rs);21 }22 else //响应失败23 {24 res.Close();25 rs.Req.Abort();26 _reqsBusy[rs.Index] = false; //重置工作状态27 DispatchWork(); //分配新任务28 }29 }30 catch (WebException we)31 {32 MessageBox.Show("ReceivedResource " + we.Message + url + we.Status);33 }34 }第19行这里采用了异步的法来读数据流是因为我们之前采用了异步的式请求，不然的话不能够正常的接收数据。

该异步读取的式是按包来读取的，所以一旦接收到一个包就会调用传入的回调法ReceivedData，然后在该法中处理收到的数据。

合集下载

c语言心形编程代码的原理及应用

c语言心形编程代码的原理及应用

C语言心形编程代码的原理及应用1. 简介C语言是一种高级程序设计语言，拥有广泛的应用领域。

其中，心形编程代码是一种常见的图形编程示例，它通过C语言编写代码在控制台上生成一个心形图案。

本文将介绍心形编程代码的原理及应用。

2. 心形编程代码的原理心形编程代码的原理是通过在控制台上绘制符号字符来生成心形图案。

具体步骤如下：2.1 设置控制台画布首先，需要将控制台的大小设置为适合显示心形图案的尺寸。

可以使用C语言提供的相关函数来获取控制台的大小并设置画布的尺寸。

2.2 绘制心形图案绘制心形图案的过程可以分为两个步骤，分别绘制上半部分和下半部分。

2.2.1 绘制上半部分上半部分的绘制可以通过使用一系列符号字符来实现。

可以根据心形的形状定义一个字符数组，数组中的每个元素表示一行字符。

每行字符的数量和上下两个点之间的距离有关，可以通过调整字符数组的元素来改变上半部分的形状。

2.2.2 绘制下半部分下半部分的绘制与上半部分类似，只需要将上半部分的符号字符按照相反的顺序进行绘制即可。

2.3 显示心形图案绘制完成后，需要将生成的心形图案显示在控制台上。

可以使用C语言提供的输出函数将绘制好的图案输出到控制台。

3. 心形编程代码的应用心形编程代码具有一定的应用价值，可以用于表达情感、制作贺卡等场景。

3.1 表达情感通过生成心形图案，可以用简单的代码表达深深的情感。

将心形编程代码应用于情人节礼物、生日祝福等场景，可以给人一种特殊的感受。

3.2 制作贺卡心形图案可以作为一种简单而特别的贺卡设计元素。

通过在控制台上生成心形图案，可以制作个性化的贺卡，为亲朋好友送上温馨祝福。

3.3 学习图形编程心形编程代码可以作为学习图形编程的一个案例，对初学者来说非常友好。

通过理解和修改心形编程代码，可以熟悉C语言的基本语法和控制台绘图的原理。

4. 总结本文介绍了C语言心形编程代码的原理及应用。

通过在控制台上绘制符号字符，可以生成美观的心形图案。

c语言实现1到10的阶乘的和用函数引用 -回复

c语言实现1到10的阶乘的和用函数引用 -回复

c语言实现1到10的阶乘的和用函数引用-回复如何用C语言实现1到10的阶乘的和，并使用函数引用。

在C语言中，阶乘是一个常见的数学运算，计算了给定数字的所有正整数的乘积。

为了实现1到10的阶乘的和，我们需要编写一个函数来计算阶乘，并在主函数中调用该函数来依次计算1到10的阶乘并求和。

首先，我们需要编写一个函数来计算指定数的阶乘。

函数可以采用递归或迭代的方式进行计算。

在这里，我们选择使用递归来计算阶乘。

下面是计算阶乘的函数：cunsigned long long factorial(int n){if(n == 0 n == 1)return 1;elsereturn n * factorial(n-1);}这个函数接受一个整数参数n，并返回n的阶乘。

如果n等于0或1，函数直接返回1。

否则，函数通过递归调用自身来计算n的阶乘。

接下来，在主函数中调用这个函数来计算1到10的阶乘，并求和。

我们可以使用一个循环来迭代计算1到10的阶乘，然后累加到一个变量中。

下面是在主函数中实现这一功能的代码：c#include <stdio.h>unsigned long long factorial(int n);int main(){int i;unsigned long long sum = 0;for(i = 1; i <= 10; i++)sum += factorial(i);printf("1到10的阶乘的和为：llu\n", sum);return 0;}在上面的代码中，我们声明了一个变量i用于循环迭代，以计算每个数字的阶乘。

我们还声明了一个变量sum来存储阶乘的累加和。

在每次迭代中，我们调用factorial函数来计算当前数字的阶乘，并将结果累加到sum 变量中。

最后，我们使用printf函数输出结果。

现在，我们可以编译和运行上述代码，并查看输出结果。

运行结果应该是1到10的阶乘的和。

c语言逆序输出整数

c语言逆序输出整数

c语言逆序输出整数逆序输出整数是一种常见的程序设计问题，通常可以通过使用循环和取模运算来实现。

在C语言中，我们可以使用以下代码来实现逆序输出整数：```c#include <stdio.h>void reversePrint(int num) {while (num > 0) {int digit = num % 10;printf("%d", digit);num /= 10;}}int main() {int num;printf("请输入一个整数：");scanf("%d", &num);printf("逆序输出整数为：");reversePrint(num);printf("\n");return 0;}```以上代码中，我们定义了一个`reversePrint`函数，用于逆序输出整数。

函数内部使用了一个循环，每次取出整数的最后一位数字并输出，然后将整数除以10，重复此过程直到整数变为0。

在`main`函数中，我们首先提示用户输入一个整数，然后调用`reversePrint`函数进行逆序输出。

下面，我将对以上代码进行详细解析，并探讨一些与逆序输出整数相关的问题。

**1. 问题的提出**逆序输出整数是一种常见的程序设计问题，它要求我们将输入的整数的各个数字按照相反的顺序输出。

例如，如果输入整数为1234，则逆序输出为4321。

这个问题在实际中有很多应用场景，比如密码学中的数字颠倒、数字翻转等。

**2. 解决方法**为了实现逆序输出整数，我们可以使用循环和取模运算。

具体步骤如下：- 首先，我们定义一个函数`reversePrint`，它的参数是一个整数。

- 在`reversePrint`函数内部，我们使用一个循环来不断取出整数的最后一位数字并输出。

- 每次循环中，我们使用取模运算符`%`来获取整数的最后一位数字，然后使用`printf`函数输出。

c语言中停车场收费金额计算代码

c语言中停车场收费金额计算代码

c语言中停车场收费金额计算代码停车场收费金额计算是一个常见的问题，特别是在城市中心或商业区，停车场的收费是必不可少的。

而在实际生活中，为了准确计算收费金额，我们通常会使用C语言来编写相关的程序。

在C语言中，我们可以使用变量、运算符和控制语句来实现停车场收费金额的计算。

首先，我们需要定义一些变量来存储相关的信息，比如停车时长、收费标准等。

然后，我们可以使用运算符来进行计算，最后通过控制语句来输出计算结果。

在停车场收费计算中，关键的因素之一是停车时长。

通常情况下，我们会根据停车时长来确定收费金额。

假设停车场的收费标准是每小时5元，那么我们可以根据停车时长来计算收费金额。

我们需要定义一个变量来存储停车时长，假设我们将其命名为"parkingTime"。

然后，我们可以使用C语言中的运算符来计算停车时长对应的收费金额。

具体的计算公式是：收费金额= 停车时长* 单价。

根据我们的假设，单价为5元，所以我们可以将公式修改为：收费金额 = 停车时长 * 5。

在C语言中，乘法运算可以使用"*"符号来表示。

接下来，我们可以使用控制语句来输出计算结果。

在C语言中，我们可以使用printf函数来输出结果。

假设我们将输出的内容命名为"totalAmount"，那么我们可以使用以下代码来实现输出功能：```cprintf("停车时长：%d小时\n", parkingTime);printf("收费金额：%d元\n", totalAmount);```在上述代码中，%d是C语言中的格式控制符，用于输出整数类型的变量。

通过使用格式控制符，我们可以将变量的值嵌入到输出的字符串中，从而实现输出功能。

除了停车时长，停车场还可能根据其他因素来确定收费金额，比如停车场类型、停车场位置等。

在实际应用中，我们可以根据具体需求来扩展代码，以实现更加复杂的收费计算功能。