当前位置：文档之家› linux进程间通讯的几种方式的特点和优缺点

linux进程间通讯的几种方式的特点和优缺点

# 管道( pipe )：管道是一种半双工的通信方式，数据只能单向流动，而且只能在具有亲缘关系的进程间使用。进程的亲缘关系通常是指父子进程关系。

# 有名管道(named pipe) ：有名管道也是半双工的通信方式，但是它允许无亲缘关系进程间的通信。

# 信号量( semophore ) ：信号量是一个计数器，可以用来控制多个进程对共享资源的访问。它常作为一种锁机制，防止某进程正在访问共享资源时，其他进程也访问该资源。因此，主要作为进程间以及同一进程内不同线程之间的同步手段。

# 消息队列( message queue ) ：消息队列是由消息的链表，存放在内核中并由消息队列标识符标识。消息队列克服了信号传递信息少、管道只能承载无格式字节流以及缓冲区大小受限等缺点。

# 信号( sinal ) ：信号是一种比较复杂的通信方式，用于通知接收进程某个事件已经发生。#共享内存( shared memory)：共享内存就是映射一段能被其他进程所访问的内存，这段共享内存由一个进程创建，但多个进程都可以访问。共享内存是最快的IPC方式，它是针对其他进程间通信方式运行效率低而专门设计的。它往往与其他通信机制，如信号量，配合使用，来实现进程间的同步和通信。

# 套接字( socket ) ：套解口也是一种进程间通信机制，与其他通信机制不同的是，它可用于不同及其间的进程通信。

管道的主要局限性正体现在它的特点上：

只支持单向数据流；

只能用于具有亲缘关系的进程之间；

没有名字；

管道的缓冲区是有限的（管道制存在于内存中，在管道创建时，为缓冲区分配一个页面大小）；管道所传送的是无格式字节流，这就要求管道的读出方和写入方必须事先约定好数据的格式，比如多少字节算作一个消息（或命令、或记录）等等；

用于进程间通讯(IPC)的四种不同技术:

1. 消息传递(管道,FIFO,posix和system v消息队列)

2. 同步(互斥锁,条件变量,读写锁,文件和记录锁,Posix和System V信号灯)

3. 共享内存区(匿名共享内存区,有名Posix共享内存区,有名System V共享内存区)

4. 过程调用(Solaris门,Sun RPC)

消息队列和过程调用往往单独使用,也就是说它们通常提供了自己的同步机制.相反,共享内存区

通常需要由应用程序提供的某种同步形式才能正常工作.解决某个特定问题应使用哪种IPC不存在简单的判定,应该逐渐熟悉各种IPC形式提供的机制,然后根据特定应用的要求比较它们的特性.

必须考虑的四个前提:

1. 联网的还是非联网的.IPC适用于单台主机上的进程或线程间的.如果应用程序有可能分布到

多台主机上,那就要考虑使用套接字代替IPC,从而简化以后向联网的应用程序转移的工作.

2. 可移植性.

3. 性能,在具体的开发环境下运行测试程序,比较几种IPC的性能差异.

4. 实时调度.如果需要这一特性,而且所用的系统也支持posix实时调度选项,那就考虑使用Posix 的消息传递和同步函数.

各种IPC之间的一些主要差异:

1. 管道和FIFO是字节流,没有消息边界.Posix消息和System V消息则有从发送者向接受者维护的记录边界(eg:TCP是没有记录边界的字节流,UDP则提供具有记录边界的消息).

2. 当有一个消息放置到一个空队列中时,Posix消息队列可向一个进程发送一个信号,或者启动一个新的线程.System V则不提供类似的通知形式.

3. 管道和FIFO的数据字节是先进先出的.Posix消息和System V消息具有由发送者赋予的优先级.从一个Posix消息队列读出时,首先返回的总是优先级最高的消息.从一个System V消息队列读出时,读出者可以要求想要的任意优先级的消息.

4. 在众多的消息传递技术—管道,FIFO,Posix消息队列和System V消息队列—中,可从一个信号处理程序中调用的函数只有read和write(适用于管道和FIFO).

比较不同形式的消息传递时,我们感兴趣的有两种测量尺度:

1.带宽(bandwidth):数据通过IPC通道转移的速度.为测量该值,我们从一个进程向另一个进程发送大量数据(几百万字节).我们还给不同大小的I/O操作(例如管道和FIFO的write和read操作)测量该值,期待发现带宽随每个I/O操作的数据量的增长而增长的规律.

2. 延迟(latency):一个小的IPC消息从一个进程到令一个进程再返回来所花的时间.我们测量的

是只有一个1个字节的消息从一个进程到令一个进程再回来的时间(往返时间)

在现实世界中,带宽告诉我们大块数据通过一个IPC通道发送出去需花多长时间,然而IPC也用于传递小的控制信息,系统处理这些小消息所需的时间就由延迟提供.这两个数都很重要.

进程间数据通信方式和特点(转)

2010-09-03 18:29

由于不同的进程运行在各自不同的内存空间中．一方对于变量的修改另一方是无法感知的．因此．进程之间的信息传递不可能通过变量或其它数据结构直接进行，只能通过进程间通信来完成。

根据进程通信时信息量大小的不同，可以将进程通信划分为两大类型：控制信息的通信和大批数据信息的通信．前者称为低级通信，后者称为高级通信。

低级通信主要用于进程之间的同步、互斥、终止、挂起等等控制信息的传递。

高级通信主要用于进程间数据块的交换和共享常见的高级通信有管道(PIPE)、消息队列(MESSAGE)、共享内存(SHARED MEM0RY)等。

这里主要比较一下高级通信的这三种方式的特点。

管道通信(PIPE)

两个进程利用管道进行通信时．发送信息的进程称为写进程．接收信息的进程称为读进程。管道通信方式的中间介质就是文件．通常称这种文件为管道文件．它就像管道一样将一个写进程和一个读进程连接在一起，实现两个进程之间的通信。写进程通过写入端(发送端)往管道文件中写入信息；读进程通过读出端(接收端)从管道文件中读取信息。两个进程协调不断地进行写和读，便会构成双方通过管道传递信息的流水线。

利用系统调用PIPE()可以创建一个无名管道文件，通常称为无名管道或PIPE；利用系统调用MKNOD()可以创建一个有名管道文件．通常称为有名管道或FIFO。无名管道是一种非永

久性的管道通信机构．当它访问的进程全部终止时，它也将随之被撤消。无名管道只能用在具有家族联系的进程之间。有名管道可以长期存在于系统之中．而且提供给任意关系的进程使用，但是使用不当容易导致出错．所以操作系统将命名管道的管理权交由系统来加以控制管道文件被创建后，可以通过系统调用WRITE()和READ()来实现对管道的读写操作；通信完后，可用CLOSE()将管道文件关闭。

消息缓冲通信(MESSAGE)

多个独立的进程之间可以通过消息缓冲机制来相互通信．这种通信的实现是以消息缓冲区为中间介质．通信双方的发送和接收操作均以消息为单位。在存储器中，消息缓冲区被组织成队列，通常称之为消息队列。消息队列一旦创建后即可由多进程共享．发送消息的进程可以在任意时刻发送任意个消息到指定的消息队列上，并检查是否有接收进程在等待它所发送的消息。若有则唤醒它：而接收消息的进程可以在需要消息的时候到指定的消息队列上获取消息．如果消息还没有到来．则转入睡眠状态等待。

共享内存通信(SHARED MEMORY)

针对消息缓冲需要占用CPU进行消息复制的缺点．OS提供了一种进程间直接进行数据交换的通信方式一共享内存顾名思义．这种通信方式允许多个进程在外部通信协议或同步，互斥机制的支持下使用同一个内存段(作为中间介质)进行通信．它是一种最有效的数据通信方式，其特点是没有中间环节．直接将共享的内存页面通过附接．映射到相互通信的进程各自的虚拟地址空间中．从而使多个进程可以直接访问同一个物理内存页面．如同访问自己的私有空间一样(但实质上不是私有的而是共享的)。因此这种进程间通信方式是在同一个计算机系统中的诸进程间实现通信的最快捷的方法．而它的局限性也在于此．即共享内存的诸进程必须共处同一个计算机系统．有物理内存可以共享才行。

三种方式的特点（优缺点）：

1.无名管道简单方便．但局限于单向通信的工作方式．并且只能在创建它的进程及其子孙进程之间实现管道的共享：有名管道虽然可以提供给任意关系的进程使用．但是由于其长期存在于系统之中，使用不当容易出错。

2.消息缓冲可以不再局限于父子进程．而允许任意进程通过共享消息队列来实现进程间通信．并由系统调用函数来实现消息发送和接收之间的同步．从而使得用户在使用消息缓冲进行通信时不再需要考虑同步问题．使用方便，但是信息的复制需要额外消耗CPU的时间．不适宜于信息量大或操作频繁的场合。

3.共享内存针对消息缓冲的缺点改而利用内存缓冲区直接交换信息，无须复制，快捷、信息量大是其优点。但是共享内存的通信方式是通过将共享的内存缓冲区直接附加到进程的虚拟地址空间中来实现的．因此，这些进程之间的读写操作的同步问题操作系统无法实现。必须由各进程利用其他同步工具解决。另外，由于内存实体存在于计算机系统中．所以只能由处于同一个计算机系统中的诸进程共享。不方便网络通信。

本文来自CSDN博客，转载请标明出处：

Description:

#find . -name *.c |xargs wc -l

802 ./lcec/src/Slcec_conf.c

2380 ./lcec/src/Slcec_view.c

1435 ./lcec/src/Slcec_ctl.c

......

84876 total

Description:

int (*pa)[3];

int b[2][3];

pa=b;

pa是一个指向一个具有3个int型元素的一位数组的指针

如果不加括号，可以理解为int* pa[3];

-------------------

二级指针和指针数组：

char *week[]={"","Mon","Tue","Wed","Thu","Fri","Sat","Sun"}; void main(int argc,char **argv){

cout<

}

或

void main(int argc,char *argv[ ])

-------------------

int sin(double x);

int (*pf)( );

pf=sin;

pf是一个指向返回值为int型值的函数的指针

如果不加括号，可以理解为int* pf( );

-------------------

网络爬虫工作原理

网络爬虫工作原理 1 聚焦爬虫工作原理及关键技术概述网络爬虫是一个自动提取网页的程序，它为搜索引擎从Internet网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止，另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。相对于通用网络爬虫，聚焦爬虫还需要解决三个主要问题： (1) 对抓取目标的描述或定义； (2) 对网页或数据的分析与过滤； (3) 对URL的搜索策略。抓取目标的描述和定义是决定网页分析算法与URL搜索策略如何制订的基础。而网页分析算法和候选URL排序算法是决定搜索引擎所提供的服务形式和爬虫网页抓取行为的关键所在。这两个部分的算法又是紧密相关的。 2 抓取目标描述现有聚焦爬虫对抓取目标的描述可分为基于目标网页特征、基于目标数据模式和基于领域概念3种。基于目标网页特征的爬虫所抓取、存储并索引的对象一般为网站或网页。根据种子样本获取方式可分为：（1）预先给定的初始抓取种子样本；（2）预先给定的网页分类目录和与分类目录对应的种子样本，如Yahoo!分类结构等；（3）通过用户行为确定的抓取目标样例，分为： a) 用户浏览过程中显示标注的抓取样本； b) 通过用户日志挖掘得到访问模式及相关样本。其中，网页特征可以是网页的内容特征，也可以是网页的链接结构特征，等等。现有的聚焦爬虫对抓取目标的描述或定义可以分为基于目标网页特征，基于目标数据模式和基于领域概念三种。基于目标网页特征的爬虫所抓取、存储并索引的对象一般为网站或网页。具体的方法根据种子样本的获取方式可以分为：（1）预先给定的初始抓取种子样本；（2）预先给定的网页分类目录和与分类目录对应的种子样本，如Yahoo!分类结构等；（3）通过用户行为确定的抓取目标样例。其中，网页特征可以是网页的内容特征，也可以是网页的链接结构特征，等等。基于目标数据模式的爬虫针对的是网页上的数据，所抓取的数据一般要符合一定的模式，或者可以转化或映射为目标数据模式。

centos操作系统简介

centos操作系统简介 CentOS（Community ENTerprise Operating System）是Linux发行版之一，它是来自于Red Hat Enterprise Linux依照开放源代码规定释出的源代码所编译而成。由于出自同样的源代码，因此有些要求高度稳定性的服务器以CentOS替代商业版的Red Hat Enterprise Linux使用。两者的不同，在于CentOS并不包含封闭源代码软件。CentOS，我们有很多人叫它社区企业操作系统，不管你怎么叫它，它都是linux的一个发行版本。CentOS并不是全新的linux发行版，倘若一说到RedHat这个大名，大家似乎都听过，在RedHat家族中有企业版的产品，它是Red Hat Enterprise Linux（以下称之为RHEL），CentOS正是这个RHEL的克隆版本，RHEL是很多企业采用的linux发行版本，需要向RedHat付费才可以使用，并能得到付过费用的服务和技术支持和版本升级。这个CentOS可以像REHL一样的构筑linux系统环境，但不需要向RedHat付任何的费用，同样也得不到任何有偿技术支持和升级服务。 CentOS计划是在2003年红帽决定不再提供免费的技术支持及产品认证之后的部份"红帽重建者"（Red Hat rebuilders）之一。 CentOS和Linueox、组装Linux （White box Linux）、Tao Linux 、X/OS Linux，及科学Linux （Scientific Linux）等都以红帽所发布的源代码原件重建Red Hat Enterprise Linux的翻版，并修正了已经发现了的redhat的bug。 CentOS是"Caos Linux"独立计划的一个分枝，在Lawrence Berkeley 国家实验室担任管理员与程序设计师的Kurtzer表示。但后来Caos基金会最受欢迎的计划变成是RHEL 的重建。历史 Red Hat公司的产品中，有RedHat Linux（如Redhat8,9）和针对企业发行的版本Red Hat Enterprise Linux，都能够通过网络FTP免费的获得并使用，但是在2003年的

问卷法

问卷调查法出自 MBA智库百科(https://www.doczj.com/doc/1910725731.html,/) 问卷调查法（Questionnaire Survey）目录 [隐藏] ? 1 什么是问卷调查法 ? 2 问卷调查法的种类 ? 3 问卷调查法的问卷设计 o 3.1 问卷的一般结构 o 3.2 问题的种类、结构和设计原则 ? 3.2.1 问题的种类 ? 3.2.2 问题的结构 ? 3.2.3 设计问题的原则 o 3.3 问题的表述 ? 3.3.1 表述问题的原则 ? 3.3.2 特殊问题的表述方式 o 3.4 回答的类型和方式 o 3.5 设计答案应该注意的问题 ? 3.5.1 设计答案的原则 ? 3.5.2 相关问题的接转 o 3.6 编码 ? 4 问卷调查法的实施 o 4.1 问卷调查的一般程序 o 4.2 努力提高问卷的回复率 o 4.3 对无回答和无效回答的研究 ? 5 问卷调查法的优缺点 ? 6 相关条目 [编辑] 什么是问卷调查法问卷调查法也称问卷法，它是调查者运用统一设计的问卷向被选取的调查对象了解情况或征询意见的调查方法。

问卷调查是以书面提出问题的方式搜集资料的一种研究方法。研究者将所要研究的问题编制成问题表格，以邮寄方式、当面作答或者追踪访问方式填答，从而了解被试对某一现象或问题的看法和意见，所以又称问题表格法。问卷法的运用，关键在于编制问卷，选择被试和结果分析。 [编辑] 问卷调查法的种类问卷调查，按照问卷填答者的不同，可分为自填式问卷调查和代填式问卷调查。其中，自填式问卷调查，按照问卷传递方式的不同，可分为报刊问卷调查、邮政问卷调查和送发问卷调查；代填式问卷调查，按照与被调查者交谈方式的不同，可分为访问问卷调查和电话问卷调查。这几种问卷调查方法的利弊，可简略概括如下表：项目自填式问卷调查代填式问卷调查报刊问卷邮政问卷送发问卷访问问卷电话问卷调查范围很广较广窄较窄可广可窄调查对象难控制和选择，代表性差有一定控制和选择，但回复问卷的代表性难以估计可控制和选择，但过于集中可控制和选择，代表性较强可控制和选择，代表性较强影响回答的因素无法了解、控制和判断难以了解、控制和判断有一定了解、控制和判断便于了解、控制和判断不太好了解、控制和判断回复率很低较低高高较高回答质量较高较高较低不稳定很不稳定

网络爬虫技术(新)

网络爬虫技术网络机器人 1.概念：它们是Web上独自运行的软件程序，它们不断地筛选数据，做出自己的决定，能够使用Web获取文本或者进行搜索查询，按部就班地完成各自的任务。 2.分类：购物机器人、聊天机器人、搜索机器人（网络爬虫）等。搜索引擎 1.概念：从网络上获得网站网页资料，能够建立数据库并提供查询的系统。 2.分类（按工作原理）：全文搜索引擎、分类目录。 1> 全文搜索引擎数据库是依靠网络爬虫通过网络上的各种链接自动获取大量网页信息内容，并按一定的规则分析整理形成的。（百度、Google） 2> 分类目录：按目录分类的网站链接列表而已，通过人工的方式收集整理网站资料形成的数据库。(国内的搜狐) 网络爬虫 1.概念：网络爬虫也叫网络蜘蛛，它是一个按照一定的规则自动提取网页程序，其会自动的通过网络抓取互联网上的网页，这种技术一般可能用来检查你的站点上所有的链接是否是都是有效的。当然，更为高级的技术是把网页中的相关数据保存下来，可以成为搜索引擎。搜索引擎使用网络爬虫寻找网络内容，网络上的HTML文档使用超链接连接了起来，就像织成了一张网，网络爬虫也叫网络蜘蛛，顺着这张网爬行，每到一个网页就用抓取程序将这个网页抓下来，将内容抽取出来，同时抽取超链接，作为进一步爬行的线索。网络爬虫总是要从某个起点开始爬，这个起点叫做种子，你可以告诉它，也可以到一些网址列表网站上获取。

现有聚焦爬虫对抓取目标的描述可分为基于目标网页特征、基于目标数据模式和基于领域概念3种。基于目标网页特征的爬虫所抓取、存储并索引的对象一般为网站或网页。根据种子样本获取方式可分为：（1）预先给定的初始抓取种子样本；（2）预先给定的网页分类目录和与分类目录对应的种子样本，如Y ahoo!分类结构等；（3）通过用户行为确定的抓取目标样例，分为： a) 用户浏览过程中显示标注的抓取样本； b) 通过用户日志挖掘得到访问模式及相关样本。其中，网页特征可以是网页的内容特征，也可以是网页的链接结构特征，等等。一些算法的介绍 1> 网页分析算法

问卷调查法的优缺点

现在使用问卷进行调查的同行越来越多了，互联网也给问卷调查带来更多的机会。许多公司已经吧问卷调查作为最常规的了解用户的手段。本打算直接写问卷调查注意事项，后来琢磨一下，今天还是先聊聊问卷调查的优缺点，了解一些基本背景，后面我们再用实例谈谈问卷的具体设计，会更好一些。问卷调查法的优点问卷法节省时间、经费和人力，这是为什么经常采用问卷法的原因。问卷法调查结果容易量化。问卷调查是一种结构化的调查，其调查问题的表达形式、提问的顺序、答案的方式与方法都是固定的，而且是一种文字交流方式，因此，任何个人，无论是研究者，还是调查员都不可能把主观偏见代入调查研究之中。其调查的统计结果一般都能被量化出来。由于问卷调查结果便于统计处理与分析。现在有大量的相关统计分析软件可以帮助我们进行数据分析，有些甚至能直接帮助我们设计问卷。方便实施和分析。也方便进行数据挖掘。现在的电子问卷克服了纸质问卷的一些缺点，方便实施与调整。虽然他不可能取代面对面的问卷调查，但由于成本更低，更容易及时调整问卷设计上的不足，越来越多的问卷采用电子问卷的形式，可以通过网站，e－mail进行发布与回收。数据直接使用数据库记录，方便筛选与分析。问卷调查法可以进行大规模的调查。无论研究者是否参与了调查，或者参与的多少，都可以从问卷上了解被访者的基本态度与行为。这种方式是其他任何方法也不可能做到的，而且问卷调查可以周期的进行而不受调查研究人员变更的影响,可以跟踪某些问题用户的变化。问卷法的缺点面向设计的问题问卷调查比较难面向未来的调查（为设计进行的调查）很多时候需要了解用户的意图、动机和思维过程。问卷调查这类问题往往效果不佳，或者说问题设计比较难。而开放式的问题，回收质量、分析和统计等工作也会受影响。我个人经验不是很丰富，自己总结有两条：第一，做问卷之前要做许多的其他调查活动，如：访谈、观察、出声思考等等。第二、问卷调查过去和现在的行为方式比较合适，不能指望通过问卷获得更多。调查问卷设计难

调查研究法特点

（二）调查研究法的特点 1.调查对象的广泛性教育调查研究的对象，可以是某一个人、某一个班级或某一所学校，也可以是某一市、某一省、或某一国家的教育情况，甚至可以是国际性的教育发展情况。调查对象的广泛性还表现在，教育调查研究是以活动形态或现实存在形态的教育问题、教育现状为研究内容的，它们广泛存在于教育的各个领域之中，因此从理论上说，一切教育现象都可以作为教育调查研究的对象。 2．调查手段的多样性在进行教育调查研究时，可以采用多种多样的调查手段和方法。如问卷、访谈、测量等，其中每一种方法，在不同的情况下可以表现出不同的方式。在具体研究过程中，研究者可以根据课题的大小和性质以及研究者自身的情况选择适当的方法。 3.调查方法的可操作性和实用性在进行教育调查研究时，要设计详细、具体的调查方案。在调查方案中，有各种研究变量的操作指示，有根据各种调查方法设计出的调查工具，如问卷、访谈提纲、测量表及试卷，也有供分析资料用的整理信息和统计的方法，等等。这样，在开展调查研究时，调查者就可以依据调查方案进行具体操作，且具有较强的可操作性。另外，教育调查研究法在设备条件的控制环境上没有太多的要求。特别是对于数据资料的收集，可以在较大的范围内进行，从而在较短的时间内收集到大量的数据资料，因此有较大的实用性。 4.调查结果的延时性利用教育调查手段和方法获得的结果，一般是通过书面或口头语言等形式表达出来的关于事实的报告，具有延时性的特点。相对来说，其所得资料的信度、效度不及观察研究所得的资料。 1、概念调查研究法是在科学方法论和教育理论的指导下，通过运用问卷、访谈、测量等科学方式，有目的、有计划地搜集有关教育问题或教育现状的资料，从而获得关于教育现象的科学事实，并形成关于教育现象的科学认识的一种研究方法。

网络爬虫详解

网络爬虫详解一、爬虫技术研究综述引言随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎(Search Engine)，例如传统的通用搜索引擎AltaVista，Yahoo!和Google等，作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是，这些通用性搜索引擎也存在着一定的局限性，如： (1) 不同领域、不同背景的用户往往具有不同的检索目的和需求，通用搜索引擎所返回的结果包含大量用户不关心的网页。 (2) 通用搜索引擎的目标是尽可能大的网络覆盖率，有限的搜索引擎服务器资源与无限的网络数据资源之间的矛盾将进一步加深。 (3) 万维网数据形式的丰富和网络技术的不断发展，图片、数据库、音频/视频多媒体等不同数据大量出现，通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力，不能很好地发现和获取。 (4) 通用搜索引擎大多提供基于关键字的检索，难以支持根据语义信息提出的查询。为了解决上述问题，定向抓取相关网页资源的聚焦爬虫应运而生。聚焦爬虫是一个自动下载网页的程序，它根据既定的抓取目标，有选择的访问万维网上的网页与相关的链接，获取所需要的信息。与通用爬虫(general purpose web crawler)不同，聚焦爬虫并不追求大的覆盖，而将目标定为抓取与某一特定主题内容相关的网页，为面向主题的用户查询准备数据资源。 1 聚焦爬虫工作原理及关键技术概述网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件，如图1(a)流程图所示。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止，如图1(b)所示。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。相对于通用网络爬虫，聚焦爬虫还需要解决三个主要问题： (1) 对抓取目标的描述或定义； (2) 对网页或数据的分析与过滤； (3) 对URL的搜索策略。抓取目标的描述和定义是决定网页分析算法与URL搜索策略如何制订的基础。而网页分析算法和候选URL排序算法是决定搜索引擎所提供的服务形式和爬虫网页抓取行为的关键所在。这两个部分的算法又是紧密相关的。

问卷调查法的优缺点

随着现在社会的日益发展，在满足市场竞争的严峻考验下，如何做好资源信息的采集和处理无疑是极其重要的环节，大到国家，小到个人，在采集信息的众多方法中，问卷调查常常是其中的主角，纸质问卷、电子邮件问卷等等，我们不能说哪个更好，但我们可以知道相互间的优缺点，以下是我通过综合比较后得出的结论：问卷调查法的优点 ?问卷法节省时间、经费和人力，这是为什么经常采用问卷法的原因。 ?问卷法调查结果容易量化。问卷调查是一种结构化的调查，其调查问题的表达形式、提问的顺序、答案的方式与方法都是固定的，而且是一种文字交流方式，因此，任何个人，无论是研究者，还是调查员都不可能把主观偏见代入调查研究之中。其调查的统计结果一般都能被量化出来。 ?由于问卷调查结果便于统计处理与分析。现在有大量的相关统计分析软件可以帮助我们进行数据分析，有些甚至能直接帮助我们设计问卷。方便实施和分析。也方便进行数据挖掘。 ?现在的电子问卷克服了纸质问卷的一些缺点，方便实施与调整。虽然他不可能取代面对面的问卷调查，但由于成本更低，更容易及时调整问卷设计上的不足，越来越多的问卷采用电子问卷的形式，可以通过网站，e－mail进行发布与回收。数据直接使用数据库记录，方便筛选与分析。 ?问卷调查法可以进行大规模的调查。无论研究者是否参与了调查，或者参与的多少，都可以从问卷上了解被访者的基本态度与行为。这种方式是其他任何方法也不可能做到的，而且问卷调查可以周期的进行而不受调查研究人员变更的影响,可以跟踪某些问题用户的变化。问卷法的缺点 ?面向设计的问题问卷调查比较难面向未来的调查（为设计进行的调查）很多时候需要了解用户的意图、动机和思维过程。问卷调查这类问题往往效果不佳，或者说问题设计比较难。而开放式的问题，回收质量、分析和统计等工作也会受影响。我个人经验不是很丰富，自己总结有两条：第一，做问卷之前要做许多的其他调查活动，如：访谈、观察、出声思考等等。第二、问卷调查过去和现在的行为方式比较合适，不能指望通过问卷获得更多。

Linux操作系统部分复习题答案

第一章 Linux系统简介一、思考题 1.UNIX的大部分代码是用一种流行的程序设计语言编写的，该语言是什么？ C语言 2.UNIX系统的特点有哪些？ ·多任务 ·多用户 ·并行处理能力 ·设备无关性 ·工具 ·错误处理 ·强大的网络功能 ·开放性 3.什么是Linux？其创始人是谁？ Linux是一个功能强大的操作系统，同时它也是一个自由软件，是免费的、源代码开放的、可以自由使用的UNIX兼容产品。其创始人是Linus 4.Linux操作系统的诞生、发展和成长过程始终依赖者的重要支柱都有哪些？ ·UNIX操作系统 ·MINIX操作系统 ·GNU计划 ·POSIX标准 ·Internet 5.简述Linux系统的特点。 ·自由软件 ·良好的兼容性 ·多用户、多任务 ·良好的界面 ·丰富的网络功能 ·可靠地安全性、稳定性 ·支持多种平台 6.常见的Linux的发行版本有哪些？ ·Red Hat Linux ·Caldera OpenLinux ·SuSE Linux ·TurboLinux ·红旗Linux ·中软Linux 二、选择题 1.Linux最初是以MINIX 操作系统为模板而开发出来的。 2.关于Linux内核版本的说法，下列选项中错误的是（C）。 A．表示为主版本号.次版本号.修正号B．1.2.3表示稳定的发行版 C．1.3.3表示稳定的发行版D．2.2.5表示对内核2.2的第5次修正（补充：次版本号为偶数的是稳定版本；为奇数的则是测试版本。）

3.Linux属于自由软件。 4.自由软件的含义是软件可以自由修改和发布。 5.一下不具有多任务性的操作系统是DOS 第二章 Linux系统入门一、思考题 1.Linux系统有哪些运行级别？其含义是什么？可用级别为0~6，其中0：关闭系统；6：重新启动，其他略。 2.Linux系统下经常使用的两种桌面环境是什么？ GNOME和KDE 3.什么是X-Window系统？它有什么特点？图形界面（X-Window）是在Linux操作系统中提供的图形化用户界面（GUI），其支持的视窗系统也称为X，它的特点有：它采用了“客户端-服务器”模式；它是一个跨平台的操作环境。 7.默认情况下，超级用户和普通用户的登录提示符分别是什么？ # 和 $ 二、选择题 1.系统引导的过程一般包括如下的几步：①MBR中的引导装载程序启动。②用户登录。③Linux内核运行。④BIOS自检。正确的顺序是④①③②。 2.Linux中使用Ctrl+Alt+BackSpace 组合键可以关闭X-Window图形用户界面。 3.字符界面下使用init命令关机所用的参数是0 。（参数6是重新启动） 4.字符界面下使用shutdown命令重启计算机时所用的参数是–r 。 5.使用man命令调阅相关的帮助信息时，用于逐页地下翻的功能键是Space 。第三章 shell与shell命令一、思考题 1.shell的基本功能有哪些？命令解释执行、文件名替换、输入/输出重定向、连同管道建立、系统环境设置和shell编程。 2.Linux系统中的主要目录有哪些？ /：系统的根目录 /dev：系统的设备目录 /home：用户主目录 /root：root用户主目录 /boot：Linux的启动目录 /usr：用户级目录 3.工作目录及其父目录课分别用什么表示？ . 和 .. 5.常用的shell环境变量有哪些？ ·HOME：用户家目录的完全路径名 ·LOGNAME：登录用户名 ·IFS：命令行内部域分割符 ·PATH：由冒号分隔的目录路径名

问卷调查法的优点

问卷调查法的优点（1）问卷法节省时间、经费和人力。 (2)问卷法调查结果容易量化。问卷调查是一种结构化的调查，其调查问题的表达形式、提问的顺序、答案的方式与方法都是固定的，而且是一种文字交流方式，因此，任何个人，无论是研究者，还是调查员都不可能把主观偏见代入调查研究之中。其调查的统计结果一般都能被量化出来。（3）由于问卷调查结果便于统计处理与分析。现在有大量的相关统计分析软件可以帮助我们进行数据分析，有些甚至能直接帮助我们设计问卷。方便实施和分析。也方便进行数据挖掘。（4）问卷调查法可以进行大规模的调查。无论研究者是否参与了调查，或者参与的多少，都可以从问卷上了解被访者的基本态度与行为。这种方式是其他任何方法也不可能做到的，而且问卷调查可以周期的进行而不受调查研究人员变更的影响,可以跟踪某些问题用户的变化。问卷法的缺点面向设计的问题问卷调查比较难面向未来的调查很多时候需要了解用户的意图、动机和思维过程。问卷调查这类问题往往效果不佳，或者说问题设计比较难。而开放式的问题，回收质量、分析和统计等工作也会受影响。问卷调查采用由用户自己填答问卷的方式，所以其调查结果的质量常常得不到保证。问卷调查的回收率难以保证。（https://www.doczj.com/doc/1910725731.html,/hopeful/A705252.html）小组讨论的优缺点： 1. 仔细倾听别人的想法或意见并给予反馈，及时地对别人正确的想法或意见予以支持团队中每个人都具有标新立异的能力，但不意味着每个人都有支持别人的魄力适时支持其他团队成员有助于团队按时完成任务。支持是相互的。 2. 适时地提出自己的观点并设法得到小组成员的支持，对别人的方案提出富有创造性的改进点 3. 在需要妥协的时候妥协以便小组在deadline前达成结论

市场调查方法优缺点

一）访问法 1. 1 面谈访问法）入户访问法优点：入户访问法缺点：）拦截访问法优点： 2>. 3>. 拦截访问法缺点： 2>. 2. 3. 3>. 电话访问法优点： 2> 3> 4> 5> 6> 电话访问法缺点： 2> 3> 4> 5> 邮寄法优点： 2> 3> 4> 5> 邮寄法缺点： 2> 3> 4> 1>.直接性强；2.灵活性强；3. 准确性强；4.调查有深度。 1>. 费用高，时间长；2. 对调查人员的要求高；3. 调查质量容易受多种因素的影响。 1>. 访问地点比较集中，时间短，可节省访问费和交通费；便于对调查人员进行监控；对拒访者可以放弃，重新拦截新的受访者，确保样本量不变。 1>. 只能进行简单的、大众的问题调查，不适合内容复杂、不能公开的问题调查；被调查对象的身份难以判别，在调查地点出现具有偶然性，可能影响样本的代表性和调查资料的质量；拒访率高。 1>信息搜集速度快、费用低；调查花费的时间短；搜集市场调查资料覆盖面广；被调查者不受调查人员在场的心理压力，可以比较自由地回答问题；适宜访问不易接触到的被调查者；易于控制调查质量。 1>访问的成功率相对较低；无法使用辅助工具；访问时间不能过长，调查的内容难以深入，调查总体欠完整；被调查者只限于能够进行电话沟通的范围；对于回答问题的真实性很难做出正确的判断。 1>调查区域较广；调查费用较低，只需花费少量邮资和印刷费用；被调查者有较充分的时间填写问卷，被调查者无时间上的压力，回答质量较高。通过让被调查者采取匿名方式，可对某些敏感和隐私情况进行调查；无须对调查人员进行专门的培训和管理。 1>问题无反馈，回收率低；信息反馈时间长，影响资料的时效性；容易产生填答错误，无法评价其回答的可靠程度；对被调查者的要求较高。 4. 留置调查法优点：1>回收率高； 2>被调查者有充分的时间来回答问题且不受调查人员影响；留置调查法缺点：1>调查受区域范围的限制，难以进行大范围的留置问卷调查； 2>调查费用较高； 3>占用被调查者时间较多二）观察法优点： 2> 3> 4> 1>直观可靠；真实性高；不受语言交流的影响；独立取舍，不受调查对象的影响

Linux操作系统Ubuntu的详细介绍

Linux操作系统Ubuntu的详细介绍 Ubuntu是一个以桌面应用为主的Linux操作系统，下面由小编整理了Linux操作系统Ubuntu的详细介绍，希望对你有帮助。 Linux操作系统Ubuntu的详细介绍 1.简介 Ubuntu (官方中文译名：友帮拓)是一个南非的民族观念，着眼于人们之间的忠诚和联系。该词来自于祖鲁语和科萨语。Ubuntu(发音"oo-BOON-too"--“乌班图”，内置视频中曼德拉的发音为/u:bu:tu:/全部u发音/wu:/)被视为非洲人的传统理念，也是建立新南非共和国的基本原则之一，与非洲复兴的理想密切相关。Ubuntu 精神的大意是“人道待人”(对他人仁慈)。另一种翻译可以是：“天下共享的信念，连接起每个人”。“具有ubuntu 精神的人心胸开阔，乐于助人，见贤思齐而不忌妒贤能，因为他/她拥有适度的自信，而这源自如下认识：自己乃是属于一个更大的整体，当他人受到伤害或死去时，当他人受到折磨或压迫时，这个整体就会消失。”--大主教Desmond Tutu。作为一个基于GNU/Linux 的平台，Ubuntu 操作系统将ubuntu 精神带到了软件世界。

2.自由软件 Ubuntu 项目完全遵从开源软件开发的原则;并且鼓励人们使用、完善并传播开源软件。也就是Ubuntu目前是并将永远是免费的。然而，这并不仅仅意味着零成本，自由软件的理念是人们应该以所有“对社会有用”的方式自由地使用软件。“自由软件”并不只意味着您不需要为其支付费用，它也意味着您可以以自己想要的方式使用软件：任何人可以任意方式下载、修改、修正和使用组成自由软件的代码。因此，除去自由软件常以免费方式提供这一事实外，这种自由也有着技术上的优势：进行程序开发时，就可以使用其他人的成果或以此为基础进行开发。对于非自由软件而言，这点就无法实现，进行程序开发时，人们总得白手起家。基于上述原因，自由软件的开发是迅捷、高效和激动人心的! 3.不同之处目前已有大量各种各样基于GNU/Linux的操作系统，例如：Debian,SuSE,Gentoo,RedHat 和Mandriva。在这行业已竞争纷繁的世界里，Ubuntu 是又一个参与者。那么Ubuntu 何以有所不同? Debian 是一个广受称道、技术先进且有着良好支持的发行版，Ubuntu 正是基于Debian之上，旨在创建一个可以为桌面和服务

网络爬虫基本原理

网络爬虫基本原理网络爬虫根据需求的不同分为不同种类： 1. 一种是爬取网页链接，通过url链接得到这个html页面中指定的链接，把这些链接存储起来，再依次以这些链接为源，再次爬取链接指向html页面中的链接……如此层层递归下去，常用的方法是广度优先或者深度优先，根据爬取层次需求不同而选择不同的方法达到最优效果，爬虫的效率优化是一个关键。搜索引擎的第一个步骤就是通过爬虫得到需要索引的链接或数据，存放于数据库，然后对这些数据建立索引，然后定义查询语句，解析查询语句并利用检索器对数据库里的数据进行检索。 2. 一种是爬取数据信息，如文本信息、图片信息等，有时需要做数据分析，通过某种手段来获取数据样本以供后续分析，常用的方法是爬虫获取指定数据样本或利用现有的公共数据库。本文的微博爬虫和新闻数据爬取都属于第二种类，根据自定义搜索关键字爬取微博信息数据。 3. 对于网络爬虫原理，其实并不复杂。基本思路是：由关键字指定的url把所有相关的html页面全抓下来（html即为字符串），然后解析html文本（通常是正则表达式或者现成工具包如jsoup），提取微博文本信息，然后把文本信息存储起来。重点在于对html页面源码结构的分析，不同的html需要不同的解析方法；还有就是长时间爬取可能对IP有影响，有时需要获取代理IP，甚至需要伪装浏览器爬取。（主要是针对像新浪等这些具有反扒功能的网站，新闻网站一般不会有这样的情况）。对于微博，通常情况下是必须登录才能看到微博信息数据（比如腾讯微博），但是有的微博有搜索机制，在非登录的情况下可以直接通过搜索话题来查找相关信息（如新浪微博、网易微博）。考虑到某些反爬虫机制，如果一个账号总是爬取信息可能会有些影响（比如被封号），所以本文采用的爬虫都是非登录、直接进入微博搜索页面爬取。这里关键是初始url地址。网络爬虫是搜索引擎抓取系统的重要组成部分。爬虫的主要目的是是将互联网上的网页下载到本地形成一个活互联网内容的镜像备份。这篇博客主要对爬虫及抓取系统进行一个简单的概述。一、网络爬虫的基本结构及工作流程通用的网络爬虫的框架如图所示：

市场调查方法优缺点

（一）访问法 1.面谈访问法 1）入户访问法优点：1>.直接性强；2.灵活性强；3.准确性强；4.调查有深度。入户访问法缺点：1>.费用高，时间长；2.对调查人员的要求高；3.调查质量容易受多种因素的影响。 2）拦截访问法优点：1>.访问地点比较集中，时间短，可节省访问费和交通费； 2>.便于对调查人员进行监控； 3>.对拒访者可以放弃，重新拦截新的受访者，确保样本量不变。拦截访问法缺点：1>.只能进行简单的、大众的问题调查，不适合内容复杂、不能公开的问题调查； 2>.被调查对象的身份难以判别，在调查地点出现具有偶然性，可能影响样本的代表性和调查资料的质量； 3>.拒访率高。 2.电话访问法优点：1>信息搜集速度快、费用低； 2>调查花费的时间短； 3>搜集市场调查资料覆盖面广； 4>被调查者不受调查人员在场的心理压力，可以比较自由地回答问题； 5>适宜访问不易接触到的被调查者； 6>易于控制调查质量。电话访问法缺点：1>访问的成功率相对较低； 2>无法使用辅助工具； 3>访问时间不能过长，调查的内容难以深入，调查总体欠完整； 4>被调查者只限于能够进行电话沟通的范围； 5>对于回答问题的真实性很难做出正确的判断。 3.邮寄法优点：1>调查区域较广； 2>调查费用较低，只需花费少量邮资和印刷费用； 3>被调查者有较充分的时间填写问卷，被调查者无时间上的压力，回答质量较高。 4>通过让被调查者采取匿名方式，可对某些敏感和隐私情况进行调查； 5>无须对调查人员进行专门的培训和管理。邮寄法缺点：1>问题无反馈，回收率低； 2>信息反馈时间长，影响资料的时效性； 3>容易产生填答错误，无法评价其回答的可靠程度； 4>对被调查者的要求较高。 4.留置调查法优点：1>回收率高； 2>被调查者有充分的时间来回答问题且不受调查人员影响；留置调查法缺点：1>调查受区域范围的限制，难以进行大范围的留置问卷调查； 2>调查费用较高； 3>占用被调查者时间较多。（二）观察法优点：1>直观可靠； 2>真实性高； 3>不受语言交流的影响； 4>独立取舍，不受调查对象的影响。

《Linux 操作系统》课程介绍

0《Linux操作系统》一、课程定位《操作系统》在高职高专计算机网络技术专业中是核心课程，主要是培养学生linux操作系统应用的能力。该课程具有很强的实践性，重在操作和应用技能的培养，在计算机网络技术课程结构体系中具有重要地位。 1、课程的作用《Linux操作系统》是计算机应用技术专业核心课程，linux是一个功能强大而且十分灵活的操作系统，安全行、稳定性好，很少受到病毒和黑客的攻击。通过本课程的学习，提高学生对LINUX操作系统的认识，并通过案例教学和项目实训培养学生综合运用知识的初步能力，是从事各种网络管理、维护及设计的基础。并为后续课程学习、顶岗实习实施、就业等提供强大的支撑和促进作用。 2、课程任务和目标本课程的主要任务是：本课程计算机学科的软件工程专业中是一门专业方向课，理论学时12，实验学时28。其任务是讲授Linux操作系统的使用，包括文本界面的常用Shell命令、图形界面的多种实用程序以及Linux提供的多种Internet服务功能，比较全面地了解Linux操作系统提供的功能和服务。本课程的目标是：（一）知识目标: 对单一网络环境（WIN）的拓展，学生学完该课程后应该掌握Linux操作系统的常用命令的使用、图形界面的多种实用程序的使用、多种Internet服务功能的配置。

（二）能力目标: 1.表达能力：熟练使用LINUX常用软件（文档、电子表格、演示文稿等）。 2.服务器架设能力：熟练使用LINUX，应用LINUX构建网络服务应用。 3.故障处理能力：能够利用学过的LINUX知识，处理日常LINUX系统运行中遇到的故障并排除故障。 4.综合能力：在使用计算机过程中，能够熟练使用LINUX，并能在LINUX进行文件编译，可以使用LINUX上常用软件。（三）情感目标：培养并加强学生自主探索学习的能力，相互协作解决问题的意识。二、课程内容设置 1、课程内容设置理念（1）以计算机网络管理的职业需求为导向。（2）以应用Linux系统构建网络服务器，进行系统的管理与维护为重点。（3）依据“教、学、做”一体化教学模式设计教学内容。 2、教学单元设计：七章14个实验

市场调查方法的优缺点

市场调查方法的优缺点 (1)访问法 1、直接访问法优点:A调查有深度,具私密性,内容可以复杂深入。B直接性强,可以掩饰图表、产品等。C灵活性较强,随机应变。D准确性强,可以当面解释问题,并可以根据回答问题的态度,直接判断资料的真实程度。E比电话及邮寄问卷法,回答问题的完整性高缺点:A成本高,时间长。B调查质量受到气候、被访者情绪等因素干扰。适用范围:小规模,需要深入调查的问题。 2、堵截访问法优点:访问的地点集中,时间短,成本低,节省对每个样本的访问费与交通费,避免入户的困难,便于对访问员的监控。缺点:访问内容无法深入;调查对象的出现带有偶然性,会影响调查的精确度;拒访率高。适用范围:内容简明、时间期限比较短的调查 3、电话访问法优点:成本低,速度快;范围广;易控制; 缺点:问题不能深入;调查工具无法综合使用;辨别真实性较差;调查者可能挂断电话。适用范围:带有普遍性的急需解决的简单问题,调研费用较少,调查人员口齿清楚。 4、邮寄问卷法优点:调查区域广;问卷可以有一定的深度;费用低;无须对调查人员专门培训;回答问题更准确客观。缺点:调查表回收率低;时间长适用范围:对于时效性不强,名单地址清楚,调查费用紧张、高素质的调查人员缺乏的调查。 5、小组焦点访问法:优点:取得的资料较为广泛与深人;资料收集快,效率高,省时、省事、省力;将调查与讨论结合,有时还能探讨原因与寻求解决问题的途径;可以进行科学监测。缺点:对主持人的依赖性大,要挑选有丰富经验与组织控制能力的主持人;抽样人数少、误差有可能较大,易造成误导,对企业经营决策产生不良影响;对于涉及隐私与保密问题,不宜多谈;回答结果散乱,一般只作定性资料收集。适用范围:获得建议、意见、创意的重要方法,广泛用于新产品开发、产品包装设计、广告设计等市场调查项目之中。 (2)现场观察法优点:A、自然、客观、准确;B、直接简单易行;缺点:A、难以控制时间变量与环境变量;B、缺乏深度,只能瞧到最后的行为,不知道行为的原因与动机;C、受观察者主观意识、价值观、社会联系的影响; (3)实验调查法优点:A结果具有较大的客观性与实用性;B方法具有主动性与可控性;C可以探索在环境中不明确的市场关系;D实验的结论具有较强的说服力。缺点:A时间长、费用大;B有一定的局限性,只能分析因果变量之间的关系,不能分析过去与未来的情况;C管理与控制的难度大,对实验者要求高。D有一定的时间限制。适用范围:实验调查法主要应用于检验有关市场变量间因果关系的假设,研究有关的自变量与因变量的影响。如测试各种广告的效果,测试各种促

网络爬虫技术论文

网络爬虫技术浅析在当今社会，越来越多的人使用互联网看视频，听音乐，查资料等等，使得网络上的数据越来越多。人们想从海量的数据中获取到自己想要的知识，靠人力浏览很难实现查找到需要的东西，除非运气相当好。这个时候搜索引擎就出现了，搜索引擎可以通过关键字，查找网页并显示在用户面前，用户可以得到有用的信息。在搜索引擎中非常关键的数据来源来自一种很神奇的技术：网络爬虫技术，它构成了搜索引擎的基础部分。网络爬虫的基本概念网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。一、网络爬虫的历史 1994年的1月份，第一个既可搜索又可浏览的分类目录EINetGalaxy上线了。它之后才出现了雅虎，直至我们现在熟知的Google、百度。但是他们都不是第一个吃搜索引擎这个螃蟹的人。从搜索FTP上的文件开始，搜索引擎的原型就出现了，那时还未有万维网，当时人们先用手工后用蜘蛛程序搜索网页，但随着互联网的不断壮大，怎样能够搜集到的网页数量更多、时间更短成为了当时的难点和重点，成为人们研究的重点。 1994年7月20日发布的Lycos网站第一个将“蜘蛛”程序接入到其索引程序中。引入“蜘蛛”后给其带来的最大优势就在于其远胜于其它搜索引擎的数据量。自此之后几乎所有占据主导地位的搜索引擎中，都靠“蜘蛛”来搜集网页信息。通用网络爬虫和聚焦网络爬虫的工作原理网络爬虫是搜索引擎的重要组成部分，它是一个自动提取网页的程序，为搜索引擎从网上下载网页. 传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。与传统爬虫相比，聚焦爬虫的工作流程则较为复杂，需要根据一定

linux操作系统简介IC设计

LINUX 介绍 LINUX版本简介 Linux有很多发行版本，目前流行的有Red Hat Linux、Debian Linux、Red Flag Linux等。Red Hat Linux 由Red Hat公司（红帽子公司）发行，是商业上运作最成功的一个Linux发行套件。由于Red Hat Linux普及程度很高，可免费得到，更重要的是大多数IC设计工具支持Red Hat Linux，因此Red Hat Linux适合于作为IC设计工具的平台。目前Red Hat有两种发行版。一种是企业版Red Hat Enterprise Linux（RHEL）,付费购买后，红帽子公司会提供技术支援服务。另一种是免费版Red Hat Fedora Core（RHFC）,可免费下载，但红帽子公司不提供技术支援。收费的Red Hat企业版产品有Red Hat Enterprise Linux AS(Advanced Server)，Red Hat Enterprise Linux ES（Entry Server）、Red Hat Enterprise Linux WS（Workstation）等。AS是最高端产品，ES是AS的精简版本，WS是ES的进一步简化版，主要针对桌面办公。目前企业版已发行到AS5版本。免费的Red Hat Fedora Core，第一版是Fedora Core 1（FC1），相当于早期Redhat 9.0的更新版（也可称为Redhat 10.0）。目前Red Hat Fedora Core系列的最新版本是Fedora Core 9（FC9）。 Redhat企业版和Fedora免费版的联系很密切。例如，AS4相当于FC3，AS5相当于FC4。考虑到安全行和稳定性，企业版的更新速度相对较慢，很多软件包比较陈旧，比如最关键的内核等。而Fedora Core 的更新速度很快。主流IC工具在发行前，通常会在发行时的企业版的流行版本基础上进行测试。对当前IC 设计工具来说，软件兼容较好的是AS4和Fedora Core 5（FC5）。以下选择FC5进行介绍，其他版本也是类似的。基本知识 1、硬盘类型目前主要的硬盘驱动类型有下列三类，不同的硬盘在LINUX下有不同的标识方法。 IDE：Integrated drive electronics (电子集成驱动器) SCSI：Small computer system interface（小型计算机接口） SA TA：Serial ATA （串口硬盘） 2、LINUX下的硬盘分区在Linux中，任一个物理设备，都对应为/dev目录下的一个文件。Linux分区命名如下：若是IDE硬盘，第一块硬盘对应为/dev/had，第二块为/dev/hdb。若是SCSI或SA TA硬盘，第一块硬盘对应为/dev/sda，第二块为/dev/sdb。 had（或sda）后面的数字含义为：1至4代表主分区号（一块硬盘最多有四个主分区），5开始以后代表的是逻辑分区号。例子：某电脑只有一块硬盘，类型为SA TA，C盘是唯一的主分区，在这里代号为/dev/sda1；D盘为逻辑分区，在这里代号为/dev/sda5；同理E、G、H盘对应为/dev/sda6、/dev/sda7、/dev/sda8。 3、文件系统在XP和LINUX下的主要文件系统有： FAT16：ＤＯＳ与ＷＩＮＤＯＷＳ９５以上支持，只支持２Ｇ以下分区，目前已基本不用。ＦＡＴ３２：ＤＯＳ与ＷＩＮＤＯＷＳ９５以上支持，支持２Ｇ以下分区，目前在ＸＰ中应用广泛，在ＬＩＮＵＸ下，可方便挂载访问，建议使用这种文件系统。ＮＴＦＳ：ＷＩＮＤＯＷＳ２０００以上支持（主要用于网络版ｗｉｎｄｏｗｓＮＴ），稳定型好，但在ＦＣ５下，要另外安装驱动程序才能挂在访问，不建议使用这种文件系统。