当前位置:文档之家› 文献综述大赛—网络编码的发展和趋势

文献综述大赛—网络编码的发展和趋势

文献综述大赛—网络编码的发展和趋势
文献综述大赛—网络编码的发展和趋势

科技文献综述竞赛

网络编码研究综述

姓名:贾骐玮张丽韩改霞

专业:交通信息工程及控制

学号:130112038213011203801301120372

指导教师:张向东

2014年4月7日

网络编码研究综述

贾骐玮,张丽,韩改霞

(西安电子科技大学交通信息工程及控制专业,西安710071)

摘要:网络编码是指网络中的节点参与编译码,它的提出对于网络信息论具有划时代的意义。网络编码具有提高网络吞吐量、均衡网络负载、节省网络带宽、降低节点能耗等显著优点。本文介绍了网络编码的起源与发展,基本原理以及其在无线网络、P2P系统、分布式文件存储、网络安全等领域的最新应用。文章最后对网络编码的研究趋势和热点进行分析,并对其提出展望。

关键词:网络编码网络信息论P2P系统分布式文件存储网络安全

Research on Wireless Network Coding:A Survey

Jia Qiwei,Zhang Li,Han Gaixia

(XiDian University,Traffic Information Engineering&Control,Xi’an710071,China)

Abstract:Network coding refers to the nodes within the network involved to encoding and decoding,it has a great significance for network information https://www.doczj.com/doc/017221723.html,work coding can larger throughput of the network,enhance network load balance,save network bandwidth and reduce the energy consumption of nodes.This article describes network coding origin and development,as well as its basic principles and its latest applications in the areas of wireless network,P2P systems,distributed file storage,and network security and so on.Finally,we analysis the trends and hot spots for the research of network coding,and then raise its outlook.

Keywords:Network Coding;Network Information Theory;P2P System;Distributed File Storage;Network Security

经典的信息理论指出,不论是互联网中的数据包还是移动网络中的信号,信息的传输都只是单纯的共享网络和链路资源,彼此互不相干、相互独立。数据的路由、存储、差错控制等等研究都是基于上述假设。直到网络编码的提出,完全打破了这一假设,开创了一个全新的领域。

网络编码(network coding)是一种融合了编码和路由转发的信息交换技术,在传统存储转发的路由方法基础上,通过允许对接收的多个数据包进行编码(如模二加、有限域上的运算等)信息融合,增加单次传输的信息量,以提高网络信息传输效率和整体性能。网络编码打破了经典信息论中商品流(Commodity Flow)[2]不能被压缩的结论,指出网络

信息流(Network Information Flow)可以被处理或压缩,从而可以进一步提升网络吞吐量。

1网络编码的起源和发展

网络编码概念的诞生可以追溯到1998年论文“Network Information Flow Theory”

[3](引自文献[4])和1999年Yeung和Zhang发表的关于卫星通信的论文[5](引自文献[6])。

网络编码原理论文正式发表于2000年的先锋论文“Network Information Flow”[1],这是网络编码理论的奠基之作。

在2003年,网络编码领域发表了许多重要研究成果,具有里程碑意义。

2003年,香港中文大学讯息工程系的李硕彦教授、杨伟豪教授、蔡宁教授发表了论文“Linear Network Coding”[2]指出线性网络编码可以达到多播方式下的网络容量。该文于2005年获得IEEE信息理论学会年度最佳论文奖。该奖项首次颁发给亚洲学者,以表彰他们在信息理论领域的重要贡献,这也彰显出网络编码理论所具有的重大价值。

2003年,Koetter和Medard[7]提出网络编码的代数学(Algebra)框架,即用抽象代数来解决线性网络编码的问题,为研究网络编码提供了一个用力的数学工具。

2003年,Sanders等[8]提出具有多项式复杂度的线性信息流算法,该算法属于集中式的码构造算法。2005年,Jaggi等[9]将之正式发表于IEEE信息论会刊,文献[6]中称LIF 算法为Jaggi-Sanders算法。

2003年,Ho等[10]提出随机网络编码(Random Network Coding,RNC),属于分布式的码构造方法。随机网络编码的基本思想并不复杂,每个节点均随机选取系数进行编码,将得到的线性组合向下游节点发送。当信宿节点收到足够多线性无关的组合后,通过联立求解线性方程组,即可译码出信源节点发出的所有信息。由于每个节点均随机的选择系数,节点不必获得全局信息,因此是分布式算法。随机网络编码的提出证明了网络编码的可行性。

2003年,Chou等[11]提出诗句的网络编码及其相应的设计原则。主要包括:①同步机制:采用网络编码,一般需要等到所有数据到达之后才进行,因此需要添加缓存。②缓存刷新机制:由于缓存的大小总是有限的,所以需要设计缓存中内容的更新机制。当然,缓存大小的最优设置也需要考虑。③渐进译码机制:通过一边下载一边译码,来节省译码时间。④译码成功率:译码成功概率与有限区域大小有一定关系。Jaggi等[9]指出,当有限域大小为16

|

F时,译码成功率可达99.6%;Chou

|=

|=

2

|

F且网络中的链路数为82

等[11]指出有限域大小为28即可满足实际应用的需求。

2003年以后,网络编码的发展可以用如火如荼来形容,众多的研究成果也是层出不穷。

网络编码彻底改变了通信网络中信息处理和传输的方式,是信息理论研究领域的重大突破,已经引起学术界广泛关注和高度重视。国际许多著名大学和研究机构,国外许多著名大学,如普林斯顿大学[12]、麻省理工大学[13]、瑞士EPFL学院[14]等以及多家IT

公司的研究中心,包括微软研究院[15]、贝尔实验室[16]、AT&T的香农信息实验室[17]等都在积极开展对网络编码理论和应用的研究;网络编码也逐渐引起了国内学术界的关注和重视,我国的清华大学[18]、南京大学[19]、西安电子科技大学[20]等都对网络编码进行了探索。

2网络编码基本原理

2.1基本原理

网络编码的本质是利用节点的计算能力提高链路带宽的利用率。图1以典型的蝶形网络为例对比了网络编码与传统路由传输的区别、特点以及网络编码的基本原理。图中s是信源,x,y是信宿,各链路的带宽均为1bit/单位时间,现要将2bit数据a,b同时从s传到x,y。易知s与x,y之间均分别存在两条独立路径,若采用传统路由方法,如图1(a)所示,由于两组路径间存在共有链路w-z,a、b不能同时在w-z上传输(要么传消息a,要么传消息b,即1bit信息),则s到x,y的最大信息流速率为1.5bit/单位时间,即每个信宿节点的平均吞吐量为1.5b/节点;若采用网络编码方法,在节点w上对

a)

(计算译码出b,同理y也可以译

b

a,b执行异或操作并转发,则节点x可以通过a

码出a,从而使s到x,y的信息流速率达到2bit/单位时间,平均每个信宿节点的吞吐量为2b/节点,带宽利用率提高33%。

图1路由方法和网络编码比较(a)路由方法;(b)网络编码

2.2主要优点

由图1可以看出网络编码可以显著提高网络吞吐量,此外,理论研究表明,网络编码在改善负载均衡、节省带宽资源、减少节点能量损耗、增强网络鲁棒性等方面均显示出其相对于传统网络传输的优越性[21]。

(1)提升网络吞吐量:这是网络编码的最主要的优点,无论是否是均匀链路,网络编码都能获得更高的多播容量,且节点平均度数越大,网络编码的优势越明显[22]。

(2)均衡网络负载:网络编码可以有效利用除了多播树路径外的其他网络链路,将网络流量分布于更广泛的网络上,从而均衡网络负载,进而延长网络工作时间。

(3)节省网络带宽资源消耗,提高带宽利用率:信道的带宽一般是有限的,而且信道具有波动性,节点数目众多将会导致带宽资源紧张。网络编码则可以有效提高带宽利用率,通过有效的节点网络编码,可以融合不同输入链路的信息,从而使网络链路上的有效信息量增加,进而可以使用较少的通信链路实现多播[23]。

(4)减少数据包传输次数,降低无线发射能量:无线信道中的数据传输往往存在丢包问题,而广播和多播等接收节点数目较多,信息包损耗分散,重传信息包可能再次丢失,从而造成很大的重传量,不仅消耗带宽,也会消耗节点能量。通过网络编码将不同节点损耗的信息包进行组合编码传输,可以有效降低重传次数,并可以在信息包再次丢失的情况下动态调整组合数据包,极大地降低信息包重传次数,从而节约各个节点的无线发射能量[23,25]。

(5)有效应对节点动态加入、离开、链路失效问题,增强网络容错性和鲁棒性:通过网络编码可以抵抗网络链路和节点的非各态历经失败对网络链接的影响,恢复链路失效[24]。网络编码的这一优点使其非常适合无线视频传感器网络。无线视频传感器网络的动态性很强,较难形成稳定的通信拓扑,当节点能量耗尽或遭到破坏时就无法继续工作,原路由路径被迫断开,必须重新选择新的转发节点,造成资源的浪费和信息的不稳定。通过网络编码可应对节点的动态加入和离开,提高网络链接的鲁棒性[25]。

(6)网络编码无需复杂的加密算法就可以提高网络安全性:网络编码在编码过程中能够融合来自不同源、不同类别的信息,这一点是传统编码无法做到的,这也使得网络编码比传统编码复杂,间接提高了接收端译码的难度。同时,也可以将网络密钥加入到网络编码的信息中,没有网络密钥的接收节点就无法正确地接受和译码,因此网络编码也能达到提高网络安全性的目的。

3网络编码的最新应用发展状况

网络编码的诸多优势决定了其巨大的应用潜力,应用领域涉及无线网络、P2P系统、分布式文件存储和网络安全等网络的多个层面,文献[26]对网络编码的应用进行了详细总结,本文在其基础上对最新的应用发展状况进行归纳分析。

3.1无线网络

无线网络的物理层广播特性和业务流的双向性非常适合使用网络编码。最新的热点集中于物理层网络编码[27]、基于编码的协作方案设计[28]以及实际编码协议性能评估等。Popovski等人[27]研究了现有各类物理层编码方案在两路中继信道下如何最大化通信速率的问题,并给出了各方案中对系统性能影响最大的关键要素。文献[28]对基于网络编码的合作通信进行了系统的理论分析,相对于传统的合作方案,基于网络编码的方案在同等的频谱效率下可达到更高的分集增益。Katti等人[29]针对无线网状网提出了基于机会的网络编码协议COPE,并在20个节点的网络测试床上完成了协议实现。这是首个搭建测试床检验实际编码协议性能的研究,结果表明即使在网络连接动态变化甚至出现拥塞的情况下,COPE协议仍能有效支持多路单播流。文献[30]对基于COPE的无线网络进行了更深入的理论分析,并给出了相应的性能改进。

3.2P2P系统

P2P内容分发协议一直是P2P应用系统的研究热点。基于网络编码的内容分发协议在节省带宽资源、提高系统的抗毁性和可扩展性等方面都比无编码协议优势明显,但也面临着解码计算复杂、延时过大导致系统性能下降的新问题。文献[31]指出P2P系统中采用随机线性码,仅在编码块数目较少且块大小合适的情形下其性能才可接受。Ma等人[32]实现了一个基于稀疏线性编码策略的P2P内容分发系统,通过邻居选取、环路检测和编码区间划分3种策略降低了各编码块间的线性相关性,提升系统整体性能,实验结果表明其性能略优于无编码协议。文献[33]提出一种基于网络编码的P2P流媒体直播方案,仿真实验表明采用网络编码后节点的播放质量得到普遍性增强。LAVA[34]是首个集成网络编码技术的P2P流媒体协议实际系统,通过与实现的标准流媒体协议Vanilla比较,网络编码协议在可用上传带宽略大于流媒体所需带宽时优势较明显。

3.3分布式文件存储

分布式文件存储是网络编码又一个应用热点。Acedanski[35]等人研究了在多个存储资源受限的节点间进行分布式文件存储的问题,比较了无编码存储、基于纠删码存储和采用随机线性码存储3种策略,仿真结果表明,基于随机线性码的分布式存储策略,在无需全局文件服务器的参与时,其性能接近集中式全局调度算法。文献[36]关注基于纠删码的文件存储在保持冗余度不变时如何最小化网络带宽的问题,给出了最优MDS码片的产生方法,并提出一种Regenerating编码机制降低维护带宽的消耗,但该方法在文件尺寸较小且被频繁读取的情况下性能会急剧下降。

3.4网络安全

中继节点对编码数据的恶意修改可能会导致网络编码使用受限甚至不可用。消除拜占庭敌手影响一直是网络编码安全应用研究中备受关注的问题。文献[37]提出一种用散

列函数检测拜占庭敌手的方法。Jaggi等人[38]进一步给出了一种多项式复杂度的分布式算法,在可纠正敌手错误的前提下,同时达到最优组播速率,该方法无需对编码节点添加新的功能,对无线和有线网络均适用。Krohn等人[39]提出一种基于同态散列函数的方法用于检测被修改的编码分组,但该方法需要将计算好的散列值预先通过其他通道分发给所有节点,因此该方法具有一定的局限性。文献[40]利用椭圆曲线算法给出了一种适用于网络编码的签名方案,除了可检测被修改的分组,还加入了对数据的身份认证功能。

4结论与研究趋势

经过十几年的快速发展,基于网络编码的新理论和新应用不断涌现,可以说,网络编码正给现有网络带来革命性的变化。但从研究的深度来看,仍处于探索阶段,还存在一些尚未解决的问题或者尚未探索的领域。在本文的最后,将根据目前的研究现状以及相关学者提出的预测,对网络编码的研究趋势进行展望。

(1)网络编码的实现。现在已经有很多网络编码方法,但在实际网络环境中实现网络编码也带来了很多问题,比如:开销、同步、随机编码系数的选择等。如何在实际中解决这些由网络编码本身带来的弊端是一个很迫切的问题,也是一个很有意义的研究方向。

(2)降低网络编码的复杂性。在很多情况下,采用网络编码可以很大程度提高网络性能,但是实现时的复杂程度也随之增加。如何综合考虑网络编码的性能和效率,实现最小代价基于网络编码的解决方法具有重要的研究价值和实用价值,是值得研究的方向之一[42]。

(3)安全问题。也有一些研究者将目光投向了基于网络编码的无线网络安全研究。可以预见,基于网络编码的无线网络安全也将会是一个研究的重要方向。目前,虽然网络编码的理论与应用得到了快速的发展、研究与应用,但模拟的环境大多基于假设或理想化的模型,与实际的应用环境还有一定的距离,而由此得出的某些结论上尚存在一定的局限性。因此,将网络编码应用于实际的无线系统还有待更严格、更深入和更广泛地研究与实践。

(4)网络编码与其他相关领域的技术的融合。包括网络编码和信源编码Slepian-Wolf 的联合设计与优化[41]、网络编码与信道编码和调制技术的进一步结合以及网络编码与多描述分层编码的结合等[35],都是值得关注的方向。

(5)网络编码在实际网络和复杂流量条件下的性能改进。网络编码在无线网络和P2P 系统中具有广阔的应用前景。目前涉及实际网络编码系统的性能分析和评估的研究还较少。针对实际网络的拓扑结构,结合IP路由技术、交叉层设计思想以及优化理论,实现编码感知的高效路由和调度算法将成为今后研究的重点问题。此外,在流量动态变化的真实网络中,具有可变速率的网络编码技术也将是值得关注的研究方向[43]。

网络编码作为一项新兴技术,从理论到实际应用都还处在不断完善和丰富的阶段,需

要展开全方位的系统研究。上述问题的深入研究必将对网络编码的理论和应用起到极大的促进作用。

参考文献

[1]Ahlswede R,Cai N,S Y R.Li,https://www.doczj.com/doc/017221723.html,work Information Flow[J].IEEE Transaction on

Information Theory,2000,46(4):1204-1206.

[2]Li S Y R,Yeung R W,Cai N.Linear Network Coding[J].IEEE Transaction on Information Theory,

2003,49(2):371-381.

[3]Ahlswede R,Cai N,Yeung R https://www.doczj.com/doc/017221723.html,work Information Flow Theory[C].IEEE ISIT,1998.

[4]Li S Y R,Sun Q T,Shao Z.Linear Network Coding:Theory and Algorithms[J].Proceeding of the

IEEE,2011,99(3):372-387.

[5]Yeung R W,Zhang Z.Distributed Source Coding for Satellite Communication[J].IEEE Transactions

on Information Theory,1999,45(4):1111-1120.

[6]Yeung R https://www.doczj.com/doc/017221723.html,rmation Theory and Network Coding[M].New York:Springer,2008.

[7]Koetter R,Medard M.An Algebraic Approach to Network Coding[J].IEEE/ACM Transactions on

Networking,2003,11(5):782-795.

[8]Sanders p,Egner S,Tolhuizen L.Polynomial Time Algorithms for Network Information Flow[C].

ACM Symposium on Parallel Algorithms and Architectures,2003.

[9]Jaagi S,Sanders P,Chou P A,et al.Polynomial Time Algorithms for Multicast Network Code

Construction[J].IEEE Transaction on Information Theory,2005,51(6):1973-1982.

[10]Ho T,Koetter R,Medard M,Karger D,et al.The Benefits of Coding over Routing in a Randomized

Setting[C].IEEE ISIT,2003.

[11]Chou P A,Wu Y,Jain K.Practical Network Coding[C].Allerton Conference on Communication,

Control and Computing,2003.

[12]Agarwal A,Ch arikar M.On the advantage of network coding for improving network throughput[Z].

Information Theory Workshop,2004.IEEE24-29Oct.2004,247-249.

[13]Lun D,Ratnakar N,Koetter R,et al.Achieving minimum-cost multicast:a decentralized approach

based on network coding[C].In:Proceedings of IEEE INFOCOM,Mar,2005.

[14]Fragouli C,Soljanin E.Decentralized network coding[Z].Information Theory Workshop,2004.IEEE

24-29Oct.2004:310-314.

[15]Gkantsidis C,Rodriguez P https://www.doczj.com/doc/017221723.html,work coding for large scale content distribution[Z].Microsoft

Research,2004.

[16]Bhadra S,Shakkottai S,Gupta P.Min-cost selfish multicast with network coding[C].In:4th

International Symposium on Modeling and Optimization in Mobile,Ad Hoc and Wireless Networks,

03-06April2006:1-8.

[17]Barros J,Servetto S D.A coding theorem for network information flow with correlated sources[J].

IEEE International Symposium on Information Theory(ISIT),2005,147-151.

[18]Zhang Jing-yao,FanPing-yi.On network coding in wireless ad hoc networks[C].In:2nd International

Conference on obile Technology,Applications and Systems,15-17Nov.2005:8.

[19]Zhao Jin,Yang Fan,Zhang Qian,et al.LION:layered overlay multicast with network coding[J].IEEE

Transactions on Multimedia,Oct.2006,8(5):1021-1032.

[20]Chi K,Yang C,Wang X.Performance of network coding based multicast[J].IEE Proceedings:

Communications,June,2006,153(3):399-404.

[21]淘少国,黄佳庆,杨宗凯等.网络编码研究综述[J].小型微型计算机系统,2008,29(4):583-592.

[22]Wu Y N,Chou P A,Jain K.A comparison of network coding and tree packing[A].Proceeding of IEEE

International Symposium on Information Theory[C].Chicago,IL,2004:145.

[23]肖潇,杨路明,蒲保兴.基于网络编码的多节点无线广播重传策略[J].计算机应用,2008,28(4):

849-852.

[24]Ho T,Leong B,Chang Y H,et https://www.doczj.com/doc/017221723.html,work monitoring in multicast networks using network coding[A].

Proceeding of International Symposium on Information Theory[C].Adelaide,SA,2005:1977-1981.

[25]Nguyen D,Tran T,Nguyen T,et al.Wireless broadcast using network coding[J].IEEE Transactions on

Vehicular Technology,2009,58(2):914-925.

[26]C Fragouli,J Y L Bouderc,J https://www.doczj.com/doc/017221723.html,work coding:A instant primer[J].ACM SIGCOMM

Computer Communication Review,2006,36(1):63-68.

[27]P Popovski,H Yomo.Physical network coding in two-way wireless relay channels[C].The26th A

nnual IEEE Conf on Computer Communications(INFOCOM2007),Anchorage,AK,USA,2007. [28]C Peng,Q Zhang,M Zhao,et al.On the performance analysis of network-coded cooperation in

wireless networks[C].The26th Annua.IEEE Conf on Computer Communications(INFOCOM2007), Anchorage,AK,USA,2007.

[29]S Katti,H Rahul,W J Hu,et al.XORs in the air:Practical wireless network coding[C].The2006

ACM Conf of the Special Interest Group on Data Communication(SIGCOMM2006),Pisa,Italy,

2006.

[30]S Rayanchu,S Sengupta,S Banerjee,et al.An analysis of wireless network coding for unicast

sessions:The case for coding-aware routing[C].The26th Annual IEEE Conf on Computer

Communications(INFOCOM2007),Anchorage,AK,USA,2007.

[31]M Wang,B C Li.How practical is network coding?[C].The14th IEEE Int.Workshop on Quality of

Service(IWQoS2006),New Haven,CT,2006.

[32]马冠骏,许胤龙,林明宏等.基于网络编码的P2P内容分发性能分析[J].中国科学技术大学学

报,2006,36(11):1237-1240.

[33]刘亚杰,窦文华.基于网络编码的P2P流媒体[J].计算机工程与科学,2006,28(9):33-38.

[34]M Wang,B C https://www.doczj.com/doc/017221723.html,va:A reality check of network coding in peer-to-peer live streaming[C].The26th

Annual IEEE Conf on Computer Communications(INFOCOM2007),Anchorage,AK,USA,2007. [35]S L Zhang,Y Zhu,S C Liew,et al.Joint design of network coding and channel decoding for wireless

networks[C].IEEE Wireless Communication&Networking Conf(WCNC),Hong Kong,2007.

[36]A G Dimakis,P B Godfrey,M Wainwright,et https://www.doczj.com/doc/017221723.html,work coding for distributed storage systems[C].

The26th Annual IEEE Conf on Computer Communications(INFOCOM2007),Anchorage,A K,USA, 2007

[37]T Ho,B Leong,R Koetter,et al.Byzantine modification detection in multicast networks using

randomized network coding[C].The2004IEEE Int.Symp on Information Theory(ISIT.04),Chicago, IL,USA,2004

[38]S Jaggi,M Langberg,T Ho,et al.Cor rection of adversarial errors in networks[C].The2005Int.Symp

on Information Theory and its Applications,Adelaide,Australia,2005.

[39]M N Krohn,M J Freedman,D Mazieres.On-the-fly verification of rateless erasure codes for efficient

content distribution[C].IEEE Symp Security and Privacy,Oakland,CA,2004.

[40]D Charles,K Jain,K Lauter.Signatures for network coding[C].The40th Annual Conf on Information

Sciences and Systems,Princeton,NJ,2006.

[41]Y N Wu,V Stankovic,Z Xiong,et al.On practical design for joint distributed source and network

coding[C].The1st Workshop on Network Coding,Theory,and Applications(Net Cod2005),Riva del Garda,Italy,2005.

[42]D S Lun,N Ratnakar,M Medard,et al.Minimum-cost multicast over coded packet networks[J].IEEE

Trans on Information Theory,2006,52(6):2608-2623.

[43]S L Fong,R W Yeung.Variable-rate linear network codi ng[C].IEEE Information Theory Workshop,

Chengdu,2006.

定向网络爬虫 开题报告

山东科技大学 本科毕业设计(论文)开题报告 题目网络爬虫 定向爬取?脚本之家?文本信息 学院名称信息科学与工程学院 专业班级计算机科学与技术2012级2班 学生姓名包志英 学号 201201050201 指导教师赵中英 填表时间:二0一六年三月二十八日

下,并不能很稳定的工作,内存消耗随着程序的运行而不断增大,直到达到jvm 分配的上限而崩溃。很多时候,你只能做个权衡,每个webclient使用若干次后就把它回收,然后重新启动一个,这非常影响性能。Rhino对于javascript的支持并不好,实际使用中,会发现各种Exception,很多时候会导致无法渲染出想要的结果,这个htmlunit的又一大缺陷。随着版本的更新,能够渐次解决一些问题,但是好的程序员,还是应该自己读源码来尝试解决问题。 Phantomjs相比于htmlunit,对于js的支持更接近真实的浏览器,但是并发性能差,通过java的exec调用系统命令来启动,更加降低了性能。 此外主流的浏览器都提供了相应的抓取支持,selenium可谓是一个集大成者,包含了上述的所有组件,以WebDriver的形式,适配各种爬虫组件,你可以用它操控浏览器自动抓取,当然,并发和性能的问题依然存在。 爬虫开发的主要问题是性能和反封锁。很多时候,采用高并发高频率抓取数据是可行的,前提是目标站点没有采用任何反爬措施(访问频率限制、防火墙、验证码……);更多时候,有价值的信息,一定伴随着严格的反爬措施,一旦ip 被封,什么组件都没戏了。你不得不维护一个代理IP池来解决这个问题,当然,这也带来了代理ip稳定性和速度的问题,这些问题都是无法回避的问题,我们需要针对具体的情况,采用对应的措施,以最大限度的完成爬虫爬取任务。 目前,爬虫的需求呈爆炸式增长的趋势,这是当前各种互联网创新和大数据时代的新常态。火车和八爪鱼等团队看到了这一点,并率先开发了相对完备的爬虫产品,很多用户都在使用,但是更多的用户希望直接把爬虫抓取任务外包出去,因为他们不懂技术,工具的使用需要逾越技术的鸿沟,大部分用户并没有这个逾越鸿沟的打算。我相信像猪八戒这样的技术外包平台会活的越来越好,我也相信各个技术门类会不断聚集,形成相对独立的社区,P2P的社区平台将提供爬虫开发者和爬虫需求者更加通畅的交流渠道。 目前,淘宝等平台上出现很多爬虫服务商,如 https://www.doczj.com/doc/017221723.html,/item.htm?spm=a230r.1.14.4.10ZOWj&id=42659198536 &ns=1&abbucket=6#detail,这种定制开发的服务,增加了服务商的成本,服务往往是一次性的,满足了一个用户的需求,然而具有相似需求的用户,却很难有机会找到这个服务商,这就是为什么我们需要爬虫信息交流的平台。

网络仿真技术文献综述

成绩:

网络仿真文献综述 摘要:网络仿真技术是一种通过建立网络设备和网络链路的统计模型, 并模拟网络流量的传输, 从而获取网络设计或优化所需要的网络性能数据的仿真技术。网络仿真技术以其独有的方法能够为网络的规划设计提供客观、可靠的定量依据,缩短网络建设周期,提高网络建设中决策的科学性,降低网络建设的投资风险。 网络仿真技术是一种通过建立网络设备和网络链路的统计模型, 并模拟网络流量的传输, 从而获取网络设计或优化所需要的网络性能数据的仿真技术。由于仿真不是基于数学计算, 而是基于统计模型,因此,统计复用的随机性被精确地再现。 关键词:网络仿真;统计模型;仿真技术

1.前言 目前,数据网络的规划和设计一般采用的是经验、试验及计算等传统的网络设计方法。不过,当网络规模越来越大、网元类型不断增多、网络拓扑日趋复杂、网络流量纷繁交织时,以经验为主的网络设计方法的弊端就越来越显现出来了。网络规划设计者相对来说缺乏大型网络的设计经验,因此在设计过程中主观的成分更加突出。 数学计算和估算方法对于大型复杂网络的应用往往是非常困难的,得到的结果的可信性也是比较低的,特别是对于包交换、统计复用的数据网络,情况更是如此。因此,随着网络的不断扩充,越来越需要一种新的网络规划和设计手段来提高网络设计的客观性和设计结果的可靠性,降低网络建设的投资风险。网络仿真技术正是在这种需求拉动下应运而生的。网络仿真技术以其独有的方法能够为网络的规划设计提供客观、可靠的定量依据,缩短网络建设周期,提高网络建设中决策的科学性,降低网络建设的投资风险。 网络仿真技术是一种通过建立网络设备和网络链路的统计模型, 并模拟网络流量的传输, 从而获取网络设计或优化所需要的网络性能数据的仿真技术。由于仿真不是基于数学计算, 而是基于统计模型,因此,统计复用的随机性被精确地再现。它以其独有的方法为网络的规划设计提供客观、可靠的定量依据,缩短网络建设周期,提高网络建设中决策的科学性,降低网络建设的投资风险。 2.网络仿真软件比较分析 网络仿真软件通过在计算机上建立一个虚拟的网络平台,来实现真实网络环境的模拟,网络技术开发人员在这个平台上不仅能对网络通信、网络设备、协议、以及网络应用进行设计研究,还能对网络的性能进行分析和评价。另外,仿真软件所提供的仿真运行和结果分析功能使开发人员能快速、直观的得到网络性能参数,为优化设计或做出决策提供更便捷、有效的手段。因此运用网络仿真软件对网络协议、算法等进行仿真已经成为计算机网络通信研究中必不可少的一部分。 2.1 OPNET仿真软件介绍

网络文化文献综述

网络文化文献综述 摘要:随着网络媒体的快速发展,网络文化成为信息网络时代人类文化演进的一种新形态,引起了学术界和理论界的广泛关注。网络文化作为社会文化生活的一个日趋重要的重要组成部分,反映和影响着人们的思维方式、工作方式、交往方式和生活方式。近年来,学界对网络文化的研究不断扩展和深化。本文尝试对目前网络文化研究所集中的网络文化概念、网络文化特征、网络文化建设和管理、网络文化产业研究这几个领域进行系统回顾和文献梳理。 关键词:网络媒体网络文化文献综述 20世纪90年代开始,网络媒体和信息技术迅猛发展,网络文化对人们生产生活的影响日益凸显。鉴于此,对于网络文化的研究也显得愈发重要。近年来,学界对网络文化的关注也越来越多,对网络文化的研究视角不断扩展,从而使得对网络文化概念的相关研究内容也逐渐丰富。 一、网络文化概念研究 “文化”一直被认为是学术史上最复杂的术语之一,对文化的定义一直众说纷纭。网络文化属于文化的范畴,因此对网络文化的界定自然也是有所差异。“网络文化”是什么?这一问题因研究者不同的研究视角而得到了不同的答案。当前,学界对网络文化的研究视角主要由以下几种: 1、从网络本身的技术特性出发,强调网络这一载体,认为网络文化是以网络物质的创造为基础的网络精神创造,是对网络文化的一种狭义理解。例如,李仁武在《试论网络文化的基本内涵》一文中提出:从狭义的角度理解,网络文化是指以计算机互联网作为“第四媒体”所进行的教育、宣传、娱乐等各种文化活动;从广义的角度理解,网络文化是指包括借助计算机所从事的经济、政治和军事活动在内的各种社会文化现象1。匡文波认为,网络文化是指以计算机技术和通信技术融合为物质基础,以发送和接收信息为核心的一种崭新文化2。尹韵公也认为网络文化是“以人类最新科技成果的互联网和手机为载体,依托发达而迅捷的信息传输系统,运用一定的语言符号、声响符号和视觉符号等,传播思想、文化、风俗民情,表达看法观点,宣泄情绪意识等等,以此进行相互之间的交流、沟通、联系和友谊,共同垒筑起一种崭新的思想与文化的表达方式”3。 1鲍宗豪.《网络与当代社会文化》,上海:上海三联书店,2001。 2匡文波.《论网络文化》,《图书馆》,1999,(2)。 3尹韵公.《论网络文化》,《新闻与写作》,2007(5)。

计算机网络安全文献综述

计算机网络安全综述学生姓名:李嘉伟 学号:11209080279 院系:信息工程学院指导教师姓名:夏峰二零一三年十月

[摘要] 随着计算机网络技术的快速发展,网络安全日益成为人们关注的焦点。本文分析了影响网络安全的主要因素及攻击的主要方式,从管理和技术两方面就加强计算机网络安全提出了针对性的建议。 [关键词] 计算机网络;安全;管理;技术;加密;防火墙 一.引言 计算机网络是一个开放和自由的空间,但公开化的网络平台为非法入侵者提供了可乘之机,黑客和反黑客、破坏和反破坏的斗争愈演愈烈,不仅影响了网络稳定运行和用户的正常使用,造成重大经济损失,而且还可能威胁到国家安全。如何更有效地保护重要的信息数据、提高计算机网络的安全性已经成为影响一个国家的政治、经济、军事和人民生活的重大关键问题。本文通过深入分析网络安全面临的挑战及攻击的主要方式,从管理和技术两方面就加强计算机网络安全提出针对性建议。

二.正文 1.影响网络安全的主要因素[1] 计算机网络安全是指“为数据处理系统建立和采取的技术和管理的安全保护,保护计算机硬件、软件数据不因偶然和恶意的原因而遭到破坏、更改和泄漏”。计算机网络所面临的威胁是多方面的,既包括对网络中信息的威胁,也包括对网络中设备的威胁,但归结起来,主要有三点:一是人为的无意失误。如操作员安全配置不当造成系统存在安全漏洞,用户安全意识不强,口令选择不慎,将自己的帐号随意转借他人或与别人共享等都会给网络安全带来威胁。二是人为的恶意攻击。这也是目前计算机网络所面临的最大威胁,比如敌手的攻击和计算机犯罪都属于这种情况,此类攻击又可以分为两种:一种是主动攻击,它以各种方式有选择地破坏信息的有效性和完整性;另一类是被动攻击,它是在不影响网络正常工作的情况下,进行截获、窃取、破译以获得重要机密信息。这两种攻击均可对计算机网络造成极大的危害,并导致机密数据的泄漏。三是网络软件的漏洞和“后门”。任何一款软件都或多或少存在漏洞,这些缺陷和漏洞恰恰就是黑客进行攻击的首选目标。绝大部分网络入侵事件都是因为安全措施不完善,没有及时补上系统漏洞造成的。此外,软件公司的编程人员为便于维护而设置的软件“后门”也是不容忽视的巨大威胁,一旦“后门”洞开,别人就能随意进入系统,后果不堪设想。

通信技术文献综述报告

通信技术文献综述报告 题目智能电话远程控制系统设计 学号080405039 班级通信082 姓名石大伟 教师签字

智能电话远程控制系统设计 摘要:提出了通过远程电话实现智能家电控制系统的一种实现方案。介绍了家电和电话之间的控制接口,讨论了系统结构及硬件,软件设计。测试结果表明设计的系统完成预定的功能。 关键字:远程控制;智能电话;双音多频信号解码 Design of the remote control system of the smart phone Abstract: This paper presents an implementation of smart appliances through remote telephone control system.The control interface between the appliances and telephone to discuss the system architecture and hardware and software design. The test results show that the design system to perform predetermined functions. Keywords: remote control; smart phones; dual-tone multi-frequency signal decoding

一.引言 21世纪是信息化的世纪,各种电信和互联网新技术推动了人类文明的巨大进步。本文介绍的数字化家居控制系统可以使得人们可以通过手机或电话在任何时候、任意地点对家中的任意电器(空调、热水器、电饭煲、灯光、音响、DVD 录像机)进行远程控制;也可以在下班途中,预先将家中的空调打开、让热水器提前烧好热水、电饭煲煮好香喷喷的米饭……;而这一切的实现都仅仅是打一个简单的电话。此外,该系统还可使家庭具有多途径报警、远程监控等多种功能,如果不幸出现某种险情,您和110可以在第一时间获得通知以便进一步采取行动。舒适、时尚的家居生活是社会进步的标志,智能家居控制系统能够在不改变家中任何家电的情况下,对家里的电器、灯光、电源、家庭环境进行方便地控制,使人们尽享高科技带来的简便而时尚的现代生活。 实现智能化离不开运算和控制单元,本系统采用MCU(SM8952AC25P)作为主控器件,单片机应用系统由硬件和软件组成。硬件由单片机扩展的存储器、输入/出设备以及各种实现单片机系统控制要求的接口电路和有关的外围电路芯片或部件组成;软件由单片机应用系统实现其特定控制功能的各种工作程序和管理程序组成。在单片机应用系统开发的过程中,应不断调整软、硬件,协调地进行软、硬件设计,以提高工作效率,当系统硬件和软件紧密配合、协调一致,就可以组成高性能的单片机应用系统。本课题完成了单片机应用系统其开发过程的系统的总体设计、硬件设计、软件设计和系统调试,根据开发的实际需要,相互协调、交叉,有机的进行。本设计的MCU与各个芯片和模块的接口、各项标准都严格遵循国家有关标准,为以后的产品化提供了良好的基础。 本系统的电话远程控制是基于电话交换网络的国际双音频通信标准DTMF通信方式,程控交换信令作为系统控制命令,采用MT8870双音频编解码电路实现,单片机通过MT8870识别来自电话程控交换机的网络的控制信号,人们对家居的要求早已不只是物理空间,更为关注的是一个安全、方便、舒适的居家环境。用只需拨通家中的电话可以根据系统的语音提示进行按键选择以实现用户身份的识别、远程控制和安防操作;各种传感器的检测是利用数据采集系统将多路被测量值转换成数字量,再经过单片机进行数据处理,通过短消息发送部分采用基于SIEMENS TC35 GSM模块TC35 modem 和TI公司的电平转换芯片MAX3238等器件

网络爬虫详解

网络爬虫详解 一、爬虫技术研究综述 引言 随着网络的迅速发展,万维网成为大量信息的载体,如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎(Search Engine),例如传统的通用搜索引擎AltaVista,Yahoo!和Google等,作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是,这些通用性搜索引擎也存在着一定的局限性,如: (1) 不同领域、不同背景的用户往往具有不同的检索目的和需求,通用搜索引擎所返回的结果包含大量用户不关心的网页。 (2) 通用搜索引擎的目标是尽可能大的网络覆盖率,有限的搜索引擎服务器资源与无限的网络数据资源之间的矛盾将进一步加深。 (3) 万维网数据形式的丰富和网络技术的不断发展,图片、数据库、音频/视频多媒体等不同数据大量出现,通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力,不能很好地发现和获取。 (4) 通用搜索引擎大多提供基于关键字的检索,难以支持根据语义信息提出的查询。 为了解决上述问题,定向抓取相关网页资源的聚焦爬虫应运而生。聚焦爬虫是一个自动下载网页的程序,它根据既定的抓取目标,有选择的访问万维网上的网页与相关的链接,获取所需要的信息。与通用爬虫(general purpose web crawler)不同,聚焦爬虫并不追求大的覆盖,而将目标定为抓取与某一特定主题内容相关的网页,为面向主题的用户查询准备数据资源。 1 聚焦爬虫工作原理及关键技术概述 网络爬虫是一个自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件,如图1(a)流程图所示。聚焦爬虫的工作流程较为复杂,需要根据一定的网页分析算法过滤与主题无关的链接,保留有用的链接并将其放入等待抓取的URL队列。然后,它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL,并重复上述过程,直到达到系统的某一条件时停止,如图1(b)所示。另外,所有被爬虫抓取的网页将会被系统存贮,进行一定的分析、过滤,并建立索引,以便之后的查询和检索;对于聚焦爬虫来说,这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。 相对于通用网络爬虫,聚焦爬虫还需要解决三个主要问题: (1) 对抓取目标的描述或定义; (2) 对网页或数据的分析与过滤; (3) 对URL的搜索策略。 抓取目标的描述和定义是决定网页分析算法与URL搜索策略如何制订的基础。而网页分析算法和候选URL排序算法是决定搜索引擎所提供的服务形式和爬虫网页抓取行为的关键所在。这两个部分的算法又是紧密相关的。

网络对大学生的影响的文献综述

网络对大学生的影响的文献综述

网络对大学生的影响的文献综述 摘要:互联网作为媒体,集数据开放性、知识密集性、信息全面性、查找方便性等多种优点于一身,成为大学生认知自然、开阔眼界、储备知识的重要平台。在充分享受网络便利的同时,网络也给大学生带来了各种影响,其中,既有积极健康向上的影响,也存在着各种不利的影响,使我们大学生面临较为严峻的挑战。本文对近年来网络及网络文化对大学生学习生活的影响方面的主要研究成果以及研究状况进行总结,试对大学生在学习中对互联网依赖程度进行探析。 关键字:网络大学生学习影响 前言:互联网,即广域网、局域网及单机按照一定的通讯协议组成的国际计算机网络。互联网技术和现代通讯系统的高速发展、广泛运用和日益普及,使得信息传播在社会生活中发挥越来越大的作用,高校育人环境正在发生深刻的变化。网络已经成为大学生生活的重要组成部分,特别是网络环境下个性化、虚拟化、协作化的自主学习行为,是一种全新的网络学习行为,是当代大学生学习行为的新形式。对大学生网络学习行为进行调查,了解大学生网络学习者的学习行为规

律,促进大学生网络学习能力的提高具有一定的意义。 正文: 一、研究背景 网络是一个无穷无尽的文化信息源,它具有信息量大、传播速度快、交流互动性强和影响范围广的显著特点。如何正确认识与使用互联网对大学生来讲是非常重要的。校园网给在校大学生通过网络获取各种有用信息提供了便利条件,利用网络学习已经成为在校大学生学习生活中不可缺少的部分。《在校大学生网络学习行为的调查研究》、《大学生网络学习情况调查研究》、《中国在校大学生网络行为分析》等文章中对中国大学生使用网络进行学习的情况进行了调查分析,综合来说,得出的结果如下:综合起来看,网络对大学生思想关联的影响有积极的,更有消极的。这与大学生接收信息的特点有关。大学生在接收网络信息方面表现出以下特点:一是好奇心强。青年人喜爱感受新事物、新思想,并对此产生浓厚的兴趣,对一些标新立异的学说往往怀着好奇的心情去追

信息加密与网络安全综述文献(附有大量参考文献)

信息加密与网络安全综述 摘要 本文从信息加密问题开始,论述了密码学及其发展、现状和应用,分析了一些加密技术。之后对网络安全问题进行了全面的描述和探讨,分析了不同的网络安全问题。最后探讨了网络安全问题的防范。 关键词:密码学;公钥密码体制;主动攻击

目录 1.信息加密技术 (1) 1.1前言 (1) 1.2密码学的发展 (1) 1.2密码编码与密码分析 (2) 1.2.1密码学分类 (2) 1.2.2密码体制分类 (2) 1.2.2.1对称密码体制 (2) 1.2.2.2公钥密码体制 (2) 1.2.3 密码分析学 (3) 1.2.3.1强力攻击 (3) 1.2.3.2线性密码分析 (4) 1.2.3.3差分密码分析 (4) 1.3密码协议 (4) 1.3.1认证协议 (4) 1.3.1.1数据源认证 (4) 1.3.1.2实体认证 (4) 1.3.1.3密钥建立认证协议 (5) 1.3.2 协议面临的典型攻击 (5) 1.4密码学的发展 (5) 1.4.1标准化趋势 (5) 1.4.2公理化趋势 (5) 1.4.3面向社会的实用化趋 (5) 2. 网络安全问题 (6) 2.1计算机网络 (6) 2.2计算机网络安全 (6) 2.3 面临的威胁 (7) 2.3.1 计算机软件设计上存在的漏洞和缺陷 (7)

2.3.2外部攻击 (7) 2.4 网络安全技术 (8) 2.4.1操作系统安全 (8) 2.4.2 防火墙 (8) 2.4.3 反病毒技术 (8) 2.4.4 入侵检测技术 (8) 2.4.5 数据加密技术 (8) 2.4.6 容灾技术 (8) 2.5网络安全对策 (9) 2.5.1 漏洞和缺陷方面 (9) 2.5.2 外部攻击方面 (9) 2.6总结 (9) 参考文献 (10)

浅谈计算机网络仿真技术

浅谈计算机网络仿真技术 冯永利何忠龙罗宪芬 (公安海警高等专科学校电子技术系,浙江宁波315801) 摘要:本文介绍了网络仿真技术的产生背景、概念、特点、主要应用、发展趋势以及OPNET网络仿真软件。 关键词:网络;仿真技术;OPNET;仿真软件;网络建模 The Simulation Technique of Computer Network FENG YongLi, HE ZhongLong and LUO XianFen (Public Security Marine Police Academy, Ningbo 315801, China) Abstract:The paper mainly introduces the background, concept, characteristic, practical application and development trend of computer network’s simulation technique, together with OPNET network simulation software. Key words:computer network, simulation technique, OPNET, simulation software, network modeling 1 网络仿真技术的产生背景 在信息技术和网络技术迅猛发展的今天,网络结构和规模日趋复杂庞大,多种类型的网络日益走向融合,业务种类增多,网络负载日益繁重,新的网络技术更是层出不穷。研究人员一方面要不断思考新的网络协议和算法,为网络发展做出前瞻性的基础研究;另一方面也要研究如何利用和整合现有的网络资源,使网络达到最高效能。因此,如何对网络进行规划或优化设计是个非常富有挑战性的课题。无论是构建新网络,还是升级改造现有网络,或者测试新协议,都需要对网络的可靠性和有效性进行客观地评估,从而降低网络建设的投资风险,使设计的网络具有很高的性能。目前,计算机网络的规划和设计一般采用的是经验、试验和计算等传统的网络设计方法。这在网络规模小、拓扑结构简单、网络流量不大的情况下得到了广泛的应用。而随着网络的不断扩充,必然对网络设计的客观性和设计结果的可靠性提出很高的要求。网络仿真技术正是在这种需求拉动下应运而生的,它以独有的方法能够为网络的规划设计提供客观、可靠的定量依据,缩短网络建设周期,提高网络建设中决策的科学性,降低网络建设的投资风险。

网络爬虫知识

网络爬虫 1.工作原理 网络爬虫是一个自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂,需要根据一定的网页分析算法过滤与主题无关的链接,保留有用的链接并将其放入等待抓取的URL队列。然后,它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL,并重复上述过程,直到达到系统的某一条件时停止。另外,所有被爬虫抓取的网页将会被系统存贮,进行一定的分析、过滤,并建立索引,以便之后的查询和检索;对于聚焦爬虫来说,这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。基本步骤: 1)人工给定一个URL作为入口,从这里开始爬取。 2)用运行队列和完成队列来保存不同状态的链接。 3)线程从运行队列读取队首URL,如果存在,则继续执行,反之则停止爬取。 4)每处理完一个URL,将其放入完成队列,防止重复访问。 5)每次抓取网页之后分析其中的URL(URL是字符串形式,功能类似指针),将经过过滤的合法链接写入运行队列,等待提取。 6)重复步骤 3)、4)、5) 2.关键技术 1.对抓取目标的描述或定义 2.对网页或数据的分析与过滤 3.对URL的搜索策略

3.网页搜索策略 1.广度优先 广度优先搜索策略是指在抓取过程中,在完成当前层次的搜索后,才进行下一层次的搜索。该算法的设计和实现相对简单。在目前为覆盖尽可能多的网页,一般使用广度优先搜索方法。也有很多研究将广度优先搜索策略应用于聚焦爬虫中。其基本思想是认为与初始URL 在一定链接距离内的网页具有主题相关性的概率很大。另外一种方法是将广度优先搜索与网页过滤技术结合使用,先用广度优先策略抓取网页,再将其中无关的网页过滤掉。这些方法的缺点在于,随着抓取网页的增多,大量的无关网页将被下载并过滤,算法的效率将变低。 2.深度优先 即从起始网页开始,选择一个URL,进入,分析这个网页中的URL,选择一个再进入。如此一个链接一个链接地深入追踪下去,处理完一条路线之后再处理下一条路线。该算法在设置抓取深度时很容易导致爬虫的陷入(trapped)问题,同时每深入一层,网页价值和PageRank都会相应地有所下降。这暗示了重要网页通常距离种子较近,而过度深入抓取到的网页却价值很低,所以目前常见的是广度优先和最佳优先方法,很少使用深度优先策略。 3.最佳优先 最佳优先搜索策略按照一定的网页分析算法,预测候选URL与目标网页的相似度,或与主题的相关性,并选取评价最好的一个或几个URL进行抓取。它只访问经过网页分析算法预测为“有用”的网页。存在的一个问题是,在爬虫抓取路径上的很多相关网页可能被忽略,因为最佳优先策略是一种局部最优搜索算法。因此需要将最佳优先结合具体的应用进行改进,以跳出局部最优点。将在第4节中结合网页分析算法作具体的讨论。研究表明,这样的闭环调整可以将无关网页数量降低30%~90%。 4.网页分析算法 1.网络拓扑 基于网页之间的链接,通过已知的网页或数据,来对与其有直接或间接链接关系的对象(可以是网页或网站等)作出评价的算法。又分为网页粒度、网站粒度和网页块粒度这三种。 a)网页粒度的分析算法

关于腐女文化相关文献研究的文献综述

随着改革开放之后,外国文化的大肆输入,尤其是日本动漫文化的传播,逐渐在,后掀起一场动漫风,直到现在,日本动漫的影响力也是巨大的。近年来,再加之随着大众传播媒介的盛行,互联网地迅猛发展,外来文化地广泛传播,女性自身地位的崛起,在此中,腐文化也悄无声息的随着大流进入人们的视野。作为腐文化最先孕育的地方,也出现了逐渐出现了以某两个动漫人物组成的同性“”(以下简称“”),即将自己喜欢的同性别任务进行情侣关系组合的代名词。随着这个词的出现,也代表着腐女群体的正式成形。之后随着娱乐产业的高速发展,腐女群体也逐渐在娱乐圈的粉丝群体中日益成形,并成“病毒式”的传播速度在娱乐圈传播。 腐女作为现代社会发展下,新型的文化人群,以其独有的理念与思想使得成为近年来各界学者的热点研究对象。作为一个数量日益庞大,正在被深入挖掘与分析的新世纪后出现在的群体,存在着巨大的研究价值。并且随着大众媒介的介入,腐女群体所形成的文化在娱乐圈的粉丝群中逐渐成为主导地位的文化,可以说左右着粉丝这个群体的文化动向,再加之从研究群体的数量上看,粉丝群体本省久是个不可忽视的具有庞大数量的聚合群体。但从已查阅相关研究来看,这个领域还属于新型研究范畴,需要进一步的结合各类相关研究报告及文献进行深入展开分析,并且对此次文化的研究有利于大众更好的了解这个群体文化,及其“病毒式”传播的根本原因,具有较高的研究价值与意义。 根据我所研究的范围,以“腐女文化”为关键词进行文献的大量搜集,其内容也是围绕着“腐女”“粉丝经济”“文化传播”这三方面。最终整理与我研究方向大致相同并对我的研究有极大帮助的二十二篇论文(二十一篇中文期刊文献与一篇外文文献)。以此可以大致了解到国内外对腐女文化的研究都处于正热阶段,都对这类文化现象抱有极大的兴趣。尤其是我国当下腐女文化盛行,大家对其的关注度日益提高,也有了相对程度的了解与探索,但大多停留在传播介质的研究之上。相较之下,因为国外性文化与同性文化的开放,对腐女文化的研究更倾向于与同性恋文化相结合研究的方向。随着我对这二十二篇文献的深入解读,我将其各自的研究中心及所的成果进行提炼,并根据类别将之进行分类,也大致获得了其领域的研究成果。以下,便是对这二十二篇文献的内容与观点地提炼(文献排名不分先后): 第一类,主要从大文化的方向,通过多个角度对腐女文化这一亚文化进行研究,即女性权利崛起,女性主义地发展,着重腐女这一群体,其中也包括同性恋文化的讨论。《再见“美丰仪”与“腐女文化”的逆袭》,其主要内容是表达了腐女文化是一场静悄悄发生的性别革命,也是男权文化下的审美文化的逆袭。这背后是“女性向”文化的力量做支撑,特别是“腐女文化”的力量——自从新世纪前后网络空间开辟以来,“女性向”文化暗自生长,终于在消费主义护佑下破壁而出,向“主流文化”领地挺进。

网络质量测试文献综述

网络质量测试文献综述 阚肖庆 摘要:网络测量与分析是人们认识、了解、更好地利用网络的重要手段,为互联网的科学管理和有效控制及互联网的发展与利用提供科学依据。介绍 了网络测量与分析的主要研究内容。以及国内外相关领域的研究现状, 并对网络测量的关键技术进行了分析,同时给出了网络测量的常用工具 的性能比较。最后展示了中美俄环球科教网络GLORIAD的网络测量的 应用案例。 关键词:网络测量与分析:互联网实验平台:可用带宽:网络性能:科研网络 随着信息消费、宽带中国等政策的相继出台,信息化已成为我国加快转变经济发展方式和全面建成小康社会的重要手段和覆盖现代化建设全局的战略举措,信息基础服务能级也成为衡量一个国家和地区综合竞争力的重要考量指标。 2013年8月17日,中国国务院发布了“宽带中国”战略及实施方案,部署未来8年宽带发展目标及路径,这意味着“宽带中国”战略从部门行动上升为国家战略,宽带首次成为国家战略性公共基础设施。“把‘宽带网络’定位为经济社会发展的‘战略性公共基础设施’,这是以往任何文件没有提到过的。 “宽带中国”提出未来几年要加快宽带网络优化升级,到2015年,基本实现城市光纤到楼入户、农村宽带进乡入村,城市家庭宽带接入能力基本达到20兆比特每秒(Mbps),部分发达城市宽带接入能力达到100兆比特每秒(Mbps)。到2020年,城市家庭宽带接入能力达到50Mbps,发达城市部分家庭用户可达1吉比特每秒(Gbps)。 为了更好地指导宽带发展,促进宽带服务质量改善,“宽带中国”战略还提出了“宽带中国”地图建设工程:建立宽带发展监测体系和评价指标体系,建设覆盖全国的宽带发展测评系统,实现对网络覆盖、接入带宽、用户规模、主要网站接入速率等信息的动态监测,建立宽带发展状况报告和宽带地图发布机制。 伴随着网络信息技术的快速发展,互联网的触角已经延伸到社会经济生活的方方面面,

网络爬虫开题报告doc

网络爬虫开题报告 篇一:毕设开题报告及开题报告分析 开题报告如何写 注意点 1.一、对指导教师下达的课题任务的学习与理解 这部分主要是阐述做本课题的重要意义 2.二、阅读文献资料进行调研的综述 这部分就是对课题相关的研究的综述落脚于本课题解决了那些关键问题 3.三、根据任务书的任务及文件调研结果,初步拟定执行实施的方案(含具体进度计划) 这部分重点写具体实现的技术路线方案的具体实施方法和步骤了,具体进度计划只是附在后面的东西不是重点南京邮电大学通达学院毕业设计(论文)开题报告文献[5] 基于信息数据分析的微博研究综述[J];研究微博信息数据的分析,在这类研究中,大多数以微博消息传播的三大构件---微博消息、用户、用户关系为研究对象。以微博消息传播和微博成员组织为主要研究内容,目的在于发祥微博中用户、消息传博、热点话题、用户关系网络等的规律。基于微博信息数据分析的研究近年来在国内外都取得了很多成果,掌握了微博中的大量特征。该文献从微博消息传播三大构件的角度,对当前基于信息数据分析的微博研究

进行系统梳理,提出微博信息传播三大构件的概念,归纳了此类研究的主要研究内容及方法。 对于大多用户提出的与主题或领域相关的查询需求,传统的通用搜索引擎往往不能提供令人满意的结果网页。为了克服通用搜索引擎的以上不足,提出了面向主题的聚焦爬虫的研究。文献[6]综述了聚焦爬虫技术的研究。其中介绍并分析了聚焦爬虫中的关键技术:抓取目标定义与描述,网页分析算法和网页分析策略,并根据网络拓扑、网页数据内容、用户行为等方面将各种网页分析算法做了分类和比较。聚焦爬虫能够克服通用爬虫的不足之处。 文献[7]首先介绍了网络爬虫工作原理,传统网络爬虫的实现过程,并对网络爬虫中使用的关键技术进行了研究,包括网页搜索策略、URL去重算法、网页分析技术、更新策略等。然后针对微博的特点和Ajax技术的实现方法,指出传统网络爬虫的不足,以及信息抓取的技术难点,深入分析了现有的基于Ajax的网络爬虫的最新技术——通过模拟浏览器行为,触发JavaScript事件(如click, onmouseover等),解析JavaScript脚本,动态更新网页DOM树,抽取网页中的有效信息。最后,详细论述了面向SNS网络爬虫系统的设计方案,整(转载自:https://www.doczj.com/doc/017221723.html, 小草范文网:网络爬虫开题报告)体构架,以及各功能模块的具体实现。面向微博的网络爬虫系统的实现是以新浪微博作为抓取的

媒介素养文献综述范文(1)

中国大陆和中国台湾综艺节目对比研究 文献综述 (专业姓名学号) 摘要:文章主要以国内媒介素养研究状况为本体对象,试图厘清媒介素养由欧洲引入中国的历史脉络,媒介素养概念本土化的过程与成果,媒介素养研究内容的发展过程,媒介素养研究意义的探讨源流,国内媒介素养的五大研究主体的状况以及媒介素养研究的个案新趋向。通过文章初步认清中国媒介素养研究所处的地位与方位,以期为进一步的研究作一简单的回顾性综述。 关键词:媒介素养媒介素养教育大众传媒大学生传媒人农民公民 引言 媒介环境的不断解构与重组,使得21世纪的新媒体环境所成为了一个引导并决定着人们生活与思想观念的拟态环境。面对媒介声势浩大的舆论进攻,作为一个现代人,以何种方式、何种心态与何种角色接触、面对与探讨媒介所传达的信息并理性地厘清媒介现实与客观现实的区别,已经成为了一种适应现代社会的全新素质,即媒介素养。媒介素养是指人们对各种媒介信息的解读和批判能力以及使用媒介信息为个人生活、社会发展所用的能力。它与科学素养、人文素养一样式现代公民所应该具备的一种基本人文素质。当代中国媒介素养的研究主体可以大体分为五类,即媒介从业人员、大学生、青少年、公民以及农民。不同的研究主体体现出不同的媒介素养要求,在学术研究领域也呈现出不同的话语构建型态。另外,一些针对事件本体的媒介素养研究成果也不断涌现,成为审视媒介素养的一类新的视角。 1.媒介素养概念与内涵 媒介素养(media literacy)是一个舶来词。而从中国语境来看,素质一词最早出现于古代汉语《尔雅·释鸟》一文:“伊洛而南,素质,五彩皆备,曰翠。”现代汉语所用素质一词,实际上来自于日语的“素质”(soshitsu),而日语的“素质”,则是意译了德语的Aulage 一词,原意指人的神经系统和感觉器官上的先天特点。素质,注重人的本性,素养是素质的同义词,不过素养一词更强调养成和培育,强调通过学习以后达到的知识积累、认识水平以及实践活动。[1]

计算机网络参考文献

1、《计算机网络》(第4版)英文影印版Andrew S. Tanenbaum著清华大学出版社 简介:本书是国内外使用最为广泛的计算机网络经典教材。全书按照网络协议模型(物理层、数据链路层、介质访问控制子层、网络层、传输层和应用层),自下而上系统地介绍了计算机网络的基本原理,并给出了大量实例。在讲述各网络层的同时,还融合进了近年来迅速发展起来的各种网络技术,如Internet、SONET、ADSL、CDMA、WLAN和蓝牙等。另外,针对当前计算机网络的发展现状以及计算机安全的重要性,本书用了一整间的篇幅对计算机安全进行了深入讨论。 本书的适用对象很广泛。对于学习计算机网络课程的本科生以及研究生,本书都可以作为教材或教学参考书,每一章后面的大量练习题,可用于课程作业或者复习要点。对于从事网络研究、网络工程以及使用和管理网络的科研和工程技术人员,本书也是一本很有价值的参考读物。 2、《计算机网络》(第4版)Andrew S. Tanenbaum著,潘爱民译清华大学出版社

简介:本书是国内外使用最广泛的计算机网络经典教材。本书为翻译版。全书按照网络协议模型(物理层、数据链路层、介质访问控制层、网络层、传输层和应用层),自下而上系统地介绍了计算机网络的基本原理,并给出了大量实例。在讲述各网络层的同时,还融合了近年来迅速发展起来的各种网络技术,如Internet、SONET、ADSL、CDMA、WLAN和蓝牙等。另外,针对当前计算机网络的发展现状以及计算机安全的重要性,本书用一整章的篇幅对计算机安全进行了深入讨论。 本书的适用对象很广泛。对于学习计算机网络课程的本科生以及研究生,本书都可以作为教材或教学参考书。每一章后面的大量练习题,可用于课程作业或复习要点。对于从事网络研究、网络工程以及使用和管理网络的科研和工程技术人员,本书也是一本很有价值的参考读物 3、《计算机网络》(第5版)谢希仁编著电子工业出版社 简介:本书自1989年首次出版以来,于1994年、1999年和2003年分别出了修订版。2006年8月本教材通过了教育部的评审,被纳入普通高等教育“十一五”国家级规划教材。《计算机网络》的第5版,在内容和结构方面都有了很大的修改。 全书分为10章,比较全面系统地介绍了计算机网络的发展和原理体系结构、物理层、数据链路层、网络层、运输层、应用层、网络安全、因特网上的音频/视频服务、无线网络和下一代因特网等内容。各章均附有练习题。此外,附录A给出了部分习题的答案和提示。随书配套的光盘中,有全书课件和作者教学中经常遇到的150多个问题及解答,计

文献综述-基于C++的网络爬虫的设计与实现

基于C++的网络爬虫的设计与实现的研究综述 作者:xxx 指导老师:xxx 摘要:本文归纳了网络爬虫的设计与实现方面的研究内容,概括了网络爬虫的定义与爬取策略、网络爬虫的体系结构、设计网络爬虫的关键问题以及爬虫身份的识别等方面的观点,并总结了如何通过一个或多个给定的种子网站,将网站上相应的网页抓取下来,并将其存入数据库或文本文件中的研究成果。本文也指出了如何通过解决传统的通用搜索引擎在某些领域的局限性,帮助人们更加有效地提取与利用互联网信息,进而提高人们在检索信息效率方面的研究需求。最后,本文提出了一个满足用户需求的网络爬虫的开发方案。 关键词:网络爬虫;通用搜索引擎;互联网 The Design and Implementation of Web Spider Based on C++ Author:xxxTutor: xxx Abstract:This paper summarizes the research about the design and implementation of the web spider, summarizesthe view aboutthe definition of web spider, the crawling strategy of the web spider, the architecture of the web spider, the key issues to design the web spider and identification of the web spider ,and summarizes the research about how to catch the web-pages which links to the corresponding web site through one or more given seed site, and then stores it into a database or text file . The paper also points out how to solve the limitations of the Traditional General Search Engine in some areas , help people more effectively extract the information and make use of the Internet, then improve people’sresearch needs in the area of information retrieval. In the end, the paper proposesa web spider development planwhich can meet the user’s needs. Keywords:WebSpiders ;Tradition Universal Search Engine ; Internet

简析网络语言的文献综述

浅析网络语言的文献综述 摘要 语言是一种文化,一个民族要有文化前途,靠的是创新。从这个意义上说,新词语用过了些并不可怕,如果语言僵化,词汇贫乏,那才是真正的可悲。语汇系统如果只有基本词,永远稳稳当当,语言就没有生命力可言,因此,在规定一定的规范的同时,要允许歧疑的存在,但更要积极吸收那些脱离当时的规范而能促进语言的丰富和发展的成分。正确看待网络语言。 关键字 网络语言;因素;发展趋势; 一、关于“网络语言”涵义及现状的研究 1.网络语言的涵义研究 网络语言是一个有着多种理解的概念,既可以指称网络特有的言语表达方式,也可以指网络中使用的自然语言,还可以把网络中使用的所有符号全部包括在内。网络语言起初多指网络语言的研究现状(网络的计算机语言,又指网络上使用的有自己特点的自然语言。于根元,2001)。 较早开展网络语言研究的劲松、麒可(2000)认为,广义的网络语言是与网络时代、e时代出现的与网络和电子技术有关的“另类语言”;狭义的网络语言指自称网民、特称网虫的语言。 周洪波(2001)则认为,网络语言是指人们在网络交流中所使用的语言形式,大体上可分为三类:一是与网络有关的专业术语;二是与网络有关的特别用语;三是网民在聊天室和BBS上的常用词语。 于根元(2003)指出,“网络语言”本身也是一个网络用语。起初多指网络的计算机语言,也指网络上使用的有自己特点的自然语言。现在一般指后者。狭义的网络语言指论坛和聊天室的具有特点的用语。 何洪峰(2003)进一步指出,网络语言是指媒体所使用的语言,其基本词汇及语法结构形式还是全民使用的现代汉语,这是它的主体形式;二是指IT领域的专业用语,或是指与电子计算机联网或网络活动相关的名词术语;其三,狭义上是指网民所创造的一些特殊的信息符号。总的看来,研究者基本认为网络语言有广义、狭义两种含义,广义的网络语言主要指与网络有关的专业术语,狭义的网络语言主要指在聊天室和BBS上常用的词语和符号。 2. 网络语言的研究现状 如:国人大常委会委员原国家教委副主任柳斌表示,网络语言的混乱,是对汉语纯洁性的破坏,语言文字工作者应对此类现象加以引导和批评。国家网络工程委会副秘书史自文表示,老师要引导学生使用网络语言。比如说在写出作文的时候,可以针对彩简单的网络语言还是用含义更有韵味的唐诗更好做一个主题研讨会,和学生一起探讨。这样就可以在理解、尊重学生的基础上进行引导。经过这样的过程,学生对于用何种语言形式多了一个选择,又加深了对传统文化的理解。 如:北京教科院基教所研究员王晓春表示,在网络世界里用网络语言无可厚非。但在正式场合要引导学生不使用网络语言。在教学中老师要引导学生如何正

相关主题
文本预览
相关文档 最新文档