2010年Google算法更新和2011年趋势展望

国外大数据研究热点及发展趋势探析黄永勤【摘要】大数据时代的到来引起了业界和学界的广泛关注，大量研究成果不断涌现。

对Web of Science数据库中收录的国外研究大数据的相关文献进行分析和综述。

通过绘制关键词的知识图谱，梳理了国外大数据研究的5个热点：“大数据源起、概念和特点”、“生物信息学”、“云计算”、“MapReduce和Hadoop”、“可视化”，并揭示了它们的研究现状、现存问题和发展方向。

最后从大数据技术、大数据工程、大数据科学和大数据应用四个维度探讨了未来研究的整体发展趋势。

%With big data causing widespread attention in industry and academia, a large number of achievements have emerged. This pa-per analyzes research papers of big data overseas in the WoS Database. By drawing a knowledge map, the author finds five hot research is-sues, including the concept and features of big data, bioinformatics, cloud computing, MapReduce and Hadoop, visualization, and points out their research status, problems and development direction. Finally, the author discusses the future research trends from four dimensions including big data technologies, big data projects, big data science and big data applications.【期刊名称】《情报杂志》【年(卷),期】2014(000)006【总页数】7页(P99-104,78)【关键词】大数据;知识图谱;Web of Science;可视化【作者】黄永勤【作者单位】南京政治学院上海校区军事信息管理系上海 200433【正文语种】中文【中图分类】G2500 引言传感器数量的不断增加、智能手机的渐渐普及、数字化办公的迅速拓展等因素，使得计算机数据呈指数级增长。

导读：美国知名IT杂志《eWeek》网络版今天刊文称，虽然谷歌多项产品在2010年期间取得了市场成功，但同样也出现了不少市场失误。

不仅如此，由于谷歌知名度的提高，该公司还遭到了欧盟等监管部门的反垄断调查。

《eWeek》为此评出了谷歌2010年十大产品失误和开局不利事件，其中包括谷歌街景收集用户上网隐私信息受指责、Buzz社交网络服务遭批评、没能成功收购美国团购网站Groupon等等。

《eWeek》认为，在谷歌创建以来的12年当中，2010年可以算得上是该公司股价波动最大的一年。

如果要说成绩，应该说是谷歌Android手机平台最为成功，该平台今年向苹果iOS发起挑战，并在美国智能手机市场占据第二大位置。

在核心搜索业务上，谷歌今年也没有停止不前，而是推出Instant即时搜索。

此外，谷歌还推出了本地搜索服务，目的是在本地商家和消费者之间起到牵线搭桥的作用。

尽管如此，2010年期间，谷歌也推出了一些没有取得市场成功甚至受到强烈批评的产品，如其Buzz服务就被外界指责为有泄露用户隐私信息之嫌。

在外部收购活动事宜上，Groupon拒绝了谷歌的收购请求。

或许2011年期间，谷歌将吸取今年部分失败产品的教训，进而推出更有市场影响力的产品和服务。

以下为《eWeek》所评出谷歌2010年十大产品失误和不利事件：1、谷歌街景收集用户上网隐私信息受指责谷歌街景(Street View)服务收集用户上网隐私信息受到各方指责，可视为该公司2010年最为不利的事件。

谷歌今年5月承认，过去四年中，其街景服务图像拍摄车在拍摄图片过程中，同时也记录了一些通过Wi-Fi网络访问互联网网民的非加密信息。

谷歌称，该公司是由于“疏忽大意”和一个程序错误而收集了这些信息，而不是“有意为之”。

谷歌还表示，从未在谷歌其他服务中使用过此类消费者信息，并计划配合各国政府部门，将此类信息予以删除。

在谷歌发布上述消息后，立即遭到了各国政府部门、消费者隐私保护组织及其他机构的严历批评。

摘要本文比较详细地介绍了互联网搜索引擎的概念、发展历史、工作原理和未来趋势。

先从工作流程的角度解释了搜索引擎实现机制，通俗地概括为预处理和提供查询服务，描绘了整个技术构成易于理解的概览图。

接着对各个分支模块，包括爬虫、分布式文件系统、索引和排序规则展开详细论述，然后以实践经验为指导，分析了各个模块的改进设计。

本文内容是以搜索引擎理论研究为主，并对未来搜索引擎的智能化、个性化发展趋势做了详细的介绍。

本文对于从事网络技术开发、信息检索技术和数据挖掘研究都有一定的参考意义。

关键词搜索引擎；体系结构；发展趋势AbstractIn this paper, a more detailed introduction of the Internet search engine’s development history, theory and technology was presented. Start with the perspective of workflow explained the mechanism for implementing a web search engine, which is summarized as pretreatment and web services. It can be divided as spider, distributed file system, indexing and ranking rules. Further more, I put forward my own opinion of ranking algorithm improvement. Meanwhile, I explained the search engine architecture design principles and a comparative analysis of other possible design options. Because of strict logical ratiocination and abundant experimental data, it’s fit for variety of readers. And intelligent, personalized trend of search engine development are described in detail. It is a good reference for Information Retrieval and Data Mining research and web search engine development.Key wordsSearch engine；architecture; development trend目录摘要 (1)Abstract (2)前言 (5)第一章网络搜索引擎的产生.................................................................. 错误!未定义书签。

目录第五章结束语 (55)5.1 结论 (55)5.2 未来展望 (56)参考文献 (59)致谢 (63)中文摘要 (64)Abstract (67)第一章绪论１．１国内外网络搜索引擎的发展现状　随着信息科技的进步和互联网的日益普及，人类正在进行信息史上最巨大的一项工程，即将实现世界现有的信息，诸如报纸、期刊、书籍、专利文献等，都放到网络上去，同时也不停地在网络上生产出数不胜数的新信息。

整个网络正在堆积成一个前所未有的超级大型数据库。

在最近几年里，WWW更是得到了长足的发展，不仅成为企业必不可少的组成部分，并且开始走进千家万户，根据NEC研究院在《自然》上发布的数据，截止到1999年2月，Internet上共有网站1,600万个，其中公开提供WWW服务的网站280万个，共有WWW网页大约8亿页，这些网页包含了15T 字节的数据，根据2000年4月在波士顿举行的第5届搜索引擎年会的会议报告，知道现今的网页数目已经超过了10亿。

其中WWW 在中国的发展速度也十分惊人，1994年4月中国科学技术网在国内首次实现了与国际互联网的直接连接，互联网星星之火开始进入了神州大地，4年来我国互联网络发展非常迅速，先后建成了中国公用计算机互联网、中国科学技术网、中国教育与科研网、中国金桥信息网等4个网络，上网用户达到了167.5万，根据CNNIC （中国互联网络信息中心）在2000年1月的统计信息表明，中国已有上网计算机350万台，其中WWW站点15,153个；上网人数890万。

关于网页的数目没有具体的统计数据，但根据《科学》杂志上提供的集合估计法，通过中国几个主要搜索引擎（天网、新浪、搜狐、网易）获得的搜索数据，可以估计到当前中国拥有的网页数已经超过1,000万。

如何在浩瀚如海的信息空间里，快速查找并获取所需的信息，已成为这新的信息时代里最根本的问题之一。

这就需要形成一些提供网上信息查询服务的系统，我们称之为搜索引擎，它是在互联网产生后伴随着网上用户快速查询信息的需求而产生的新生事物，即提供信息检索服务的计算机系统，检索的对象包括互联网上的站点、新闻组中的文章、软件存放的地址及作者、某个企业和个人的主页等，我们难以想象，如果没有搜索引擎，人们如何在浩瀚无边、拥有着各种各样信息的因特网上冲浪。

1、用战略管理分析工具分析GOOGLE面临的内外环境。

外部环境分析（1）宏观环境分析政治环境因素分析经济因素分析科技因素分析众所周知，互联网行业的新型和发展速度猛烈，近几十年间，一波又一波的科技浪潮不断地冲击着我们的视野，而且一波比一波来势更加汹涌。

几十年前，IBM的大型机解决了大机构数据处理的难题。

随后出现的英特尔和微软推动了个人电脑的兴起，赋予了个人新的力量源泉，并最终使个人电脑产业比大型机产业影响更加深远、获利更加丰厚。

之后互联网产业又粉墨登场了，而它最初只是一个美国国防部的项目，现在却已经发展成为一个提供选择的平台，将亚马逊、雅虎、eBay和Google推上前台。

这一波互联网浪潮中最具代表性的公司当中，Google是真正处于风口浪尖的那一个，也是唯一一家在过去10年内建立起来的超级互联网品牌。

然而在近几年间，就像当年Google从搜索开始进入互联网，然后取代了微软的位置一样，Facebook从社交网络进入了互联网络，人们正在掐指算着 Facebook有效访问量全面赶超Google的时间还有多长。

科技的迅猛发展势必会对企业造成很大的影响。

第一，技术不断的快速的更新加重了这个行业的研发费用。

这也导致了在在硅谷，为什么不去技术而缺资金。

第二，该行业对研发者和管理者的创新和发现市场潜在需求的能力要求很高。

2011年佩吉将接任Google的CEO 之职，这次Google内部管理层的变动目的也是为了“简化管理结构，加快实施决策的步伐”互联网科技技术的发展，给Google进入市场带来了机遇，它功能强大搜索引擎为大众提供了一个相当于导航网站平台。

这个搜索引擎平台为Google创造了无数的财富。

但是，科技因素的双重性又给Google带来了新的难题：随着人们需求的变化，互联网技术的更新，一个个潜在竞争对手和替代品的出现，让Google进入了新一轮的手忙脚乱的角逐。

Google目前面对的是两个转型期，一个是第二代搜查引擎技巧向第三代搜查引擎技巧的转型，另一个是电脑网络时代向手机网络时代的转型，而如何完成完善的转型，将决定着Google未来的命运。

《恶意代码发展趋势回顾和展望》谷安天下2011-03-18议题一、2010年全国计算机病毒疫情发展趋势二、2010年度十大病毒排行榜三、网银木马日益增多四、病毒以“胖”为“美”五、钓鱼网站依急剧增加六、0day漏洞与网页木马七、U盘病毒依旧盛行八、RootKit病毒越来越隐蔽九、病毒防范的行之有效的建议一、2010年全国计算机病毒疫情发展趋势病毒数目呈突飞猛进的增加，木马病毒占据绝大多数，木马时代。

在2010年中：●江民科技截获病毒1080万个，比09年下降了15%。

●瑞星截获新样本750万个，比09年下降了56%。

●金山截获1798万个，比09年下降了13%。

病毒由“广泛覆盖”“精确打击”，由量变质。

一、2010年全国计算机病毒疫情发展趋势2010年的受害网民中，约有97%的网民遇到的是“低烈度病毒侵害”。

●广告点击器（adware类）●木马下载器●脚本病毒（修改和锁定IE首页）“现在病毒越来越少，不需要杀毒软件”---虚假安全感。

一、2010年全国计算机病毒疫情发展趋势盗取网游帐号盗取QQ号但窃取几十万个QQ号，也许仅能获利几万元。

现在只要盗取一个网银账号、或者支付账号就可以了。

电脑总中毒，很烦，装杀毒软件，天天杀毒。

以前几个月中毒一次，现在好久没中毒，比较安全，不需要杀毒软件了。

一、2010年全国计算机病毒疫情发展趋势“网站挂马”成为木马传播主要途径，盗号类木马成主流，病毒明显趋利。

U盘成病毒传播的另一主要途径。

0-Day漏洞：百度搜霸、暴风影音、迅雷、RealPlayer等流行软件的漏洞被网页木马广泛利用。

黑客经济产业链日臻成熟一、2010年全国病毒疫情发展趋势“极光”漏洞（CVE-2010-0249）IE再曝0day漏洞“CVE-2010-0806”Windows Shell漏洞“CVE-2010-2568”一、2010年全国病毒疫情发展趋势二、2010年度十大病毒排行榜二、典型病毒介绍-“飞客蠕虫”“飞客蠕虫”久盛不衰（Worm.MS08-067 , Worm.Conficker）最早出现在08年，现在该家族已产生近千个变种；利用MS08-067漏洞在局域网内进行主动传播；可通过U盘等移动存储设备进行传播。

谷歌SEO相关动态年终总结2012-01-15匆忙之间，2011年悄然而逝，深圳seo仔细回想，不禁感叹光阴是把杀猪刀（没杀掉我的哈~），曾几何时盼望快点长大，时光难熬的我，也已经禁不起时间的飞逝-感觉什么还都没做2011年就这样悄悄走掉了。

一年过去，作为一个SEO从业人员，我收集了一些谷歌2011年的变动，记录下来分享给朋友们，据说谷歌每年对其搜索算法作出超过500次的修改，这里也是从一些较为靠谱的新闻资讯来揣摩Google算法的修改方向，来指导SEO工作。

1月20日，Google内部人员在JohnMu在Google webmaster help论坛中回复站长提问中指出，如果网站含有大量空白HTML页面被Google机器人住区，那么也可能会被判定为大量重复内容，从而导致网站被谷歌降权。

2月26日，名为“Panda”的谷歌新算法正式上线。

该算法矛头直指内容工厂。

据了解，panda算法将影响高达12%的搜索结果。

算法的核心意义大概是降低那些有着低质量内容、靠抄袭活命、提供垃圾信息的`内容工场网站的排名。

谷歌还强调受影响的网站和来自于前一段发布的Personal Blacklist Chrome 扩展所汇报的垃圾站的重合率达到84%，从这个角度出发，应该是广大用户们确实帮助Google做出了改进。

7月1日，谷歌出重拳清除垃圾网站。

谷歌工程师Matt Cutts表示：由于co 和cc域名中的垃圾站比例太多，谷歌决定将直接不予索引任何该域名下的网站。

Google内部人员JohnMu也表示：“如果我们发现一个免费主机上有太多的低质量的垃圾站或钓鱼站，我们有权不索引改主机下所有的网站。

”。

从这里可以得出，谷歌评定网站，更加看重网站是否有一个好“邻居”。

10月20日，谷歌工程师Matt Cutts透露，大概将有1%的搜索结果因网站速度受到影响。

大概在1000个网站里会有1个网站会因为速度太慢而影响到自己最终的排名。

谷歌新算法针对移动端全面升级。

谷歌搜索算法将于今年4月21日迎来庞大改变，公司透露表现在反馈效果中将根据网页是否对移动端友爱来增长等级，且在搜索效果中提拔应用效果表现频率也会更高。

谷歌透露表现本次调整将会在全球范围内所有语种在移动搜索中会有“显明的影响”，皆在于让用户探求到更高质量的效果。

在升级新算法的同时谷歌透露表现在对搜索效果进行评级中将会开始使用更多来自索引应用的信息作为参考因素。

这些算法的改变对于移动用户来说无疑是好，能够帮助提拔上网体验，在去年开始谷歌就开始对移动友爱网站进行高亮标记。

百度、谷歌最新算法调整百度、GOOGLE两大搜索引擎霸占了国内搜索引擎的大部分市场份额。

现这两个搜索引擎的算法有一些调整，特分析如下。

一、百度算法调整第一：百度对关键词的排名1.百度进一步提高了自身产品关键字排名的顺序，包括百度百度、百度地图、百度知道、百度贴吧等属于百度自己的产品。

还有就是和百度自己合作的网站权重也提高了，因为百度能选择和其他网站合作，也是对他们的网站考察过的。

2.百度排名次序由原来的每星期调整1次排名，到现在1天都有可能3-4次的排名调整;3.百度对信息比较真实的网站排名会靠前点。

公司性质的网站要比个人性质的网站排名更有优势;对于一些垃圾站点，抄袭网站、模仿网站一律不给于排名。

第二：百度对网站的收录1.百度对新站的收录时间简短，从以前的半个月到一个月时间，简短到现在的一到两周。

2.新的站点，几乎不是多需要去注重外部连接数量及质量了，只需要你尽量做好站内内容的质量和经常更新即可。

3.百度网页的大更新是以前的星期三更新，更改为星期四更新。

第三：百度对网站的内部链接和内容1.网站页面、站点里面有大量JS代码内容的给于适当降权处理;2.网站有弹窗广告这样的站点，百度给以降权处理;3.参与广告联盟站点的给以适当降权;4.友情连接过多的站点(10-20合理)，或者是不雅站点友情链接网站的，给于降权处理;5.导出的单向连接过多，给于降权处理;针对黑链及连接买卖的站点第四：从网站外链权重来分析：1.博客评论和论坛签名百度现在已经不给予外链权重;2.对大型门户网站的外链权重有一定的加强，对门户网站的外链权重算法也做出了调整。

二、google算法调整●Google公司4月11日表示，已经开始在全球部署旨在剔除低劣内容网站的“农夫算法”（“Farmer”），此举将给SEO（搜索引擎优化）行业和中小网站带来冲击。

“农夫算法”，顾名思义，旨在通过对排名算法的进一步优化，“根除”那些内容达不到要求、但是往往根据SEO获得靠前排名的低劣网站。

搜索引擎的发展历程、工作原理及趋势-搜索引擎论文-图书档案学论文——文章均为WORD文档，下载后可直接编辑使用亦可打印——0引言随着计算机网络技术的飞速发展，人们要在互联网的海量信息中查找自己所需的信息，就要使用搜索引擎，搜索引擎已经成为人们获取信息的重要手段。

搜索引擎从广义的角度来讲，是指互联网上提供用户检索接口并且具有检索功能的网站，它能帮助人们在互联网中查找到所需要的信息；从狭义的角度来讲，搜索引擎是指根据某种策略、运用特定的计算机程序从网络上搜集要查找的信息，对信息进行组织和处理后，为用户提供检索服务，将用户检索的相关信息展现给用户的系统。

1搜索引擎的发展历程搜索引擎是伴随互联网的发展而产生和发展的，互联网已成为人们学习、工作和生活中不可缺少的平台，几乎每个人上网都会使用搜索引擎。

搜索引擎大致经历了四代的发展。

1.1 第一代搜索引擎1994 年第一代真正基于互联网的搜索引擎Lycos 诞生，它以人工分类目录为主，代表厂商是Yahoo,特点是人工分类存放网站的各种目录，用户通过多种方式寻找网站，现在也还有这种方式存在。

1.2 第二代搜索引擎随着网络应用技术的发展，用户开始希望对内容进行查找，出现了第二代搜索引擎，也就是利用关键字来查询。

最具代表性、最成功的是Google,它建立在网页链接分析技术的基础上，使用关键字对网页搜索，能够覆盖互联网的大量网页内容，该技术可以分析网页的重要性后，将重要的结果呈现给用户。

1.3 第三代搜索引擎随着网络信息的迅速膨胀，用户希望能快速并且准确的查找到自己所要的信息，因此出现了第三代搜索引擎。

相比前两代，第三代搜索引擎更加注重个性化、专业化、智能化，使用自动聚类、分类等人工智能技术，采用区域智能识别及内容分析技术，利用人工介入，实现技术和人工的完美结合，增强了搜索引擎的查询能力。

第三代搜索引擎的代表是Google,它以宽广的信息覆盖率和优秀的搜索性能为发展搜索引擎的技术开创了崭新的局面。

(讯)Google算法每年的改变都多达500-600次，只不过很多改动都很小，但是每隔几个月，Google都会做一次比较大的算法升级，这些升级都会直接影响到搜索的排名结果。

作为一个搜索引擎营销人员，了解这些算法的改变有助于分析网站排名以及流量的变化状况，下面我们列出了几次影响比较大的算法升级，熟悉这些算法的变动将会有助于你的SEO 工作。

2000年2000年12月–Google工具条Google发布了其浏览器工具条，正是这个工具条上绿色小条(PR值)，日后让无数的站长为之疯狂，甚至形成了买卖产业链。

每三个月一次的”GoogleDance”之后，站长们最关注的就是这个绿色的小条有没有变长。

2003年2003年2月–Boston 在当年Boston召开的搜索引擎战略大会(SES)上正式命名的一次算法升级，也是Google第一个有名字的算法升级。

起初Google主要是按月进行升级，所以最开始的几次升级都是综合了一些算法改动以及收录刷新(GoogleDance)。

随着升级越来越频繁，月度升级计划很快消亡。

2003年4月–Cassandra Google针对一些基本的外链质量问题发布的一次升级，比如从同一个域名获得的大量链接，其价值被降低。

另外Cassandra针对隐藏文字及链接也进行了针对性的处理。

2003年5月–Dominic03年5月份Google进行了多项升级改动，Dominic具体升级了哪些参数并不明确。

Google的“纵”“横”蜘蛛“Freshbot”及“Deepcrawler”全网爬行，Google计算外链的方式似乎进行了很大的变化。

2003年6月–Esmerelda 此次升级是Google月度升级计划中的最后一次，日后Google的升级将会更加频繁。

”GoogleDance”也被”Everflux”所替代。

Esmerelda主要是针对搜索架构的一次集中性的升级。

2003年7月–Fritz“GoogleDance”随着Fritz升级走向终结。

Google的SWOT分析一、优势1、有利的竞争态势Google在互联网搜索引擎方面拥有最多使用者，牢牢占领最大的市场份额。

2011第一季度的数据表明，Google搜索引擎占全球搜索引擎市场份额的84.93%。

2、充足的资金支持据Google 2011年财年第二季度财报，Google第二季度营收为90.3亿美元，同比增长32%；按照美国通用会计准则，谷歌第二季度净利润为25.1亿美元，同比增长36%。

3、良好的企业和品牌形象Google代表着创新、互联网和诚信。

不进行推销、不追求快速致富的形象深入人心。

除了在搜索引擎的统治地位，Google多次推出非商业化的服务，例如提供新西兰、日本自然灾害后救援活动的帮助服务，对提高其品牌价值和影响力有积极作用。

而它也在2011年的全球品牌价值500强中荣膺第一。

4、技术力量雄厚Google在搜索算法与硬件创新运作方面具有优势。

例如，Google的搜索结果排列是依据其“网页级别”技术，即考察该页面在网上被链接的频率和重要性来排列的，互联网上指向这一页面的重要网站越多，该页面的位次也就越高。

它的每一个搜索结果都是“纯技术选择”，是计算机程序按照点击率规则自动排列出来的。

为确保搜索技术上的优势，它有70亿美元的现金用于投资新技术。

同时Google网罗了的大量的优秀技术人员为其所用，坚持不断地进行创新，不断为自己注入新的活力。

5、广告平台&服务形式在广告平台和服务形式方面，Google的企业目标在于只向最终用户传递“相关信息”，不会像其他网络媒体那样把广告硬塞到用户面前，只是当用户搜索某方面信息时，才把相关广告用小体文字（绝不用图像）独立放在屏幕右边特定的位置，不去强行干扰用户视线，不把广告混进搜索结果。

这样有利于吸引更多的最终客户。

6、独特的企业文化创始人佩奇和布林要求最好的技术、最聪明的员工以及领先于时代的点子。

两人为Google的员工制定了一条不成文的规定：工程师必须用四分之一的时间来思考了不起的点子，即使这些点子的财务前景可能有疑问。

百度和谷歌2012-2013年算法走势分析 近两年，百度和谷歌都进行了一些对于低质量内容站点的改进算法。

比如谷歌的熊猫算法，百度的6.28事件。

百度推出百度贴吧、百度知道、百度百科是因为很多时候，很多网站无法满足用户的需求。

08年以前，生活信息类的问题很多网民是搜索不到的，百度这么做是为了填补这一类的空白，如果那个时候做信息类网站，比如医疗类的好大夫网站，问题的质量是非常好的，39健康网，都是满足了用户生活类信息需求，在房产和信息类问答，58和赶集网都是一个案例，百度当时给这样的一些信息类的网站是给予很好的权重和流量的。

一直都是谷歌的算法改变而引起百度算法的改变，例如谷歌nofollow标签(垃圾链接的过滤标签)，百度当时是不支持的，但是一年半后(2010年)，百度才开始支持。

我们目录结构的分页标题基本是一样的，那么谷歌推出了一个标签，叫做rel="canonical"，百度应该也会跟随。

2011年到现在，医疗类的信息量增加非常快速，垃圾特别多，那么百度自然又要改变算法了。

算法不可能提前于问题——比如垃圾链接的出现，谷歌才会推出nofollow标签，一般这样的问题一般达到一种常态化以后，谷歌才会改变算法，百度然后才会跟进。

比如医疗类的信息量达到一定的高度，SE 才会改变算法。

这些算法的改变，不是所有行业都会受到影响，是因为本身信息量还不是很多，只是针对某些行业而言的，比如现在的医疗。

只有某个问题进入常态化以后，谷歌百度才会改变算法 那么2012-2013年，谷歌百度会如果改变算法呢?老师做出一个预测，请看下文。

1.关于版权算法的改进 谷歌宣布在下周星期一就会进行改进，预计昨天就已经启动了(2012-08-13)，应该会对下载类的站点波及。

百度也会跟进。

百度好像在推出一套针对原创文章的算法，而谷歌这个算法已经出现，只是在实施阶段，而百度还在算法制作阶段。

这是一个预测。