下载文档原格式
大数据时代文献综述引言：随着信息技术的快速发展，大数据已成为当今社会的热门话题。
大数据时代的到来给各个领域带来了巨大的机遇和挑战。
本文将对大数据时代的相关文献进行综述，探讨大数据的定义、特点、应用领域以及对社会经济发展的影响。
一、大数据的定义和特点1. 定义：大数据是指规模庞大、种类繁多、速度快、价值密度低的数据集合。
这些数据来自于各种来源，包括传感器、社交媒体、互联网等。
大数据具有高度的复杂性和多样性，需要利用先进的技术和工具进行处理和分析。
2. 特点：（1）规模庞大：大数据的规模通常以TB、PB甚至EB为单位，远远超过传统数据处理能力。
（2）种类繁多：大数据包含结构化数据、半结构化数据和非结构化数据，如文本、图像、音频等。
（3）速度快：大数据的产生速度非常快，需要实时或近实时地进行处理和分析。
（4）价值密度低：大数据中包含了大量的噪音和无用信息，需要通过数据挖掘和分析提取有价值的信息。
二、大数据的应用领域1. 商业和市场营销领域：大数据在商业和市场营销领域的应用非常广泛。
通过对大数据的分析，企业可以了解消费者的需求和行为，制定精准的营销策略，提高销售额和市场份额。
同时，大数据还可以帮助企业进行风险管理和预测，优化供应链和物流管理。
2. 医疗和健康领域：大数据在医疗和健康领域的应用有助于提高医疗服务的质量和效率。
通过对大数据的分析，医疗机构可以实现个性化医疗，提供更精确的诊断和治疗方案。
此外，大数据还可以用于疾病监测和预测，帮助公共卫生部门及时采取措施应对突发疫情。
3. 城市管理和智能交通领域：大数据在城市管理和智能交通领域的应用可以提升城市的安全性、便利性和可持续发展水平。
通过对大数据的分析，城市管理者可以实时监测交通状况、优化交通流量，减少拥堵和交通事故。
同时，大数据还可以用于城市规划和资源分配，提高城市的整体运行效率。
4. 金融和风险管理领域：大数据在金融和风险管理领域的应用可以提高金融机构的风险控制能力和决策效率。
大数据时代文献综述（二）引言概述:随着科技的发展和互联网的普及，大数据的概念逐渐走入人们的视野，并在各个领域产生了深远的影响。
大数据时代不仅为企业提供了更多的商业机会，也对人们的生活方式、治理模式和科学研究带来了革命性的改变。
本文旨在对大数据时代的相关文献进行综述，深入探讨大数据在不同领域的应用和影响。
正文:1. 大数据在商业领域的应用- 市场调研和消费行为分析- 营销决策和个性化推荐- 风险管理和预测分析- 供应链管理和运营优化- 金融科技和区块链应用2. 大数据在社会治理的影响- 城市规划和智能交通- 公共安全和犯罪预测- 教育和人才培养- 医疗卫生和健康管理- 环境保护和资源优化3. 大数据在科学研究的应用- 生物医学研究和药物开发- 天文学和宇宙探索- 地球科学和气候变化研究- 材料科学和新材料开发- 社会科学和行为分析4. 大数据时代的挑战与问题- 数据隐私和安全保护- 数据质量和准确性- 数据治理和标准化- 技术能力和人才短缺- 法律法规和伦理问题5. 大数据时代的机遇与未来发展- 人工智能与大数据融合- 数据共享和合作机制- 数据开放和开放创新- 数据驱动的决策和智能化服务- 数据智能化的社会发展和治理总结:大数据时代带来了商业、社会和科学各个领域的巨大机遇和挑战。
在商业领域，大数据应用的深入推进将进一步提高企业的竞争力和效率；在社会治理方面，大数据将为城市发展和公共服务提供更精准的决策支持；在科学研究领域，大数据将推动科学家们的发现和创新。
然而，我们也需要面对数据隐私保护、数据治理以及技术人才短缺等问题。
未来，随着人工智能与大数据的深度融合，数据驱动的决策和智能化服务将成为大数据时代的新趋势，为社会发展和治理带来更多想象空间。
大数据时代文献综述引言概述：随着信息技术的迅猛发展，大数据时代已经到来。
大数据作为一种新兴的技术和应用，对于各个领域的发展和决策都具有重要的作用。
本文将从五个大点出发，对大数据时代的相关文献进行综述，以期对大数据时代的发展和应用有更深入的了解。
正文内容：1. 大数据的定义和特点1.1 大数据的定义大数据是指规模巨大、复杂度高、处理速度快的数据集合，传统的数据处理工具无法有效处理。
大数据的特点主要包括数据量大、数据类型多样、数据处理速度快和数据价值高等。
1.2 大数据的应用领域大数据的应用领域非常广泛，包括金融、医疗、交通、能源、教育等各个领域。
例如，在金融领域，大数据可以用于风险管理、投资决策等方面；在医疗领域，大数据可以用于疾病预测、药物研发等方面。
2. 大数据的技术和方法2.1 大数据的采集和存储技术大数据的采集和存储技术包括传感器技术、云计算技术、分布式存储技术等。
这些技术可以有效地获取和存储大数据。
2.2 大数据的处理和分析方法大数据的处理和分析方法包括数据挖掘、机器学习、人工智能等。
这些方法可以匡助人们从大数据中提取有价值的信息和知识。
3. 大数据的挑战和问题3.1 数据隐私和安全问题在大数据时代，数据的隐私和安全问题越来越重要。
如何保护用户的隐私和数据的安全，是大数据面临的一个重要挑战。
3.2 数据质量问题由于大数据的规模庞大，数据质量问题成为一个关键的挑战。
如何保证数据的准确性和完整性，是大数据处理中需要解决的问题之一。
4. 大数据的发展趋势4.1 人工智能与大数据的融合人工智能和大数据是相互促进的关系。
随着人工智能的发展，大数据的应用将会更加广泛，同时大数据也可以为人工智能提供更多的数据支持。
4.2 边缘计算与大数据的结合边缘计算是一种新兴的计算模式，可以将计算资源更加挨近数据源，提高数据处理的效率。
将边缘计算与大数据相结合，可以进一步提升大数据的处理能力。
5. 大数据的影响和意义5.1 对决策的影响大数据可以为决策提供更多的数据支持和参考，匡助决策者做出更准确、更科学的决策。
大数据时代文献综述引言：大数据时代的到来，标志着信息技术的快速发展和数据爆炸式增长。
在这个信息爆炸的时代，我们面临着海量的数据，如何从这些数据中获取有价值的信息成为一个重要的问题。
本文将对大数据时代的概念、特点、应用以及相关技术进行综述，旨在全面了解大数据时代的背景和发展。
一、大数据时代的概念和特点1. 概念：大数据是指规模巨大、类型多样的数据集合，其数量超出了传统数据管理工具的处理能力。
大数据时代是指在这样的背景下，利用先进的技术和方法，从大数据中挖掘出实用的信息和知识。
2. 特点：（1）规模巨大：大数据的规模通常以TB、PB甚至EB为单位，远远超过传统数据的规模。
（2）多样性：大数据包含了结构化、半结构化和非结构化的数据，如文本、图象、音频等。
（3）高速度：大数据的产生速度非常快，需要实时或者近实时地进行处理和分析。
（4）价值密度低：大数据中包含大量的噪声和冗余信息，需要通过分析和挖掘提取有价值的信息。
二、大数据时代的应用领域1. 商业领域：（1）市场营销：通过对大数据的分析，可以了解消费者的需求和偏好，从而制定精准的营销策略。
（2）供应链管理：利用大数据分析，可以优化供应链的运作，提高效率和降低成本。
（3）金融风控：大数据分析可以匡助金融机构识别潜在的风险和欺诈行为，提高风险管理能力。
2. 社会领域：（1）医疗健康：大数据分析可以匡助医疗机构提高诊断准确率、优化治疗方案，推动个性化医疗的发展。
（2）城市管理：通过对大数据的分析，可以实现智慧城市的建设，提高城市的管理和服务水平。
（3）交通运输：利用大数据分析，可以优化交通流量，提高交通安全和效率。
三、大数据时代的相关技术1. 数据采集和存储技术：（1）传感器技术：通过传感器采集各种物理量的数据，如温度、湿度、压力等。
（2）云计算技术：利用云计算平台进行大规模数据的存储和处理。
2. 数据处理和分析技术：（1）机器学习：通过机器学习算法对大数据进行分析和挖掘，发现其中的模式和规律。
大数据时代文献综述在大数据时代，数据的规模和复杂性不断增长，给各个领域的研究和应用带来了巨大的挑战和机遇。
为了全面了解和掌握该领域的研究进展和现状，进行一次文献综述是非常必要的。
本文将从以下几个方面对大数据时代的文献进行综述，并总结和分析现有研究的不足之处和发展方向。
1、大数据时代的概述1.1 大数据的定义和特点1.2 大数据的应用领域1.3 大数据带来的挑战和机遇2、大数据的采集与存储2.1 大数据采集的技术和方法2.2 大数据存储的技术和方案2.3 大数据的备份与恢复3、大数据的处理与分析3.1 大数据的预处理技术3.2 大数据的分析算法与模型3.3 大数据处理的工具和平台4、大数据的应用与价值4.1 大数据在商业领域的应用4.2 大数据在科学研究中的应用4.3 大数据在社会管理中的应用5、大数据时代的隐私与安全5.1 大数据隐私保护的法律法规5.2 大数据的安全挑战与防护5.3 大数据隐私与安全治理的方法与技术6、大数据发展的挑战与展望6.1 大数据发展中的技术问题6.2 大数据发展中的法律与伦理问题6.3 大数据发展的未来方向和趋势附件：本文档涉及的附件包括相关文献和数据集，详情请参见附件部分。
法律名词及注释：1、大数据：指规模庞大、来源多样、种类繁多、处理复杂的数据集合。
2、大数据采集：指通过各种技术和方法获取大数据的过程。
3、大数据存储：指对大数据进行长期保存和管理的技术和方案。
4、大数据处理：指对大数据进行清洗、转换和计算的过程。
5、大数据分析：指通过各种算法和模型从大数据中获取有用信息的过程。
6、大数据应用：指将大数据用于实际场景和问题解决的过程。
大数据技术综述在当今数字化的时代，大数据技术已经成为推动社会发展和创新的重要力量。
它不仅改变了我们的生活方式，还在商业、科研、医疗、政务等众多领域发挥着巨大的作用。
那么，什么是大数据技术呢？简单来说，大数据技术就是处理和分析大规模数据的一系列方法和工具。
随着互联网的普及和信息技术的飞速发展，数据的产生速度和规模呈爆炸式增长。
以往，我们处理的数据可能是以兆字节（MB）或吉字节（GB）为单位，而现在，我们面临的数据往往是以太字节（TB）、拍字节（PB）甚至艾字节（EB）来计量。
这些海量的数据包含了丰富的信息，如果能够有效地挖掘和利用，将为我们带来巨大的价值。
大数据具有几个显著的特点，即 Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）和 Veracity（真实性）。
大量意味着数据规模巨大；高速表示数据生成和处理的速度快；多样指数据的类型繁多，包括结构化数据（如数据库中的表格）、半结构化数据（如 XML、JSON 格式的数据）和非结构化数据（如文本、图像、音频、视频等）；价值强调数据中蕴含的有用信息，但需要通过深入分析才能获取；真实性则要求数据的质量和准确性有保障。
为了处理这样大规模、多样化和高速产生的数据，一系列的技术应运而生。
首先是数据采集技术，它负责从各种数据源获取数据，这些数据源可能包括传感器、网络日志、社交媒体、交易记录等。
数据采集需要确保数据的完整性和准确性，同时还要考虑数据的实时性和批量处理的需求。
数据存储技术是大数据技术的重要组成部分。
传统的关系型数据库在处理大规模数据时往往力不从心，因此出现了许多新型的数据库系统，如分布式数据库、NoSQL 数据库（如键值对存储、文档数据库、列族数据库等）和数据仓库。
这些存储系统能够更好地适应大数据的特点，提供高效的数据存储和查询能力。
数据处理技术包括批处理和流处理两种方式。
批处理适用于处理大规模的离线数据，常见的框架有 Hadoop 中的 MapReduce 框架。
大数据时代文献综述引言概述：随着信息技术的快速发展，大数据时代已经到来。
大数据不仅仅是指数据的规模庞大，更重要的是数据的多样性、速度和价值。
在这个时代，大数据的应用已经渗透到各个领域，对于各行各业都具有重要意义。
本文将从五个大点来阐述大数据时代的相关文献综述。
正文内容：1. 大数据的概念和特点1.1 数据规模的增长：随着互联网的普及和各种传感器的广泛应用，数据规模呈指数级增长。
1.2 数据多样性的挑战：大数据不仅包括结构化数据，还包括非结构化数据如文本、图像、音频等，对数据处理和分析提出了新的挑战。
1.3 数据速度的要求：在大数据时代，数据的产生和传输速度非常快，对实时性要求很高。
2. 大数据的应用领域2.1 金融领域：大数据在金融领域的应用主要包括风险管理、欺诈检测、智能投资等方面。
2.2 医疗保健领域：大数据在医疗保健领域的应用主要包括疾病预测、个性化治疗、医疗资源优化等方面。
2.3 零售领域：大数据在零售领域的应用主要包括市场营销、供应链管理、智能化决策等方面。
2.4 交通领域：大数据在交通领域的应用主要包括交通流量优化、智能交通管理、智能导航等方面。
2.5 教育领域：大数据在教育领域的应用主要包括个性化教学、学生评估、教育资源优化等方面。
3. 大数据技术和工具3.1 分布式存储和计算：大数据处理需要分布式存储和计算技术，如Hadoop、Spark等。
3.2 数据挖掘和机器学习：大数据的挖掘和分析需要借助数据挖掘和机器学习算法，如关联规则挖掘、聚类分析、分类预测等。
3.3 可视化和交互工具：大数据的可视化和交互工具可以帮助用户更好地理解和利用数据，如Tableau、PowerBI等。
4. 大数据时代的挑战和机遇4.1 数据隐私和安全：大数据时代面临着数据隐私和安全的挑战，如数据泄露、隐私保护等问题。
4.2 数据质量和可信度：大数据时代的数据质量和可信度问题是一个亟待解决的难题。
4.3 数据分析人才的需求：大数据时代需要具备数据分析能力的人才，对人才培养提出了新的要求。
大数据文献综述（一）引言概述：大数据是当前信息技术发展的热点，它以巨大规模的、多种类型的数据集为基础，通过创新的处理和分析方法，揭示出隐藏在数据背后的规律和价值，对于推动社会经济的发展具有重要作用。
本文旨在对大数据的相关文献进行综述，系统梳理大数据的定义、特点、应用领域等方面的研究成果，为深入理解和应用大数据提供参考依据。
正文内容：一、大数据的定义与特点1. 大数据的定义：从数据量、速度、多样性等方面阐述大数据的底线。
2. 大数据的特点：探讨大数据的海量、高维、真实、价值等特点，以区别于传统数据。
二、大数据的技术基础1. 大数据的存储技术：介绍分布式文件系统、NoSQL数据库等存储大数据的技术手段。
2. 大数据的处理技术：讨论MapReduce、Hadoop等大数据处理框架及其应用场景。
三、大数据的应用领域1. 金融领域：探索大数据在风险评估、投资决策等方面的应用。
2. 医疗领域：分析大数据在疾病预测、基因分析等方面的应用案例。
3. 零售领域：剖析大数据在市场分析、用户行为预测等方面的应用。
4. 媒体领域：阐述大数据在舆情分析、个性化推荐等方面的应用。
四、大数据的挑战与机遇1. 数据隐私与安全问题：探讨大数据背后存在的隐私泄露和数据安全问题。
2. 数据质量与整合问题：分析大数据链路中可能出现的数据质量不确定性和信息孤立问题。
3. 人才缺口与资源投入问题：讨论大数据技术人才与资源投入不足的挑战。
五、大数据的未来发展趋势1. 人工智能与大数据：探讨人工智能与大数据的紧密结合，推动大数据应用走向智能化。
2. 数据驱动的企业发展：分析数据驱动型企业的兴起和发展趋势。
3. 数据治理与合规性问题：讨论大数据时代下数据治理与合规性的重要性。
总结：本文通过对大数据的定义、特点、技术基础、应用领域、挑战与机遇以及未来发展趋势的综述，为读者提供了深入了解大数据的基础知识和前沿动态的参考。
随着信息技术的不断发展，大数据将继续引领社会变革的浪潮，为各行业创造更多的机遇与挑战。
BIM与WBS
黄强
【期刊名称】《江苏建筑》
【年(卷),期】2018(000)004
【摘要】建筑工程数据具有其因果关系,智能建造的重点在于建造技术.BIM技术应该植根于建造技术.WBS是项目的综合工具,WBS的每个工作节点就是建造过程的基本方法与工艺,是建造技术的体现,也是智能建造的落脚点,更是BIM系统的基本组件.不同的WBS分解结构就会产生不同的BIM系统.文章分析了基于WBS第四级的openBIM方法及其存在问题,阐明了基于WBS第三级的P-BIM方法,以建造技术为本发展智能(开发分部分项工程软件)建造,为我国BIM落地提出了新的研究方法与发展方向.
【总页数】5页(P1-5)
【作者】黄强
【作者单位】中国BIM发展联盟,北京100013
【正文语种】中文
【中图分类】TU717
【相关文献】
1.钨硼化物WB和WB0.75X0.25(X=C,N)的力学性能和电子结构的研究 [J], 陈佰树;李镇;刘迦勒;李源作
2.CPL—WB—OOD3／DCPL—WB-00D3：天线功率控制器芯片 [J],
3.WB-DWI联合WBS对乳腺癌骨转移患者诊断效能的影响 [J], 李建灵
4.基于WBS的云茂高速公路金林隧道BIM应用研究 [J], 王良国; 张建; 刘建华; 黄镇; 胡建东
5.基于BIM的高铁工程量清单EBS\WBS研究 [J], 景凤; 郭婧娟
因版权原因，仅展示原文概要，查看原文内容请购买。
大数据系统和分析技术综述黄强
发表时间：2019-03-21T10:38:37.140Z 来源：《防护工程》2018年第34期作者：黄强1 卢荣2
[导读] 提出了不少有效的方案. 随着更丰富更先进的web 应用的出现, 一些新的爬虫机制已被用于爬取富互联网应用的数据。
1浙江大华系统工程有限公司浙江杭州 310053;2浙江泰林生物技术股份有限公司浙江杭州 310052
摘要：云计算、物联网、移动互连、社交媒体等新兴信息技术和应用模式的快速发展,促使全球数据量急剧增加,推动人类社会迈入大数据时代。
一般意义上,大数据是指利用现有理论、方法、技术和工具难以在可接受的时间内完成分析计算、整体呈现高价值的海量复杂数据集合.大数据呈现出多种鲜明特征。
关键词：大数据系统；分析技术；
大数据与传统的数据相比, 除了大容量等表象特点, 大数据还具有其他独特的特点, 例如大数据通常是无结构的, 并且需要得到实时分析,因此大数据的发展需要全新的体系架构, 用于处理大规模数据的获取、传输、存储和分析。
一、大数据定义
随着大数据的流行, 大数据的定义呈现多样化的趋势, 达成共识非常困难. 本质上, 大数据不仅意味着数据的大容量, 还体现了一些区别于“海量数据” 和“非常大的数据” 的特点. 实际上, 不少文献对大数据进行了定义, 其中三种定义较为重要。
一是属性定义: 国际数据中心IDC 是研究大数据及其影响的先驱, “大数据技术描述了一个技术和体系的新时代, 被设计于从大规模多样化的数据中通过高速捕获、发现和分析技术提取数据的价值”. 这个定义刻画了大数据的4 个显著特点, 即容量、多样性、速度和价值, 而“4Vs” 定义的使用也较为广泛，类似的定义注意到数据的增长是三维的, 即容量、多样性和速度的增长。
二是比较定义(将大数据定义为“超过了典型数据库软件工具捕获、存储、管理和分析数据能力的数据集”。
这种定义是一种主观定义, 没有描述与大数据相关的任何度量机制, 但是在定义中包含了一种演化的观点从时间和跨领域的。
三是体系定义: 大数据是指数据的容量、数据的获取速度或者数据的表示限制了使用传统关系方法对数据的分析处理能力,需要使用水平扩展的机制以提高处理效率”。
此外, 大数据可进一步细分为大数据科学和大数据框架，大数据科学是涵盖大数据获取、调节和评估技术的研究; 大数据框架则是在计算单元集群间解决大数据问题的分布式处理和分析的软件库及算法，一个或多个大数据框架的实例化即为大数据基础设施。
二、大数据系统和分析技术
1.流式大数据。
该表现出低延迟、高吞吐、持续稳定运行和弹性可伸缩等特性,这其中离不开系统架构、数据传输、编程接口、高可用技术等关键技术的合理规划和良好设计。
数据传输数据传输是指完成有向任务图到物理计算节点的部署之后,各个计算节点之间的数据传输方式。
在大数据流式计算环境中,为了实现高吞吐和低延迟,需要更加系统地优化有向任务图以及有向任务图到物理计算节点的映射方式。
在上游节点产生或计算完数据后,主动将数据发送到相应的下游节点,其本质是让相关数据主动寻找下游的计算节点,当下游节点报告发生故障或负载过重时,将后续数据流推送到其他相应节点.主动推送方式的优势在于数据计算的主动性和及时性,但由于数据是主动推送到下游节点,往往不会过多地考虑到下游节点的负载状态、工作状态等因素,可能会导致下游部分节点负载不够均衡;当然,主动推送方式和被动拉取方式不是完全对立的,也可以将两者进行融合,从而在一定程度上实现更好的效果.
2.编程接口。
编程接口是方便用户根据流式计算的任务特征,通过有向任务图来描述任务内在逻辑和依赖关系,并编程实现任务图中各节点的处理功能.用户策略的定制、业务流程的描述和具体应用的实现,需要通过大数据流式计算系统提供的应用编程接口。
良好的应用编程接口可以方便用户实现业务逻辑,可以减少用户的编程工作量,并降低用户系统功能的实现门槛。
明确数据流的有向无环图,其他具体细节的实现方式用户不需要太多关心,即可满足对流式大数据的高效、实时计算;也有部分大数据流式计算系统为用户提供了类SQL 的应用编程接口,并给出了相应的组件,便于应用功能的实现;系统不仅为用户提供了类SQL 的应用编程接口来描述计算过程,也借助图形化用户视窗为用户提供了丰富的组件。
大数据批量计算将数据事先存储到持久设备上,节点失效后容易实现数据重放;而大数据流式计算对数据不进行持久化存储。
因此,批量计算中的高可用技术不完全适用于流式计算环境,需要根据流式计算新特征及其新的高可用要求,有针对性地研究更加轻量、高效的高可用技术和方法。
大数据流式计算系统高可用是通过状态备份和故障恢复策略实现的。
3.大数据系统面临的挑战。
设计和实现一个大数据系统不是一个简单的任务, 如同大数据定义描述的, 大数据超出了现有硬件和软件平台的处理能力. 新的硬件和软件平台反过来要求新的基础设施和编程模型解决大数据带来的挑战。
普适的感知和计算以难以想象的速率和规模产生数据, 远超现有存储技术的发展。
一个迫切的挑战是现有的存储系统难以容纳海量数据. 而数据的潜在价值和数据新鲜度有关, 因此应该设置和隐藏价值相联系的数据重要性原则, 以决定哪部分数据需要存档, 哪部分数据可以丢弃。
随着在线服务和移动手机的增长, 与访问控制、个人信息分析相关的隐私和安全问题日益得到关注. 了解需要提供什么样的系统级别隐私保护机制至关重要.大数据分析技术的发展为数据解释、建模、预测和模拟带来了重大的影响。
然而, 海量数据、异构数据结构和多样化的应用也带来了许多挑战，随着数据集的增长和实时处理需求的提出, 对整个数据集的分析越来越难. 一个潜在的解决方案是给出近似结果, 例如使用近似查询，近似的含义有两个方面:结果的准确度和从输出中删除的数据组。
大规模计算系统的能量消耗从经济和环境的观点吸引了较大的关注。
随着数据量和分析需求的增长, 数据传输、存储和处理无疑将消耗更多的能量，因此, 在大数据系统中必须提供系统级的能量控制和管理机制, 同时提供可扩展性和可访问性。
大数据分析是一个交叉学科研究领域, 需要来自不同专业领域的专家协作挖掘数据中隐藏的价值。
因此需要建立一个综合的大数据基础设施, 允许不同领域的科学家和工程师访问多样的数据, 并应用各自的专业知识, 协作完成分析任务。
爬虫从队列中获得具有一定优先级的URL, 下载该网页, 随后解析网页中包含的所有URLs 并添加这些新的URLs 到队列中。
这个过程一直重复, 直到爬虫程序停止为止.Web 爬虫是网站应用如搜索引擎和web 缓存的主要数据采集方式。
数据采集过程由选择策略、重访策略、礼貌策略以及并行策略决定。
选择策略决定哪个网页将被访问; 重访策略决定何时检查网页是否更新; 礼貌策略防止过度访问网站; 并行策略则用于协调分布的爬虫程序。
传统的web 爬虫应用已较为成熟, 提出了不少有效的方案. 随着更丰富更先进的web 应用的出现, 一些新的爬虫机制已被用于爬取富互联网应用的数据。
大数据的一种重要形态,在商业智能、市场营销和公共服务等诸多领域有着广泛的应用前景,并已在金融银行业、互联网、物联网等场景的应用中取得了显著的成效。
也使得当前诸多数据计算系统无法进一步更好地适应流式大数据在系统可伸缩性、容错、状态一致性、负载
均衡、数据吞吐量等方面所带来的诸多新的技术挑战。
参考文献：
[1] 李国杰,程学旗.大数据研究:未来科技及经济社会发展的重大战略领域——大数据的研究现状与科学思考.中国科学院院刊,2017,27(6):647?657.
[2]王元卓,靳小龙,程学旗.网络大数据:现状与展望.计算机学报,2017,36(6):1125?1138.
[3]冯小峰,慈祥.大数据管理:概念、技术与挑战.计算机研究与发展,2016,50(1):146?169.。
