下载文档原格式
大数据时代文献综述（一）引言概述：随着信息技术的不断发展和数据的大规模积累，大数据时代正以前所未有的速度产生着深远的影响。
在这个时代，大数据的应用已经渗透到诸多领域，如金融、医疗、交通等，给社会带来了诸多的机遇和挑战。
本文旨在通过文献综述的方式，介绍大数据时代的概念以及其主要特点，分析大数据对经济社会发展的影响，并总结目前相关研究的主要问题和趋势。
正文内容：一、大数据时代的概念和特点1. 大数据的定义和范围2. 大数据的四个特点：大量性、高速性、多样性和价值密度3. 大数据的数据源和采集技术4. 大数据的存储和处理技术5. 大数据的隐私与安全问题二、大数据对经济发展的影响1. 大数据在市场营销中的应用及效果2. 大数据对企业决策的支持作用3. 大数据对商业模式创新的推动4. 大数据对供应链管理的优化5. 大数据在金融行业的应用和风险管理三、大数据对社会发展的影响1. 大数据在医疗领域的应用和医疗服务的改进2. 大数据对教育领域的影响和学习模式的改变3. 大数据在城市规划和交通管理中的应用4. 大数据对环境保护与可持续发展的促进5. 大数据对政府决策与治理的影响四、大数据研究的主要问题和趋势1. 大数据的质量与准确性问题2. 大数据融合与共享的难题3. 大数据的处理与分析技术的挑战4. 大数据隐私保护的法律与伦理问题5. 大数据人才培养与研究的跨学科合作五、总结在大数据时代，大数据的产生和应用不仅带来了巨大的机遇，也带来了诸多挑战。
大数据已经对经济社会发展产生了深远影响，但同时也暴露出一系列问题。
未来，需要进一步研究与探索大数据的质量与准确性、处理与分析技术以及隐私保护等方面的问题，加强跨学科合作，培养专业人才，以更好地应对大数据时代的挑战与机遇。
文末总结。
大数据文献综述范文docx（二）引言概述：大数据在当前社会中扮演着重要角色。
本文综述了关于大数据的相关文献，分析了该领域的最新发展和趋势。
本文首先介绍了大数据的定义和特点，然后对大数据的应用领域进行了深入探讨，包括商业、医疗、社交媒体和智能交通等。
接着，本文讨论了大数据分析的关键技术和工具，包括数据挖掘、机器学习和云计算等。
其次，本文介绍了大数据在决策支持、市场预测和风险管理方面的应用案例。
最后，本文总结了目前大数据领域的挑战和未来发展方向。
正文：第一大点：大数据的定义和特点1. 什么是大数据2. 大数据的特点有哪些3. 大数据与传统数据的区别第二大点：大数据的应用领域1. 大数据在商业领域的应用2. 大数据在医疗领域的应用3. 大数据在社交媒体的应用4. 大数据在智能交通中的应用第三大点：大数据分析的关键技术和工具1. 数据挖掘在大数据分析中的应用2. 机器学习在大数据分析中的应用3. 云计算在大数据分析中的应用第四大点：大数据在决策支持、市场预测和风险管理中的应用案例1. 大数据在决策支持中的应用案例2. 大数据在市场预测中的应用案例3. 大数据在风险管理中的应用案例第五大点：大数据领域的挑战和未来发展方向1. 大数据领域目前面临的挑战2. 大数据未来的发展趋势总结：本文综述了关于大数据的相关文献，介绍了大数据的定义和特点，分析了大数据在商业、医疗、社交媒体和智能交通等领域的应用情况。
同时，本文讨论了大数据分析的关键技术和工具，以及大数据在决策支持、市场预测和风险管理等方面的应用案例。
最后，本文总结了当前大数据领域所面临的挑战，并展望了大数据的未来发展方向。
大数据时代文献综述在当今信息爆炸的时代，大数据已经成为各行各业的热门话题。
大数据时代给我们带来了许多机遇和挑战，对于如何更好地利用大数据进行决策和创新，吸引了众多学者和研究者的关注。
本文将对大数据时代的相关文献进行综述，探讨大数据时代的发展趋势和应用前景。
一、大数据时代的定义和特点1.1 大数据的定义大数据是指规模巨大、种类繁多、处理速度快的数据集合，通常需要借助先进的技术和工具来进行存储、管理和分析。
1.2 大数据的特点大数据具有四个特点，即“四V”：Volume（规模）、Velocity（速度）、Variety（多样性）和Value（价值）。
1.3 大数据的来源大数据来自各种渠道，包括社交媒体、传感器、互联网搜索、挪移设备等，呈现出多样性和复杂性。
二、大数据时代的发展趋势2.1 数据驱动决策大数据时代强调数据驱动的决策，通过分析大数据来获取洞察和预测，匡助企业和组织做出更明智的决策。
2.2 人工智能与大数据融合人工智能技术的发展与大数据的应用相互促进，通过人工智能技术来挖掘和分析大数据，实现更高效的数据处理和应用。
2.3 数据安全和隐私保护随着大数据的应用范围不断扩大，数据安全和隐私保护问题日益凸显，如何确保数据的安全性和隐私性成为大数据时代的重要课题。
三、大数据时代的应用领域3.1 金融行业金融机构利用大数据技术进行风险管理、市场分析和客户画像等，提高业务效率和风险控制能力。
3.2 医疗健康医疗健康领域通过大数据分析来实现个性化诊疗、疾病预测和药物研发，提升医疗服务水平和效率。
3.3 零售行业零售企业通过大数据分析来了解消费者需求、优化供应链、提升销售效率，实现精准营销和客户关系管理。
四、大数据时代的挑战与解决方案4.1 数据质量与一致性大数据时代面临着数据质量和一致性的挑战，需要建立数据管理和质量控制机制来确保数据的准确性和可靠性。
4.2 技术人材短缺大数据技术的快速发展导致技术人材短缺，需要加强教育培训和技术创新，培养更多的大数据专业人材。
大数据时代文献综述引言：随着信息技术的飞速发展，大数据已经成为当今社会的热门话题。
大数据时代的到来给各个领域带来了巨大的机遇和挑战。
本文将对大数据时代的相关文献进行综述，探讨大数据的定义、特点、应用领域以及对社会和经济的影响。
一、大数据的定义和特点1.1 定义：大数据是指规模庞大、类型繁多且难以处理的数据集合。
它具有三个特点：数据量大、数据类型多样、数据处理难度高。
1.2 特点：大数据的特点主要体现在以下几个方面：（1）数据量大：大数据的数据量通常以TB、PB、EB甚至更大的规模来衡量。
（2）数据类型多样：大数据包含结构化数据（如数据库中的表格数据）、半结构化数据（如XML文档、日志文件）和非结构化数据（如文本、图象、音频、视频等）。
（3）数据处理难度高：由于大数据的规模庞大且类型繁多，传统的数据处理方法已经无法胜任，因此需要借助新的技术和算法来处理大数据。
二、大数据的应用领域2.1 金融行业：大数据在金融行业的应用非常广泛。
通过对大量的金融数据进行分析，可以匡助银行和金融机构更好地了解客户需求、预测市场趋势、进行风险评估和欺诈检测等。
2.2 医疗健康：大数据在医疗健康领域的应用可以匡助提高医疗服务质量和效率。
通过分析大量的医疗数据，可以实现个性化医疗、疾病预测和药物研发等。
2.3 零售业：大数据在零售业的应用可以匡助企业更好地了解消费者需求、优化供应链管理、提高销售额和客户满意度等。
2.4 交通运输：大数据在交通运输领域的应用可以匡助提高交通运输效率和安全性。
通过分析大量的交通数据，可以实现交通拥堵预测、交通信号优化和智能导航等。
2.5 媒体传媒：大数据在媒体传媒领域的应用可以匡助媒体机构更好地了解受众需求、优化内容推荐和广告投放等。
三、大数据对社会和经济的影响3.1 社会影响：大数据的发展对社会产生了深远的影响。
它改变了人们的生活方式，提高了社会管理的效率，促进了社会的创新和发展。
3.2 经济影响：大数据的应用对经济产生了重要的影响。
《大数据系统综述》篇一一、引言随着互联网的迅猛发展，大数据已成为全球范围内的研究热点。
大数据系统作为一种集成海量数据处理、存储和管理的系统，正日益显现出其重要价值。
本文将对大数据系统的核心组成、技术应用以及未来发展趋势进行全面的综述，为相关领域的读者提供一个全面的参考和指引。
二、大数据系统的核心组成大数据系统通常包括数据收集、数据处理、数据存储、数据分析及数据展示等多个核心模块。
1. 数据收集：通过爬虫、API接口、数据库同步等方式，从各种来源获取结构化、半结构化及非结构化数据。
2. 数据处理：对收集到的数据进行清洗、转换、加工等操作，以供后续分析使用。
3. 数据存储：采用分布式文件系统或数据库管理系统，将数据进行高效存储和管理。
4. 数据分析：利用各种算法和工具，对数据进行深度挖掘和分析，以发现数据中的潜在价值。
5. 数据展示：将分析结果以图表、报告等形式进行展示，以便用户理解和决策。
三、大数据系统的技术应用1. 分布式处理技术：通过将计算任务分散到多个节点上，实现数据的并行处理和高效计算。
2. 存储技术：采用HDFS（Hadoop分布式文件系统）等分布式存储技术，实现对海量数据的存储和管理。
3. 数据库技术：利用关系型数据库和非关系型数据库，满足不同类型数据的存储需求。
4. 机器学习与人工智能：通过算法模型对数据进行深度挖掘和分析，发现数据中的规律和趋势，为决策提供支持。
5. 数据可视化技术：将分析结果以直观的图表形式展示，帮助用户更好地理解和分析数据。
四、大数据系统的应用领域大数据系统已广泛应用于各个领域，如金融、医疗、教育、政府等。
在金融领域，大数据系统可用于风险控制、客户画像、欺诈检测等方面；在医疗领域，大数据系统可用于疾病预测、患者管理、药物研发等方面；在教育领域，大数据系统可用于学生行为分析、课程优化等方面；在政府领域，大数据系统可用于城市管理、公共安全等方面。
五、未来发展趋势1. 技术融合与创新：大数据将与人工智能、物联网等新兴技术深度融合，形成更加强大的数据处理和分析能力。
大数据综述
大数据综述
1.引言
本章将介绍大数据的概念、发展背景以及其在不同领域的应用。
同时还将探讨大数据对企业和社会带来的影响。
2.大数据的定义和特点
本章将详细介绍大数据的定义以及其特点。
包括数据的量大、
速度快、多样性等特点。
3.大数据的收集与管理
本章将介绍大数据的收集和管理方法。
包括传统数据收集方式
以及新兴的数据获取技术。
4.大数据的存储与处理
本章将详细介绍大数据的存储与处理方法。
包括云计算、分布
式存储技术以及大数据处理框架等内容。
5.大数据的分析与挖掘
本章将探讨大数据分析与挖掘的方法和技术。
包括数据挖掘算法、机器学习方法以及可视化技术等内容。
6.大数据在企业中的应用
本章将详细介绍大数据在企业中的应用案例。
包括市场营销、客户关系管理、供应链管理等领域的应用。
7.大数据在社会中的应用
本章将探讨大数据在社会中的应用案例。
包括城市管理、交通规划、医疗健康等领域的应用。
8.大数据的风险与挑战
本章将详细介绍大数据的风险与挑战。
包括隐私保护、数据安全以及伦理道德等问题。
9.大数据的未来发展趋势
本章将展望大数据的未来发展趋势。
包括与大数据的结合、边缘计算等新兴技术对大数据的影响。
10.结论
本章将对全文进行总结，并给出对大数据发展的展望。
附件：
本文档涉及附件的列表，包括图表、数据集等。
法律名词及注释：
本文涉及的法律名词及其对应的注释列表，确保读者对相关法律概念的理解。
大数据文献综述随着信息技术的飞速发展，数据的产生和积累速度呈指数级增长，大数据已经成为当今社会各个领域关注的焦点。
大数据不仅改变了我们获取、处理和分析信息的方式，也为科学研究、商业决策、社会治理等带来了前所未有的机遇和挑战。
本文将对大数据相关的文献进行综合梳理和分析，旨在全面了解大数据的概念、特点、技术架构以及其在不同领域的应用和影响。
一、大数据的概念与特点大数据的概念最早由知名咨询公司麦肯锡提出，其定义为：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
海量的数据规模是大数据最显著的特点之一。
在当今数字化时代，数据的生成来源极为广泛，包括互联网、物联网、社交媒体、金融交易、医疗记录等。
这些数据的总量已经达到了 PB 级甚至 EB 级，远远超出了传统数据处理技术的处理能力。
快速的数据流转意味着数据的产生和更新速度非常快。
在一些实时应用场景中，如金融交易、物流监控等，数据需要在极短的时间内被处理和分析，以做出及时的决策。
多样的数据类型也是大数据的重要特点。
除了传统的结构化数据（如关系型数据库中的表格数据），大数据还包含大量的半结构化数据（如 XML、JSON 格式的数据）和非结构化数据（如文本、图像、音频、视频等）。
价值密度低则是指在海量的数据中，真正有价值的信息往往只占很小的比例。
因此，如何从海量的数据中挖掘出有价值的信息成为了大数据处理的关键挑战之一。
二、大数据的技术架构大数据的处理需要一套完整的技术架构来支持，包括数据采集、数据存储、数据处理和数据分析等环节。
数据采集是大数据处理的第一步，其目的是从各种数据源中获取数据。
常见的数据采集技术包括网络爬虫、传感器数据采集、系统日志采集等。
数据存储是大数据处理的重要环节，由于大数据的规模巨大，传统的关系型数据库已经无法满足需求。
因此，分布式文件系统（如 HDFS）和分布式数据库（如 HBase、Cassandra 等）成为了大数据存储的主流选择。
大数据时代文献综述引言：随着信息技术的快速发展，大数据已成为当今社会的热门话题。
大数据时代的到来给各个领域带来了巨大的机遇和挑战。
本文将对大数据时代的相关文献进行综述，探讨大数据的定义、特点、应用领域以及对社会经济发展的影响。
一、大数据的定义和特点1. 定义：大数据是指规模庞大、种类繁多、速度快、价值密度低的数据集合。
这些数据来自于各种来源，包括传感器、社交媒体、互联网等。
大数据具有高度的复杂性和多样性，需要利用先进的技术和工具进行处理和分析。
2. 特点：（1）规模庞大：大数据的规模通常以TB、PB甚至EB为单位，远远超过传统数据处理能力。
（2）种类繁多：大数据包含结构化数据、半结构化数据和非结构化数据，如文本、图像、音频等。
（3）速度快：大数据的产生速度非常快，需要实时或近实时地进行处理和分析。
（4）价值密度低：大数据中包含了大量的噪音和无用信息，需要通过数据挖掘和分析提取有价值的信息。
二、大数据的应用领域1. 商业和市场营销领域：大数据在商业和市场营销领域的应用非常广泛。
通过对大数据的分析，企业可以了解消费者的需求和行为，制定精准的营销策略，提高销售额和市场份额。
同时，大数据还可以帮助企业进行风险管理和预测，优化供应链和物流管理。
2. 医疗和健康领域：大数据在医疗和健康领域的应用有助于提高医疗服务的质量和效率。
通过对大数据的分析，医疗机构可以实现个性化医疗，提供更精确的诊断和治疗方案。
此外，大数据还可以用于疾病监测和预测，帮助公共卫生部门及时采取措施应对突发疫情。
3. 城市管理和智能交通领域：大数据在城市管理和智能交通领域的应用可以提升城市的安全性、便利性和可持续发展水平。
通过对大数据的分析，城市管理者可以实时监测交通状况、优化交通流量，减少拥堵和交通事故。
同时，大数据还可以用于城市规划和资源分配，提高城市的整体运行效率。
4. 金融和风险管理领域：大数据在金融和风险管理领域的应用可以提高金融机构的风险控制能力和决策效率。
大数据时代文献综述引言概述：随着信息技术的迅猛发展，大数据时代已经到来。
大数据作为一种新兴的技术和应用，对于各个领域的发展和决策都具有重要的作用。
本文将从五个大点出发，对大数据时代的相关文献进行综述，以期对大数据时代的发展和应用有更深入的了解。
正文内容：1. 大数据的定义和特点1.1 大数据的定义大数据是指规模巨大、复杂度高、处理速度快的数据集合，传统的数据处理工具无法有效处理。
大数据的特点主要包括数据量大、数据类型多样、数据处理速度快和数据价值高等。
1.2 大数据的应用领域大数据的应用领域非常广泛，包括金融、医疗、交通、能源、教育等各个领域。
例如，在金融领域，大数据可以用于风险管理、投资决策等方面；在医疗领域，大数据可以用于疾病预测、药物研发等方面。
2. 大数据的技术和方法2.1 大数据的采集和存储技术大数据的采集和存储技术包括传感器技术、云计算技术、分布式存储技术等。
这些技术可以有效地获取和存储大数据。
2.2 大数据的处理和分析方法大数据的处理和分析方法包括数据挖掘、机器学习、人工智能等。
这些方法可以匡助人们从大数据中提取有价值的信息和知识。
3. 大数据的挑战和问题3.1 数据隐私和安全问题在大数据时代，数据的隐私和安全问题越来越重要。
如何保护用户的隐私和数据的安全，是大数据面临的一个重要挑战。
3.2 数据质量问题由于大数据的规模庞大，数据质量问题成为一个关键的挑战。
如何保证数据的准确性和完整性，是大数据处理中需要解决的问题之一。
4. 大数据的发展趋势4.1 人工智能与大数据的融合人工智能和大数据是相互促进的关系。
随着人工智能的发展，大数据的应用将会更加广泛，同时大数据也可以为人工智能提供更多的数据支持。
4.2 边缘计算与大数据的结合边缘计算是一种新兴的计算模式，可以将计算资源更加挨近数据源，提高数据处理的效率。
将边缘计算与大数据相结合，可以进一步提升大数据的处理能力。
5. 大数据的影响和意义5.1 对决策的影响大数据可以为决策提供更多的数据支持和参考，匡助决策者做出更准确、更科学的决策。
大数据时代文献综述引言概述：随着信息技术的快速发展，大数据时代已经到来。
大数据不仅仅是指数据的规模庞大，更重要的是数据的多样性、速度和价值。
在这个时代，大数据的应用已经渗透到各个领域，对于各行各业都具有重要意义。
本文将从五个大点来阐述大数据时代的相关文献综述。
正文内容：1. 大数据的概念和特点1.1 数据规模的增长：随着互联网的普及和各种传感器的广泛应用，数据规模呈指数级增长。
1.2 数据多样性的挑战：大数据不仅包括结构化数据，还包括非结构化数据如文本、图像、音频等，对数据处理和分析提出了新的挑战。
1.3 数据速度的要求：在大数据时代，数据的产生和传输速度非常快，对实时性要求很高。
2. 大数据的应用领域2.1 金融领域：大数据在金融领域的应用主要包括风险管理、欺诈检测、智能投资等方面。
2.2 医疗保健领域：大数据在医疗保健领域的应用主要包括疾病预测、个性化治疗、医疗资源优化等方面。
2.3 零售领域：大数据在零售领域的应用主要包括市场营销、供应链管理、智能化决策等方面。
2.4 交通领域：大数据在交通领域的应用主要包括交通流量优化、智能交通管理、智能导航等方面。
2.5 教育领域：大数据在教育领域的应用主要包括个性化教学、学生评估、教育资源优化等方面。
3. 大数据技术和工具3.1 分布式存储和计算：大数据处理需要分布式存储和计算技术，如Hadoop、Spark等。
3.2 数据挖掘和机器学习：大数据的挖掘和分析需要借助数据挖掘和机器学习算法，如关联规则挖掘、聚类分析、分类预测等。
3.3 可视化和交互工具：大数据的可视化和交互工具可以帮助用户更好地理解和利用数据，如Tableau、PowerBI等。
4. 大数据时代的挑战和机遇4.1 数据隐私和安全：大数据时代面临着数据隐私和安全的挑战，如数据泄露、隐私保护等问题。
4.2 数据质量和可信度：大数据时代的数据质量和可信度问题是一个亟待解决的难题。
4.3 数据分析人才的需求：大数据时代需要具备数据分析能力的人才，对人才培养提出了新的要求。
大数据综述大数据作为互联网、物联网、移动计算、云计算之后IT产业又一次颠覆性的技术变革，正在重新定义社会管理与国家战略决策、企业管理决策、组织业务流程、个人决策的过程和方式。
随着科技和社会的发展进步加上计算机和网络技术的兴起，社交网络、物联网、云计算以及多种传感器的广泛应用，使数量庞大，种类众多，时效性强为特征的数据的不断涌现，引发了数据规模的爆炸式增长[1]。
国际数据公司（International Data Corporation，IDC）研究报告称：2011年全球被创建和被复制的数据总量超过1. 8ZB，且增长趋势遵循新摩尔定律（全球数据量大约每两年翻一番），预计2020 年将达到35ZB。
与此同时，数据复杂性也急剧增长，其多样性（多源、异构、多模态、不连贯语法或语义等) 、低价值密度（大量不相关信息、知识“提纯”难度高）、实时性（数据需实时生成、存储、处理和分析）等复杂特征日益显著。
预示着全球已然进入了“大数据”时代[2]。
1.大数据国外研究现状大数据相关理论的研究“大数据”这一术语从2008年开始在科技领域中出现，随之引起学术界的广泛研究兴趣。
《Nature》与《Science》杂志分别出版专刊，从互联网技术、互联网经济学、超级计算、环境科学、生物医药等多个方面讨论大数据处理和应用专题。
世界各国政府也高度重视大数据领域的研究和探索，并从国家战略的层面推出研究规划以应对其带来的挑战。
虽然大数据研究已在全球范围内成为热点和焦点，但目前国内外大数据相关的研究仍然处于起步阶段，面向管理和决策的大数据研究与应用逐步兴起，研究理念、思路、方法和学术路线等方面的探索已经开始全面展开[3]。
大数据蕴含着巨大的价值，对社会、经济、科学研究等各个方面都具有重要的战略意义。
目前，大数据已经在政府公共管理、医疗服务、零售业、制造业，以及涉及个人的位置服务等领域得到了广泛应用，并产生了巨大的社会价值和产业空间。
麦肯锡公司在一份研究报告中，根据西方产业数据预测，大数据的应用将能为欧洲发达国家的政府节省1000亿欧元以上的运作成本，使美国医疗保健行业的成本降低8%，约每年3000多亿美元，并使得零售商的营业利润率提高60%以上[4]。
市场调研机构IDC的“数字宇宙”研究报告中则预测，大数据技术与服务市场在2015年将达到169亿美元，实现40%的年增长率，为IT与通信产业增长率的7倍[5]。
大数据中蕴含的巨大商业价值、科学研究价值、社会管理与公共服务价值以及支撑科学决策的价值正在被认知与开发利用。
大数据关键技术进行的研究批量数据处理技术数据中蕴含的宝贵价值成为人们存储和处理大数据的驱动力。
Mayer-Schonberger在《大数据时代》一书中指出了大数据时代处理数据理念的三大转变，即要全体不要抽样，要效率不要绝对精确，要相关不要因果[6]。
因此，大数据的处理对于当前存在的技术来说是一种极大的挑战。
目前，人们对大数据的处理形式主要是对静态数据的批量处理、对在线数据的实时处理，以及对图数据的综合处理[7]。
批量大数据来源：在互联网领域中,批量大数据来源主要包括:（a）社交网络:Facebook、新浪微博、微信等以人为核心的社交网络产生了大量的文本、图片、音视频等不同形式的数据。
对这些数据的批量处理可以对社交网络进行分析,发现人与人之间隐含的关系或者他们中存在的社区,推荐朋友或者相关的主题,提升用户的体验。
（b）电子商务:电子商务中产生大量的购买历史记录、商品评论、商品网页的访问次数和驻留时间等数据,通过批量分析这些数据,每个商铺可以精准地选择其热卖商品,从而提升商品销量；这些数据还能够分析出用户的消费行为,为客户推荐相关商品,以提升优质客户数量。
（c）搜索引擎:Google、百度搜索等大型互联网搜索引擎将会产生大量的数据信息[8]。
主要批量数据处理系统：由Google公司2003年研发的Google文件系统GFS 和2004年研发的MapReduce编程模型以其Web环境下批量处理大规模海量数据的特有魅力,在学术界和工业界引起了很大反响。
凭借其适合非结构处理、大规模并行处理和简单易用等优势，在互联网搜索和其他大数据分析技术领域取得重大进展，成为主流技术[9]。
流式数据处理技术通俗而言,流式数据是一个无穷的数据序列,序列中的每一个元素来源各异,格式复杂,序列往往包含时序特性,或者有其他的有序标签。
数据流中的数据格式可以是结构化的、半结构化的甚至是无结构化的。
因此流式数据的处理系统要有很好的容错性与异构数据分析能力,能够完成数据的动态清洗、格式处理等.并且,流式数据是活动的(用完即弃),随着时间的推移不断增长,这与传统的数据处理模型(存储→查询)不同,要求系统能够根据局部数据进行计算,保存数据流的动态属性。
流式计算的应用场景:流式计算的应用场景较多,典型的有两类:(a) 数据采集应用：数据采集应用通过主动获取海量的实时数据,及时地挖掘出有价值的信息。
当前数据采集应用有日志采集、传感器采集、Web数据采集等。
日志采集系统是针对各类平台不断产生的大量日志信息量身订做的处理系统,通过流式挖掘日志信息,达到动态提醒与预警功能。
传感器采集系统(物联网)通过采集传感器的信息(通常包含时间、位置、环境和行为等内容),实时分析提供动态的信息展示,目前主要应用于智能交通、环境监控、灾难预警等。
Web 数据采集系统是利用网络爬虫程序抓取万维网上的内容,通过清洗、归类、分析并挖掘其数据价值。
(b) 金融银行业的应用:在金融银行领域的日常运营过程中会产生大量数据,这些数据的时效性往往较短，不仅有结构化数据,也会有半结构化和非结构化数据.通过对这些大数据的流式计算,发现隐含于其中的内在特征,可帮助金融银行进行实时决策。
这与传统的商业智能(BI)分析不同,BI 要求数据是静态的,通过数据挖掘技术,获得数据的价值.然而在瞬息万变的场景下,诸如股票期货市场,数据挖掘技术不能及时地响应需求,就需要借助流式数据处理的帮助。
流式数据处理系统：流式数据处理已经在业界得到广泛的应用，典型的有Twitter 的Storm，Facebook 的Scribe，Linkedin 的Samza，Cloudera 的Flume，Apache 的Nutch。
交互式数据处理技术在大数据环境下,数据量的急剧膨胀是交互式数据处理系统面临的首要问题。
互联网领域。
在互联网领域中,主要体现了人际间的交互.随着互联网技术的发展,传统的简单按需响应的人机互动已不能满足用户的需求,用户之间也需要交互,这种需求诞生了互联网中交互式数据处理的各种平台,如搜索引擎、电子邮件、即时通讯工具、社交网络、微博、博客以及电子商务等,用户可以在这些平台上获取或分享各种信息。
此外,各种交互式问答平台,如百度的知道、新浪的爱问以及Yahoo！的知识堂等。
由此可见,用户与平台之间的交互变得越来越容易,越来越频繁。
这些平台中数据类型的多样性,使得传统的关系数据库不能满足交互式数据处理的实时性需求。
目前,各大平台主要使用NoSQL类型的数据库系统来处理交互式的数据,如HBase[10]采用多维有续表的列式存储方式；MongoDB[11]采用JSON格式的数据嵌套存储方式。
大多NoSQL 数据库不提供Join 等关系数据库的操作模式，以增加数据操作的实时性。
交互式数据处理系统：交互式数据处理系统的典型代表系统是Berkeley的Spark系统和Google 的Dremel系统。
图数据处理技术图由于自身的结构特征,可以很好地表示事物之间的关系,在近几年已成为各学科研究的热点。
图中点和边的强关联性,需要图数据处理系统对图数据进行一系列的操作,包括图数据的存储、图查询、最短路径查询、关键字查询、图模式挖掘以及图数据的分类、聚类等.随着图中节点和边数的增多(达到几千万甚至上亿数),图数据处理的复杂性给图数据处理系统提出了严峻的挑战。
图能很好地表示各实体之间的关系,因此,在各个领域得到了广泛的应用,如计算机领域、自然科学领域以及交通领域。
当今世界上比较流行的 3 个典型的图数据处理系统,包括Google的Pregel 系统,Neo4j系统和微软的Trinity 系统。
大数据与云计算相结合的研究大数据分析是大数据研究领域的核心内容之一。
然而云计算技术对大数据的分析具有得天独厚的优势。
Google 首席经济学家Hal Varian 教授指出：“数据正在变得无处不在、触手可及；而数据创造的真正价值，在于我们能否提供进一步的稀缺的附加服务。
这种增值服务就是数据分析[。
”数据的背后隐藏着信息，而信息之中蕴含着知识和智慧。
大数据作为具有潜在价值的原始数据资产，只有通过深入分析才能挖掘出所需的信息、知识以及智慧.未来人们的决策将日益依赖于大数据分析的结果，而非单纯的经验和直觉。
早在2009年, 联合国就启动了“全球脉动计划”, 拟通过云计算技术对大数据进行分析进而推动落后地区的发展, 2011 年 5 月，全球知名咨询公司麦肯锡( Mckinsey and Company)发布了《大数据: 创新、竞争和生产力的下一个前沿领域》[12]报告，报告指出“数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素[13]而2012 年1 月的世界经济论坛年会也把“云计算与大数据”作为重要议题之一。
2012年3月, 美国政府提出“大数据研究和发展倡议”, 发起全球开放政府数据运动, 把大数据的分析放在重要的战略位置. 英国政府也将大数据分析技术作为重点发展的科技领域, 在发展8 类高新技术的6 亿英镑投资中, 大数据的注资占三成。
2014 年7月, 欧盟委员会也呼吁各成员国积极发展大数据技术,并将采取具体措施发展大数据业务. 例如建立大数据领域的公私合作关系；依托“地平线2020”科研规划, 创建开放式数据孵化器；成立多个超级云计算中心；在成员国创建数据处理设施网络[14]。
评述：国外在对大数据的行研究，主要集中在对大数据格式的转化、数据转移和大数据及时处理的问题上，但是由于大数据具有异构性和异质性的特点，所以学者需要设法提高大数据格式转化的效率和大数据的处理速率，目前国外学者主要从批量数据、流式数据、交互式数据和图数据处理技术进行研究，目的在于加速大数据的处理和计算能力从而有效的提高大数据的应用价值。
2.大数据国内研究现状日前，IDC的首份关于大数据的报告《中国大数据技术与服务市场2012-2016年预测与分析》发布，该报告显示大数据市场规模将从2011年的7760万美元增长到2016年的亿美元，未来5年的复合增长率达%，市场规模增长近7倍。
该报告指出中国已进入大数据时代。
IDC中国负责商业分析软件市场研究的经理潘永花指出：“从全球看，大型的IT公司普遍增加了对大数据相关技术和产品的投资，同时也出现了不少新的关注大数据的小型公司。
