下载文档原格式
大数据处理技术研究随着互联网、移动互联网、物联网等IT技术的蓬勃发展，全球范围内的数据产生速度呈现出指数级的增长。
这意味着大数据时代已经来临，数据处理成为了各个领域的需求。
如何高效准确地处理大数据，成为了一个炙手可热的话题，各个领域都在积极地探索大数据处理技术。
本文将探讨大数据处理技术的研究进展。
一、大数据处理技术的定义与特点大数据，是指规模超过1PB的数据集，或者是无法在限定时间内对数据进行处理的数据集。
大数据处理，则是指对这些数据进行清洗、存储、分析、挖掘等操作的过程。
大数据的高维度、高速率、高容量和分散性，是传统数据处理手段难以胜任的挑战。
解决大数据处理的难题，需要新的数据处理技术，包括分布式计算、云计算、机器学习等等。
二、大数据处理技术的研究进展目前，大数据处理技术的研究领域主要涉及并行计算、内存计算、图形处理器计算、分布式存储、数据挖掘、机器学习等多个方面。
1、并行计算并行计算是指多个处理器同时开展不同的计算任务，以达到加速计算的目的。
在大数据处理领域，通过并行计算可以将大数据分成多个小数据块，分配到多个处理器中计算，提高数据处理效率。
近年来，大规模并行计算平台，如Apache Hadoop和Apache Spark等，成为了处理大数据集的流行工具。
2、内存计算传统的数据处理方式是将处理数据从磁盘读取到内存，然后做相应的处理操作。
但随着数据规模的增大，传统的磁盘存储已经不能满足处理要求，内存计算成为一种更为高效的处理方式。
内存计算是指将大量数据存入内存中，通过高速缓存实现快速数据访问和处理。
内存计算可大幅提高数据处理效率，而且适用于海量数据的处理。
3、图形处理器计算大数据处理也需要进行复杂的图形计算。
传统的计算机CPU无法达到图形处理要求，计算机显卡的图形处理器GPU成为了一个有力的补充。
GPU可以满足大规模、高维度的数据的处理需求，同时具有高速度和低成本的优势。
因此，GPU计算成为了许多大数据处理平台的重要组成部分。
大数据处理技术的研究与实现随着互联网和计算科学的迅猛发展，数据已经成为了我们生活中的一部分。
在日常生活中，我们会产生大量的数据，而这些数据能够给我们提供很多有用的信息和知识，有许多重要的应用程序依赖于对数据进行分析、提取和处理。
这就形成了对大数据处理技术研究与实现的需求。
一、大数据处理技术的定义与特点大数据处理技术是指在大数据环境下实现数据分析、提取和处理的技术。
其中，大数据是指海量的、复杂的、高维的数据，其数据量已经超出了传统数据库的处理能力，需要采用新的技术来处理。
大数据处理技术的特点包括：高并发、高可用、高性能、高安全、高可靠、高可扩展、跨平台等。
同时，它还要满足数据保存、数据管理、数据共享等需求，更进一步还要满足数据时效性、数据准确性和数据完整性这些质量方面的要求。
二、大数据处理技术的研究方向大数据处理技术的研究方向通常包括以下几个方面：1. 数据采集和清洗：大数据范围之广，让数据采集变的异常困难，而又需要保证数据的准确性和完整性。
因此，数据采集和清洗就成了大数据处理技术研究的重要方向。
2. 数据存储和管理：大数据处理技术需要将处理前的数据保存下来以便处理，这就需要有一个高效安全的储存系统以保证数据的稳定性和可扩展性。
同时，还要解决机器故障导致的丢失问题。
3. 数据编码和压缩：由于大数据的数据量庞大，所以需要使用一些高效的数据编码和压缩技术来降低数据的存储需求。
数据编码和压缩通常与数据传输和通信有关。
4. 数据分析和挖掘：数据分析和挖掘是大数据处理技术的核心内容，能够让我们更加深入的了解数据所包含的信息和知识。
这个方向包括数据预处理、数据清理、机器学习等。
三、大数据处理技术的实现要实现大数据处理技术，通常需要有一个全面的数据处理平台，并且这个平台需要满足大数据所具有的一些技术特点。
目前市面上已经有很多数据处理平台，其中 Apache Hadoop 和 Spark 就是比较有代表性的两个平台。
大数据的处理技术大数据处理技术在当今信息时代发挥着重要作用，随着互联网的发展和数字化信息的爆炸增长，数据量呈指数级增长，大数据处理成为了数字化信息时代的核心问题之一。
通过大数据处理技术，可以实现对海量数据进行存储、管理、分析、挖掘和应用，从而发挥出数据的最大价值，为企业决策和创新提供有力支持。
本文将从大数据的定义、特点、处理技术的分类和应用实例等几个方面对大数据处理技术进行深入探讨。
一、大数据的定义和特点1.定义大数据是指由传感器、交易记录、通讯记录、图像、音频、视频等数据形成的庞大的数据集合。
这些数据通常具有体积大、多样化、时效性强、价值密度低等特点，需要借助先进的技术和工具对其进行处理和分析。
2.特点（1）大体积：大数据的数据量巨大，通常需要运用分布式存储和计算技术进行处理。
（2）多样化：大数据来源多样，包括结构化数据、半结构化数据和非结构化数据，这就要求处理技术具备多样性。
（3）时效性：大数据处理需要实时性，能够及时地进行数据分析和挖掘，为企业提供实时的决策支持。
（4）价值密度低：大量的数据中蕴藏着有价值的信息，但这部分信息占比较低，所以需要通过数据挖掘技术来发现其中的有用信息。
二、大数据处理技术的分类1.大数据存储技术大数据存储技术是大数据处理技术的基础，主要包括分布式文件系统、分布式数据库、NoSQL数据库等。
分布式文件系统是指将数据存储在多台计算机上，通过网络连接形成一个逻辑上的单一文件系统，如Hadoop的HDFS。
分布式数据库是指将数据库分布在多台服务器上，通过分布式算法来管理和访问数据库，如Google的Bigtable、Facebook的Cassandra。
NoSQL数据库是指非关系型数据库，主要包括键值数据库、列族数据库、文档数据库和图数据库等，如MongoDB、Redis、Couchbase等。
2.大数据处理技术大数据处理技术主要包括分布式计算技术、并行计算技术、图计算技术、流式计算技术等。
第1章绪论随着计算机技术、通信网、互联网的迅速发展和日益普及，Internet上的信息量快速增长。
从海量的信息块中快速检索出用户真正需要的信息正变得很困难，信息搜索应向着具有分布式处理能力方向发展，本系统利用hadoop分布式开源框架良好的扩充能力、较低的运作成本、较高的效率和稳定性来满足需求。
现状:缺陷和不足：(1)结果主题相关度不高。
(2）搜素速度慢。
引入hadoop+nutch+solr的优点：（1)hadoop平台数据处理高效。
hadoop集群处理数据比起单机节省数倍的时间,数据量越大优势越明显，满足信息采集对数据处理的速度和质量要求。
（2）hadoop平台具有高扩展性.可以适当扩展集群数量来满足日益不断增加的数据量，而这并不会毁坏原集群的特性。
（3）安全可靠性高。
集群的数据冗余机制使得hadoop能从单点失效中恢复，即Hadoop能自动进行数据的多次备份,以确保数据不丢失，即使当某个服务器发生故障时,它也能重新部署计算任务。
(4） Nutch不仅提供抓取网页的功能,还提供了解析网页、建立链接数据库、对网页进行评分、建立solr索引等丰富的功能。
（5）通过Nutch插件机制实现了系统的可扩展性、灵活性和可维护性，提高了开发效率。
能够根据用户需求进行灵活定制抓取和解析，提高了系统使用性。
（6）通过solr集群，采用分布式索引在不同的机器上并行执行,实现检索服务器之间的信息交换.可以通过设定主题进行索引检索。
研究目标和内容本文的研究目标是全面深入分析研究分布式搜索引擎，进而优化分布式搜索引擎中的索引构建策略，内容包括：(1)深入研究hadoop分布式平台，仔细剖析hadoop中的分布式文件系统HDFS和map/Reduce编程模型。
（2）深入研究Nutch架构、相关技术与体系结构，着重研究分析Nutch插件系统的内部结构和流程；对protocol-httpclient插件进行开发支持表单登录;对 url过滤、信息解析插件进行开发，提高搜索的主题相关度；（实现用mapreduce的google的排序算法，改进系统搜索的关联度）。
大数据处理技术研究企业信息化部2012年10月12引言Watson使用的是IBM Power 750服务器集群，整个系统由90台服务器构成，总共2880个CPU核，15TB内存Watson的领域知识库包括百科全书、字典、地理类、娱乐类的专题数据库、新闻报道、经典著作等比赛的问题都是自然语言表述的，Watson问答系统中用到的技术主要包括搜索、自然语言处理、机器学习等等在相关技术的帮助下，Watson能够回答那些以人类说话方式提出的不可预测的问题，它以分析形式评估证据，假设应答结果，并计算每种可能性的可信度，它在数秒内提供一个最有可能正确的答案2011年，在美国举行的益智大赛“Jeopardy!”（危险边缘）上演人机对决，超级计算机“WATSON”技高一筹，战胜了该节目的两名“常胜将军”，笑纳100万美元奖金3近几年来，随着移动通信终端、互联网、电子商务、社交网络等领域技术的迅猛发展，数据量出现持续高速增长，出现了从未有过的大规模数据爆炸.2013年新浪微博每日内容更新量超过1亿，注册用户超过3亿；全球最大的视频网站YouTube日访问量已经超过10亿次；Facebook一天新增评论32亿条，分享3亿张照片，淘宝网站每天交易量和访问量更是千万级别根据IDC的一份名为“数字宇宙”的报告，未来10年里，数据和内容将持续高速增长，预计到2020年全球数据使用量将会达到35.2ZB，而且80%的数据是非结构化的注：1ZB=1024EB 1EB=1024PB1PB=1024TB 1TB=1024GB1GB=1024MB每位美国人每分钟写3条微博，而且还是不停地写2.69万年几百亿个满载的16GB iPAD1.8ZB 数据=？福克斯电视台热门电视连续剧《24小时》连续播放1亿多年几百万个美国国会图书馆藏书信息量（藏书1亿+册，250TB+）42011年5月，EMC World 2011大会主题，EMC抛出了“大数据”（BigData）概念 2011年6月底，IBM、麦肯锡等众多国外机构发布“大数据”相关研究报告，予以积极跟进 2011年10月，Gartner认为2012年十大战略技术将包括“大数据” 2011年11月底，IDC将“大数据”放入2012年信息通信产业十大预测之一 2011年11月底，由CSDN举办的中国大数据技术大会在北京成功举行2011年12月，中国券商大量推出“大数据”主题研究报告，大数据在中国证券市场正成燎原之势2012年1月，瑞士达沃斯论坛上，一份题为《大数据，大影响》(Big Data, Big Impact)的报告宣称，数据已经成为一种新的经济资产类别，就像货币或黄金一样2012年3月，奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”，把“大数据”上升到了国家战略的层面5IT 厂商动态各大IT厂商纷纷针对大数据进行布局，推出各自的解决方案和产品ORACLE-2010年12月，第二版Oracle Exadata数据库机更名为“Oracle Exadata数据库云服务器”-2011年10月，宣布推出Oracle Exalytics商务智能云服务器（Oracle Exalytics Business Intelligence Machine）-2012年1月，发布Oracle大数据机（Big Data Appliance），包含Oracle NoSQL数据库、Cloudera的分布式Hadoop及开源R编程语言IBM-2011年5月，发布专门针对大数据分析的平台产品InfoSphere Biginsights 和InfoSphere Streams-2012年2月，推出一体机分析工具IBM Netezza Customer Intelligence Appliance，该工具可以进行快速复杂的实时分析-2012年4月，收购分布式计算环境集群和网格管理软件公司Platform ComputingEMC-2010年7月，宣布收购分布式数据仓储技术提供商Greenplum公司-2011年12月，推出支持大数据分析的平台EMC Greenplum统一分析平台（UAP），包括EMC Greenplum关系数据库、EMC Greenplum HD Hadoop发行版和EMC Greenplum ChorusTERADATA -2011年3月，宣布收购非结构化数据处理工具软件厂商Aster Data System公司HP-2011年2月，宣布收购数据管理和数据分析公司Vertica -2011年11月，推出基于X86硬件的HP Vertica6大数据的概念“大数据”这一术语的内涵远远超越了“大”或是“数据”的含义。
大数据处理的数据分析技术研究随着信息化、互联网以及移动互联网的飞速发展，全世界不仅产生了大量数据，而且数据以每天10T-100T的速度增长，这样的数据规模已经超出了人工处理的范畴，越来越多的企业和机构开始采用大数据处理技术。
这就给数据分析提供了很好的机会，毕竟这个时代海量数据对利益的影响越来越大，数据分析技术也越来越重要。
本文将深入探讨大数据处理的数据分析技术研究。
一、大数据处理的基础技术随着大数据的出现和应用，越来越多的企业、机构和组织开始使用大数据处理技术。
基本的大数据处理技术包括：1. 数据的采集，包括结构化数据的爬虫、非结构化数据的爬虫和机器数据的读取；2. 数据的存储，包括Hadoop技术、NoSQL技术和云计算技术；3. 数据的预处理，包括数据清洗、数据重构、数据过滤、数据转化等；4. 数据的分析，包括数据挖掘、人工智能、机器学习、数据可视化等。
二、数据分析的应用数据分析具有很广泛的应用领域，基本可以分为以下几个方面：1.互联网搜索引擎：通过大数据分析、刻画和搜索引擎技术，对互联网上的信息进行筛选、分类、搜索和展示，大大提高了信息的质量、可靠性和有效性。
2.电商强化：通过数据分析，推出精准的商品、广告等，提高电商的流量、转化率和购买力，增加电商的收入和利润。
3.广告营销：通过数据分析技术，实现精准的广告定位和投放，提高广告效果、减少浪费和增加营销的收益。
4.社交媒体：通过数据挖掘和分析技术，实现用户画像和兴趣关键字的提炼，做到精准的匹配，提高用户体验和平台粘性。
5.金融风险管理：通过数据挖掘和分析技术，提高金融风险的管理和控制，降低贷款违约风险，及时发现和预警影响金融稳定的潜在风险。
三、大数据处理技术的实践案例1.百度的前沿研究平台——百度大数据平台百度是中国最大的搜索引擎之一，也是国际知名公司之一。
为了更好的服务于用户和营销商，百度建立了一套全面的大数据平台和一系列算法，包括全网广告数据，搜索日志，社交媒体和电商数据等。
计算机科学中的大数据处理技术研究一、引言近年来，随着互联网的迅猛发展，大数据已经成为各行各业的关键词。
大数据处理技术更是在计算机科学领域中引起了广泛的研究关注。
本文将对计算机科学中的大数据处理技术进行深入探讨，从数据采集与存储、数据预处理、数据分析与挖掘、数据可视化等几个方面展开。
二、数据采集与存储在大数据处理过程中，数据的采集和存储是十分重要的环节。
数据采集主要包括传感器数据采集、日志数据采集、网络数据采集等。
为了保证数据的高效采集，研究者们提出了许多方法，如分布式数据采集、流式数据采集等。
数据存储是指将采集到的海量数据进行储存，以供后续的处理分析。
传统的数据存储方式已经无法满足大数据存储需求，因此出现了诸如分布式文件系统、云存储等新型存储技术。
三、数据预处理大数据预处理是指对采集到的原始数据进行清洗、过滤、去噪等操作，以去除噪声、缺失值和异常值等不符合要求的数据，为后续的数据分析与挖掘提供高质量的数据集。
数据预处理的常用方法有数据清洗、数据集成、数据变换和数据规约等。
数据清洗主要是消除数据中的噪声和冗余信息，数据集成是将多个数据源的数据进行合并整合，数据变换是将数据进行规范化和离散化处理，数据规约是通过采样或聚合等方法减小数据集的规模。
四、数据分析与挖掘数据分析与挖掘是大数据处理的核心环节，主要包括数据建模、模式发现和数据分类等。
数据建模是指将数据转化为适合分析挖掘的形式，常用的建模方法有关联分析、分类与回归分析等。
模式发现是从数据中发现隐藏的规律、特征和趋势，主要的方法有聚类分析、异常检测和时间序列分析等。
数据分类是通过训练模型将数据进行分类或预测，常用的分类方法有决策树、支持向量机和神经网络等。
五、数据可视化数据可视化是将大数据处理结果以可视化的方式展示出来，方便用户观察和理解。
常用的数据可视化方式包括图表、地图、可视化工具等。
数据可视化可以更加直观地呈现数据的分布、趋势和异常等信息，便于用户进行数据分析和决策。
大数据处理技术与系统研究大数据处理技术与系统研究一、引言随着信息技术的迅猛发展，我们正处于大数据时代。
大数据的产生和应用给各行各业带来了前所未有的机遇与挑战。
如何高效地处理和分析海量的数据，成为了一个亟待解决的问题。
本文将探讨大数据处理技术与系统的研究现状、问题和未来发展方向。
二、大数据处理技术的研究现状1. 数据存储与管理技术大数据的存储和管理是大数据处理的基础。
传统的关系型数据库已经无法满足大数据存储和管理的需求，因此出现了一系列新的数据存储与管理技术，如分布式文件系统、NoSQL数据库等。
这些新技术通过分布式存储和处理，解决了传统数据库在大规模数据处理方面的瓶颈。
2. 数据清洗与预处理技术大数据的质量往往不尽如人意，存在着噪声、缺失值等问题。
数据清洗与预处理技术旨在提高数据质量，为后续分析提供可靠的数据基础。
常见的数据清洗与预处理技术包括去重、异常值检测与处理、缺失值填补等，这些技术使得数据更加准确和可靠。
3. 数据挖掘与机器学习技术大数据中蕴藏着大量的信息和价值，如何从中挖掘出有用的知识成为了一个热门的研究方向。
数据挖掘与机器学习技术通过自动化的方式，从大量数据中发现模式、规律和趋势，为决策提供科学依据。
常见的数据挖掘与机器学习技术包括聚类、分类、关联规则挖掘等，这些技术在推荐系统、欺诈检测、医疗诊断等领域得到了广泛应用。
三、大数据处理系统的研究现状1. 分布式计算平台大数据处理需要利用分布式计算平台来实现高效的数据处理和分析。
目前，常用的分布式计算平台包括Hadoop和Spark等。
这些平台通过将数据分割成多个小块，以并行化的方式进行计算，大大提高了数据处理的效率。
2. 实时数据处理系统随着大数据的快速增长，传统的批处理方式已经无法满足实时性要求。
因此，实时数据处理系统应运而生。
实时数据处理系统能够实时地接收、处理和分析数据，通过流式计算等技术，实现数据的快速处理和实时决策。
常见的实时数据处理系统包括Storm和Flink等。
大数据处理和分析技术研究第一章：绪论随着互联网及各行业信息化程度的不断提高，大数据处理和分析技术已经成为当下热门的关键词之一。
大数据处理可以帮助企业、政府等机构更好地利用现有数据进行决策和业务优化，同时还能发现潜在的商机。
本文将重点研究大数据处理和分析技术，分析其基本概念和发展现状，并探讨相关应用领域和技术优势。
第二章：大数据处理和分析技术概述大数据处理和分析技术是一种通过使用自动化和计算方法对大量数据进行分析和处理的技术。
这种技术通过应用各种算法和模型来提供商业和科学上的洞察力。
大数据处理和分析技术包括数据挖掘、机器学习、自然语言处理、语音识别、图像识别等领域。
这些技术可以协助人们分析大量数据，提高对数据的理解并作出更明智的决策。
第三章：大数据处理和分析技术的发展现状目前，大数据处理和分析技术在全球各行业已经得到广泛应用。
大量的数据挖掘和分析应用程序已经开发出来，可以发现具备商业可能性的新市场、产品、服务等，包括金融服务、医学、制造业、农业等等领域。
随着移动互联网的发展，大量的数据被快速产出和累积。
这些数据涵盖从社交媒体到物联网等各种应用。
因此，大数据处理和分析技术技术越来越被重视，尤其是对于互联网公司、数据驱动型企业以及金融和医疗领域的分析和决策。
第四章：大数据处理和分析技术的应用领域大数据处理和分析技术已经成为业内的热门话题，被广泛应用于各领域的数据挖掘、智能医疗、金融风险评估、营销决策等方面。
其中，智能医疗应用在健康保健和医疗过程中，采用运营数据和病历数据等数据源对医疗机构和保健机构进行分析，利用大数据处理和分析技术实现对患者诊断、药物协同、疾病风险预测的应用；金融领域的数据挖掘主要是通过收集交易历史、用户账户等数据，实现金融市场和金融用户数据的分析。
该技术被运用于信用评估、投资决策、市场分析等方面；营销决策的数据挖掘可以利用大数据处理技术进行客户行为分析、市场环境分析、产品管理、营销预测等工作。
大数据处理技术研究(DOC 24页)郑州轻工业学院课程设计说明书题目：大数据处理技术研究姓名：王超田启森院（系）：计算机与通信工程专业班级：计算机科学与技术学号：541007010138541007010137指导教师：钱慎一成绩：时间：2013年6月26 日至2013 年 6 月27日目录图一3. 大数据定义：“大数据”是一个涵盖多种技术的概念，简单地说，是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。
IBM将“大数据”理念定义为4个V，即大量化(Volume)、多样化(Variety)、快速化(Velocity)及由此产生的价值(Value)。
如图二;图二4. 大数据技术的发展：大数据技术描述了一种新一代技术和构架，用于以很经济的方式、以高速的捕获、发现和分析技术，从各种超大规模的数据中提取价值，而且未来急剧增长的数据迫切需要寻求新的处理技术手段。
如图三所示：图三在“大数据”(Big data)时代，通过互联网、社交网络、物联网，人们能够及时全面地获得大信息。
同时，信息自身存在形式的变化与演进，也使得作为信息载体的数据以远超人们想象的速度迅速膨胀。
云时代的到来使得数据创造的主体由企业逐渐转向个体，而个体所产生的绝大部分数据为图片、文档、视频等非结构化数据。
信息化技术的普及使得企业更多的办公流程通过网络得以实现，由此产生的数据也以非结构化数据为主。
预计到2012年，非结构化数据将达到互联网整个数据量的75%以上。
用于提取智慧的“大数据”，往往是这些非结构化数据。
传统的数据仓库系统、BI、链路挖掘等应用对数据处理的时间要求往往以小时或天为单位。
但“大数据”应用突出强调数据处理的实时性。
在线个性化推荐、股票交易处理、实时路况信息等数据处理时间要求在分钟甚至秒级。
全球技术研究和咨询公司Gartner将“大数据”技术列入2012年对众多公司和组织机构具有战略意义的十大技术与趋势之一，而其他领域的研究，如云计算、下一代分析、内存计算等也都与“大数据”的研究相辅相成。
Gartner在其新兴技术成熟度曲线中将“大数据”技术视为转型技术，这意味着“大数据”技术将在未来3—5年内进入主流。
而“大数据”的多样性决定了数据采集来源的复杂性，从智能传感器到社交网络数据，从声音图片到在线交易数据，可能性是无穷无尽的。
选择正确的数据来源并进行交叉分析可以为企业创造最显著的利益。
随着数据源的爆发式增长，数据的多样性成为“大数据”应用亟待解决的问题。
例如如何实时地及通过各种数据库管理系统来安全地访问数据，如何通过优化存储策略，评估当前的数据存储技术并改进、加强数据存储能力，最大限度地利用现有的存储投资。
从某种意义上说，数据将成为企业的核心资产。
“大数据”不仅是一场技术变革，更是一场商业模式变革。
在“大数据”概念提出之前，尽管互联网为传统企业提供了一个新的销售渠道，但总体来看，二者平行发展，鲜有交集。
我们可以看到，无论是Google通过分析用户个人信息，根据用户偏好提供精准广告，还是Facebook将用户的线下社会关系迁移在线上，构造一个半真实的实名帝国，但这些商业和消费模式仍不能脱离互联网，传统企业仍无法嫁接到互联网中。
同时，传统企业通过传统的用户分析工具却很难获得大范围用户的真实需求。
企业从大规模制造过渡到大规模定制，必须掌握用户的需求特点。
在互联网时代，这些需求特征往往是在用户不经意的行为中透露出来的。
通过对信息进行关联、参照、聚类、分类等方法分析，才能得到答案。
“大数据”在互联网与传统企业间建立一个交集。
它推动互联网企业融合进传统企业的供应链，并在传统企业种下互联网基因。
传统企业与互联网企业的结合，网民和消费者的融合，必将引发消费模式、制造模式、管理模式的巨大变革。
大数据正成为IT行业全新的制高点，各企业和组织纷纷助推大数据的发展，相关技术呈现百花齐放局面，并在互联网应用领域崭露头角，具体情况如下图四所示：图四大数据将带来巨大的技术和商业机遇，大数据分析挖掘和利用将为企业带来巨大的商业价值，而随着应用数据规模急剧增加，传统计算面临严重挑战，大规模数据处理和行业应用需求日益增加和迫切出现越来越多的大规模数据处理应用需求，传统系统难以提供足够的存储和计算资源进行处理，云计算技术是最理想的解决方案。
调查显示：目前，IT专业人员对云计算中诸多关键技术最为关心的是大规模数据并行处理技术大数据并行处理没有通用和现成的解决方案对于应用行业来说，云计算平台软件、虚拟化软件都不需要自己开发，但行业的大规模数据处理应用没有现成和通用的软件，需要针对特定的应用需求专门开发，涉及到诸多并行化算法、索引查询优化技术研究、以及系统的设计实现，这些都为大数据处理技术的发展提供了巨大的驱动力，5. 大数据技术组成：大数据技术由四种技术构成，它们包括：5.1 分析技术分析技术意味着对海量数据进行分析以实时得出答案，由于大数据的特殊性，大数据分析技术还处于发展阶段，老技术会日趋完善，新技术会更多出现。
大数据分析技术涵盖了以下的的五个方面5.1.1 可视化分析数据可视化无论对于普通用户或是数据分析专家，都是最基本的功能。
数据图像化可以让数据自己说话，让用户直观的感受到结果。
5.1.2 数据挖掘算法图像化是将机器语言翻译给人看，而数据挖掘就是机器的母语。
分割、集群、孤立点分析还有各种各样五花八门的算法让我们精炼数据，挖掘价值。
这些算法一定要能够应付大数据的量，同时还具有很高的处理速度。
5.1.3 预测分析能力数据挖掘可以让分析师对数据承载信息更快更好地消化理解，进而提升判断的准确性，而预测性分析可以让分析师根据图像化分析和数据挖掘的结果做出一些前瞻性判断。
5.1.4 语义引擎非结构化数据的多元化给数据分析带来新的挑战，我们需要一套工具系统的去分析，提炼数据。
语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。
5.1.5 数据质量和数据管理数据质量与管理是管理的最佳实践，透过标准化流程和机器对数据进行处理可以确保获得一个预设质量的分析结果。
我们知道大数据分析技术最初起源于互联网行业。
网页存档、用户点击、商品信息、用户关系等数据形成了持续增长的海量数据集。
这些大数据中蕴藏着大量可以用于增强用户体验、提高服务质量和开发新型应用的知识，而如何高效和准确的发现这些知识就基本决定了各大互联网公司在激烈竞争环境中的位置。
首先，以Google为首的技术型互联网公司提出了MapReduce的技术框架，利用廉价的PC服务器集群，大规模并发处理批量事务。
利用文件系统存放非结构化数据，加上完善的备份和容灾策略，这套经济实惠的大数据解决方案与之前昂贵的企业小型机集群+商业数据库方案相比，不仅没有丢失性能，而且还赢在了可扩展性上。
之前，我们在设计一个数据中心解决方案的前期，就要考虑到方案实施后的可扩展性。
通常的方法是预估今后一段时期内的业务量和数据量，加入多余的计算单元（CPU）和存储，以备不时只需。
这样的方式直接导致了前期一次性投资的巨大，并且即使这样也依然无法保证计算需求和存储超出设计量时的系统性能。
而一旦需要扩容，问题就会接踵而来。
首先是商业并行数据库通常需要各节点物理同构，也就是具有近似的计算和存储能力。
而随着硬件的更新，我们通常加入的新硬件都会强于已有的硬件。
这样，旧硬件就成为了系统的瓶颈。
为了保证系统性能，我们不得不把旧硬件逐步替换掉，经济成本损失巨大。
其次，即使是当前最强的商业并行数据库，其所能管理的数据节点也只是在几十或上百这个数量级，这主要是由于架构上的设计问题，所以其可扩展性必然有限。
而MapReduce+GFS框架，不受上述问题的困扰。
需要扩容了，只需增加个机柜，加入适当的计算单元和存储，集群系统会自动分配和调度这些资源，丝毫不影响现有系统的运行5.2 存储数据库存储数据库(In-Memory Databases)让信息快速流通，大数据分析经常会用到存储数据库来快速处理大量记录的数据流通。
比方说，它可以对某个全国性的连锁店某天的销售记录进行分析，得出某些特征进而根据某种规则及时为消费者提供奖励回馈。
但传统的关系型数据库严格的设计定式、为保证强一致性而放弃性能、可扩展性差等问题在大数据分析中被逐渐暴露。
随之而来，NoSQL数据存储模型开始风行。
NoSQL，也有人理解为Not Only SQL，并不是一种特定的数据存储模型，它是一类非关系型数据库的统称。
其特点是：没有固定的数据表模式、可以分布式和水平扩展。
NoSQL并不是单纯的反对关系型数据库，而是针对其缺点的一种补充和扩展。
典型的NoSQL数据存储模型有文档存储、键-值存储、图存储、对象数据库、列存储等NoSQL数据库是一种建立在云平台的新型数据处理模式，NoSQL在很多情况下又叫做云数据库。
由于其处理数据的模式完全是分布于各种低成本服务器和存储磁盘，因此它可以帮助网页和各种交互性应用快速处理过程中的海量数据。
它为Zynga、AOL、Cisco以及其它一些企业提供网页应用支持。
正常的数据库需要将数据进行归类组织，类似于姓名和帐号这些数据需要进行结构化和标签化。
但是NoSQL数据库则完全不关心这些，它能处理各种类型的文档。
在处理海量数据同时请求时，它也不会有任何问题。
比方说，如果有1000万人同时登录某个Zynga游戏，它会将这些数据分布于全世界的服务器并通过它们来进行数据处理，结果与1万人同时在线没什么两样。
现今有多种不同类型的NoSQL模式。
商业化的模式如Couchbase、10gen的mongoDB以及Oracle 的NoSQL;开源免费的模式如CouchDB和Cassandra;还有亚马逊最新推出的NoSQL云服务。
5.3 分布式计算技术分布式计算结合了NoSQL与实时分析技术，如果想要同时处理实时分析与NoSQL数据功能，那么你就需要分布式计算技术。
分布式技术结合了一系列技术，可以对海量数据进行实时分析。
更重要的是，它所使用的硬件非常便宜，因而让这种技术的普及变成可能。
SGI的Sunny Sundstrom解释说，通过对那些看起来没什么关联和组织的数据进行分析，我们可以获得很多有价值的结果。
比如说可以分发现一些新的模式或者新的行为。
运用分布式计算技术，银行可以从消费者的一些消费行为和模式中识别网上交易的欺诈行为。
分布式计算技术让不可能变成可能，分布式计算技术正引领着将不可能变为可能。
Skybox Imaging就是一个很好的例子。
这家公司通过对卫星图片的分析得出一些实时结果，比如说某个城市有多少可用停车空间，或者某个港口目前有多少船只。
它们将这些实时结果卖给需要的客户。
没有这个技术，要想快速便宜的分析这么大量卫星图片数据将是不可能的。
