大数据心得体会
早在2007年，人类制造的信息量有史以来第一次在理论上超过可用存储空间总量，近几年两者的剪刀差越来越大。2010年，全球数字规模首次达到了“ZB”（1ZB＝1024TB）级别。2012年，淘宝网每天在线商品数超过8亿件。2013年底，中国手机网民超过6亿户。随着互联网、移动互联网、传感器、物联网、社交网站、云计算等的兴起，我们这个社会的几乎所有方面都已数字化，产生了大量新型、实时的数据。无疑，我们已身处在大数据的海洋。
有两个重要的趋势使得目前的这个时代（大数据时代）与之前有显著的差别：其一，社会生活的广泛数字化，其产生数据的规模、复杂性及速度都已远远超过此前的任何时代；其二，人类的数据分析技术和工艺使得各机构、组织和企业能够以从前无法达到的复杂度、速度和精准度从庞杂的数据中获得史无前例的洞察力和预见性。
大数据是技术进步的产物，而其中的关键是云技术的进步。在云技术中，虚拟化技术乃最基本、最核心的组成部份。计算虚拟化、存储虚拟化和网络虚拟化技术，使得大数据在数据存储、挖掘、分析和应用分享等方面不仅在技术上可行，在经济上也可接受。
在人类文明史上，人类一直执着探索我们处的世界以及人类自身，一直试图测量、计量这个世界以及人类自身，试图找到隐藏其中的深刻关联、运行规律及终极答案。大数据以其人类史上从未有过的庞大容量、极大的复杂性、快速的生产及经济可得性，使人类第一次试图从总体而非样本，从混杂性而非精确性，从相关关系而非因果关系来测量、计量我们这个世界。人类的思维方式、行为方式及社会生活的诸多形态（当然包括商业活动）正在开始发生新的变化。或许是一场革命性、颠覆性的变化。从这个意义上讲，大数据不仅是一场技术运动，更是一次哲学创新。
1 大数据的概述
1.1 大数据的概念
大数据（Big Data）是指那些超过传统数据库系统处理能力的数据。它的数据规模和转输速度要求很高，或者其结构不适合原本的数据库系统。为了获取大数据中的价值，我们必须选择另一种方式来处理它。
数据中隐藏着有价值的模式和信息，在以往需要相当的时间和成本才能提取这些信息。如沃尔玛或谷歌这类领先企业都要付高昂的代价才能从大数据中挖掘信息。而当今的各种资源，如硬件、云架构和开源软件使得大数据的处理更为方便和廉价。即使是在车库中创业的公司也可以用较低的价格租用云服务时间了。
对于企业组织来讲，大数据的价值体现在两个方面：分析使用和二次开发。对大数据进行分析能揭示隐藏其中的信息，例如零售业中对门店销售、地理和社会信息的分析能提升对客户的理解。对大数据的二次开发则是那些成功的网络公司的长项。例如Facebook通过结合大量用户信息，定制出高度个性化的用户体验，并创造出一种新的广告模式。这种通过大数据创造出新产品和服务的商业行为并非巧合，谷歌、雅虎、亚马逊和Facebook，它们都是大数据时代的创新者。
1.2 大数据的三层关系
第一层关系：数据与机器的关系。大数据纪元刚开始，产业界碰到的第一个核心问题就是“大”的问题。做了几十年的数据仓库甚至海量并行处理的数据库都不能处理那么大的数据，怎么办？需要范式切换。主要有三个方面，新型的数据与机器关系当中的第一条就是重新考虑架构与算法，重新考虑舍得，有舍才能得，天下没有免费的午餐，所以必须要舍弃一些，得到一些新的。必须舍弃贵族化的高端小型机和UNIX服务器，得到平民化的更大量的X86服务器。通过这样一种可横向、可水平扩展服务器处理每两年翻番的数据量的挑战。第二个舍得是舍弃硬件的可靠性和可用性，得到软件的可靠性和可用性。这也就是谷歌三大论文以及Hadoop的核心重点。第三个舍得是舍弃传统数据库的强一致性，获得更放松一致性、可扩展架构，如NoSQL。第四个舍得是传统算法强调非常严格的精确性，现在要放弃一些精确性，通过近似、采样这种方式来获得更好的扩展性。
最早大数据的处理范式是Mapreduce的批量处理，英特尔慢慢有其他的需求，实时的流处理、多迭代的处理、图计算、即时查询等等新的范式百花齐放，最后万法归宗。刚才王斌老师将讲的SAP的HANA本身就是数据管理和分析的融合，现在非常流行的Hadoop之后的SPARK，就是把前面的各种范式进行了融合。
存储与内存的消长，大数据第一个要解决把数据存储下来，后来发现要把它放到大的内存里进行处理，获得实时性，接着在存储和内存之间现在又出现了闪存，有闪存化甚至全闪存的存储，也有闪存化的内存，把所有的计算在闪存里面处理，已经被微软、Facebook等等大量使用。大家可以预期，两年以后出现新的非易失性的闪存，它的速度可能要比闪存快几百倍，和内存相似，这又会极大地颠覆数据与机器的关系。
第二层关系：数据与人的关系。主要是价值的觉醒，如果数据不能产生价值它可能是负面资产。数据怎么能够给人带来价值？我们介绍一下它的价值维度，把它映射到二维的时空象限里，用六个关键词来描述它。第一是“Volume”，两个关键词，小数据见微对个人进行刻划，大数据知著能够了解宏观规律，它是空间概念，同时也是时间概念，数据刚刚产生的时候，它的个性化价值、见微的价值最大，而随着时间的推移，它渐渐退化到只有集合价值。第二是Velocity，时间轴的原点是当下实时价值，副轴是过往，正轴是预测未来，如果知道知前后就能够做到万物的皆明。第三是Variety，多源异质的数据，能够过滤噪声、查漏补缺、去伪存真，就是辩讹。还有晓意，能够从大量的非结构化数据中获得语意，从而能够使机器窥探人的思维境界，这六个价值维度怎么去实现？主要是两部分人，一是数据科学家要洞察数据，另外一个是终端用户和领域专家要去解读数据并利用数据。首先看洞察数据，数据科学，人和机器作用发生了消长，讲个例子，机器学习大家觉得是机器的问题，其实人在里面起到很重要的作用，尤其是机器学习是模型加特征，而特征工程是一个人力工程，你要有经验非常丰富的特征团队去死磕特征，找出更好、更多的特征，才能够使机器学习的效果更好。但是现在深度学习这些新技术出来，能够用机器学习特征，能够在大量非结构化数据中找到丰富的信息维度用特征表达出来，这远远超出了人的能力。大家知道黑客帝国描述了一个场景，人脑袋后面插一个插头，给机器提供营养，我可能不会那么悲观，但是像这样的互动关系以一种更良性的方式出现了，现在人的一言一行、社交行为、金融行为都已经成为机器的养料、机器的数据，使得机器获得更好的洞察。
终端用户需要更好地、更傻瓜化的分析工具和可视化工具，两年前我去参加大数据的会，基本上都是Hadoop和NoSQL现在大家参加大数据会可以看到清一色的分析工具和可视化工具。大数据跟各行各业的化学作用正在发生。如果
马化腾说“互联网+”是互联网与各行各业的加法效应，那么大数据将与各行各业产生乘法效应。
第三个关系，数据与数据的关系。现在只有海面平的数据是搜索引擎可以检索到，深海的数据可能是黑暗的数据，在政府、在企业里大家看不到。我们怎么办呢？必须让数据发现数据。只有让数据能够发现数据、遇到数据，才能产生金风玉露一相逢、便胜却人间无数的效果。这里有三个重要的观念，需要法律、技术、经济理论和实践上配合。法律上要明确数据的权利，数据所有权，数据的隐私权，什么数据不能给你看；数据的许可权，什么数据是可以给你看的；数据的审计权，我给你看了以后，你是不是按照许可的范围去看；数据的分红权。数据像原油又不同于原油，原油用完了就没有了，数据可以反复地产生价值，因此数据的拥有者应该得到分红。我们要保证数据的开放、共享、交易。公共数据和部分科研数据要开放，开放过程中注意保护隐私。企业之间可以进行数据的点对点共享，最高境界是不丢失数据的所有权和隐私权的前提下共享，这里有多方安全计算的概念。1982年姚期智老先生提出了百万富翁的窘境的问题，两个百万富翁他们想要比谁更富，但是谁都不愿意说出来自己都多少钱，在我们的数据共享当中要通过各种各样的技术达到这样的效果。还有数据交易，建立多边多边平台来支持数据交易。
互联网能发展起来经济学理论和实践是很重要的支撑，梅特卡夫定律决定了一个互联网公司的价值，跟它用户数的平方成正比，又比如说谷歌请最好的经济学家，它的一个广告业务的核心就是建立在一个非常先进的拍卖经济学的模型基础上。数据经济也需要这样一些基础的理论，比如数据定价和信息定价不一样，信息做一个咨询报告5000美金卖给你，可以卖给所有人。但数据对不同的单位价值不一样，可能我之毒药是彼之蜜糖。另外估值，一个企业拥有大量的数据，是无形资产的一部分，对于企业的市场价值带来了多大的增长。1.3 大数据的四个特性
大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。这也是一个描述性的定义，在对数据描述的基础上加入了处理此类数据的一些特征，用这些特征来描述大数据。当前，较为统一的认识是大数据有四个基本特征: 数据规模大
( Volume) ，数据种类多( Variety) ，数据要求处理速度快( Velocity) ，数据价值密度低( Value) ，即所谓的四V 特性。
数据规模大( Volume)：企业面临着数据量的大规模增长。例如，IDC最近的报告预测称，到2020年，全球数据量将扩大50倍。目前，大数据的规模尚是一个不断变化的指标，单一数据集的规模范围从几十TB到数PB不等。简而言之，存储1PB数据将需要两万台配备50GB硬盘的个人电脑。此外，各种意想不到的来源都能产生数据。
数据种类多( Variety)：一个普遍观点认为，人们使用互联网搜索是形成数据多样性的主要原因，这一看法部分正确。然而，数据多样性的增加主要是由于新型多结构数据，以及包括网络日志、社交媒体、互联网搜索、手机通话记录及传感器网络等数据类型造成。其中，部分传感器安装在火车、汽车和飞机上，每个传感器都增加了数据的多样性。
处理速度快( Velocity)：高速描述的是数据被创建和移动的速度。在高速网络时代，通过基于实现软件性能优化的高速电脑处理器和服务器，创建实时数据流已成为流行趋势。企业不仅需要了解如何快速创建数据，还必须知道如何快速处理、分析并返回给用户，以满足他们的实时需求。根据IMS Research关于数据创建速度的调查，据预测，到2020年全球将拥有220亿部互联网连接设备。
数据价值密度低( Value)：大数据具有多层结构，这意味着大数据会呈现出多变的形式和类型。相较传统的业务数据，大数据存在不规则和模糊不清的特性，造成很难甚至无法使用传统的应用软件进行分析。传统业务数据随时间演变已拥有标准的格式，能够被标准的商务智能软件识别。目前，企业面临的挑战是处理并从各种形式呈现的复杂数据中挖掘价值。
1.4 大数据的三个特征
除了有四个特性之外，大数据时代的数据还呈现出其他三个特征。
第一个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求.
第二个特征是数据价值密度相对较低。如随着物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何通过强大的机器算法更迅速地完成数据的价值“提纯”，是大数据时代亟待解决的难题。
第三个特征是处理速度快，时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。
2 大数据的技术与处理
2.1 大数据的技术
1.数据采集：ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。
2.数据存取：关系数据库、NOSQL、SQL等。
3.基础架构：云存储、分布式文件存储等。
4.数据处理：自然语言处理(NLP，NaturalLanguageProcessing)是研究人与计算机交互的语言问题的一门学科。处理自然语言的关键是要让计算机"理解"自然语言，所以自然语言处理又叫做自然语言理解(NLU，NaturalLanguage Understanding)，也称为计算语言学(Computational Linguistics。一方面它是语言信息处理的一个分支，另一方面它是人工智能(AI, Artificial Intelligence)的核心课题之一。
5.统计分析：假设检验、显著性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析（最优尺度分析）、bootstrap技术等等。
6.数据挖掘：分类（Classification）、估计（Estimation）、预测（Prediction）、相关性分组或关联规则（Affinity grouping or association rules）、聚类（Clustering）、描述和可视化、Description and Visualization）、复杂数据类型挖掘(Text, Web ,图形图像，视频，音频等)。
7.模型预测：预测模型、机器学习、建模仿真。
8.结果呈现：云计算、标签云、关系图等。
2.2 大数据的处理
1.采集
大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器形式等）的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。
在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。
2.导入/预处理
虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。
3.统计/分析
统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。
4.挖掘
与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复
杂，并且计算涉及的数据量和计算量都很大，常用数据挖掘算法都以单线程为主。
整个大数据处理的普遍流程至少应该满足这四个方面的步骤，才能算得上是一个比较完整的大数据处理。
3 大数据的应用
正如诸多文献所谈到的，大数据对许多行业的影响和冲击已经呈现。例如，商零售、物流、医药、文化产业等。金融，作为现代经济中枢，其实也已透出了大数据金融的曙光。
过去的2013年，中国金融界热议最多的或许是互联网金融，更有人指出2013年是中国互联网金融元年。确实，第三方支付、P2P、网贷、众筹融资、余额宝、微信支付等发展迅速。众多传统金融业者也或推出自己的电商平台，或与互联网企业联手提供相应的金融产品和服务。
互联网金融，无论是业界、监管者或理论界，都在试图给出自己的理解和定义。但到目前为止，尚未有一个统一的、规范的概念。在我看来，互联网金融本来就是一个不确切的概念，也不可能有一个明确的定义。严格说来，所谓互联网金融只是大数据金融的一种展现或形态。换言之，前者是表，后者是里。
这是因为，无论是互联网还是金融业，其实质都是大数据（信息）。首先，对互联网企业而言，流量、客户等数据（信息）是其涉足金融业的基石。对金融企业而言，提供中介服务，撮合金融交易也是以数据（信息）为基础。其次，没有大数据技术的支撑，所谓互联网金融也难以快速、持续成长。20世纪90年代互联网浪潮的蓬勃兴起，至今已近二十年。但从世界范围看，所谓互联网金融却发展缓慢。当然，其中原因很多，但其主要原因则是大数据技术是近几年才快速发展起来的。最后，从金融企业来看，在数据中心建设，软硬件系统建设，数据（信息）挖掘、分析等方面也是做得有声有色，其庞大的客户数据、海量交易记录及众多信息源，使其在大数据应用方面也做了许多积极探索。因此，要准确反映近年新金融趋势，“大数据金融”比“互联网金融”更为贴切。
4 大数据应用中的三大难题
近年来，大数据这个词成为互联网领域关注度最高的词汇，时至今日，大数据已经不再是IT圈的“专利”了，从去年的春晚，到刚刚过去的两会，都能见到它的身影，但实际上春晚与两会的数据都只能叫做小数据，它与真正的大数据还相差甚远。即便如此，数据所产生的价值已经被人们所认知。
就大数据来说，它的发展可以分成三个阶段，第一个阶段是组织内部的数据，这些数据通常都是结构化的数据，我们一般将这些数据进行分类、排序等操作，将相同类型的数据进行对比、分析、挖掘，总而言之基本上都是统计工作。到了第二阶段，数据的范围扩大到行业内，各种各样的应用数据出现，数据量大规模增长，尤其是非结构化数据的出现。典型的像视频、图片这一类的数据，在这一阶段的特点就是非结构化和结构化数据并存，且数据量巨大，要对这些数据进行分析是我们目前现阶段所处在的状态。
第三阶段则是未来大数据发展的理想化状态，首先它一定是跨行业的，且数据的范围是整个社会。通过对这些数据进行分析加以使用，将直接改变我们的生活方式，这也是现在很多企业所设想的未来交通、医疗、教育等领域的发展方向。
1.大数据太大不敢用
第三个阶段是我们所憧憬的，但在我们所处的第二阶段面对的更多是问题。其中的一个问题就是“大”。大数据给人最直观的感受就是大，它所带来的问题不仅仅是存储，更多的是庞大的数据没办法使用，以交通为例，从2001年开始在北京的主干道上都增设了一些卡口设备，到了今天基本上大街小巷都能看到。这些设备每天所拍摄的视频及照片产生的数据量是惊人的，仅照片每天就能产生2千万张，而解决这些数据的存储只是最基本的任务，我们更需要的是使用这些数据。例如对套牌车辆的检查，对嫌疑车辆的监控，当你想要使用这些数据的时候，传统的数据库以及系统架构，放进这么庞大的数据，是根本跑不动的。这一问题导致很多企业对大数据望而却步。
2.大数据太难不会用
说到大数据的使用，自然离不开Hadoop，Hadoop本身提供了分布式系统中两个最重要的东西：分布式存储（HDFS）和分布式计算（Mapreduce）。这两者解决了处理大数据面临的计算和存储问题，但更为重要的是，为开发大数据应用开辟了道路。Hadoop是目前解决大数据问题最流行的一种方式，但其仍然
有不成熟的地方，曾作为雅虎云计算以及Facebook软件工程师的Jonathan Gray就表示：“Hadoop实施难度大，且复杂，如果不解决技术复杂性问题，Hadoop将被自己终结。”正是由于这样的原因，Gray创办了自己的公司——Continuuity，这家公司的目标就是在Hadoop和Hbase基础上创建一个抽象层，屏蔽掉Hadoop底层技术的复杂性。由此可见想要用好大数据又是一大考验。
3.大数据太贵用不起
Hadoop的特点就是让你可以使用廉价的x86设备来完成大数据的业务，但事实上如果你真想要用它来完成某些商业任务你还得是个“土豪”。在国外那些使用大数据的成功案例里，亚马逊曾给出过这样一组数字，NASA需要为45天的数据存储服务支付超过100万美元。像Quant___cast这样的数字广告公司，同样也是花费了巨额的资金用在Hadoop技术上，来根据自己的需求定制系统。从上面两个案例来看用于商业用途的大数据现阶段还是很费钱的，随着大数据软件环境逐渐成熟，开发工具增多，价格在未来会逐渐降低。
从上面罗列的这三点困难，其实并不是要给大数据泼冷水，而是想说大数据想要淘金并不简单，首先在做大数据之前，好好盘点一下自己拥有的资源，不仅仅是数据资源，还包括知识与技能。确定了自己的能力之后，选择一个能够发挥你现有资源最大价值的项目。如果你需要帮手，应先考虑商业顾问，再考虑技术人才。为了解答一个生意上的困惑花下的钱，叫作投资，而把钱投到一个拥有特殊技能的IT人才身上，那就叫沉没成本。当你有了这些之后，选择更灵活且可扩展的工具，为以后的扩充打好基础。更重要的是——从小规模做起。
5 大数据创新的驱动力
计算机科学与技术的发展使得大规模信息处理基础设施产生重要改变。在过去的30年中，经典的数据库管理系统（DBMS）在处理大规模数据方面与时俱进，在企业数据处理等方面得到广泛应用。数据库研究和技术进展主要集中在数据建模、描述性查询语言、事务处理和数据库可靠性等。在这个过程中，相关的数据仓库和数据挖掘分析技术也成为一个热点研究方向；人们认识到数据处理过程中的信息可以被有效整理和分析来支持以数据为中心的决策支持。
数据库管理系统在目前的互联网时代继续占据了重要地位。在一个典型的互联网服务系统架构中，数据库管理系统和Web服务器及应用服务共同作用，为互联网用户提供各类信息和服务。在这个系统架构中，人们期望系统能支持无限次和高速的互联网用户访问，这个时候数据库层由于在硬件可扩展性上面的不足可能成为系统性能瓶颈。这个挑战我们称为大数据问题（big data problem）。大数据系统期望能对大规模异构复杂数据建模，进行实时分析；传统的商用数据库系统很难提供良好的解决方案。另一个大数据相关的挑战是服务器端数据中心的数据维护及安全隐私问题。近年来云计算技术已经成为大数据中心的一种可靠解决方案，Google, Yahoo and Microsoft等公司也纷纷开发自己的云计算系统。尽管云计算在互联网应用中已经体现出很多优越性，其在系统成熟性、可用性等方面还有很大提高空间。
显而易见，大数据领域的大规模数据管理和复杂数据分析已经成为新的研究前沿。目前的各类大数据应用正是大数据研究的驱动力，比如社会网络、移动计算、科学应用等等。这些应用产生的大数据往往具有海量、时序动态性、多样等特性，给数据库领域的各项技术带来巨大挑战，涵盖包括数据获取、组织管理、分析处理和应用呈现等整个数据管理生命周期。针对数据管理和分析不同系统应用，各类大数据处理技术在也不断发展。MapReduce作为一种分布式的数据处理框架由于其灵活性、可扩展性、高效和容错等特性其近年来得到了广泛应用。此外，也有多类其他分布式数据处理系统用来解决MapReduce不擅长的问题，比如交互式分析、图计算和分析、实时和流处理、通用数据处理等等。大数据不但给数据库研究领域，同时也给体系结构、存储系统、系统软件和软件工程等计算机多个学科带来了很多机会和挑战。大数据正是目前很多计算机科学问题的根本，并驱动众多新科技的发展。
6 大数据的发展前景
大数据的概念来源于、发展于美国，并向全球扩展，必将给我国未来的科技与经济发展带来深远影响。根据IDC 统计，目前数据量在全球比例为: 美国32%、西欧19%、中国13%，预计到2020 年中国将产生全球21% 的数据，我国是仅次于美国的数据大国，而我国大数据方面的研究尚处在起步阶段，如
何开发、利用保护好大数据这一重要的战略资源，是我国当前亟待解决的问题。
而大数据未来的发展趋势则从以下几个方面进行：
（1）开放源代码
大数据获得动力，关键在于开放源代码，帮助分解和分析数据。Hadoop 和NoSQL 数据库便是其中的赢家，他们让其他技术商望而却步、处境很被动。毕竟，我们需要清楚怎样创建一个平台，既能解开所有的数据，克服数据相互独立的障碍，又能将数据重新上锁。
（2）市场细分
当今，许多通用的大数据分析平台已投入市场，人们同时期望更多平台的出现，可以运用在特殊领域，如药物创新、客户关系管理、应用性能的监控和使用。若市场逐步成熟，在通用分析平台之上，开发特定的垂直应用将会实现。但现在的技术有限，除非考虑利用潜在的数据库技术作为通用平台( 如Hadoop、NoSQL)。人们期望更多特定的垂直应用出现，把目标定为特定领域的数据分析，这些特定领域包括航运业、销售业、网上购物、社交媒体用户的情绪分析等。同时，其他公司正在研发小规模分析引擎的软件套件。比如，社交媒体管理工具，这些工具以数据分析做为基础。
（3）预测分析
建模、机器学习、统计分析和大数据经常被联系起来，用以预测即将发生的事情和行为。有些事情是很容易被预测的，比如坏天气可以影响选民的投票率，但是有些却很难被准确预测。例如，中间选民改变投票决定的决定性因素。但是，当数据累加时，我们基本上有能力可以大规模尝试一个连续的基础。网上零售商重新设计购物车，来探索何种设计方式能使销售利润最大化。根据病人的饮食、家族史和每天的运动量，医生有能力预测未来疾病的风险。当然，在人类历史的开端，我们就已经有各种预测。但是，在过去，许多预测都是基于直觉，没有依靠完整的数据集，或者单单靠的是常识。当然，即便有大量数据支撑你的预测，也不表明那些预测都是准确的。2007 年和2008 年，许多对冲基金经理和华尔街买卖商分析市场数据，认为房地产泡沫将不会破灭。根据历史的数据，可以预测出房地产泡沫即将破裂，但是许多分析家坚持原有的观
点。另一方面，预测分析在许多领域流行起来，例如欺诈发现( 比如在外省使用信用卡时会接到的诈骗电话)，保险公司和顾客维系的风险管理。
7 结语
大数据正在以不可阻拦的磅礴气势，与当代同样具有革命意义的最新科技进步(如纳米技术、生物工程、全球化等)一起，揭开人类新世纪的序幕。可以简单地说，以往人类社会基本处于蒙昧状态中的不发展阶段，即自然发展阶段。现在，这一不发展阶段随着2012年的所谓“世界末日”之说而永远成为了过去。大数据宣告了21世纪是人类自主发展的时代，是不以所谓“上帝”的意志为转移的时代，是“上帝”失业的时代。
对于地球上每一个普通居民而言，大数据有什么应用价值呢?只要看看周围正在变化的一切，你就可以知道，大数据对每个人的重要性不亚于人类初期对火的使用。大数据让人类对一切事物的认识回归本源;大数据通过影响经济生活、政治博弈、社会管理、文化教育科研、医疗保健休闲等等行业，与每个人产生密切的联系。
大数据技术离你我都并不遥远，它已经来到我们身边，渗透进入我们每个人的日常生活消费之中，时时刻刻，事事处处，我们无法逃遁，因为它无微不至：它提供了光怪陆离的全媒体，难以琢磨的云计算，无法抵御的仿真环境。大数据依仗于无处不在的传感器，比如手机、发带，甚至是能够收集司机身体数据的汽车，或是能够监控老人下床和行走速度与压力的“魔毯”(由GE与Intel 联合开发)，洞察了一切。通过大数据技术，人们能够在医院之外得悉自己的健康情况;而通过收集普通家庭的能耗数据，大数据技术给出人们切实可用的节能提醒;通过对城市交通的数据收集处理，大数据技术能够实现城市交通的优化。
随着科学技术的发展，人类必将实现数千年的机器人梦想。早在古希腊、古罗马的神话中就有冶炼之神用黄金制造机械仆人的故事。《论衡》中也记载有鲁班曾为其母巧公制作一台木马车，“机关具备，一驱不还”。而到现代，人类对于机器人的向往，从机器人频繁出现在科幻小说和电影中已不难看出。公元2035年，智能型机器人已被人类广泛利用，送快递、遛狗、打扫卫生……这是电影《我，机器人》里描绘的场景。事实上，今天人们已经享受到了部分家用智能机器人给生活带来的便利。比如，智能吸尘器以及广泛应用于汽车工业领域的机器手等等。有意思的是，2010年松下公司专门为老年人开发了“洗发机器人”，它可以自动完成从涂抹洗发水、按摩到用清水洗净头发的全过程。未来的智能机器人不会是电影《变形金刚》中的庞然大物，而会越来越小。目前，科学家研发出的智能微型计算机只和雪花一样大，却能够执行复杂的计算任务，将来可以把这些微型计算机安装在任何物件上用以监测环境和发号施令。随着大数据时代的到来和技术的发展，科技最终会将我们带进神奇的智能机器人时代。
在大数据时代，人脑信息转换为电脑信息成为可能。科学家们通过各种途径模拟人脑，试图解密人脑活动，最终用电脑代替人脑发出指令。正如今天人们可以从电脑上下载所需的知识和技能一样，将来也可以实现人脑中的信息直接转换为电脑中的图片和文字，用电脑施展读心术。2011年，美国军方启动了“读心头盔”计划，凭借读心头盔，士兵无需语言和手势就可以互相“阅读”彼此的脑部活动，在战场上依靠“心灵感应”，用意念与战友互通讯息。目前，“读心头盔”已经能正确“解读”45%的命令。随着这项“读心术”的发展，人们不仅可以用意念写微博、打电话，甚至连梦中所见都可以转化为电脑图像。据美国《纽约时
报》报道，奥巴马政府将绘制完整的人脑活动地图，全面解开人类大脑如何思考、如何储存和检索记忆等思维密码作为美国科技发展的重点，美国科学家已经成功绘出鼠脑的三维图谱。2012年，美国IBM计算机专家用运算速度最快的96台计算机，制造了世界上第一个“人造大脑”，电脑精确模拟大脑不再是痴人说梦。试想一下，如果人类大脑实现了数据模拟，或许你的下一个BOSS是机器人也不一定。
总而言之，大数据技术的发展有可能解开宇宙起源的奥秘。因为，计算机技术将一切信息无论是有与无、正与负，都归结为0与1，原来一切存在都在于数的排列组合，在于大数据。
争做时代新人心得体会大数据时代心得体会【--青年节】 大数据时代成为炙手可热的话题。笔者在这说明信息和数据，只是试图首先说明信息、数据的关系和不同，也试图说明，为什么信息时代转变为了大数据时代?大数据时代带给了我们什么?下面是为大家收集的大数据时代，欢迎大家阅读。 这本书里主要介绍的是大数据在现代商业运作上的应用，以及它对现代商业运作的影响。 《大数据时代》这本书的结构框架遵从了学术性书籍的普遍方式。也既，从现象入手，继而通过对现象的解剖提出对这一现象的解释。然后在通过解释在对未来进行预测，并对未来可能出现的问题提出自己看法与对策。 下面来重点介绍《大数据时代》这本书的主要内容。 《大数据时代》开篇就讲了Google通过人们在搜索引擎上搜索关键字留下的数据提前成功的预测了20XX年美国的H1N1的爆发地与传播方向以及可能的潜在患者的事情。Google的预测比政府提前将近一个月，相比之下政府只能够在流感爆发一两个周之后才可以弄到
相关的数据。同时Google的预测与政府数据的相关性高达97%，这 也就意味着Google预测数据的置信区间为3%，这个数字远远小于传统统计学上的常规置信区间5%!而这个数字就是大数据时代预测结果的相对准确性与事件的可预测性的最好证明!通过这一事以及其他的 案例，维克托提出了在大数据时代“样本=总体”的思想。我们都知 道当样本无限趋近于总体的时候，通过计算得到的描述性数据将无限的趋近于事件本身的性质。而之前采取的“样本 接下来，维克多又通过了IBM追求高精确性的电脑翻译计划的 失败与Google只是将所有出现过的相应的文字语句扫描并储存在词 库中，所以无论需要翻译什么，只要有联系Google词库就会出现翻译，虽然有的时候的翻译很无厘头，但是大多数时候还是正确的，所以Google的电脑翻译的计划的成功，表明大数据时代对准确性的追 求并不是特别明显，但是相反大数据时代是建立在大数据的基础住上的，所以大数据时代追求的是全方位覆盖的数字测度而不管其准确性到底有多高，因为大量的数据会湮埋少数有问题的数据所带来的影响。同时大量的数据也会无限的逼近事物的原貌。 之后，维克托又预测了一个在大数据时代催生的重要职业—— 数据科学家，这是一群数学家、统计学与编程家的综合体，这一群人将能够从获取的数据中得到任何他们想要的结果。换言之，只要数据充足我们的一切外在的与内在的我们不想让他人知道的东西都见会
大数据时代读后感精选多篇 科学家的治学态度是严谨的，而人文学家更具有想象力。一些对大数据不甚了然的人往往夸大了它的作用，甚至把它神化。舍恩伯格认为大数据的核心是预测。大数据不是要教机器像人一样思考。相反，把数学算法运用到海量的数据上来预期事情发生的可能性。[iii]舍恩伯格甚至不回避大数据所产生的负面影响，他在第七章里谈到让数据主宰一切的隐忧。我觉得这是实事求是的科学态度。在量子力学里有一个测不准原理：一个微观粒子的某些物理量( )，不可能同时具有确定的数值，其中一个量越确定，另一个量的不确定程度就越大。它是解释微观世界的物理现象，信息社会中的大数据会不会也有类似情况呢?如果我们再把凯文凯利的《失控》对比来读的话就更有意思了，这样我们对整个物质世界及至人类社会就有了更全面更深刻的洞察，从物理王国到生物世界，再到信息社会。从公共卫生到商业应用，从个人隐私到政府管理，大数据无处不在。与此同时，从哪个角度探讨用什么方法研究，舍恩伯格都不会忘记大数据服务人类造福人类的终极目的和价值所在。大数据并不是一个充斥着运算法则和机器的冰冷世界，其中仍需要人类扮演重要角色。人类独有的弱点、错觉、错误都是十分必要的，因为这些特性的另一头牵着的是人类的创造力、直觉和天赋。偶尔也会带来屈辱或固执的同样混乱的大脑运作，也能带来成功，或在偶然间促成我们的伟大。这提示我们应该乐于接受类似的不准确，因为不准确正是我们之所以为人的特征之一。[iv]用中国话来说就是人无完人，人类在收获大数据带来的红利的同时也要承受它带来的危害。这不
是对立统一的辩证唯物主义?我把它看作带着欧洲批判学派色彩的科学发展观。 问题是研究的价值基点，大数据不是舍恩伯格研究的问题，而是研究对象，他研究的是数据处理和信息管理问题，同时也讨论信息安全和网络伦理问题，还引发哲学上的思考，哲学史上争论不休的世界可知论和不可知论转变为实证科学中的具体问题。可知性是绝对的，不可知性是相对的。大数据之所以为大是因它引发人类生活、工作和思维的大变革，从这个意义上来看，《大数据时代》的意义不仅在于它讨论了若干重大问题，而且对研究者开出了一个问题清单，从而引发更多人来探讨这些有趣的问题。 《大数据时代》实际上主要是一本讨论数据挖掘的书，数据挖掘与数据分析是不同的概念，数据挖掘一般是指从大量的数据中自动搜索隐藏于其中的有着特殊关系性的信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统( )和模式识别等诸多方法来实现上述目标。而数据分析的目的是把隐没在一大批看来杂乱无章的数据中的信息集中、萃取和提炼出来，以找出所研究对象的内在规律。数据挖掘主要运用计算机来进行处理，而数据分析既要用计算机也要人工分析，是计算机科学与人文价值判断的统一结合。换言之，《大数据时代》并不是一本讨论大数据所有问题的书。 《大数据时代》也是一本讨论互联网发展的书，从数字化到数据化，同时有浓厚的未来学色彩。当文字变成数据，我们进入
《大数据时代》心得体会 由咸阳市组织、厦门大学承办的为期一个星期的“三五”人才综合素质培训已经结束，这次培训让我感触颇深，受益匪浅。信息时代的到来，我们感受到的是技术变化日新月异，随之而来的是生活方式的转变，我们这样评论着的信息时代已经变为曾经。如今，大数据时代成为炙手可热的话题。针对这个话题，我从以下几个方便谈一下自己对于大数据的浅薄认识。 一、大数据的概念 信息和数据的定义。维基百科解释：信息，又称资讯，是一个高度概括抽象概念，是一个发展中的动态范畴，是进行互相交换的内容和名称，信息的界定没有统一的定义，但是信息具备客观、动态、传递、共享、经济等特性却是大家的共识。数据：或称资料，指描述事物的符号记录，是可定义为意义的实体，它涉及到事物的存在形式。它是关于事件之一组离散且客观的事实描述，是构成信息和知识的原始材料。数据可分为模拟数据和数字数据两大类。数据指计算机加工的“原料”，如图形、声音、文字、数、字符和符号等。从定义看来，数据是原始的处女地，需要耕耘。信息则是已经处理过的可以传播的资讯。信息时代依赖于数据的爆发，只是当数据爆发到无法驾驭的状态，大数据时代应运而生。 在大数据时代，大数据时代区别与转变就是，放弃对因果关系的渴求，而取而代之关注相关关系。也就是说只要知道“是什么”，而不需要知道“为什么”。数据的更多、更杂，导致应用主意只能尽量观察，而不是倾其所有进行推理。小数据停留在说明过去，大数据用驱动过去来预测未来。数据的用途意在何为，与数据本身无关，而与数据的解读者有关，而相关关系更有利于预测未来。大数据更多的体现在海量非结构化数据本身与处理方法的整合。大数据更像是理论与现实齐头并进，理论来创立处理非结构化数据的方法，处理结果与未来进行验证。大数据是在互联网背景下数据从量变到质变的过程。小数据时代也即是信息时代，是大数据时代的前提，大数据时代是升华和进化，本质是相辅相成，而并非相离互斥。
大数据时代读后感范文 本书《大数据时代》出自维克托·迈尔-舍恩伯格，是最早洞见大数据时代发展趋势的数据科学家之一，也是最受人尊敬的权威发言人之一。舍恩伯格教授在《大数据时代》中提出：“大数据是指不用随机分析法这样的捷径，而采用所有数据的方法。”阐述大数据是一个比较的概念，它是在人类过去运用小数据库随机抽样获得分析结果比较而来，它的关键是在“大”，数据存储量越大，价值越显著。大数据的核心作用在于“预测”，引申出“规划”与“解决方案”，也就是我们说的“算法”。书中展示了谷歌、微软、亚马逊、IBM、苹果、facebook、twitter、VISA等大数据先锋们最具价值的应用案例。 在现今的社会，大数据的应用越来越彰显他的优势，它占领的领域也越来越大，电子商务、O2O、物流配送等，各种利用大数据进行发展的领域正在协助企业不断地发展新业务，创新运营模式。有了大数据这个概念，对于消费者行为的判断，产品销售量的预测，精确的营销范围以及存货的补给已经得到全面的改善与优化。就我个人体会。大数据产生最直观的价值：一是时间，二是金钱。要知道“时间就是金钱，效率就是生命。” 大数据带给我们的三个颠覆性观念转变：采样数据向全部数据转变；精确制导向方向引领转变；因果关系向相关关系转变。 1.不再局限随机样本，而是全体数据：在大数据时代，我们有更
多的数据可以分析，有时候甚至可以处理和某个特别现象相关的所有数据，而不再依赖于随机采样，这也是通过大数据打通的传统壁垒。 2.不再局限精确性数据，而是混杂性数据：以前需要分析的数据很少，所以我们必须尽可能精确地量化我们的记录，随着数据的积累，数据库的完善，我们不再需要对一个现象刨根问底，只要掌握了大体的发展方向，适当忽略微观层面上的精确度，会让我们在宏观层面拥有更好的洞察力。 3.不再局限因果关系数据，而是相关关系数据：在大数据时代，我们无须再紧盯事物之间的因果关系，而应该寻找事物之间的相关关系，相关关系虽然不能准确地告诉我们事件发生的原因，但是它会提醒我们事件的发生。 思考：大数据在农业领域建设。近年来，我国数字农业发展方兴未艾，从北大荒千里沃野的无人驾驶农机作业，到浙江乌镇的刷脸入住农家乐、西安阿里的智慧大脑，数字农业正在悄然地助推传统农业发展。从理想状态来说，我认为数字农业就是有一块地，你种什么，种多少，施什么肥，打什么药，卖给谁，都用数据来表达，以大数据来支撑决策，通过信息化、数字化提供全程社会化服务。具体讲，数字农业是指以数据为关键要素，以数字技术与农业融合发展为重点，以数字产业化、产业数字化为路径，实现农业生产过程及全产业链数字化表达、数字化设计、数字化管理的新兴农业形态。 当前，我国已进入加快发展数字农业的新时期，发展数字农业有条件、有需求，恰逢其时，势在必行。人类社会经历了农业革命、工
基于大数据分析，实施个性化教学 ---极课学习、使用心得体会信息化、大数据是21世纪的时代标签，数据信息是宝贵的资源。因此，学校教学过程中，学生学业情况的动态总览、纵横向比较是教师备课、授课的切实依据，如何收集、分析、运用学生的学业数据呢？极课大数据应运而生。 在经过近1年的学习、使用极课大数据系统后，感触颇深、体会众多。下面从极课大数据是什么？有何优势？怎样充分利用？三个方面谈谈我的心得体会。 一、什么是极课大数据？ 极课大数据是一套服务于基础教育阶段学校日常作业和考试数据采集、分析的教育智能系统，帮助一线老师提高工作效率，建立面向家庭的个性化学习平台。极课大数据技术支持的大数据采集，通过高速阅卷仪，将学生的学业信息快速进行识别并传输到云端，经过相关的运算，形成各类数据报表。 教师通过数据反馈，有针对性地设计学生作业、测试及练习题，并做有效性分析，了解学生个体的阶段学习情况，分析其知识缺陷并提出专一的纠错方案，持续关注某一位学生或一个班级的错题流变和学业发展，对学生的能力（学习策略、知识掌握程度、学习专注度等方面）进行评测，诊断学生的学习变化趋势。通过采集学生的各种学业信息，应用科学的考试分析方法，对照课程标准，诊断和评价学生的学业优势与不足，促使学校真正实现因材施教，有效促进学生的发展。 极课大数据在不改变教师现有阅卷习惯、批改作业习惯的基础上，做到了极速批改、极致分析、极便响应，突破了K12教育大数据的入口和管道，构建了基础教育学业数据库。在课前，为教师形成个性化诊断数据，让课堂教学更精准；在课后，为学生自动形成个性化错题本及个性化课程学习包的智能推送，使学生的学习更有针对性。极课大数据通过采集校园小数据、沉淀教育大数据，推动教学深度变革，解放教育生产力。 二、极课大数据有何优势？ 1、移动阅卷、教师批阅方便省时 传统的阅卷费时费力，而极课大数据下的智学网试卷批阅方便快捷。仅需手机和网络，便可在任何片段闲散时间都能进行网上阅卷，且在阅卷过程中，能把控各题的分值，以免神仙分出现；在赋分出现问题后还可以回评，赋分界面能即时显示平均分、阅卷任务等，以方便老师随时监控并调整自己的阅卷过程。 图一：考试中心的阅卷界面
大数据时代心得体会集团标准化小组：[VVOPPT-JOPP28-JPPTL98-LOPPNN]
《大数据时代》心得体会 信息时代的到来，我们感受到的是技术变化日新月异，随之而来的是生活方式的转变，我们这样评论着的信息时代已经变为曾经。如今，大数据时代成为炙手可热的话题。 信息和数据的定义。维基百科解释：信息，又称资讯，是一个高度概括抽象概念，是一个发展中的动态范畴，是进行互相交换的内容和名称，信息的界定没有统一的定义，但是信息具备客观、动态、传递、共享、经济等特性却是大家的共识。数据：或称资料，指描述的记录，是可定义为的，它涉及到事物的。它是关于事件之一组且客观的描述，是构成和的原始材料。数据可分为和两大类。数据指计算机加工的“原料”，如图形、声音、文字、数、字符和符号等。从定义看来，数据是原始的处女地，需要耕耘。信息则是已经处理过的可以传播的资讯。信息时代依赖于数据的爆发，只是当数据爆发到无法驾驭的状态，大数据时代应运而生。 在大数据时代，大数据时代区别与转变就是，放弃对因果关系的渴求，而取而代之关注相关关系。也就是说只要知道“是什么”，而不需要知道“为什么”。数据的更多、更杂，导致应用主意只能尽量观察，而不是倾其所有进行推理。小数据停留在说明过去，大数据用驱动过去来预测未来。数据的用途意在何为，与数据本身无关，而与数据的解读者有关，而相关关系更有利于预测未来。大数据更多的体现在海量非结构化数据本身与处理方法的整合。大数据更像是理论与现实齐头并进，理论来创立处理非结构化数据的方法，处理结果与未来进行验证。大数据是在互联网背景下数据从量变到质变的过程。小数据时代也即是信息时代，是大数据时代的前提，大数据时代是升华和进化，本质是相辅相成，而并非相离互斥。 数据未来的故事。数据的发展，给我们带来什么预期和启示？金融业业天然有大数据的潜质。客户数据、交易数据、管理数据等海量数据不断增长，海量机遇和挑战也随之而来，适应变革，适者生存。我们可以有更广阔的学习空间、可以有更精准的决策判断能力这些都基于数据的收集、整理、驾驭、分析能力，基于脱颖而出的创新思维和执行。因此，建设“数据仓库”，培养“数
《大数据时代》读后感 《大数据时代》是由英国作者维克托麦尔〃舍恩伯格等所著，由胜杨燕和周涛翻译。这本书主要描述的是大数据时代到临人们生活、工作与思维各方面所遇到的重大变革。本书作者舍恩伯格在大数据领域是最受人尊敬的权威发言人之一。他二十多年来一直致力于网络经济、信息与创新、信息监管、网络规范与战略管理方面的研究，从维也纳大学到哈佛大学，从新加坡国立大学到牛津大学，世界上最著名的互联网研究学府都留下了他的足迹。开阔的学术视野与系统的学术造诣，更让他不断为企业与商业应用提供强大的理论支持。他的咨询客户包括微软、惠普、IBM、亚马逊、facebook、twitter、VISA等大数据先锋们，所以在《大数据时代》一书中，他将掌握的最前沿的大数据应用案例给予充分的分析，并对大数据的价值链与角色定位给予清晰的预见。 文中作者清晰的阐述了大数据的基本概念和特点，并列出明确的观点。不管对于产业实践者，还是对于政府和公众机构，都非常具有价值。作者将本书分为3个部分。第一部分提出了大数据时代处理数据理念上的三大转变：抽样=全体；要效率不要绝对精确；要相关不要因果；第二部分作者从万事万物数据化和数据交叉复用的巨大价值两个方面，讲述驱动大数据战车在材质和智力方面向前滚动的最根本动力；最后一部分，作者描绘了大数据帝国前夜的脆弱和不安，包括产业生态环境、数据安全隐私、信息公正公开等问题。 本书观点掷地有声，作者观念高屋建瓴，从很多实例和经验中萃取普适性观念。例子详实丰富，囊括了进百个学术和商业实例。 引言提出了大数据将给生活、工作于思维带来重大的变革。一个例子是2009年H1N1流行病毒背景下谷歌通过检测检索词条，处理了4.5亿个不同的数据模型，通过预测并与2007年、2008年美国疾控中心记录的实际流感病例进行对比后，确定了45条检索词条组合，并将其用于一个特定的数学模型后，预测的结果与官方数据的相关系数高达97%。按照传统的信息返回流程，通告新流感病毒病例将有一到两周的延迟。对于飞速传播的疾病，信息滞后两周是致命的。而谷歌运用大数据技术，以前所未有的方式，通过海量数据分析得出流感所传播的范围，为世界预测流感提供了一种更快捷的预测工具。此外，我联想到原淘宝董事
大数据心得体会 早在2007年，人类制造的信息量有史以来第一次在理论上超过可用存储空间总量，近几年两者的剪刀差越来越大。2010年，全球数字规模首次达到了“ZB”（1ZB＝1024TB）级别。2012年，淘宝网每天在线商品数超过8亿件。2013年底，中国手机网民超过6亿户。随着互联网、移动互联网、传感器、物联网、社交网站、云计算等的兴起，我们这个社会的几乎所有方面都已数字化，产生了大量新型、实时的数据。无疑，我们已身处在大数据的海洋。 有两个重要的趋势使得目前的这个时代（大数据时代）与之前有显著的差别：其一，社会生活的广泛数字化，其产生数据的规模、复杂性及速度都已远远超过此前的任何时代；其二，人类的数据分析技术和工艺使得各机构、组织和企业能够以从前无法达到的复杂度、速度和精准度从庞杂的数据中获得史无前例的洞察力和预见性。 大数据是技术进步的产物，而其中的关键是云技术的进步。在云技术中，虚拟化技术乃最基本、最核心的组成部份。计算虚拟化、存储虚拟化和网络虚拟化技术，使得大数据在数据存储、挖掘、分析和应用分享等方面不仅在技术上可行，在经济上也可接受。 在人类文明史上，人类一直执着探索我们处的世界以及人类自身，一直试图测量、计量这个世界以及人类自身，试图找到隐藏其中的深刻关联、运行规律及终极答案。大数据以其人类史上从未有过的庞大容量、极大的复杂性、快速的生产及经济可得性，使人类第一次试图从总体而非样本，从混杂性而非精确性，从相关关系而非因果关系来测量、计量我们这个世界。人类的思维方式、行为方式及社会生活的诸多形态（当然包括商业活动）正在开始发生新的变化。或许是一场革命性、颠覆性的变化。从这个意义上讲，大数据不仅是一场技术运动，更是一次哲学创新。 1 大数据的概述 1.1 大数据的概念 大数据（Big Data）是指那些超过传统数据库系统处理能力的数据。它的数据规模和转输速度要求很高，或者其结构不适合原本的数据库系统。为了获取大数据中的价值，我们必须选择另一种方式来处理它。
生活，工作以及思维的大变革 ——读《大数据时代》有感及所思 读了《大数据时代》后，感觉到一个大变革的时代将要来临。虽然还不怎么明了到底要彻底改变哪些思维和操作方式，但显然作者想要“终结”或颠覆一些传统上作为我们思维和生存基本理论、方法和方式。在这样的想法面前，我的思想被强烈震撼，不禁战栗起来。 本书从思维、商业、管理三个方面阐述了在大数据时代在下的变革，这些变革涉及到我们生活的方方面面，几乎其影响程度可以与两次工业革命相媲美。作者在第一部分提出了三个比较令人震惊的观点，也就是大数据的精髓在于我们分析信息时的三个转变，这三个转变将改变我们的理解和组建社会的方法。并且作者将生活，工作思维的大变革和这几个方面紧紧联系在一起。 第一个转变是，在大数据时代，我们可以分析更多的数据，有时候甚至可以处理和某个特别现象相关的所有数据，而不再依赖于随机采样。也就是说样本等于总体；第二个转变是对研究数据不会追求精度，而且追求混杂性，小数据时代下，追求精确度是合理的，因为我们收集的数据很少，所以要越精确越好，包括如今仍然也在使用这种办法；但是在某些时代，尤其是在大数据时代背景下，快速获得一个大概轮廓和发展脉络，要比精确性重要得多，既然选择了整体性，肯定要忽视细节和确定性；第三个改变是不是因果关系而是相关关系，在大数据时代，我们更需要了解一个东西是什么，而不是为什么，要找到关联无，通过一个良好的关联物的相关关系可以帮助我们捕捉预测未来。 这三个方面是大数据时代所给我们带来的思维上的改变，所谓思路决定出路，思路有了创新，有了拓展，相应的社会也就会有很大的变化。紧接着第二部分作者从万事万物数据化和数据交叉复用的巨大价值两个方面，讲述驱动大数据战车在材质和智力方面向前滚动的最根本动力。第三部分则是阐述了大数据时代下的弊端以及在管理上的措施。个人认为本书的精髓部分是第一部分，第一部分的三个观点涉及的面很广，包括统计学、逻辑学、哲学等。后两个部分都是以第一部分这三个观点为基础展开阐述的。 这本书给我感触最深的就是这三个转变，或者说是三个观点，可以说是哲学上说的世界观，因为世界观决定方法论，所以这三个观点对传统看法的颠覆，就会导致各种变革的发生。首先是第一个，作者认为在抽样研究时期，由于研究条件的欠缺，只能以少量的数据获取最大的信息，而在大数据时代，我们可以获得海量的数据，抽样自然就失去它的意义了。放弃了随机分析法这种捷径，采用所有的数据。作者用大数据与乔布斯的癌症治疗例子说明了使用全部数据而非样本的意义，列举了日本“相扑”等来证明使用全体数据的重要性。这个观点足以引起统计学乃至社会文明的变革，因为统计抽样和几何学定理、万有引力一样被看做文明得以建立牢固的基石。我对这个观点还是比较认同的，如果真能收集到整体的数据而且分析数据的工具也足够先进，自然是全体数据研究得出的结果更令人信服。但是这个观点也过于绝对，就算是在大数据时代要想收集到全体数据还是不太可能实现的，因为收集全体数据要付出的代价有时会很大。比如说，你要检测食品中致癌物质是否超标，你不可能每一件食品你都检测一遍吧。 第二，要效率不要绝对的精确。作者说，执迷于精确性是信息缺乏时代和模拟时代的产物，只有5%的数据是结构化且能适用于传统数据库的。如果不接受混乱，剩下95%的非结构化数据都无法被利用。作者是基于数据不可能百分之百正确的考虑而做出这样的判断的，如果采用小数据一个数据的错误就会导致结
《大数据时代》读后感 《大数据时代》这本书主要描述的是大数据时代到临人们生活、工作与思维各方面所遇到的重大变革，从事信息的我们，更需要对这些先进的理念进行学习，并且学以致用，应用到我们日常的生活中去。 文中清晰的阐述了大数据的基本概念和特点，并列出明确的观点。不管对于产业实践者，还是对于政府和公众机构，都非常具有价值。作者将本书分为3个部分。第一部分提出了大数据时代处理数据理念上的三大转变：抽样等于全体；要效率不要绝对精确；要相关不要因果；第二部分作者从万事万物数据化和数据交叉复用的巨大价值两个方面，讲述驱动大数据战车在材质和智力方面向前滚动的最根本动力；最后一部分，作者描绘了大数据帝国前夜的脆弱和不安，包括产业生态环境、数据安全隐私、信息公正公开等问题。 文中提出的一个观点是，预测是大数据的核心。其实从过去的时代人们就利用掌握的数据进行各种分析，从而对经济等各方面进行预测、矫正。只是进入了大数据时代人们掌握的数据爆炸性的速度在增长，从而数据的存储和分析数据分方法成了释放大数据能量的关键。 作者同时也指出随着数据使用的越来越多，其得出的结果并一定能越来越精确，毕竟数据不能保证百分之百的正确，特别是大数据时代各种结构化与非结构化类型的数据聚集在一起难免导致结果的不太精确。大数据时代要求我们重新审视精确性的优劣。 大数据成为许多公司竞争力的来源，未来可能整个行业的结构会发生改变，大公司和小公司最有可能成为赢家。如今的核心竞争力在于快速而廉价地进行大量的数据存储和处理。当然公司要根据自己的情况进行调整。大数据向小数据时代的赢家以及那些线下大公司（如沃尔玛、联邦快递、宝洁公司、雀巢公司、波音公司）提出了挑战。同时，大数据也为小公司带来了机遇。大数据也将会影响国家竞争力。当制造业已经大幅转向发展中国家，而大家都争相发展创新行业的时候，工业化国家因为掌握了数据以及大数据技术，所以仍然在全球竞争中占据优势，但这个优势很难持续。随着技术的发展，西方世界在大数据技术的优势将会慢慢消失。对于大公司而言，好消息是大数据技术可以加剧优胜劣汰。一旦公司掌握了大数据，它不但可能超过对手还可能遥遥领先。
对大数据的心得体会 早在XX 年，人类制造的信息量有史以来第一次在理论上超过可用存储空间总量，近几年两者的剪刀差越来越大。 XX年，全球数字规模首次达到了“ ZB”级别。XX年，淘宝网每天在线商品数超过8亿件。XX年底，中国手机网民超过6 亿户。随着互联网、移动互联网、传感器、物联网、社交网站、云计算等的兴起，我们这个社会的几乎所有方面都已数字化，产生了大量新型、实时的数据。无疑，我们已身处在大数据的海洋。有两个重要的趋势使得目前的这个时代与之前有显著的差别：其一，社会生活的广泛数字化，其产生数据的规模、复杂性及速度都已远远超过此前的任何时代；其二，人类的数据分析技术和工艺使得各机构、组织和企业能够以从前无法达到的复杂度、速度和精准度从庞杂的数据中获得史无前例的洞察力和预见性。 大数据是技术进步的产物，而其中的关键是云技术的进步。在云技术中，虚拟化技术乃最基本、最核心的组成部份。计算虚拟化、存储虚拟化和网络虚拟化技术，使得大数据在数据存储、挖掘、分析和应用分享等方面不仅在技术上可行，在经济上也可接受。 在人类文明史上，人类一直执着探索我们处的世界以及人类自身，一直试图测量、计量这个世界以及人类自身，试图找到隐藏其中的深刻关联、运行规律及终极答案。大数据以其人类史上从未有过的庞大容量、极大的复杂性、快速的生产及经济可得性，使人类第一次试图从总体而非样本，从混杂性而非精确性，从相关关系而非因果关系来测
量、计量我们这个世界。人类的思维方式、行为方式及社会生活的诸多形态正在开始发生新的变化。或许是一场革命性、颠覆性的变化。从这个意义上讲，大数据不仅是一场技术运动，更是一次哲学创新。 1 大数据的概述 大数据的概念 大数据是指那些超过传统数据库系统处理能力的数据。它的数据规模和转输速度要求很高，或者其结构不适合原本的数据库系统。为了获取大数据中的价值，我们必须选择另一种方式来处理它。 数据中隐藏着有价值的模式和信息，在以往需要相当的时间和成本才能提取这些信息。如沃尔玛或谷歌这类领先企业都要付高昂的代价才能从大数据中挖掘信息。而当今的各种资源，如硬件、云架构和开源软件使得大数据的处理更为方便和廉价。即使是在车库中创业的公司也可以用较低的价格租用云服务时间了。 对于企业组织来讲，大数据的价值体现在两个方面：分析使用和二次开发。对大数据进行分析能揭示隐藏其中的信息，例如零售业中对门店销售、地理和社会信息的分析能提升对客户的理解。对大数据的二次开发则是那些成功的网络公司的长项。例如Facebook 通过结合大量用户信息，定制出高度个性化的用户体验，并创造出一种新的广告模式。这种通过大数据创造出新产品和服务的商业行为并非巧合，谷歌、雅虎、亚马逊和Facebook，它们都是大数据时代的创新者。 大数据的三层关系
篇一:《大数据时代书面记录与心得体会》 大数据时代书面记录与心得体会 2015年5月12日，听取了大数据时代相关技术的技术讲座。当今，大数据的到来，已经成为现实生活中无法逃避的挑战。每当我们要做出决策的时候，大数据就无处不在。大数据术语广泛地出现也使得人们渐渐明白了它的重要性。大数据渐渐向人们展现了它为学术、工业和政府带来的巨大机遇。与此同时，大数据也向参与的各方提出了巨大的挑战。 大数据，其影响除了经济方面的，它同时也能在政治、文化等方面产生深远的影响，大数据可以帮助人们开启循“数”管理的模式，也是我们当下“大社会”的集中体现，三分技术，七分数据，得数据者得天下。“大数据”的影响，增加了对信息管理专家的需求。事实上，大数据的影响并不仅仅限于信息通信产业，而是正在“吞噬”和重构很多传统行业，广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。而在零售业中，数据分析的技术与手段更是得到广泛的应用，传统企业如沃尔玛通过数据挖掘重塑并优化供应链，新崛起的电商如卓越亚马逊、淘宝等则通过对海量数据的掌握和分析，为用户提供更加专业化和个性化的服务。大数据在个人隐私的方面，大量数据经常含有一
些详细的潜在的能够展示有关我们的信息，逐渐引起了我们对个人隐私的担忧。一些处理大数据公司需要认真的对待这个问题。例如美国天睿资讯给人留下比较深刻印象的是他的一个科学家提出，我们不应该简单地服从法 律方面的隐私保护问题，这些远远不够的，公司都应该遵从谷歌不作恶的原则，甚至更应该做出更积极的努力。 未来十年，决定中国是不是有大智慧的核心意义标准（那个"思想者"），就是国民幸福。一体现在民生上，通过大数据让有意义的事变得澄明，看我们在人与人关系上，做得是否比以前更有意义；二体现在生态上，通过大数据让有意义的事变得澄明，看我们在天与人关系上，做得是否比以前更有意义。总之，让我们从前10年的意义混沌时代，进入未来10年意义澄明时代。随着具有语义网特征的数据基础设施和数据资源发展起来，组织的变革就越来越显得不可避免。大数据将推动网络结构产生无组织的组织力量。最先反映这种结构特点的，是各种各样去中心化的WEB0应用，如RSS、维基、博客等。大数据之所以成为时代变革力量，在于它通过追随意义而获得智慧。生产者是有价值的，消费者是价值的意义所在。有意义的才有价值，消费者不认同的，就卖不出去，就实现不了价值；只有消费者认同的，才卖得出去，才实现得了价值。大数据帮助我们从消费者这个源头识别意义，从而帮助生产者实现价值。这就是启动内需的原理。 篇二:《大数据时代读后感》
《大数据时代》读后感2篇01我们已在大数据里生活了好多年，而最近观看了《大数据时期》带给了我的是更多的思考。随着互联网的快速发展，特别是最近几年来，随着社交网络，物联网，云计算和各种传感器的广泛利用，具有大量，多样性和强时效性的非结构化数据不断出现。数据存储和分析技术的重要性难以实时处理大量非结构化信息。大数据的概念应运而生。如何获得，汇总和分析大数据已成为广泛关注的热门问题。 对普通企业而言，大数据的作用主要体现在两个方面，即数据的分析和使用和2次开发项目。通过分析信息的大数据，不但可以发掘隐藏数据，还可以通过这些隐藏的消息，通过销售实体，增强其客户来源。至于数据的2次开发，它用于网络服务项目。通过总结和分析这些信息，我们可以开发出满足客户需求的个性化解决方案，并创造1种新的广告和营销方式。 同时作为1名人力资源工作者，我也在想人力资源管理由于大数据而取得价值提升的可能，但也有可能在大数据的海洋中迷失方向。伴随着业务发展要求及劳动力的变迁，人力资源管理从最初行政事务性的人事管理，到聚焦资源使用效力的人力资源管理，再到目前寻求有竞争力投资回报的人力资本管理，管理内容不断丰富，管理模式不断创新，其价值也不断得到提升。 过去，人力资源管理没有太多数据的支持，决策常常依托直觉、经验和个人偏好。大数据时期的来临，让人力资本用数量的方式来进行投资分析和管理成为可能。但未来的挑战不是数据缺少，而是如何有效地选取和利用数据，而不会在数据的海洋中迷失了方向。 2012年，麦肯锡提出了“大数据时期”的说法，用最通俗的说法来讲，就是这个世界的各行各业，将会出现海量信息，即“信
息爆炸时期”。而这些信息，都是由各种数据组成，通过搜集、整理、分析、研究这些数据，就可以找到对自己有益的方法。夸大1点说，掌握了大数据，就掌握了未来。时期的步伐进入了2019年，许多企业都在谈“大数据时期”，都在研究如何与时俱进，将“大数据”与数据分析融入到企业管理中去，为自己带来创新性的优势。归根到底，大数据时期下企业人力资源管理的创新，还是通过数据化信息的动态搜集和梳理，对企业人力资源的不同模块进行分析，从而到达全面提升人力资源管理水平的目的。 02《大数据时期》，作者是被誉为“大数据时期的预言家”维克托.迈尔-舍恩伯教授和肯尼思.库克耶。此书是在大数据方兴未艾、众说纷纭的时刻，进1步论述和厘清大数据的基本概念和特点。 人类历史长河中，即便是在现代社会日新月异的发展中，人们还主要依赖抽样数据、局部数据和片面数据，乃至在没法取得实证数据的时候纯洁依赖经验、理论、假定和价值观去发现未知领域的规律。因此，人们对世界的认识常常是表面的、浮浅的、简单的、扭曲的或是无知的。维克托指出，大数据时期的来临令人类第1次有机会和条件，在非常多的领域和非常深入的层次取得和使用全面数据、完全数据和系统数据，深入探索现实世界的规律，获得过去不可能获得的知识，得到过去没法企及的商机。 本书从思惟变革、商业变革及管理变革3部份论述大数据时期已来临;罗列了众多在公共卫生、商业服务领域大数据变革的例子。比如：在思惟变革部份，以UPS与汽车修理预测为例，证明知道“是甚么”就够了，没必要知道“为何”;在大数据时期，我们没必要非得知道现象背后的缘由，而是要让大数据自己“发声”：U PS国际快递公司从2000年就开始使用预测性分析来检测自己全美60000辆
《大数据》读后心得体会 首先，本书大体上都是在讲美国政府在各社会团体不断“争取”权利、三权分立制度的制衡下，一步步将信息公开的历程。以及数据对美国政治所产生的影响，美国政府如何保护公民隐私等等。其实真正涉及到企业如何变得更加“智能”，唯有第四章讲得非常详细。先来看一下完整的商务智能流程：1、通过各种来源的关系型数据库，使用ELT工具，对来自不同系统的数据以统一格式进行清洗、转换、集成进入到数据仓库。2、锁定目标数据后进行联机分析。通过不同的分析角度进行多维分析，这样用户可以随时创建自己需要的报表，开发人员只要在后台为用户创建构建多维的数据立方体模型，用户就可以直接在前端的各个维度之间进行切换，从不同的维度对数据进行分析。从而获得更加全面的、动态的的分析结果。3、进行数据挖掘。就是从海量数据中，挖掘出具有价值的数据。通过对数据的挖掘其一、可以发现数据的历史规律，对过去进行总结。其二、可以根据数据对未来进行预测。企业可以根据预测对未来行情趋势做出预判，并作出相关决策。4、数据可视化，我想任何人看到一推数据，就会感到很头疼。当然也很不直观，到底企业的各项指标相比往年是好是坏去做对比也会很麻烦。使用各种图
表、三维地图、动态模拟以及相关的动画技术是原本枯燥乏味的数据，变得生动起来。数据可视化把数据以更加直观的形态展现出来，使人们对相关数据做到一目了然。5、通过上面几步我们就把原先毫无价值的数据，变成了信息，最后演变为知识。 其次，我们北大青鸟公司应该考虑的：1、是否有必要建立数据仓库？当然我这个问题我也在线上向IBM数据仓库的人员询问过。要考虑的有两个因素:其一、数据量的级别，其二、对数据挖掘的程度。一、数据量。采集器实时都对新闻、论坛、博客、微博在进行采集，当然如果说一年的数据量不算大的话，亦或者宁波本地的数据量也没那么大的话。公司假设几年后、几十年后业务量增大了，做到了浙江省乃至全国的时候。那个时候的数据量我想应该是非常的庞大了。二、对数据挖掘的程度，当然有关公司涉及的更多。不过有时候那些公司做得仅仅是从采集的数据那里通过筛选，将相关信息发送给相关的客户。个人觉得这个价值应该被放大，通过对相关数据的挖掘对过去的规律进行总结，对未来的趋势做出预测。如固特异轮胎，根据往年的数据总结出某款轮胎某地以及在哪个时间段销量最大，然后第二年可以根据这个数据，制造商可以提前对该型号轮胎进行大量备货以备不时之需。通过挖掘在特定的时间段，哪几种商品捆绑销售会得到更好的销量等等。当然数据仓库是面向主题的数据
大数据时代心得体会 篇一：大数据时代读书心得 一部似乎还没有写完的书 ——读《大数据时代》有感及所思 读了《大数据时代》后，感觉到一个大变革的时代将要来临。虽然还不怎么明了到底要彻底改变哪些思维和操作方式，但显然作者想要“终结”或颠覆一些传统上作为我们思维和生存基本理论、方法和方式。在这样的想法面前，我的思想被强烈震撼，不禁战栗起来。“在小数据时代，我们会假象世界是怎样运作的，然后通过收集和分析数据来验证这种假想。”“随着由假想时代到数据时代的过渡，我们也很可能认为我们不在需要理论了。”书中几乎肯定要颠覆统计学的理论和方法，也试图通过引用《连线》杂志主编安德森的话“量子物理学的理论已经脱离实际”来“终结”量子力学。对此我很高兴，因为统计学和量子力学都是我在大学学习时学到抽筋都不能及格的课目。但这两个理论实在太大，太权威，太基本了，我想我不可能靠一本书就能摆脱这两个让我头疼一辈子的东西。作者其实也不敢旗帜鲜明地提出要颠覆它们的论点，毕竟还是在前面加上了“很可能认为”这样的保护伞。 近几十年，我们总是在遇到各种各样的新思维。在新思
维面前我们首先应该做到的就是要破和立，要改变自己的传统，跟上时代的脚步。即使脑子还跟不上，嘴巴上也必须跟上，否则可能会被扣上思想僵化甚至阻碍世界发展的大帽子。既然大数据是“通往未来的必然改变”，那我就必须“不受限于传统的思维模式和特定领域里隐含的固 有偏见”，跟作者一起先把统计学和量子力学否定掉再说。反正我也不喜欢、也学不会它们。 当我们人类的数据收集和处理能力达到拍字节甚至更大之后，我们可以把样本变成全部，再加上有能力正视混杂性而忽视精确性后，似乎真的可以抛弃以抽样调查为基础的统计学了。但是由统计学和量子力学以及其他很多“我们也很可能认为我们不再需要的”理论上溯，它们几乎都基于一个共同的基础——逻辑。要是不小心把逻辑或者逻辑思维或者逻辑推理一起给“不再需要”的话，就让我很担心了！ 《大数据时代》第16页“大数据的核心就是预测”。逻辑是——描述时空信息“类”与“类”之间长时间有效不变的先后变化关系规则。两者似乎是做同一件事。可大数据要的“不是因果关系，而是相关关系”，“知道是什么就够了，没必要知道为什么”，而逻辑学四大基本定律（同一律、矛盾律、排中律和充足理由律）中的充足理由律又“明确规定”任何事物都有其存在的充足理由。且逻辑推理三部分——归纳逻辑、溯因逻辑和演绎逻辑都是基于因果关系。两者
大数据时代 维克托·迈尔·舍恩伯格 首先作者抛出了大数据时代处理数据理念上的三大转变： ●要全体不要抽样。首先，要分析与某事物相关的所有数据，而不是依 靠分析少量的数据样本。全数据模式，样本=总体。 ●要效率不要绝对精确。其次，我们乐于接受数据的纷繁复杂，而不再 追求精确性。 ●要相关不要因果。最后，我们的思想发生了转变，不再探求难以捉摸 的因果关系，转而关注事物的相关关系。 接着，从万事万物数据化和数据交叉复用的巨大价值两个方面，讲述驱动大数据战车在材质和智力方面向前滚动的最根本动力；最后，作者冷静描绘了大数据帝国前夜的脆弱和不安，包括产业生态环境、数据安全隐私、信息公正公开等问题。 ●大数据的核心就是预测 ●大数据是指不用随机分析法这样的捷径，而采用所有数据的方法。 ●大数据的精髓在于我们分析信息时的三个转变，这些转变将改变我们 理解和组建社会的方法。 ?第一个转变就是，在大数据时代，我们可以分析更多的数据，有时候 甚至可以处理和某个特别现象相关的所有数据，而不再依赖于随机采 样。 ?第二个改变就是，研究数据如此之多，以至于我们不再热衷于追求精 确度。
?第三个转变因前两个转变而促成，即我们不再热衷于寻找因果关系。 ●让数据发声，我们会注意到很多以前从来没有意识到的联系的存在●数据化意味着我们要从一切太阳底下的事物中汲取信息，甚至包括很 多我们以前认为和“信息”根本搭不上边的事情。 ●大数据时代开启了一场寻宝游戏，而人们对于数据的看法以及对于由 因果关系向相关关系转化时释放出的潜在价值的态度，正是主宰这场游戏的关键。 第一部分大数据时代的思维变革●大数据与三个重大的思维转变有关，这三个转变是相互联系和相互作 用的。 ●要想获得大规模数据带来的好处，混乱应该是一种标准途径，而不应 该是竭力避免的。 ●知道“是什么”就够了，没必要知道“为什么”。我们理解世界不再 需要建立在假设的基础上. ●通过去探求“是什么”而不是“为什么”，相关关系帮助我们更好地 了解了这个世界. 第二部分大数据时代的商业变革●数字化指的是把模拟数据转换成用0和1表示的二进制码 ●数据化是指一种把现象转变为可制表分析的量化形式的过程 ●“文化组学”是一个计算机专业词汇，指的就是通过文本的定量分析 来揭示人类行为和文化发展的趋势.
对大数据的心得体会 早在XX年，人类制造的信息量有史以来第一次在理论上超过可用存储空间总量，近几年两者的剪刀差越来越大。XX年，全球数字规模首次达到了“ZB”级别。XX年，淘宝网每天在线商品数超过8亿件。XX年底，中国手机网民超过 6亿户。随着互联网、移动互联网、传感器、物联网、社交网站、云计算等的兴起，我们这个社会的几乎所有方面都已数字化，产生了大量新型、实时的数据。无疑，我们已身处在大数据的海洋。有两个重要的趋势使得目前的这个时代与之前有显著的差别：其一，社会生活的广泛数字化，其产生数据的规模、复杂性及速度都已远远超过此前的任何时代；其二，人类的数据分析技术和工艺使得各机构、组织和企业能够以从前无法达到的复杂度、速度和精准度从庞杂的数据中获得史无前例的洞察力和预见性。 大数据是技术进步的产物，而其中的关键是云技术的进步。在云技术中，虚拟化技术乃最基本、最核心的组成部份。计算虚拟化、存储虚拟化和网络虚拟化技术，使得大数据在数据存储、挖掘、分析和应用分享等方面不仅在技术上可行，在经济上也可接受。 在人类文明史上，人类一直执着探索我们处的世界以及人类自身，一直试图测量、计量这个世界以及人类自身，试图找到隐藏其中的深刻关联、运行规律及终极答案。大数据
以其人类史上从未有过的庞大容量、极大的复杂性、快速的生产及经济可得性，使人类第一次试图从总体而非样本，从混杂性而非精确性，从相关关系而非因果关系来测量、计量我们这个世界。人类的思维方式、行为方式及社会生活的诸多形态正在开始发生新的变化。或许是一场革命性、颠覆性的变化。从这个意义上讲，大数据不仅是一场技术运动，更是一次哲学创新。 1 大数据的概述 大数据的概念 大数据是指那些超过传统数据库系统处理能力的数据。它的数据规模和转输速度要求很高，或者其结构不适合原本的数据库系统。为了获取大数据中的价值，我们必须选择另一种方式来处理它。 数据中隐藏着有价值的模式和信息，在以往需要相当的时间和成本才能提取这些信息。如沃尔玛或谷歌这类领先企业都要付高昂的代价才能从大数据中挖掘信息。而当今的各种资源，如硬件、云架构和开源软件使得大数据的处理更为方便和廉价。即使是在车库中创业的公司也可以用较低的价格租用云服务时间了。 对于企业组织来讲，大数据的价值体现在两个方面：分析使用和二次开发。对大数据进行分析能揭示隐藏其中的信息，例如零售业中对门店销售、地理和社会信息的分析能提