读大数据时代有感

读《大数据时代》有感15级会计ACCA 班 201526909019 李佳凌《大数据时代》是国外大数据研究的先河之作，该书作者维克托•迈尔•舍恩伯格被誉为“大数据商业应用第一人”，拥有在哈佛大学、牛津大学、耶鲁大学和新加坡国立大学等多个互联网研究重镇任教的经历。

读完这本书后我有着非常深的感悟。

维克托•迈尔•舍恩伯格在书中前瞻性地指出，大数据带来的信息风暴正在变革我们的生活、工作和思维，大数据开启了一次重大的时代转型，并用三个部分讲述了大数据时代的思维变革、商业变革和管理变革。

维克托•迈尔•舍恩伯格最具洞见之处在于，他明确指出，大数据时代最大的转变就是，放弃对因果关系的渴求，而取而代之关注相关关系。

也就是说只要知道“是什么”，而不需要知道“为什么”。

这就颠覆了千百年来人类的思维惯例，对人类的认知和与世界交流的方式提出了全新的挑战。

如今，数据已经成为一种商业资本，一项重要的经济投入，可以创造新的经济利益。

大数据的精髓在于我们分析信息时的三个转变，这些转变将改变我们理解和组建社会的方法。

第一个转变就是，在大数据时代，我们可以分析更多的数据，有时候甚至可以处理和某个特别现象相关的所有数据，而不再依赖于随机采样。

第二个改变就是，研究数据如此之多，以至于我们不再热衷于追求精确度。

第三个转变因前两个转变而促成，即我们不再热衷于寻找因果关系。

寻找因果关系是人类长久以来的习惯。

即使确定因果关系很困难而且用途不大，人类还是习惯性地寻找缘由。

相反，在大数据时代，我们无须再紧盯事物之间的因果关系，而应该寻找事物之间的相关关系，这会给我们提供非常新颖且有价值的观点。

相关关系也许不能准确地告知我们某件事情为何会发生，但是它会提醒我们这件事情正在发生。

大数据的相关关系分析法更准确、更快，而且不易受偏见的影响。

建立在相关关系分析法基础上的预测是大数据的核心。

一个东西要出故障，不会是瞬间的，而是慢慢地出问题的。

通过收集所有的数据，我们可以预先捕捉到事物要出故障的信号，比方说发动机的嗡嗡声、引擎过热都说明它们可能要出故障了。

系统把这些异常情况与正常情况进行对比，就会知道什么地方出了毛病。

通过尽早地发现异常，系统可以提醒我们在故障之前更换零件或者修复问题。

通过找出一个关联物并监控它，我们就能预测未来随着网络技术的发展成熟，传统行业不断感受到来自大数据、云计算等新技术的冲击，这些新技术意味着游戏规则的改变，大数据技术对各行各业的发展的影响尤为显著。

人们对大数据的探讨越来越深入，兴趣也越来浓厚。

舍恩伯格分三部分来讨论大数据，即思维变革、商业变革和管理变革。

在第一部分“大数据时代的思维变革”中，舍恩伯格旗帜鲜明的亮出他的三个观点：一、更多：不是随机样本，而是全体数据；二、更杂：不是精确性，而是混杂性；三、更好：不是因果关系，而是相关关系。

维基百科说大数据由巨型数据集组成，这些数据集大小常超出常用软件在可接受时间下的收集、运用、管理和处理能力，或称巨量数据、海量数据、大资料，大数据的常见特点是3V：Volume、Velocity、Variety。

但是通过阅读，我了解到规模巨大的数据未必就是大数据。

比如伯努利实验，随着实验次数的无限增加，频率将趋近去概率，但这只能说是统计学或者是概率学，而不是大数据。

将这一概率引入金融学、天文学、地理学等等领域，进而进行关联研究，但是传统的分析方法的时间是不允许这样做的，这需要搞笑计算资源与能力，将处理结果迅速呈现出来。

大数据并不是指数据本身，而是一种思维方式。

“大数据不是要教机器像人一样思考。

相反，把数学算法运用到海量的数据上来预期事情发生的可能性。

”大数据令人着迷之处还在于，它正在尝试着引导人们用科学的办法对“预测”挑战。

作者引用了安德森的观点“现在已经是一个有海量数据的时代，应用数学已经取代了其他的所有学科工具，而且只要数据足够，就能说明问题”。

大数据研究的一大驱动力就是商用，舍恩伯格在第二部分里讨论了大数据时代的商业变革。

而要为商业所用，第一从原始数据采集、数据清洗整合到构建模型分析、形成可显示化结果，整个流程必须连贯起来；第二，大数据产业化，技术成熟。

而国内目前的情况是，传统企业的流程分割化现象严重，就数据采集方面来说，因内部是各个孤立的系统而产生信息孤岛现象，又或者是数据采集过于片面。

所以传统行业能够运用大数据技术创造更大的商业价值的前提是实现信息化、数字化，并且要有新的思维，不论是公司高层还是底层（这就涉及到第三部分——管理变革）。

此外，大叔级技术在国内的发展不能说顺利。

首先国内的大数据技术缺乏数据准备阶段，这就使得发展大数据成为空话或者是说只是一种概念炒作，对比国外，没有媒体刻意推进和炒作，只是在脚踏实地地研究，这样出来的技术才可能是完美的成熟的。

要发展好大数据，要利用大数据创造的价值，就要改变管理的思维方式，变革管理模式。

运用大数据的企业要改变，研究开发大数据的企业也要改变。

维克托·尔耶·舍恩伯格在《大数据时代:生活、工作与思维的大变革》中最具洞见之处在于，他明确指出，大数据时代最大的转变就是，放弃对因果关系的渴求，而取而代之关注相关关系。

也就是说只要知道“是什么”，而不需要知道“为什么”。

这颠覆了千百年来人类的思维惯例，对人类的认知和与世界交流的方式提出了全新的挑战。

对于大数据（Big Data）的应用，并不是他不想证明因果关系，而是并不能证明因果关系。

由于大数据的收集方法和分析方法，在于把所有能收集的数据都收集，再集中分析，这种研究方法是缺乏时效性（temporality）的，所以，他并不能证明因果关系，只可以说明两者的相关关系。

可是，对于事物发展的预测，有时，影响因素成千上万，解释的理论更加是多如牛毛。

大数据改造了我们的生活，它能优化、提高、高效化并最终捕捉住利益，那直觉、信仰、不确定性和创意还能扮演什么角色呢？就算大数据无法教会我们所有事情，只要能帮助我们表现更佳、更富效率、取得进步，就算缺乏深入理解也是很有用的了。

一贯如是地坚持下去才有效力。

即使你不明白为什么付出的努力得不到回报，但相比不努力，你要明白你已经在改善事情的结局了。

有时候，当我们掌握了大量新型数据时，精确性就不那么重要了，我们同样可以掌握事情的发展趋势。

大数据不仅让我们不再期待精确性，也让我们无法实现精确性。

然而，除了一开始会与我们的直觉相矛盾之外，接受数据的不精确和不完美，我们反而能够更好地进行预测，也能够更好地理解这个世界。

大数据并不是一个充斥着运算法则和机器的冰冷世界，其中仍需要人类扮演重要角色。

人类独有的弱点、错觉、错误都是十分必要的，因为这些特性的另一头牵着的是人类的创造力、直觉和天赋。

偶尔也会带来屈辱或固执的同样混乱的大脑运作，也能带来成功，或在偶然间促成我们的伟大。

这提示我们应该乐于接受类似的不准确，因为不准确正是我们之所以为人的特征之一。

以上就是我的一些感悟，在大数据时代的背景下，我们应该看到其更深层次的东西，抓住机遇迎接挑战，不断进步。

摘录部分：下面摘录一部分我在知乎上看到的关于《大数据时代》的讨论，网友提出的质疑同样值得我们深思。

作者：AndyHsu 来源：知乎链接：https:///question/20666694/answer/18153613花了三天的零碎时间大致看完了舍恩伯格的《大数据时代：生活、工作、思维的大变革》。

我看推荐说这是“迄今为止最好的一本大数据专著”。

目前公司在搞Hadoop、大数据应用，外面各类零碎的资料也非常多，那么想我应该去看一下这“最好”的专著吧。

一、主要观点上可以探讨的地方作者提出了关于大数据的“掷地有声”的三个原则。

这三个原则凡讲大数据必被提及，很多人奉为圭臬。

但是我觉得每一点都值得探讨。

这三点分别是：不是随机样本，而是全体数据；不是精确性，而是混杂性；不是因果关系，而是相关关系。

看完之后感觉都有点不是那么回事。

1.不是随机样本，而是全体数据这个说得好像人类从来就不知道使用全体数据可以得到更全面的结论，而非要去煞费苦心发展出一套抽样技术一样。

人类早就知道处理全量数据的好处，而之所以要进行抽样分析，原因不外乎两点：一是处理能力跟不上，二是数据收集能力跟不上。

作者认为人类之前主要受限于数据的处理能力而不去处理全量数据，但在目前机器处理能力有了巨大的提升的时代，限制绝大多数应用的瓶颈不是计算能力而是数据采集能力（不要去提那些极少数需要超级计算机的场合，那个和多数人无关、和本书的商业主题也无关）。

但是即便如此，抽样所要针对的很多应用场景是不太可能收集全量数据的情况。

比如人口普查，无论计算机力量如何强大，当前很多数据还是要人工去收集，所以这个普查还是要用抽样的方式。

有意思的是，作者用人口普查是抽样分析来说明非“全量”时代我们被迫采用了抽样，而最终也没法说我们是否已经可以用全量数据来做人口普查了。

实际上至少在目前，对于人口普查，抽样还是必然的选择（嗯，你可以设想，以后人人都装一块芯片，你可以在你的PPT里讲给你的客户和老板听）。

再比如我们统计里的经典问题：怎么估算一批零件的使用寿命？怎么去分析一批奶品里的三聚氰胺？以前我们不可能去做全量测试，因为这意味着这批零件就废了，这批奶也全部用于测试了，这样测出结果也没啥意义了（嗯，你也可以说：我我们去收集历史上所有此类零件的使用情况来进行分析吧.....嗯，加油吧，雄心勃勃的骚年）。

现在？我们还是必须依赖抽样，是必须。

即便不提这些例子，仅从逻辑而言：收集、处理数据的行为本身也在不断产生着新的数据。

我们又怎么证明这些数据不是你需要的“全量”的一部分呢？作者的行文中，关于什么是“全量”，处于不断的摇摆之中。

有时指“我们需要的所有数据”，有时指“我们能收集到的所有数据”。

作者举了人口普查的例子，这个全量显然指前者。

而在很多商业案例中，又显然指后者。

我们有能力处理越来越多的、在以前不敢想象的大量数据，但是至少目前看，我们还没可能说我们处理了“全量”。

我们最多可以说我们能处理我们能搜集到的“全量”，但如果据此产生了我们已经没有遗漏数据了的感觉，认为所有数据尽在掌握了，那我认为是一种很可能导致错误的错觉。

2.不是精确性，而是混杂性这个么，说得好像以前的人类在使用“抽样”数据时竟然都认为取到的数据是“精确”的一样。

在使用抽样数据的时候，我们就知道要容忍一定的误差。

我们甚至知道在就算取得了“全样”数据的时候，也可能因为有各种原因而导致的不精确，统计实践中对此有相当多的案例。

人类从未奢望过我们通过数据分析取得的多数结论是精确的。

我们从来都要在信息混杂的情况下做出大多数的决策。

3.不是因果关系，而是相关关系这是很多人（包括作者）认为最有价值、最重大的发现，而实际上却也是最收到批评的一个观点。