认清大数据的十大误区

大数据的三个误区及危险作者：Eric Almquist，Tom Springer，John Senior|贝恩咨询合伙人；编译：阿里商业评论大数据解决方案供应商总是信誓旦旦。

他们说，你要做的就是把数据给到我们。

然后我们就会提供一系列想法，让你们公司在营销效率、客户体验和服务运营效率方面得到极大改善。

你和你的团队就放心吧，我们的技术和你们的数据科学家会把重头扛下来。

是不是有似曾相识的感觉？如果你曾经历客户关系管理（CRM）改革时最初那个兴奋阶段，那么你一定会有这种感觉。

早在20世纪90年代，很多企业对这种技术十分认同，最后的结果就是搞了一堆没用的数据库、养成了很多叛逆的销售团队，以及资本预算的耗尽。

此后，CRM行业日渐成熟。

毫无疑问，现在的CRM解决方案可以为很多机构提供真正的价值。

例如，在贝恩咨询“2015管理工具与趋势”调查（2015 Management Tools & Trends）中，CRM是排名第六的畅销业务工具。

根据Gartner统计， 2014年，全球的CRM开支总计达到204亿美元，此前一年为180亿美元。

但CRM的失败率也很高。

C5 Insight在2014年发布的一份报告中称，有超过30%的CRM应用以失败告终，同一批公司的第二和第三次CRM应用，其失败率仅比第一次实施略低。

这就是CRM改革之前20年的情况。

我们看到，大数据的发展路径与此类似，都是在客户影响力和价值创造方面信誓旦旦。

Gartner在最新一份报告中预测，到2017年，60%的大数据项目过不了试验期，会被打入冷宫。

为什么历史会重演？原因不在于兴趣、努力或投资的缺乏。

相反，这说明从既有客户、运营和服务数据中创造价值是非常困难的，更不用提社交媒体、移动设备和在线活动所产生的大量非结构化的内外部数据。

各家公司在利用大数据和高级分析工具方面面临的压力日渐增大，因为客户希望从与他们打交道的机构中获取更多信息。

竞争在加剧，特别是在金融服务、零售、通信和媒体等成熟行业。

大数据挖掘中易犯的11大错误_深圳光环大数据人工智能培训0.缺乏数据(LackData)1.太关注训练(FocusonTraining)2.只依赖一项技术(RelyonOneTechnique)3.提错了问题(AsktheWrongQuestion)4.只靠数据来说话(Listen(only)totheData)5.使用了未来的信息(AcceptLeaksfromtheFuture)6.抛弃了不该忽略的案例(DiscountPeskyCases)7.轻信预测(Extrapolate)8.试图回答所有问题(AnswerEveryInquiry)9.随便地进行抽样(SampleCasually)10.太相信最佳模型(BelievetheBestModel)0.缺乏数据(LackData)对于分类问题或预估问题来说，常常缺乏准确标注的案例。

例如：-欺诈侦测(FraudDetection)：在上百万的交易中，可能只有屈指可数的欺诈交易，还有很多的欺诈交易没有被正确标注出来，这就需要在建模前花费大量人力来修正。

-信用评分(CreditScoring)：需要对潜在的高风险客户进行长期跟踪(比如两年)，从而积累足够的评分样本。

1.太关注训练(FocusonTraining)IDMer：就象体育训练中越来越注重实战训练，因为单纯的封闭式训练常常会训练时状态神勇，比赛时一塌糊涂。

实际上，只有样本外数据上的模型评分结果才真正有用!(否则的话，直接用参照表好了!)例如：-癌症检测(Cancerdetection)：MDAnderson的医生和研究人员(1993)使用神经网络来进行癌症检测，惊奇地发现，训练时间越长(从几天延长至数周)，对训练集的性能改善非常轻微，但在测试集上的性能却明显下降。

-机器学习或计算机科学研究者常常试图让模型在已知数据上表现最优，这样做的结果通常会导致过度拟合(overfit)。

解决方法：解决这个问题的典型方法是重抽样(Re-Sampling)。

[键入文字]
白话大数据：大数据的常见误区
这个时代，你在外面混，无论是技术还是产品还是运营还是商务，如果嘴里说不出大数据云存储云计算，真不好意思在同行面前抬头。

下面为大家介绍白话大数据：大数据的常见误区。

 白话大数据：大数据的常见误区
 一.大数据的四大误区
 1.误区一大数据就是数据大
 光大是不够的!当我掷地有声用这句话开场时，正好一个妹子推门而入，听到这句话，微微一怔，低头坐下。

 如今在很多场合，一提起大数据，基本都会说日处理数据量XXGB，上传图片XXGB，并发数XXXHadoop集群拥有XXXX节点，总存储XXPB诸如此类的技术语言。

但是不是数据大了，就可以达到大数据的境界，可以一起达到人生的大和谐了?
 数据再大，不去使用，呆在机房里偏安一隅，那绝不是大数据，而是败家子。

在这个问题上，传统的门户网站基本上就属于坐拥金山却无钱上青楼。

无论搜狐新浪网易，每天的用户数以亿计，但是除了简单的广告呈现，并没有通过对数据的分析产生
1。

大数据十大误区知多少_光环大数据培训这两天收到不少关于大数据的问题，发现很多同学和朋友对大数据有着很深的误解，总结了几点，下面一起来分享下吧，希望大家参加大数据培训的时候学以致用。

1.算法是万无一失的预言家不久前，谷歌流感趋向项目被大肆炒作，宣称比美国疾病控制中心和其他安康信息效劳机构更快、更精确地预测流感疫情的发作地。

正如《纽约客》的Michele Nijhuis 在 2017年6月3日的文章中所写的那样，人们以为与流感有关词语的搜索会精确地预测疫情行将迸发的地域。

事实上，简单地绘制本地温度是一个更精确的预测办法。

谷歌的流感预测算法堕入了一个常见的大数据圈套——它产生了无意义的相关性，比方将高中篮球竞赛和流感迸发联络起来，由于两者都发作在冬季。

当数据发掘在一组海量数据上运转时，它更可能发现具有统计意义而非实践意义的信息之间的关系。

一个例子是将缅因州的离婚率与美国人均人造黄油的消费量挂钩：虽然没有任何理想意义，但这两个数字之间的确存在“统计上显著”的关系。

2.你不能在虚拟化根底架构上运转大数据应用大约10年前，当”大数据”初次呈现在人们眼前时，它就是Apache hadoop 的代名词。

就像VMware的Justin Murray在 2017年5月12日的文章中所写的，大数据这一术语如今包括一系列技术，从NoSQL(MongoDB，Apache Cassandra)到Apache Spark。

此前，批判者们质疑Hadoop在虚拟机上的性能，但Murray指出，Hadoop在虚拟机上的性能与物理机相当，而且它能更有效天时用集群资源。

Murray还炮轰了一种误解，即以为虚拟机的根本特性需求存储区域网络(SAN)。

实践上，供给商们经常引荐直接衔接存储，这提供了更好的性能和更低的本钱。

3.机器学习是人工智能的同义词一个辨认大量数据中形式的算法和一个可以依据数据形式得出逻辑结论的办法之间的差距更像是一个鸿沟。

醒客：大数据不能做什么？人们对大数据寄予了许多的希望：卖出更多的货物，做出更好的产品，找到更酷的朋友，甚至帮我们决定明天早上是否睡个懒觉。

现在，凡是有信息流通的地方，都有人们对大数据的期望。

大数据果真如此神通吗？大数据不能做什么？下面从几个方面来谈谈大数据的反面。

一、大数据不能对具体行为作出精确预测事实上，人们的社会行为具有不可预测性。

甚至我们不妨可以定性地归成一个大数据测不准原理：人和事件，如果放到越大的空间和时间范围，则是越可以精确预测的；如果放到越小的空间和时间范围，则是越不可以精确预测的。

举个例子说：我们几乎可以在100%的程度上预测一个人24小时的范围内会吃饭，但若精确到某一分钟，则几乎不可能预测准确。

进一步我们会发现，利用更多过去一段时间的数据，能够帮助我们提高预测某半个小时内是否吃饭的几率，但如果把时间精确到某一分钟，则更多的数据几乎提高不了预测的准确性。

其实，行为的不可预测性早已植根于人类的潜意识中。

比如，我国前一阵子发射了嫦娥三号探月飞船，在嫦娥三号发射前，科学家们已经计算出了在未来的一个月之后的某个小时、分、秒，嫦娥三号在月球上空高度和经纬度，如果这个计算结果偏离预计几十米，则可能推迟发射，重新计算校准。

这是科学对未来的精确预测。

相对的情形是，在晚上10点以后，当我们准备睡觉的时候，能预测明天早餐后下楼碰到的第一个人是谁吗？几乎没有人能知道，但这个巨大的不可预测却没有引起人的关注，几乎没有人会因为不知道下楼碰到的第一个人是谁而影响睡觉。

人们对不可预测性熟视无睹。

大数据的有效范围讨论，需要引进一个假设：人们可以自由决定自己的行为（常常称为“自由意志”）。

一个人自由决定自己行为，在别人看来，就是他的行为无法预测，如果能够精确预测未来的一举一动，就不具备任何的自我决定的自由。

因此，大数据不能对具体行为作出精确预测，即大数据测不准原理。

大数据的不可预测性说明，企图利用大数据预测用户具体行为的努力或许是徒劳的，我们哪怕掌握一个人从出生开始就有的全部行为信息，也无法预测明天早餐他会吃什么。

大数据分析结果需要警惕这三个陷阱_光环大数据培训准确分析客户数据对于提供高质量的服务是至关重要的。

每天都有多个数据流将大量信息转储到企业系统中，但是只有采用正确的分析方法才能真正利用好它。

不幸的是，许多公司总是在收集和检测数据环节就犯错，那往往就会采取失败的分析策略，到头来一切业务分析都功亏一篑，并且还不知道到底是哪儿出了问题。

如果你的公司也是如此，那看看是否也犯过以下的错误：漫无目的地分析没有人会愿意参加一个无明确目标和具体计划的项目，这和大数据分析的道理一样。

许多公司总做数据的收集分析，主要取决于公司领导层的需要，但是由于不知如何将数字转化为可操作的策略，所以只能留下一些无用数据。

只有重新审视公司的主要目标才能开发一个有利可图的数据分析模式。

选择一两个要点如签下更多客户或者改善客户服务，再让数据分析师解读传入的信息。

与数据流和系统失联要知道，所有的商业信息都是相互关联的。

销售数据与库存管理紧密相连，供应链延迟会影响库存水平，订单的完成度取决于清晰明确的销售策略，而客服部需要了解跨部门之间的情况。

用ERP和CRM系统集成必要的客户数据，并实时传递给相应的部门。

用这种处理数据的方式能够有效减少错误，并且让每一个部门都能接触到最新的数据。

云服务则为远程操控提供了最好的选择。

忽略数据安全性充分利用收集到的消费者数据需要一致的访问入口。

如果多台服务器上都没有冗余副本的备份计划，则会有丢失大量信息的风险。

为员工设置VPN会在远程工作中增添另一层安全壁垒。

VPN服务在传输数据时能够加密数据，并提供备用IP地址，使第三方难以或不可能跟踪用户的在线活动。

一些VPN会提供额外的工具来防止不必要的跟踪。

大数据对存有恶意第三方非常有吸引力。

采取安全措施是必要的，以防止业务信息被盗或丢失。

所以，需要尽全力去提高安全性，其中包括：•分析潜在漏洞•向所有薄弱区域添加相关的安全防护和加密措施•雇用安全专家梳理大数据分析方法并与公司目标相匹配就能获取目标的相关信息。

大数据分析的5大误区随着互联网、物联网、通信网对各个领域的渗透越来越深，大数据的积累与日俱增，席卷各行各业和人们生活的速度也越来越快。

如何利用大数据分析开发大数据金矿，让沉睡的数据创造价值，不是沦陷为数据坟墓，这是值得思考的问题。

大数据让人可以被量化，却让机器能思考，因此有人说工业革命把人变成了机器，而信息革命则把机器变成了人。

每个人都想要一窥未来，洞察力和发现信息对拥有它们的人或企业来说自然有利可图。

而尽管占卜尚未证明自己是可靠的业务资产，今天的预测分析软件却可以。

然而盛名之下，围绕大数据和预测分析产生了许多误区。

尤其是下列的五种误区需要被驱散，这样不同规模和阶段的企业才可以开始享用更明智、更高效的决策。

误区1: “大数据是灵丹妙药。

”预测分析有希望可能成为一种塑造更广泛经济的普遍趋势，尤其是如果更多业务决策者为数据所驱动，访问更多的信息，特别是关于你的客户的行为的信息，将会对某些业务提供竞争优势，就像互联网。

然而，在许多情况下，相对未分化的互联网和网络功能并未导致很大的业务增长，建立的预测分析也是如此。

大数据不是企业的灵丹妙药。

相反，更好的数据管理和分析是帮助企业做出更好决策的工具。

就算“小数据”也可以为中小企业很好的利用在投资的路线图上，构建和多样化而无需有大型的IT投资。

误区2: “只有大公司需要预测分析。

”虽然很明显，亚马逊、Target、沃尔玛、Zipcar和其他大型企业是预测分析早期的采用者和重要受益者，各种形式和规模的企业都将受益于智能分析带来的好处。

例如，基于群体客户剖析和行为分析客户挽留模式，然后使用上述数据来设计针对性推广工作，对任何企业可以产生立即的影响。

误区3:“企业引入预测分析的最好方式是“自下而上”或“自上向下”。

“对一些人来说，自下向上的方法涉及到IT人员和数据分析师实施一种持久的解决方案。

对另一些人来说，自上而下的方法是用大量资源，战略和文化解决这一企业挑战，因此应该包括首席执行官（CEO）、首席营销官（CMO），或其他高管。

大数据开发技术中常见错误及解决方案分析在大数据开发技术中，常见错误及解决方案可以从以下几个方面进行分析：1.数据质量问题：数据质量问题是大数据开发中最常见的错误之一，例如数据丢失、重复、错误、格式不规范等。

解决方案可以采用数据清洗和数据校验的方法，包括使用ETL工具进行数据清洗、制定数据质量检查规则、采用自动化工具进行数据校验等。

2.资源利用不充分：在大数据开发中，由于数据量巨大，资源利用不充分的问题较为常见。

这可能是由于任务调度不合理、资源分配不当等原因导致的。

解决方案可以采用资源管理工具进行资源优化分配，根据任务的优先级和资源需求，合理分配集群资源，提高资源利用率。

3.任务超时：由于数据量大以及处理复杂，大数据开发中任务超时的问题比较常见。

任务超时可能是由于数据倾斜、算法复杂度高、集群资源不足等原因导致的。

解决方案可以采用优化算法、数据分片、增加集群资源等方式来解决任务超时的问题。

4.安全问题：5.数据模型设计问题：在大数据开发中，数据模型的设计是至关重要的，一个合理的数据模型可以提高数据处理效率。

常见的错误包括冗余数据、数据关联不当、数据类型选择不合理等。

解决方案可以采用数据建模工具，设计合理的数据模型，减少数据冗余，优化数据访问效率。

6.集群性能问题：由于数据量大，大数据开发中的集群性能问题比较普遍。

例如集群负载不均衡、节点故障导致的任务失败等。

解决方案可以采用集群监控工具，对集群资源进行实时监控，及时发现并解决性能问题，提高集群稳定性和可用性。

总之，大数据开发技术中常见的错误及解决方案分析，可以从数据质量、资源利用、任务超时、安全、数据模型设计和集群性能等方面来进行分析和解决。

通过合理的调优和优化，可以提高大数据处理的效率和可靠性。

关于大数据最常见的10个问题1、云计算与大数据是什么关系?大数据云计算的关键词在于“整合”，无论你是通过现在已经很成熟的传统的虚拟机切分型技术，还是通过google后来所使用的海量节点聚合型技术，他都是通过将海量的服务器资源通过网络进行整合，调度分配给用户，从而解决用户因为存储计算资源不足所带来的问题。

大数据正是因为数据的爆发式增长带来的一个新的课题内容，如何存储如今互联网时代所产生的海量数据，如何有效的利用分析这些数据等等。

他俩之间的关系你可以这样来理解，云计算技术就是一个容器，大数据正是存放在这个容器中的水，大数据是要依靠云计算技术来进行存储和计算的。

两者关系：首先，云计算是提取大数据的前提。

信息社会，数据量在不断增长，技术在不断进步，大部分企业都能通过大数据获得额外利益。

在海量数据的前提下，如果提取、处理和利用数据的成本超过了数据价值本身，那么有价值相当于没价值。

来自公有云、私有云以及混合云之上的强大的云计算能力，对于降低数据提取过程中的成本不可或缺。

其次，云计算是过滤无用信息的“神器”。

首次收集的数据中，一般而言，90%属于无用数据，因此需要过滤出能为企业提供经济利益的可用数据。

在大量无用数据中，重点需过滤出两大类，一是大量存储着的临时信息，几乎不存在投入必要;二是从公司防火墙外部接入到内部的网络数据，价值极低。

云计算可以提供按需扩展的计算和存储资源，可用来过滤掉无用数据，其中公有云是处理防火墙外部网络数据的最佳选择。

再次，云计算可高效分析数据。

数据分析阶段，可引入公有云和混合云技术，此外，类似Hadoop的分布式处理软件平台可用于数据集中处理阶段。

当完成数据分析后，提供分析的原始数据不需要一直保留，可以使用私有云把分析处理结果，即可用信息导入公司内部。

最后，云计算助力企业管理虚拟化。

可用信息最终用来指导决策，通过将软件即服务应用于云平台中，可将可用信息转化到企业现有系统中，帮助企业强化管理模式。