对大数据分析相关问题的思考引言随着移动互联网和社交网络的发展，各行业无论大小，都可以轻松产生海量的数据。
某些数据分析师表示：如果可以实时、精确地追踪一切数据，并且有足够高效的算法与储存设备，大数据可以分析并解决一切问题。
但这样的论点过于理想化，现实情况并不是这样。
随着互联网和社交媒体的活跃，数据量已经不是问题，工具和算法也在日新月异地发生着迭代和更新。
大数据的应用和分析，也的确让很多企业得到利好，提高了利润。
越来越多的问题，在大数据的处理和分析下迎刃而解。
无论是用户喜好、销售变化、市场动态、经济形势，甚至是预测天气，动动鼠标就能够了解。
但是，大数据真的是神奇并万能的吗？1 大数据不是万能的《连线》杂志的前主编Chris Anderson曾经说过：“有了足够的数据，数字本身就能说话”[1]，现今的大数据热度，也正好说明了这一种行业内的认知：“数据必然反映事物之间的联系，因此大数据总是能够揭示事物的真理。
”但大数据并非真的这么万能。
1.1 大数据不能解决所有的问题首先，大数据并不能够解决所有的问题，尤其是大数据用于做用户分析的时候。
大数据的基础是记录用户在线上的点击和操作，这些数据确实是在反映用户的操作和使用行为，但所思并不等于所想，用户的行为并不完全能够反映用户的意图。
苹果公司在发布iPhone4之前做过一个测试，让大家给白色和黑色的手机投票，白色的票数高出黑色很多。
然后苹果公司让这些人从这两种颜色的手机中，选择一种带走，却发现多数人选择了黑色。
手机腾讯网每天的新闻排行中点击量最高的多数是明星八卦类的内容。
但从用户调研问卷和访谈的结果中发现，明星八卦在用户需要和喜欢的内容中排名很靠下。
有的用户，在填写问卷时刚选择了“不喜欢看太八卦的内容”，几分钟之后就在测试页面上打开了“某某明星离婚纠纷”的文章。
而当数据量足够大的时候，如果过分依赖数据的结果，或者把数据的结果理解成用户的“思想”，就很容易做出错误的判断，甚至曲解用户的意图。
1.2 大数据能否客观地反映问题如果说，大数据无法正确反映用户所思，但总会如实反映用户所做吧。
但现实是，大数据可能连这点都做不到。
麻省理工出版的《“R a w D a t a”i s a n Oxymoron》一书中的观点就很有意思，作者认为，“这个世界上根本就不存在‘原始数据’这一说法，‘原始数据’只不过是一种修辞”[2]，数据在采集、筛马 弢手机腾讯网 北京 100080摘 要大数据分析作为当下的热点概念，得到越来越多的重视。
但大数据不是万能的，它有自身的局限性，过分依赖大数据会产生很多问题。
针对这一观点，文章分析列举大数据自身存在的局限性，概括在进行大数据分析时需要注意的问题，提出在做大数据分析时，应当把大数据做“小”的处理方式。
关键词 大数据；数据分析；局限性选、提取和分析的所有过程中，全部加入了人的主观意识，因此任何数据都不是完全客观的。
人们在处理数据时使用的工具和算法都是按照我们给定的逻辑和思路来设计与编写，从最初采集数据的时候，数据就已经被加工过并打上了人为的烙印；因此也就不存在“原始数据”的概念了。
我非常同意作者的观点，“人们总是看到他们希望看到的东西”，数据也是这样；因此，对于大数据分析来说，分析师、数据库工程师、系统搭建和使用者，任何一个参与分析和研究的人，都在左右着数据对现实反映的“客观性”和“真实性”。
其中任何一环失之毫厘，数据分析的结果就可能差之千里。
1.3 数字无法描述感情大数据的另一个局限性在于它很难表现和描述用户的感情。
大数据在处理人类情感、社会关系、前后关联等问题的时候，表现通常不尽如人意。
换句话说，大数据适合做那些“量”的分析，却不善于做“质”的研究。
如两个用户在机器上做了完全相同的操作，从计算机和数据分析的角度看，就是完全相同的两个个体。
但事实上，他们绝对不会是完全一样的两个人。
这也是在做定性分析时，需要找用户面谈的原因。
只有当和用户面对面的时候，才可以通过他的动作、表情清楚地知道用户在这么做和这么说的时候是一种什么样的情绪，很多时候这比系统跑出几TB的数据要实用很多。
大数据只能告诉我们用户正在做什么，而不能告诉我们他们在做的时候是怎么想的、背景是怎样的，或者有着什么样的情绪。
很多时候数字确实比直觉要严谨，但对于用户分析来说，真正有价值的，恰恰经常是这些严谨的数字难以触达的地方。
2 警惕大数据分析的“陷阱”从上述看出，大数据并不是神话，行业从业者过高地吹捧大数据，反而会引起很多问题。
尤其是对于分析师来说，在应用大数据分析的时候，更要警惕其中的一些“陷阱”。
2.1 警惕数据的错误采集方式采集数据是任何数据分析的第一个环节，如果这个环节出了问题，那么后续的操作，就没有可靠性了。
在很多项目中，经常因为使用错误的采集方式而导致错误的分析结论。
举个例子，如果对2013年雅安地震的相关数据进行分析，可以发现那个时期微博、微信、人人等社交媒体的数据量激增，这些网站在短时间内就积累了海量的数据，但这些数据却很难反映全部的问题。
雅安地震的数据大部分集中在成都等大型城市，这点很好理解，因为大城市的人口密度高、智能手机更加普及、覆盖也更广；而那些相对偏僻的地区，收集的数据则少得可怜，由于电力、通信系统瘫痪，真正受灾最严重的地区则几乎统计不到相关的数据。
这是一个客观条件导致数据收集“部分缺失”的典型例子，这样的数据结构统计出来的结果和分析结论一定无法如实反映全部情况。
当然这是一个比较极端的例子，但日常工作中，这种情况也不少见，地域、终端设备、产品的投放渠道等都会直接影响数据的采集过程。
现在来看，对于App Store的下载和操作行为，由于苹果系统的封闭性，应用开发者们还没有什么太好的数据采集方式；安卓平台则由于第三方市场参差不齐，所采集到数据的可靠性也很难有保障。
分析师在做数据采集的时候，就需要经常自省，“究竟需要什么样的数据”、“这些数据是否足够”、“数据是从哪里来的”、“其中有多少数据是真正有价值的”，从数据处理的第一个环节就开始减少误差对数据真实性的干扰。
2.2 大数据的冗余、虚假和干扰大数据的一个显著特点就是庞大的数据量和繁复的数据结构，在一个PB量级的数据库中提取、筛选和分析某个很具体的问题如同大海捞针。
这是大数据分析面临的另一个问题。
随着数据量的提升，单位数据的价值越来越低，而筛选和分析的成本却越来越高。
有些分析师认为，“世界上没有无用或过量的数据，任何数据都是有价值的，也许今天采集到的数据暂时没有什么意义。
但说不定哪天这些数据就会发挥作用。
”这个观点过于理想化，在现实工作中很难实现。
在实际工作中，这些多余数据不但会降低服务器和数据库的效率，同时还会给真正有效的数据造成干扰和偏差。
例如要检测某个网站的健康度，一般核心的指标是网站新用户、留存和现有用户之间的比例。
但是当社交媒体普及和繁荣之后，更多的指标被加入进来，转发、分享、评价等参数也被引用来评价一个网站的健康程度。
网站的运营人员往往为了达到所谓的KPI，去强制提高其中的某些数据，这些额外被统计的数据往往会对之前的指标产生干扰或者影响。
Facebook去年的一份报告显示，其网站有7 600万个“僵尸账号”[3]；在twitter上，很多明星的僵尸粉数量更是惊人，根据Social Selling University 网站的数据，贾斯汀比博的粉丝中有31%是僵尸粉，而Lady gaga的僵尸粉更是占了34%。
这些“僵尸账户”在社交媒体上造成了虚假的繁荣，很可能会让博主和广告主对于明星账户的商业价值产生错误的评估，引起运营上的偏差，甚至导致投资上的失策。
2.3 多重指标和分歧由于膨胀的数据量往往会得到一大堆的数据和报告，在做大数据分析和处理的时候，就经常会遇到多重指标所造成的分歧。
一组数据在不同人看来，会得出不同的结论。
当一组数据得出很多关键指标的时候，这些多重指标就会让分析者产生困惑，甚至得出与事实完全相反的结论。
2012年，几家电商网站打口水仗，其最初的导火索就是这个原因。
某个机构出具了一份电商行业的“权威”报告，报告对于各家电商网站的用户数、交易额、出货量、访问次数、活跃度等各个指标进行了调研。
究竟哪个指标才是最关键的衡量指标，谁也说不清楚；因此造成了“一份报告各自表述”的情况。
于是有的网站成为“用户量第一”，有的是“交易额第一”，有的是“活跃度最高”。
总之，所有的网站都从中找到了能让自己成为行业第一的“关键”数据和结论，之后所有网站都不服气，口水仗也因此而生。
以至于这个“权威”报告的权威性遭到大量的挑战和质疑。
这就又回到机器与人脑的博弈中，数据是在反应和处理情况，但解读数据的是人；因此，在分析工作中，真正值得做的，并不是把数据反应的情况简单地全部说出来，而是有选择性地说，这才是分析师的价值。
2.4 用结论指导分析上述还揭示了一个潜在的问题，即是用数据分析来得出结论，还是用结论来指导数据分析？我们都知道应该是前者，但往往在工作的时候会发生偏差。
很多分析师会接到这样一种需求，“现在有一个假设，希望可以通过数据分析的结论来验证一下”，而通常会发现，验证的结果恰恰都能验证这些假设。
这其实是因为在做这类需求的数据分析时，采集、筛选、分析和处理的过程都被限定在了那个假设所设置的框架中，按照这个框架的规则来进行演算就如同反证法，从结论出发来证明结论，任何假设在这种情况下都可以自圆其说。
这种情况在非“大数据”时代就经常发生，而在“大数据”时代，这种情况更为严重。
海量的数据和报告，通常让分析师对于他们的假说更为自信。
“如此大量的数据都证明了，那这个假设还能有什么问题呢？”这种从结论引导的分析过程，就很容易发生偏差，在采集数据的时候很容易片面地缩小采样范围，在筛选和分析的时候忽略那些可能存在的问题。
这在工作中很常见。
“人们总是试图证明他们心中的结论，挖掘和分析那些对证明有利的数据”，但人们心中的假设却经常与真理背道而驰。
2.5 突变和延迟任何形式的大数据，都需要一个成长的空间和时间，或者说需要一个数据量积累的过程。
这一特点，决定了大数据在时间上的相对延迟，即大数据只能反应已经发生过的操作行为，很难响应正在发生的事情；尤其是在遇到突变的时候，大数据基本对此无能为力。
当数据量达到一定的规模时，短时间的突变会直接淹没在海量的数据里，这样往往会让分析者忽略掉很多重要的问题。
比如某个网站的NBA直播室新增了网友声援球队的模块，用户可以给自己喜欢的球队投票。
然而这个系统有一定的漏洞，在湖人队某场比赛的当天，用户通过其中的漏洞给球队刷票，导致短时间的投票量增长了几倍。
这个短时间的流量脉冲相对于全天数据来说影响只有不到5%，因此无论是统计人员还是业务负责人对此都没有在意。
