本文力图从企业运营和管理的角度，梳理出发掘大数据价值的一般规律:
?以数据驱动的决策，主要通过提高预测概率，来提高决策成功率；
?以数据驱动的流程，主要是形成营销闭环战略，提高销售漏斗的转化率；
?以数据驱动的产品，在产品设计阶段，强调个性化；在产品运营阶段，则强调迭代式创新。
从谷歌、亚马逊、Facebook、LinkedIn，到阿里、百度、腾讯，都因其拥有大量的用户注册和运营信息，成为天然的大数据公司。而像IBM、Oracle、EMC、惠普这类大型技术公司纷纷投身大数据，通过整合大数据的信息和应用，给其他公司提供“硬件+软件+数据”的整体解决方案。我们关注的重点是大数据的价值，第一类公司首当其冲。
下面就是这些天然大数据公司的挖掘价值的典型案例:
01 亚马逊的“信息公司”
如果全球哪家公司从大数据发掘出了最大价值，截至目前，答案可能非亚马逊莫属。亚马逊也要处理海量数据，这些交易数据的直接价值更大。作为一家“信息公司”，亚马逊不仅从每个用户的购买行为中获得信息，还将每个用户在其网站上的所有行为都记录下来：页面停留时间、用户是否查看评论、每个搜索的关键词、浏览的商品等等。这种对数据价值的高度敏感和重视，以及强大的挖掘能力，使得亚马逊早已远远超出了它的传统运营方式。
亚马逊CTO Werner Vogels在CeBIT上关于大数据的演讲，向与会者描述了亚马逊在大数据时代的商业蓝图。长期以来，亚马逊一直通过大数据分析，尝试定位客户和和获取客户反馈。“在此过程中，你会发现数据越大，结果越好。为什么有的企业在商业上不断犯错？那是因为他们没有足够的数据对运营和决策提供支持，”Vogels说，“一旦进入大数据的世界，企业的手中将握有无限可能。”从支撑新兴技术企业的基础设施到消费内容的移动设备，亚马逊的触角已触及到更为广阔的领域。
亚马逊推荐：亚马逊的各个业务环节都离不开“数据驱动”的身影。在亚马逊上买过东西的朋友可能对它的推荐功能都很熟悉，“买过X商品的人，也同
时买过Y商品”的推荐功能看上去很简单，却非常有效，同时这些精准推荐结果的得出过程也非常复杂。
亚马逊预测：用户需求预测是通过历史数据来预测用户未来的需求。对于书、手机、家电这些东西——亚马逊内部叫硬需求的产品，你可以认为是“标品”——预测是比较准的，甚至可以预测到相关产品属性的需求。但是对于服装这样软需求产品，亚马逊干了十多年都没有办法预测得很好，因为这类东西受到的干扰因素太多了，比如：用户的对颜色款式的喜好，穿上去合不合身，爱人朋友喜不喜欢……这类东西太易变，买得人多反而会卖不好，所以需要更为复杂的预测模型。
亚马逊测试：你会认为亚马逊网站上的某段页面文字只是碰巧出现的吗？其实，亚马逊会在网站上持续不断地测试新的设计方案，从而找出转化率最高的方案。整个网站的布局、字体大小、颜色、按钮以及其他所有的设计，其实都是在多次审慎测试后的最优结果。
亚马逊记录：亚马逊的移动应用让用户有一个流畅的无处不在的体验的同时，也通过收集手机上的数据深入地了解了每个用户的喜好信息；更值得一提的是Kindle Fire，内嵌的Silk浏览器可以将用户的行为数据一一记录下来。
以数据为导向的方法并不仅限于以上领域，亚马逊的企业文化就是冷冰冰的数据导向型文化。对于亚马逊来说，大数据意味着大销售量。数据显示出什么是有效的、什么是无效的，新的商业投资项目必须要有数据的支撑。对数据的长期专注让亚马逊能够以更低的售价提供更好的服务。
02 谷歌的意图
如果说有一家科技公司准确定义了“大数据”概念的话，那一定是谷歌。根据搜索研究公司comScore的数据，仅2012年3月一个月的时间，谷歌处理的搜索词条数量就高达122亿条。谷歌的体量和规模，使它拥有比其他大多数企业更多的应用大数据的途径。
谷歌搜索引擎本身的设计，就旨在让它能够无缝链接成千上万的服务器。如果出现更多的处理或存储需要，抑或某台服务器崩溃，谷歌的工程师们只要再添加更多的服务器就能轻松搞定。将所有这些数据集合在一起所带来的结果是：企业不仅从最好的技术中获益，同样还可以从最好的信息中获益。下面选择谷歌公司的其中三个亮点。
谷歌意图：谷歌不仅存储了搜索结果中出现的网络连接，还会储存用户搜索关键词的行为，它能够精准地记录下人们进行搜索行为的时间、内容和方式，坐拥人们在谷歌网站进行搜索及经过其网络时所产生的大量机器数据。这些数据能够让谷歌优化广告排序，并将搜索流量转化为盈利模式。谷歌不仅能追踪人们的搜索行为，而且还能够预测出搜索者下一步将要做什么。用户所输入的每一个搜索请求，都会让谷歌知道他在寻找什么，所有人类行为都会在互联网上留下痕迹路径，谷歌占领了一个绝佳的点位来捕捉和分析该路径。换言之，谷歌能在你意识到自己要找什么之前预测出你的意图。这种抓取、存储并对海量人机数据进行分析，然后据此进行预测的能力，就是数据驱动的产品。
谷歌分析：谷歌在搜索之外还有更多获取数据的途径。企业安装“谷歌分析”之类的产品来追踪访问者在其站点的足迹，而谷歌也可获得这些数据。网站还使用“谷歌广告联盟”，将来自谷歌广告客户网的广告展示在其站点，因此，谷歌不仅可以洞察自己网站上广告的展示效果，同样还可以对其他广告发布站点的展示效果一览无余。
谷歌趋势：既然搜索本身是网民的“意图数据库”，当然可以根据某一专题
搜索量的涨跌，预测下一步的走势。谷歌趋势可以预测旅游、地产、汽车的销售。
此类预测最著名的就是谷歌流感趋势，跟踪全球范围的流感等病疫传播，依据网
民搜索，分析全球范围内流感等病疫的传播状况。
03 eBay的分析平台
早在2006年，eBay就成立了大数据分析平台。为了准确分析用户的购物行为，eBay定义了超过500种类型的数据，对顾客的行为进行跟踪分析。eBay分析平台高级总监Oliver Ratzesberger说：“在这个平台上，可以将结构化数据
和非结构化数据结合在一起，通过分析促进eBay的业务创新和利润增长。”
eBay行为分析：在早期，eBay网页上的每一个功能的更改，通常由对该
功能非常了解的产品经理决定，判断的依据主要是产品经理的个人经验。而通过
对用户行为数据的分析，网页上任何功能的修改都交由用户去决定。“每当有一
个不错的创意或者点子，我们都会在网站上选定一定范围的用户进行测试。通过
对这些用户的行为分析，来看这个创意是否带来了预期的效果。”
eBay广告分析：更显著的变化反映在广告费上。eBay对互联网广告的投
入一直很大，通过购买一些网页搜索的关键字，将潜在客户引入eBay网站。为
了对这些关键字广告的投入产出进行衡量，eBay建立了一个完全封闭式的优
04 塔吉特的“数据关联挖掘”
利用先进的统计方法，商家可以通过用户的购买历史记录分析来建立模型，预测未来的购买行为，进而设计促销活动和个性服务避免用户流失到其他竞争对手那边。美国第三大零售商塔吉特，通过分析所有女性客户购买记录，可以“猜出”哪些是孕妇。其发现女性客户会在怀孕四个月左右，大量购买无香味乳液。由此
挖掘出25项与怀孕高度相关的商品，制作“怀孕预测”指数。推算出预产期后，就能抢先一步，将孕妇装、婴儿床等折扣券寄给客户。塔吉特还创建了一套购买女性行为在怀孕期间产生变化的模型，不仅如此，如果用户从它们的店铺中购买了婴儿用品，它们在接下来的几年中会根据婴儿的生长周期定期给这些顾客推送相关产品，使这些客户形成长期的忠诚度。
05 中国移动的数据化运营
通过大数据分析，中国移动能够对企业运营的全业务进行针对性的监控、预警、跟踪。大数据系统可以在第一时间自动捕捉市场变化，再以最快捷的方式推送给指定负责人，使他在最短时间内获知市场行情。
客户流失预警：一个客户使用最新款的诺基亚手机，每月准时缴费、平均一年致电客服3次，使用WEP和彩信业务。如果按照传统的数据分析，可能这是一位客户满意度非常高、流失概率非常低的客户。事实上，当搜集了包括微博、社交网络等新型来源的客户数据之后，这位客户的真实情况可能是这样的：客户在国外购买的这款手机，手机中的部分功能在国内无法使用，在某个固定地点手机经常断线，彩信无法使用——他的使用体验极差，正在面临流失风险。这就是中国移动一个大数据分析的应用场景。通过全面获取业务信息，可能颠覆常规分析思路下做出的结论，打破传统数据源的边界，注重社交媒体等新型数据来源，通过各种渠道获取尽可能多的客户反馈信息，并从这些数据中挖掘更多的价值。
数据增值应用：对运营商来说，数据分析在政府服务市场上前景巨大。运营商也可以在交通、应对突发灾害、维稳等工作中使大数据技术发挥更大的作用。运营商处在一个数据交换中心的地位，在掌握用户行为方面具有先天的优势。作为信息技术的又一次变革，大数据的出现正在给技术进步和社会发展带来全新的方向，而谁掌握了这一方向，谁就可能成功。对于运营商来说，在数据处理分析上，需要转型的不仅是技巧和法律问题，更需要转变思维方式，以商业化角度思考大数据营销。
06 Twitter中的兴趣和情绪
Twitter兴趣聚类：通过过滤用户归属地、发推位臵和相关关键词，Twitter 建立了一系列定制化的客户数据流。比如，通过过滤电影片名、位臵和情绪标签，你可以知道洛杉矶、纽约和伦敦等城市最受欢迎的电影是哪些。而根据用户发布的个人行为描述，你甚至能搜索到那些在加拿大滑雪的日本游客。从这个视角看，Twitter的兴趣图谱的效率优于Facebook的社交图谱。Twitter的用户数据所能产生的潜在价值同样令人惊叹。在社交媒体网站正在收集越来越多的数据的形势下，它们或许能找到更好的方式来利用这些数据盈利，并使其取代广告成为自身提高收入的主要方式。这些社交网站真正的价值可能在于数据本身。相信在不久的将来，如果寻找到既能充分利用用户数据，又可合理规避对用户隐私的威胁，社交数据所蕴藏的巨大能量将会彻底被开启。
Twitter情绪分析：Twitter自己并不经营每一款数据产品，但它把数据授权给了像DataSift这样的数据服务公司，很多公司利用Twitter社交数据，做出了各种让人吃惊的应用，从社交监测到医疗应用，甚至可以去追踪流感疫情爆发，社交媒体监测平台DataSift还创造了一款金融数据产品。华尔街“德温特资本市场”公司首席执行官保罗〃霍廷每天的工作之一，就是利用电脑程序分析全球3.4亿微博账户的留言，进而判断民众情绪，再以“1”到“50”进行打分。根据打分结果，霍廷再决定如何处理手中数以百万美元计的股票。霍廷的判断原则很简单：如果所有人似乎都高兴，那就买入；如果大家的焦虑情绪上升，那就抛售。一些媒体公司会把观众收视率数据打包到产品里，再转卖给频道制作人和内容创造者。
精确的数据一旦与社交媒体数据相结合，对未来的预测会非常准。
07 特易购的精准定向
聪明的商家通过用户的购买历史记录分析来建立模型，为他们量身预测未来的购物清单，进而设计促销活动和个性服务，让他们源源不断地为之买单。特易购是全球利润第二大的零售商，这家英国超级市场巨人从用户行为分析中获得了巨大的利益。从其会员卡的用户购买记录中，特易购可以了解一个用户是什么“类别”的客人，如速食者、单身、有上学孩子的家庭等等。这样的分类可以为提供很大的市场回报，比如，通过邮件或信件寄给用户的促销可以变得十分个性化，店内的促销也可以根据周围人群的喜好、消费的时段来更加有针对性，从而提高货品的流通。这样的做法为特易购获得了丰厚的回报，仅在市场宣传一项，就能帮助特易购每年节省3.5亿英镑的费用。
Tesco的优惠券：特易购每季会为顾客量身定做6张优惠券。其中4张是客户经常购买的货品，而另外2张则是根据该客户以往的消费行为数据分析，极有可能在未来会购买的产品。仅在1999年，特易购就送出了14.5万份面向不同的细分客户群的购物指南杂志和优惠券组合。更妙的是，这样的低价无损公司整体的盈利水平。通过追踪这些短期优惠券的回笼率，了解到客户在所有门店的消费情况，特易购还可以精确地计算出投资回报。发放优惠券吸引顾客其实已经是很老套的做法了，而且许多的促销活动实际只是来掠夺公司未来的销售额。然而，依赖于扎实的数据分析来定向发放优惠券的特易购，却可以维持每年超过1亿英镑的销售额增长。
特易购同样有会员数据库，通过已有的数据，就能找到那些对价格敏感的客户，然后在公司可以接受的最低成本水平上，为这类顾客倾向购买的商品确定一个最低价。这样的好处一是吸引了这部分顾客，二是不必在其他商品上浪费钱降价促销。
特易购的精准运营：这家连锁超市在其数据仓库中收集了700万部冰箱的数据。通过对这些数据的分析，进行更全面的监控并进行主动的维修以降低整体能耗。
08 Facebook的好友推荐
Facebook是社交网络巨擎，但是在挖掘大数据价值方面，好像办法不多，值得一提的就是好友推荐。Facebook使用大数据来追踪用户在其网络的行为，通过识别你在它的网络中的好友，从而给出新的好友推荐建议，用户拥有越多的好友，他们与Facebook之间的黏度就越高。更多的好友意味着用户会分享更多照片、发布更多状态更新、玩更多的游戏。
09 LinkedIn的猎头价值
LinkedIn网站使用大数据在求职者和招聘职位之间建立关联。有了LinkedIn，猎头们再也不用向潜在的受聘者打陌生电话来碰运气，而可以通过简单的搜索找出潜在受聘者并联系他们。与此相似，求职者也可以通过联系网站上其他人，自然而然地将自己推销给潜在的雇主。有两个例子能够生动呈现LinkedIn的数据价值：几年前，LinkedIn忽然发现近期雷曼兄弟的来访者多了起来，当时并没引起重视，过了不久，雷曼兄弟宣布倒闭；而在谷歌宣布退出中国的前一个月，在LinkedIn发现了一些平时很少见的谷歌产品经理在线，这也是相同的道理。如果LinkedIn针对性地分析某家上
10 沃尔玛的数据基因
早在1969年沃尔玛就开始使用计算机来跟踪存货，1974年就将其分销中心与各家商场运用计算机进行库存控制。1983年，沃尔玛所有门店都开始采用条形码扫描系统。1987年，沃尔玛完成了公司内部的卫星系统的安装，该系统使得总部，分销中心和各个商场之间可以实现实时，双向的数据和声音传输。采用这些在当时还是小众和超前的信息技术来搜集运营数据为沃尔玛最近20年的崛起打下了坚实的地基，从而发现了“啤酒与尿布”关联。
如今，沃尔玛拥有着全世界最大的数据仓库，在数据仓库中存储着沃尔玛数千家连锁店在65周内每一笔销售的详细记录，这使得业务人员可以通过分析购
买行为更加了解他们的客户。通过这些数据，业务员可以分析顾客的购买行为，从而供应最佳的销售服务。沃尔玛一直致力于改善自身的数据收集技术，从条形码扫描，到安装卫星系统实现双向数据传输，整个公司都充满了数据基因。2012年4月，沃尔玛又收购了一家研究网络社交基因的公司Kosmix，在数据基因的基础上，又增加了社交基因。
11 阿里小贷和聚石塔
虽然阿里系的余额宝如日中天，但其实阿里小贷才真正体现出了大数据的价值。早在2010年阿里就已经建立了“淘宝小贷”，通过对贷款客户下游订单、上游供应商、经营信用等全方位的评估，就可以在没有见面情况下，给客户放款，这当然是对阿里平台上大数据的挖掘。数据来源于“聚石塔”——一个大型的数据分享平台，它通过共享阿里巴巴旗下各个子公司的数据资源来创造商业价值。这款产品就是大数据团队把淘宝交易流程各个环节的数据整合互联，然后基于商业理解对信息进行分类储存和分析加工，并与决策行为连接起来所产生的效果。
12 西尔斯的数据大集成
在过去，美国零售巨头西尔斯控股公司，需要八周时间才能制定出个性化的销售方案，但往往做出来的时候，它已不再是最佳方案。痛定思痛，决定整合其专售的三个品牌——Sears、Craftsman、Lands'End的客户、产品以及销售数据，使用群集收集来自不同品牌的数据，并在群集上直接分析数据，而不是像以前那样先存入数据仓库，避免了浪费时间——先把来自各处的数据合并之后再做分析。这种调整让公司的推销方案更快、更精准，可以从海量信息中挖掘价值，但是价值巨大，困难也巨大：这些数据需要超大规模分析，且分散在不同品牌的数据库与数据仓库中，不仅数量庞大而且支离破碎。
西尔斯的困境，在传统企业中非常普遍，这些企业家一直想不通，既然互联网零售商亚马逊可以推荐阅读书目、推荐电影、推荐可供购买的产品，为什么他们所在的企业却做不到类似的事情。西尔斯公司首席技术官菲里·谢利（Phil Shelley）说：如果要制定一系列复杂推荐方案质量更高，需要更及时、更细致、更个性化的数据，传统企业的IT架构根本不能完成这些任务，需要痛下决心，才能完成转型。
在这次“数据盛宴”中，是否只有大公司的狂欢？并非如此，从事大数据产业的轻公司将无处不在。新兴的创业公司通过出售数据和服务更有针对性地提供单个解决方案，把大数据商业化、商品化，才是更加值得我们关注的模式。这将带来继门户网站、搜索引擎、社交媒体之后的新一波创业浪潮和产业革命，并会对传统的咨询公司产生强烈冲击。
13 PredPol的犯罪预测
PredPol公司通过与洛杉矶和圣克鲁斯的警方以及一群研究人员合作，基于地震预测算法的变体和犯罪数据来预测犯罪发生的几率，可以精确到500平方英尺的范围内。在洛杉矶运用该算法的地区，盗窃罪和暴力犯罪分布下降了33%和21%。
14 Tipp24 AG的赌徒行为预测
Tipp24 AG针对欧洲博彩业构建的下注和预测平台。该公司用KXEN软件来分析数十亿计的交易以及客户的特性，然后通过预测模型对特定用户进行动态的营销活动。这项举措减少了90%的预测模型构建时间。SAP公司正在试图收购KXEN，“SAP想通过这次收购来扭转其长久以来在预测分析方面的劣势”。
15 Inrix的堵车预言
交通的参与者多种多样，是大数据最能发挥价值的领域。交通流量数据公司Inrix依靠分析历史和实时路况数据，能给出及时的路况报告，以帮助司机避开正在堵车的路段，并且帮他们提前规划好行程。汽车制造商、移动应用开发者、运输企业以及各类互联网企业都需要Inrix的路况报告。奥迪、福特、日产、微软等巨头都是Inrix的客户。
16 潘吉瓦的时尚预测
消费者追寻意见领袖的生活方式。潘吉瓦公司就是用数据分析来预测流行趋势，以此为基础甚至撬动全球贸易。比如，它们通过41次追踪《暮光之城》的徽章、袜子的运输情况，分析在这部电影中主角的服饰对流行趋势有多大影响率，并将分析结果告知用户，建议他们对自己的行动做出恰当的调整。
17 潘多拉的音乐推荐
美国在线音乐网站潘多拉特别聘请一些音乐专家，让他们每个人平均花上20分钟去分析一首歌曲，并赋予每首歌400种不同的属性。如果你表示喜欢一
首歌，程序会自动寻找跟这首歌“基因”相同的歌曲，猜测你也会喜欢并采用推荐引擎技术推荐给你。借助这种人海战术，潘多拉网站已经分析了74万首歌曲。
18 Futrix Health的医疗方案
Futrix Health是一家专注于用通过数据为患者制定医疗解决方案的公司，从安装在智能手机上的个人健康应用，到诊所、医院里医生使用的电子健康记录仪，甚至是革命性的数字化基因组数据，均连接到后端数据仓库上。从而为患者制定最佳的医院选择、医药选择。该如何将采集到医疗保健机构的大量操作信息，分析患者情况或治疗效果，实施任何高效率的措施，使之更具有意义——大数据时代提供的机会，不再是简单地收集这些数据，而是如何运用数据来更好地认知这个世界。
19 Retention Science的用户粘性
在零售领域，创业公司Retention Science发布了一个为电子商务企业提供增强用户粘性的数据分析及市场策略设计的平台，它的用户建模引擎具备自学习功能，通过使用算法和统计模型来设计优化用户粘性的策略。平台的用户数据分析都是实时进行，以确保用户行为预测总是符合实际用户行为更新；同时，动态的根据这些行为预测来设计一些促销策略。RS目前已获得Baroda Ventures, Mohr Davidow Ventures, Double M Partners及一些著名天使投资人130万美金的投资。
20 众瀛的婚嫁后推荐
江苏众瀛联合数据科技有限公司构建了这样一个大数据平台——将准备结婚的新人作为目标消费者，并把与结婚购物相关的商家加入其中。一对新人到薇薇新娘婚纱影楼拍了婚纱照，在实名登记了自己的信息后会被上传到大数据平台上。大数据平台能根据新人在婚纱影楼的消费情况和偏好风格，大致分析判断出
新人后续消费需求，即时发送奖励和促销短信。比如邀请他们到红星美凯龙购买家具、到红豆家纺选购床上用品、到国美电器选购家用电器、到希尔顿酒店摆酒席……如果新人在红星美凯龙购买了中式家具，说明他们偏好中国传统文化，就推荐他们购买红豆家纺的中式家居用品。
21 Takadu的数字驯水
水，向来是个不好管理的东西：自来水公司发现某个水压计出现问题，可能需要花上很长的时间排查共用一个水压计的若干水管。等找到的时侯，大量的水已经被浪费了。以色列一家名为Takadu的水系统预警服务公司解决了这个问题。Takadu把埋在地下的自来水管道水压计、用水量和天气等检测数据搜集起来，通过亚马逊的云服务传回Takadu公司的电脑进行算法分析，如果发现城市某处地下自来水管道出现爆水管、渗水以及水压不足等异常状况，就会用大约10分钟完成分析生成一份报告，发回给这片自来水管道的维修部门。报告中，除了提供异常状况类型以及水管的损坏状况——每秒漏出多少立方米的水，还能相对精确地标出问题水管具体在哪里。检测每千米“水路”，Takadu的月收费是1万美元。
22 百合网的婚恋匹配
电商行业的现金收入源自数据，而婚恋网站的商业模型更是根植于对数据的研究。比如，作为一家婚恋网站，百合网不仅需要经常做一些研究报告，分析注册用户的年龄、地域、学历、经济收入等数据，即便是每名注册用户小小的头像照片，这背后也大有挖掘的价值。百合网研究规划部李琦曾经对百合网上海量注册用户的头像信息进行分析，发现那些受欢迎头像照片不仅与照片主人的长相有关，同时照片上人物的表情、脸部比例、清晰度等因素也在很大程度上决定了照片主人受欢迎的程度。例如，对于女性会员，微笑的表情、直视前方的眼神和淡淡的妆容能增加自己受欢迎的概率，而那些脸部比例占照片1/2、穿着正式、眼神直视没有多余pose的男性则更可能成为婚恋网站上的宠儿。
23 Prismatic的新闻外衣
Prismatic是一款个性化新闻应用，只有4名创始员工，凭借互联网数据爬虫和社交网络开发平台的数据，依托亚马逊的云计算平台，实现了大数据的精益创业。Prismatic不提供统一的设计精良的新闻订阅或推荐界面，而是根据分析用户的Facebook 或Twitter资料，为用户做一对一的数据分析和推荐。从盈
利模式来看，Prismatic不是依靠广告费生存下来，也不是传统的新闻媒介，而是一个披着新闻应用外衣的电子商务公司。名义上为了给用户个性化推荐新闻而得到用户的个人信息进行数据分析，针对性的推出推荐商品，从而从电子商务中盈利。
24 Opower的对比激励
人类都有和同类对比的天性，例如，一家政府机构收集不同地点从事同类工作的多组员工的数据，仅仅将这些信息公诸于众就促使落后员工提高了绩效。在能源行业，Opower使用数据对比来提高消费用电的能效，并取得了显著的成功。作为一家SaaS的创新公司，Opower与多家电力公司合作，分析美国家庭用电费用并将之与周围的邻居用电情况进行对比，被服务的家庭每个月都会受到一份对比的报告，显示自家用电在整个区域或全美类似家庭所处水平，以鼓励节约用电。Opower的服务以覆盖了美国几百万户居民家庭，预计将为美国消费用电每年节省5亿美元。Opower报告信封，看上去像账单，它们使用行为技术轻轻地说服公用事业客户降低消耗。Opower已经推出了它的大数据平台 Opower4 ，通过分析各种智能电表和用电行为，电力公司等公用事业单位成为Opower的盈利来源。而对一般用户而言，Opower完全是免费的。
25 Chango和Uniqlick的点击消费
使用新的数据技术，诸如美国的Chango公司和中国的Uniqlick公司正在数字广告行业中探索新的商业模式——实时竞拍数字广告。通过了解互联网用户在网络的搜索、浏览等行为，这些公司可以为广告主提供最有可能对其商品感兴趣的用户群，从而进行精准营销；更长期的趋势是，将广告投放给最有可能购买的用户群。这样的做法对于广告主来说，可以获得更高的转换率，而对于发布广告的网站来说，也提高了广告位的价值。
26 众趣的行为辩析
众趣是国内第一家社交媒体数据管理平台，目前国内主要的社交开放平台在用户数据的开放性方面仍比较保守，身为第三方数据分析公司，能够获得的用户数据还十分有限，要使用这些用户数据需获得用户许可。众趣通过运营统计学等相关数据分析原理对用户数据进行过滤，最终完成的是对一个用户的行为、动作等个体特征的描述。这些描述可以帮助品牌营销者了解消费者的消费习惯及需求；也可以帮助企业的领导增强对自己员工的了解。除了对个体以及群体行为特征的描述外，这些数据分析结果还可用于对用户群体的行为预测，从而为营销者提供一些前瞻性的市场分析。众趣数据分析的结果只能精准到群组而无法达到个人。此类的用户数据研究除在市场营销领域具有一定的参考价之外，目前大多还主要用于配合一些小调研。此外，这些数据还可以实现对用户甚至企业机构的信用评级，在金融领域也有一定程度的使用。
27 拖拉网的明天猜想
导购电商的拖拉网制作了“明天穿什么”这一应用。在这个应用当中，众多时装圈权威人士输送时装搭配与风格单品，由用户任意打分，根据用户的打分偏好，拖拉网便能猜到明天她们想穿什么，然后为她在数十万件网购时装中推荐单品，并且实现直通购买下单。在获取客户数据后，后台分析也是各显神通。
拖拉网加入了更多变量来考核自己的推荐模式。比如有消费者明天要参加一个聚会，不知道要穿什么风格，也没有看天气预报，希望导购网站能帮她把这些场景和自己的信息组合起来，给出一整套的解决方案。于是日期、地域、场合、风格，这些都成为穿衣搭配解决方案的变量，经过不断的组合呈现给用户，据拖拉网数据，用户在看到一个比较优质的搭配，并有场景性引导的时候，点击到最后页面完成购买的转化率会比单品推荐高40%。
28 SeeChange的基因健康
现在人们有了把人类基因档案序列化的能力，这允许医生和科学家去预测病人对于某些疾病的易感染性和其他不利的条件，可以减少治疗过程的时间和花费。位于旧金山的SeeChange公司创建了一套新的健康保险模式。该公司通过分析客户的个人健康记录、医疗报销记录、以及药店的数据，来判断该客户对于慢性病的易感性，并判断该客户是否有可能从一些定制的康复套餐中获利。SeeChange 同时设计健康计划，并设立奖励机制鼓励客户主动完成健康行动，全过程都通过其数据分析引擎来监控。
29 Given Imaging的图像诊断
以色列的Given Imaging公司发明了一种胶囊，内置摄像头，患者服用后胶囊能以大约每秒14张照片的频率拍摄消化道内的情况，并同时传回外置的图像接收器，患者病征通过配套的软件被录入数据库，在4至6小时内胶囊相机将通过人体排泄离开体外。一般来说，医生都是在靠自己的个人经验进行病征判断，难免会对一些疑似阴影拿捏不准甚至延误病人治疗。现在通过Given Imaging 的数据库，当医生发现一个可疑的肿瘤时，双击当前图像后，过去其他医生拍摄过的类似图像和他们的诊断结果都会悉数被提取出来。可以说，一个病人的问题不再是一个医生在看，而是成千上万个医生在同时给出意见，并由来自大量其他病人的图像给出佐证。这样的数据对比，不但提高了医生诊断的效率，还提升了准确度。
30 Entelo的“前猎头”
真正的技术人才永远是各大公司的抢手货，绝对不要坐等他们向你投简历，因为在他们还没有机会写简历之前很可能已经被其他公司抢走了。Entelo公司能替企业家们推荐那些才刚刚萌发跳槽动机的高级技术人才，以便先下手为强。
Entelo的数据库里目前有3亿份简历。而如何判断高级人才的跳槽倾向，Entelo有一套正在申请专利的算法。这套算法有70多个指标用于判定跳槽倾向。某公司的股价下跌、高层大换血、刚被另一大公司收购，这些都会被Entelo 看作是导致该公司人才跳槽的可能性因素。于是Entelo就会立刻把该公司里的高级人才的信息推送给订阅了自己服务的企业家们。企业家们收到的简历跟一般的简历还不一样。Entelo抓取了这些人才在各大社交网络的信息。这样企业家们可以了解该人提交过哪些代码，在网上都回答了些什么样的问题，在Twitter
上都发表的是些什么样的信息。总之，这些准备“挖角”的企业家能够看到一个活生生的目标人才站在面前。
31 FlightCaster和Passur的延误预测
航空业分秒必争，尤其是航班抵达的准确时间。如果一班飞机提前到达，地勤人员还没准备好，乘客和乘务员就会被困在飞机上白白耽误时间；如果一班飞机延误，地勤人员就只能坐着干等，白白消耗成本。美国一家大航空公司从其内部报告中发现，大约10%的航班的实际到达时间与预计到达时间相差10分钟以上，30%的航班相差5分钟以上。FlightCaster是一家提供航班延误信息预测的公司，主要根据航空公司的航班运行情况进行预测。与航空公司所拥有的类似航班运行情况的专有信息一样，该公司拥有大量国内航班飞行和航班实时运行状况的历史数据。Flightcaster的秘诀就是其对大数据分析的有效利用和使用适当的软件工具对产出数据进行实时管理。
Passur Aerospace是专门为航空业提供决策支持的技术公司。通过搜集天气、航班日程表等公开数据，结合自己独立收集的其他影响航班因素的非公开数据，综合预测航班到港时间。时至2012年，Passur公司已经拥有超过155处雷达接收站，每4.6秒就收集一次雷达上每架飞机的一系列信息，这会持续地带来海量数据。不仅如此，经过长期的数据收集，Passur拥有了一个超过十年的巨大的多维信息载体，为透彻的分析和恰当的数据模型提供了可能。Passur公司相信，航空公司依据它们提供的航班到达时间做计划，能为每个机场每年节省数百万美元。
32 Climate的农业保险
一家名为气候公司的创业企业每天都会对美国境内超过100万个地点、未来两年的天气情况进行超过1万次模拟，其数据量庞大、动态、实时。随后，该公司将根系结构和土壤孔隙度的相关数据，与模拟结果相结合，为成千上万的农民提供农作物保险。通过遥感获取土壤数据，这和我们过去所熟悉的通过网络服务获取用户网络行为数据不是一回事，数据的概念得以极大的扩充。要想对每块田地提供精准的保险服务，肯定还需要与土地数据相配套的农产品期货、气候预测、国际贸易、国际政治和军事安全、国民经济，产业竞争等等各方面的数。在如此庞杂的大数据基础上推出的商业模式是创新的，同现有农作物保险方式相比具备极大竞争力，并且是可持续和规模化的。更妙的是，这家公司基于大数据的运营，完全没有进行高额的网络设施投资，只是租用了亚马逊的公共云服务，一个月几万美元而已。
33 Hiptype的记录阅读
几乎所有的收费电子书都会提供部分章节让读者试读，其实，出版商需要弄清楚人们读到了哪里、读完后有没有购买，以及其他各种体验，才能卖出更多的电子书。美国创业公司Hiptype开发了一套电子书阅读分析工具，其商业模式就在试图解决这一难题。Hiptype自称为“面向电子书的Google Analytics”，能够提供与电子书有关的丰富数据。它不仅能统计电子书的试读和购买次数，还能绘制出“读者图谱”，包括用户的年龄、收入和地理位置等。此外，它还能告诉出版商读者在看完免费章节后是否进行了购买，有多少读者看完了整本书，以及读者平均看了多少页，读者最喜欢从哪个章节开始看，又在哪个章节半途而废，等等。Hiptype能够与电子书整合在一起，出版商无论选择哪种渠道，总是能够获得用户数据。Hiptype收集的所有数据都是匿名的。用户在下载了内置Hiptype 服务的电子书时，会得到一个提示，可以选择将其屏蔽。
34 安客诚的“人网合一”
网络营销存在一个巨大问题，如何获知在网上使用几个不同名称的人是否是同一个人？安诚客推出了一种名为“观众操作系统”的技术方案解决了这个问题。它允许市场营销者与你的“数字人物”绑定，即使你由于婚姻换了名字，或者使用昵称，或者偶尔使用中名，它也照样能够解答那个已经换了地址或者电话号码的人是否是同一个人的问题。
AOS 可以汇集不同数据库中的信息，这些数据或离线或在线，是公司可能在不同场合针对个人而收集的。通过使用AbiliTec——一种Acxiom也拥有的数字化“身份识别”技术——AOS将客户信息删繁就简，得到简单单一的结果。
AOS帮助安诚客的广告客户使用他们的数据在Facebook上找到广告投放目标用户。
大数据主要不作因果判断，主要适用于关联分析。很多关联分析并不需要复杂的模型，只需要具有大数据的意识。
很多机构都有数据废气，数据不是用完就是被舍弃，它的再利用价值也许你现在不清楚，但在未来的某一刻，它会迸发出来，可以化废为宝。
黑暗数据就是那些针对单一目标而收集的数据，通常用过之后就被归档闲置，其真正价值未能被充分挖掘。如果黑暗数据用在恰当的地方，也能公司的事业变得光明。
35 数据关联分析
某公司团队曾经使用来自手机的位置数据，来推测美国圣诞节购物季开始那一天有多少人在梅西百货公司的停车场停车，进而可以预测其当天的销售额，这远早于梅西百货自己统计出的销售记录。无论是华尔街的分析师或者传统产业的高管，都会因这种敏锐的洞察力获得极大的竞争优势。
对于税务部门来说，税务欺骗正在日益的被关注，这时大数据可以用于增加政府识别诈骗的流程。在隐私允许的地方，政府部门可以综合各个方面的数据比如车辆的登记，海外旅游的数据来发现个人的花费模式，使税务贡献不被叠加。同时一个可疑的问题出现了，这并没有直接的证据指向诈骗，这些结论并不能用来去控告个人。但是他可以帮助政府部门去明确他们的审计和其他的审核以及一些流程。
36 数据废气
物流公司的数据原来只服务于运营需要，但一经再利用，物流公司就华丽转身为金融公司，数据用以评估客户的信用，提供无抵押贷款，或者拿运送途中的货品作为抵押提供贷款；物流公司甚至可以转变为金融信息服务公司来判断各个细分经济领域的运行和走势。
有公司已经在大数据中有接近“上帝俯视”的感觉，美国洛杉矶的一家企业宣称，他们将全球夜景的历史数据建立模型，在过滤掉波动之后，做出了投资房地产和消费的研究报告。麦当劳则通过外送服务，在售卖汉堡的同时获得了用户的精准地址，这些地址数据汇集之后，就变成了一份绝妙的房地产业的内部数据。
37 黑暗数据
在特定情况下，黑暗数据可以用作其他用途。Infinity Property & Casualty 公司用累积的理赔师报告来分析欺诈案例，通过算法挽回了1200万美元的代位追偿金额。一家电气销售公司，通过积累10年ERP销售数据分析，按照电气设备的生命周期，给5年前的老客户逐一拜访，获得了1000万元以上电气设备维修订单，顺利地进入MRO市场。
38 客户流失分析
美国运通以前只能实现事后诸葛亮式的报告和滞后的预测，传统的BI已经无法满足其业务发展的需要。于是，AmEx开始构建真正能够预测客户忠诚度的模型，基于历史交易数据，用115个变量来进行分析预测。该公司表示，对于澳大利亚将于之后4个月中流失的客户，已经能够识别出其中的24%。这样的客户流失分析，当然可以用于挽留客户。酒店业可以为消费者定制相应的独特的个性房间，甚至可以在墙纸上放上消费者的微博的旅游心情等等。旅游业可以根据大数据为消费者提供其可能会喜好的本地特色产品、活动、小而美的小众景点等等来挽回游客的心。
39 快餐业的视频分析
快餐业的公司可以通过视频分析等候队列的长度，然后自动变化电子菜单显示的内容。如果队列较长，则显示可以快速供给的食物;如果队列较短，则显示那些利润较高但准备时间相对长的食品。
40 大数据竞选
2012年，参与竞选的奥巴马团队确定了三个最根本的目标：让更多的人掏更多的钱，让更多的选民投票给奥巴马，让更多的人参与进来! 这需要“微观”层面的认知：每个选民最有可能被什么因素说服?每个选民在什么情况下最有可能掏腰包?什么样的广告投放渠道能够最高效获取目标选民? 如竞选总指挥吉姆〃梅西纳所说，在整个竞选活中，没有数据做支撑的假设不能存在。
为了筹到 10 亿美元的竞选款，奥巴马的数据挖掘团队在过去两年搜集、存储和分析了大量数据。他们注意到，影星乔治·克鲁尼对美国西海岸40岁至49岁的女性具有非常大的吸引力：她们无疑是最有可能为了在好莱坞与克鲁尼和奥
巴马共进晚餐而不惜自掏腰包的一个群体。克鲁尼在自家豪宅举办的筹款宴会上，为奥巴马筹集到数百万美元的竞选资金。此后，当奥巴马团队决定在东海岸物色一位对于这个女性群体具有相同号召力的影星时，数据团队发现莎拉·杰西卡·帕克的粉丝们也同样喜欢竞赛、小型宴会和名人。“克鲁尼效应”被成功地复制到了东海岸。
在整个的竞选中，奥巴马团队的广告费用花了不到3亿美元，而罗姆尼团队则花了近 4 亿美元却落败，其中一个重要的原因在于，奥巴马的数据团队对于广告购买的决策，是经过缜密的数据分析之后才制定的。一项民调显示，80%的美国选民认为奥巴马比罗姆尼让他们感觉更加重视自己。结果是，奥巴马团队筹得的第一个1亿美元中，98%来自于小于250美元的小额捐款，而罗姆尼团队在筹得相同数额捐款的情况下，这一比例仅为31%。
41 监控非法改建
“私搭乱建”在哪个国家都是一件闹心的事，而且容易引起火灾。非法在屋内打隔断的建筑物着火的可能性比其他建筑物高很多。纽约市每年接到2.5万宗有关房屋住得过于拥挤的投诉，但市里只有200名处理投诉的巡视员。市长办公室一个分析专家小组觉得大数据可以帮助解决这一需求与资源的落差。该小组建立了一个市内全部90万座建筑物的数据库，并在其中加入市里19个部门所收集到的数据：欠税扣押记录、水电使用异常、缴费拖欠、服务切断、救护车使用、当地犯罪率、鼠患投诉等等。接下来，他们将这一数据库与过去5年中按严重程度排列的建筑物着火记录进行比较，希望找出相关性。果然，建筑物类型和建造年份是与火灾相关的因素。不过，一个没怎么预料到的结果是，获得外砖墙施工许可的建筑物与较低的严重火灾发生率之间存在相关性。
利用所有这些数据，该小组建立了一个可以帮助他们确定哪些住房拥挤投诉需要紧急处理的系统。他们所记录的建筑物的各种特征数据都不是导致火灾的原因，但这些数据与火灾隐患的增加或降低存在相关性。这种知识被证明是极具价
大数据应用案例分析 1、中信银行信用卡营销 实施背景：中信银行信用卡中心是国内银行业为数不多的几家分行级信用卡专营机构之一，也是国内具有竞争力的股份制商业银行信用卡中心之一。近年来，中信银行信用卡中心的发卡量迅速增长，2008年银行向消费者发卡约500万张，而这个数字在2010年增加了一倍。随着业务的迅猛增长，业务数据规模也急剧膨胀。中信银行信用卡中心无论在数据存储、系统维护等方面，还是在有效地利用客户数据方面，都面临着越来越大的压力。 中信银行信用卡中心迫切需要一个可扩展、高性能的数据仓库解决方案，支持其数据分析战略，提升业务的敏捷性。通过建立以数据仓库为核心的分析平台，实现业务数据集中和整合，以支持多样化和复杂化的数据分析，比如卡、账户、客户、交易等主题的业务统计和OLAP（联机分析处理）多维分析等，提升卡中心的业务效率；通过从数据仓库提取数据，改进和推动有针对性的营销活动。 技术方案：从2010年4月到2011年5月，中信银行信用卡中心实施了EMC Greenplum数据仓库解决方案。实施EMC Greenplum解决方案之后，中信银行信用卡中心实现了近似实时的商业智能（BI）和秒级营销，运营效率得到全面提升。 图表中信银行大数据应用技术架构图
Greenplum解决方案的一个核心的功能是，它采用了“无共享”的开放平台的MPP架构，此架构是为BI和海量数据分析处理而设计。目前，最普遍的关系数据库管理系统（如Oracle 或Microsoft SQL Server），都是利用“共享磁盘”架构来实现数据处理，会牺牲单个查询性能和并行性能。而使用Greenplum 数据库提供的MPP架构，数据在多个服务器区段间会自动分区，而各分区拥有并管理整体数据的不同部分；所有的通信是通过网络互连完成，没有磁盘级共享或连接，使其成为一个“无共享”架构。Greenplum数据库提供的MPP架构为磁盘的每一个环节提供了一个专门的、独立的高带宽通道，段上的服务器可以以一个完全并行的方式处理每个查询，并根据查询计划在段之间有效地移动数据，因此，相比普通的数据库系统，该系统提供了更高的可扩展性。 效益提升：2011年，中信银行信用卡中心通过其数据库营销平台进行了1286个宣传活动，
中科基于一种海量数据处理分析 系统的设计文档 一、海量数据处理的背景分析 在当前这个信息量飞速增长的时代，业的成功已经越来越多地与其海量数据处理能力相关联。高效、迅速地从海量数据中挖掘出潜在价值并转化为决策依据的能力，将成为企业的核心竞争力。数据的重要性毋庸置疑，但随着数据的产生速度越来越快，数据量越来越大，数据处理技术的挑战自然也越来越大。如何从海量数据中挖掘出价值所在，分析出深层含义，进而转化为可操作的信息，已经成为各互联网企业不得不研究的课题。数据量的增长，以及分析需求的越来越复杂，将会对互联网公司的数据处理能力提出越来越高的要求、越来越大的挑战。但每一个场景都有其特点与功能，充分分析其数据特性，将合适的软件用在合适的场景下，才能更好地解决实际问题。 二、海量数据处理分析的特点 （一）、数据量大，情况多变 现在的数据量比以前任何时期更多，生成的速度更快，以前如果说有10条数据，繁琐的操作时每条去逐一检查，人为处理，如果有上百条数据，也可以考虑，如果数据上到千万级别，甚至过亿，那不是手工能解决的了，必须通过工具或者程序进行处理，尤其海量的数据中，情况多变，手工操作是完不成任务的。例如，数据中某处格式出了问题，尤其在程序处理时，前面还能正常处理，突然到了某个地方问题出现了，程序将会终止。海量数据处理系统的诞生是输入层每个神经元的输入是同一个向量的一个分量，产生的输出作
为隐藏层的输入，输出层每一个神经元都会产生一个标量结果，所以整个输出层所有神经元的输出构成一个向量，向量的维数等于输出层神经元的数目在人工神经网络模型中，各个神经元通过获取输入和反馈，相对独立地进行训练和参数计算。其拓扑结构的重要特点便是每一层内部的神经元之间相互独立，各个层次间的神经元相互依赖。 由于各个层次内部神经元相互独立，使得各个层次内部的神经元的训练可以并行化。但由于不同层之间的神经元具有相互依赖关系，因此各个层次之间仍然是串行处理的。可以将划分出的每一层内部的不同神经元通过map操作分布到不同的计算机上。各个神经元在不同的计算终端上进行训练，在统一的调度和精度控制下进行多个层次的神经元的训练，这样神经网络算法的训练就可以实现并行化。训练结束后，同样可以通过每层内节点的并行化处理快速地得到输出结果。在神经网络算法中，每层内的节点都可以进行并行化处理，并行化程度非常高。 （二）、软硬件要求高，系统资源占用率高 各种应用对存储系统提出了更多的需求，数据访问需要更高的带宽，不仅要保证数据的高可用性，还要保证服务的高可用性；可扩展性：应用在不断变化，系统规模也在不断变化，这就要求系统提供很好的扩展性，并在容量、性能、管理等方面都能适应应用的变化；对海量的数据进行处理，除了好的方法，最重要的就是合理使用工具，合理分配系统资源。一般情况，如果处理的数据过TB级，小型机是要考虑的，普通的机子如果有好的方法可以考虑，不过也必须加大CPU和内存，对电脑的内存、显卡、硬盘及网络都要求相对较高！其中对网络要求高的原因是因为其引入目前最前沿的“云端计算”好多东西都要从网络上调用；对硬盘要求是最高的，用SATA6.0的固态硬盘，对整机性能限制比较大的就是高速系统总线对低速硬盘传输，32位的系统，最大只能认到3.5G内存，就是说，不论你装几根内存条，装多大容量的内存条，你装8G的，它也只能用到3.5G，64位的系统就可以突破了这个限制。如果你的电脑配置不是特别高的话，XP是比较好的选择。32位的XP是最低要求。基于23G互操作测试生成23G互操作测试报告测试起始点时间、测试终止点时间、 3G网络驻留时间（秒）、2G网络驻留时间（秒）、3G覆盖总采样点、3G覆盖总采样点不同区间数量统计、3G覆盖总采样点不同门限范围内数量统计、2G覆盖总采样点、2G覆盖总采样点不同区间数量统计、2G覆盖总采样点不同门限范围内数量统计、3G到2G重选成功次数、2G到3G重选成功次数、3G到2G切换尝试次数、3G到2G切换成功次数、切换掉话次数和其它掉话次数。
大数据智慧旅游案例分析 来源：时间：2016-03-07 11:57:38作者： 随着“互联网+”被写入政府工作报告、国家旅游局局长李金早对于“旅游+” 发展战略的提出，酝酿多年的“互联网+”和“大数据思维”以“旅游+大数据”的智慧旅游形式开始在全国范围内推进，并逐渐在一些地区形成了“政府主导、企业运作、产业化推进”的发展模式。大数据智慧旅游服务具有充分收集、分析、整合 大数据，以调配旅游服务资源的功能。旅游业相关主体依据搜集到的游客消费 动向、旅游资源状况、自然环境变化等数据进行量化分析，并及时调整、制定 相应的策略，可为游客提供更好的服务。 收集、分析、整合大数据 小编觉得大数据智慧旅在需要搜集到的游客消费动向、通讯数据，互联网 数据，自然环境变化等数据进行量化分析的同时，也会用大数据理念重新审视一些东西。例如： 以大数据理念重新审视公共WIFI：可以获取游客的手机号码，可以针对游 客进行线上市场调研问卷，可以推送旅游APP资讯。免费WIFI服务不再只是一个营销卖点;以大数据理念重新审视一卡通：可以将旅游一卡通服务看做是最直接获得旅游消费清单的工具，一种便捷的游客旅游消费轨迹数据采集方式。而 不只是促销手段;以大数据理念重新审视旅游手机应用：它是游客信息关注行为、 游客旅行轨迹数据采集平台和进行游客满意度调研与促进反馈的途径之一。而 不仅仅是传统智慧旅游倡导的为游客导游、导览、导购、导航服务的移动终端; 以大数据理念重新审视旅游资讯网，高效的消费者旅游信息关注数据采集、高 效的旅游网络营销效果评估工具、智慧化的旅游信息服务提供平台。而传统意 义上的旅游资讯网是旅游目的地品牌形象，旅游信息服务平台。 旅游资讯网只能宣传推广旅游目的地;以大数据理念重新审视旅游呼叫中心，高效的游客需求数据采集工具、高效的旅游CRM维护平台、高效的旅游新产品
海量数据处理方法总结 大数据量的问题是很多面试笔试中经常出现的问题，比如baidu，google，腾讯这样的一些涉及到海量数据的公司经常会问到。 下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方法，欢迎与我讨论。 1 Bloom filter 适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集。 基本原理及要点： 对于原理来说很简单，位数组+k个独立hash函数。将hash函数对应的值的位数组置1，查找时如果发现所有hash函数对应位都是1说明存在，很明显这个过程并不保证查找的结果是100%正确的。同时也不支持删除一个已经插入的关键字，因为该关键字对应的位会牵动到其他的关键字。所以一个简单的改进就是counting Bloom filter，用一个counter数组代替位数组，就可以支持删除了。 还有一个比较重要的问题，如何根据输入元素个数n，确定位数组m的大小及hash函数个数。当hash函数个数k=(ln2)*(m/n)时错误率最小。在错误率不大于E的情况下，m至少要等于n*lg(1/E)才能表示任意n个元素的集合。但m还应该更大些，因为还要保证bit 数组里至少一半为0，则m应该>=nlg(1/E)*lge 大概就是nlg(1/E)1.44倍(lg表示以2为底的对数)。 举个例子我们假设错误率为0.01，则此时m应大概是n的13倍。这样k大概是8个。 注意这里m与n的单位不同，m是bit为单位，而n则是以元素个数为单位(准确的说是不同元素的个数)。通常单个元素的长度都是有很多bit的。所以使用bloom filter内存上通常都是节省的。 扩展： Bloom filter将集合中的元素映射到位数组中，用k（k为哈希函数个数）个映射位是否全1表示元素在不在这个集合中。Counting bloom filter（CBF）将位数组中的每一位扩展为
大数据量的问题是很多面试笔试中经常出现的问题，比如baidu goog le 腾讯这样的一些涉及到海量数据的公司经常会问到。 下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方法，欢迎与我讨论。 1.Bloom filter 适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集 基本原理及要点： 对于原理来说很简单，位数组+k个独立hash函数。将hash函数对应的值的位数组置1，查找时如果发现所有hash函数对应位都是1说明存在，很明显这个过程并不保证查找的结果是100%正确的。同时也不支持删除一个已经插入的关键字，因为该关键字对应的位会牵动到其他的关键字。所以一个简单的改进就是counting Bloom filter，用一个counter数组代替位数组，就可以支持删除了。 还有一个比较重要的问题，如何根据输入元素个数n，确定位数组m 的大小及hash函数个数。当hash函数个数k=(ln2)*(m/n)时错误率最小。在错误率不大于E的情况下，m至少要等于n*lg(1/E)才能表示任
意n个元素的集合。但m还应该更大些，因为还要保证bit数组里至少一半为0，则m应该>=nlg(1/E)*lge 大概就是nlg(1/E)1.44倍(lg 表示以2为底的对数)。 举个例子我们假设错误率为0.01，则此时m应大概是n的13倍。这样k大概是8个。 注意这里m与n的单位不同，m是bit为单位，而n则是以元素个数为单位(准确的说是不同元素的个数)。通常单个元素的长度都是有很多bit的。所以使用bloom filter内存上通常都是节省的。 扩展： Bloom filter将集合中的元素映射到位数组中，用k（k为哈希函数个数）个映射位是否全1表示元素在不在这个集合中。Counting bloom filter（CBF）将位数组中的每一位扩展为一个counter，从而支持了元素的删除操作。Spectral Bloom Filter（SBF）将其与集合元素的出现次数关联。SBF采用counter中的最小值来近似表示元素的出现频率。 问题实例：给你A,B两个文件，各存放50亿条URL，每条URL占用6 4字节，内存限制是4G，让你找出A,B文件共同的URL。如果是三个乃至n个文件呢？ 根据这个问题我们来计算下内存的占用，4G=2^32大概是40亿*8大概是340亿，n=50亿，如果按出错率0.01算需要的大概是650亿个
1.1 成功案例1-汤姆森路透(Thomson Reuters) 利用Oracle 大 数据解决方案实现互联网资讯和社交媒体分析 Oracle Customer: Thomson Reuters Location: USA Industry: Media and Entertainment/Newspapers and Periodicals 汤姆森路透(Thomson Reuters)成立于2008年4月17 日，是由加拿大汤姆森 公司(The Thomson Corporation)与英国路透集团(Reuters Group PLC)合并组成的商务和专 业智能信息提供商，总部位于纽约，全球拥有6万多名员工，分布在超过100 个国家和地区。 汤姆森路透是世界一流的企业及专业情报信息提供商，其将行业专门知识与创新技术相结合，在全世界最可靠的新闻机构支持下，为专业企业、金融机构和消费者提供专业财经信息服务，以及为金融、法律、税务、会计、科技和媒体市场的领先决策者提供智能信息及解决方案。 在金融市场中，投资者的心理活动和认知偏差会影响其对未来市场的观念和情绪，并由情绪最终影响市场表现。随着互联网和社交媒体的迅速发展，人们可以方便快捷的获知政治、经济和社会资讯，通过社交媒体表达自己的观点和感受，并通过网络传播形成对市场情绪的强大影响。汤姆森路透原有市场心理指数和新闻分析产品仅对路透社新闻和全球专业资讯进行处理分析，已不能涵盖市场情绪的构成因素，时效性也不能满足专业金融机构日趋实时和高频交易的需求。 因此汤姆森路透采用Oracle的大数据解决方案，使用Big Data Appliance 大 数据机、Exadata 数据库云服务器和Exalytics 商业智能云服务器搭建了互联网资讯 和社交媒体大数据分析平台，实时采集5 万个新闻网站和400 万社交媒体渠道的资 讯，汇总路透社新闻和其他专业新闻，进行自然语义处理，通过基于行为金融学模型多维度的度量标准，全面评估分析市场情绪，形成可操作的分析结论，支持其专业金融机
大数据可视化分析平台 一、背景与目标 基于邳州市电子政务建设的基础支撑环境，以基础信息资源库(人口库、法人库、宏观经济、地理库)为基础，建设融合业务展示系统，提供综合信息查询展示、信息简报呈现、数据分析、数据开放等资源服务应用。实现市府领导及相关委办的融合数据资源视角，实现数据信息资源融合服务与创新服务，通过系统达到及时了解本市发展的综合情况，及时掌握发展动态,为政策拟定提供依据。 充分运用云计算、大数据等信息技术，建设融合分析平台、展示平台，整合现有数据资源,结合政务大数据的分析能力与业务编排展示能力，以人口、法人、地理，人口与地理,法人与地理，实现基础展示与分析,融合公安、交通、工业、教育、旅游等重点行业的数据综合分析，为城市管理、产业升级、民生保障提供有效支撑。 二、政务大数据平台 1、数据采集和交换需求:通过对各个委办局的指定业务数据进行汇聚,将分散的数据进行物理集中和整合管理，为实现对数据的分析提供数据支撑。将为跨机构的各类业务系统之间的业务协同，提供统一和集中的数据交互共享服务。包括数据交换、共享和EＴL等功能。 ２、海量数据存储管理需求：大数据平台从各个委办局的业务系统里抽取的数据量巨大,数据类型繁杂,数据需要持久化的存储和访问。不论是结构化数据、半结构化数据，还是非结构化数据,经过数据存储引擎进行建模后，持久化保存在存储系统上。存储系统要具备
高可靠性、快速查询能力。 3、数据计算分析需求：包括海量数据的离线计算能力、高效即席数据查询需求和低时延的实时计算能力。随着数据量的不断增加，需要数据平台具备线性扩展能力和强大的分析能力,支撑不断增长的数据量，满足未来政务各类业务工作的发展需要，确保业务系统的不间断且有效地工作。 4、数据关联集中需求：对集中存储在数据管理平台的数据，通过正确的技术手段将这些离散的数据进行数据关联,即:通过分析数据间的业务关系，建立关键数据之间的关联关系，将离散的数据串联起来形成能表达更多含义信息集合，以形成基础库、业务库、知识库等数据集。 5、应用开发需求:依靠集中数据集,快速开发创新应用，支撑实际分析业务需要。 6、大数据分析挖掘需求:通过对海量的政务业务大数据进行分析与挖掘,辅助政务决策,提供资源配置分析优化等辅助决策功能， 促进民生的发展。
如何处理数据库中海量数据，以及处理数据库海量数据的经验和技巧 疯狂代码 https://www.doczj.com/doc/1310412670.html,/ ?:http:/https://www.doczj.com/doc/1310412670.html,/DataBase/Article11068.html 海量数据是发展趋势，对数据分析和挖掘也越来越重要，从海量数据中提取有用信息重要而紧迫，这便要求处理要准确，精度要高，而且处理时间要短，得到有价值信息要快，所以，对海量数据的研究很有前途，也很值得进行广泛深入的研究。 基于海量数据的数据挖掘正在逐步兴起，面对着超海量的数据，一般的挖掘软件或算法往往采用数据抽样的方式进行处理，这样的误差不会很高，大大提 高了处理效率和处理的成功率。在实际的工作环境下，许多人会遇到海量数据这个复杂而艰巨的问题，它的主要难点有以下几个方面：一、数据量过大，数据中什么情况都可能存在。 ;如果说有10条数据，那么大不了每条去逐一检查，人为处理，如果有上百条数据，也可以考虑，如果数据上到千万级别，甚至过亿，那不是手解决的了，必须通过工具或者程序进行处理，尤其海量的数据中，什么情况都可能存在，例如，数据中某处格式出了问题，尤其在程序处理时，前面还能正常处理，突然到了某个地方问题出现了，程序终止了。二、软硬件要求高，系统资源占用过高 对海量的数据进行处理，除了好的方法，最重要的就是合理使用工具，合理分配系统资源。一般情况，如果处理的数据过TB级，小型机是要考虑的，普通的机子如果有好的方法可以考虑，不过也必须加大CPU和内存，就象面对着千军万马，光有勇气没有一兵一卒是很难取胜的。三、要求很高的处理方法和技巧。 这也是本文的写作目的所在，好的处理方法是一位工程师长期工作经验的积累，也是个人的经验的总结。没有通用的处理方法，但有通用的原理和规则。下面我们来详细介绍一下处理海量数据的经验和技巧：一、选用优秀的数据库工具 现在的数据库工具厂家比较多，对海量数据的处理对所使用的数据库工具要求比较高，一般使用 Oracle或者DB2，微软公 司最近发布的SQL Server 2005性能也不错。另外在BI领域：数据库，数据仓库，多维数据库，数据挖掘，傲博知识库等相关工具也要进行选择，象好的ETL工具和好的OLAP工具都十分必要， 例如Informatic，Eassbase等。笔者在实际数据分析项目中，对每天6000万条的日志数据进行处理，使用SQL Server 2000需要花费6小时，而使用SQL Server 2005则只需要花费3小时。二、编写优良的程序代码 处理数据离不开优秀的程序代码，尤其在进行复杂数据处理时，必须使用程序。好的程序代码对数据的处理至关重要，这不仅仅是数据处理准确度的问题，更是数据处理效率的问题。良好的程序代码应该包含好的算法，包含好的处理流程，包含好的效率，包含好的异常处理机制等。三、对海量数据进行分区操作 对海量数据进行分区操作十分必要，例如针对按年份存取的数据，我们可以按年进行分区，不同的数据库有不同的分区方式 ，不过处理机制大体相同。例 如SQL Server的数据库分区是将不同的数据存于不同的文件组下，而不同的文件组存于不同的磁盘分区下，这样将数据分散开，减小磁盘I/O，减小了系统负荷， 而且还可以将日志，索引等放于不同的分区下。四、建立广泛的索引 对海量的数据处理，对大表建立索引是必行的，建立索引要考虑到具体情况，例如针对大表的分组、排序等字段，都要建立相应索引，一般还可以建立复 合索引，对经常插入的表则建立索引时要小心，笔者在处理数据时，曾经在一个ETL流程中，当插入表时，首先删除索引，然后插入完毕，建立索引，并实施聚合 操作，聚合完成后，再次插入前还是删除索引，所以索引要用到好的时机，索引的填充因子和聚集、非聚集索引都要考虑。五、建立缓存机制 当数据量增加时，一般的处理工具都要考虑到缓存问题。缓存大小设置的好差也关系到数据处理的成败，例如，笔者在处理2亿条数据聚合操作时，缓存设置为100000条/Buffer，这对于这个级别的数据量是可行的。六、加大虚拟内存 如果系统资源有 限，内存提示不足，则可以靠增加虚拟内存来解决。笔者在实际项目中曾经遇到针对18亿条的数据进行处理，内存为
1.1成功案例1-汤姆森路透(Thomson Reuters)利用Oracle大 数据解决方案实现互联网资讯和社交媒体分析 ?Oracle Customer: Thomson Reuters ?Location: USA ?Industry: Media and Entertainment/Newspapers and Periodicals 汤姆森路透(Thomson Reuters)成立于2008年4月17日，是由加拿大汤姆森公司(The Thomson Corporation)与英国路透集团(Reuters Group PLC)合并组成的商务和专业智能 信息提供商，总部位于纽约，全球拥有6万多名员工，分布在超过100个国家和地区。 汤姆森路透是世界一流的企业及专业情报信息提供商，其将行业专门知识与创新技术相结合，在全世界最可靠的新闻机构支持下，为专业企业、金融机构和消费者提供专业财经信息服务，以及为金融、法律、税务、会计、科技和媒体市场的领先决策者提供智能信息及解决方案。 在金融市场中，投资者的心理活动和认知偏差会影响其对未来市场的观念和情绪，并由情绪最终影响市场表现。随着互联网和社交媒体的迅速发展，人们可以方便快捷的获知政治、经济和社会资讯，通过社交媒体表达自己的观点和感受，并通过网络传播形成对市场情绪的强大影响。汤姆森路透原有市场心理指数和新闻分析产品仅对路透社新闻和全球专业资讯进行处理分析，已不能涵盖市场情绪的构成因素，时效性也不能满足专业金融机构日趋实时和高频交易的需求。 因此汤姆森路透采用Oracle的大数据解决方案，使用Big Data Appliance大数据机、Exadata数据库云服务器和Exalytics商业智能云服务器搭建了互联网资讯和社交媒体大数据分析平台，实时采集5万个新闻网站和400万社交媒体渠道的资讯，汇总路透社新闻和其他专业新闻，进行自然语义处理，通过基于行为金融学模型多维度的度量标准，全面评估分析市场情绪，形成可操作的分析结论，支持其专业金融机构客户的交易、投资和风险管理。
海量的数据处理问题，对其进行处理是一项艰巨而复杂的任务。原因有以下几个方面： 一、数据量过大，数据中什么情况都可能存在。如果说有10条数据，那么大不了每条去逐一检查，人为处理，如果有上百条数据，也可以考虑，如果数据上到千万级别，甚至过亿，那不是手工能解决的了，必须通过工具或者程序进行处理，尤其海量的数据中，什么情况都可能存在，例如，数据中某处格式出了问题，尤其在程序处理时，前面还能正常处理，突然到了某个地方问题出现了，程序终止了。 二、软硬件要求高，系统资源占用率高。对海量的数据进行处理，除了好的方法，最重要的就是合理使用工具，合理分配系统资源。一般情况，如果处理的数据过TB级，小型机是要考虑的，普通的机子如果有好的方法可以考虑，不过也必须加大CPU和内存，就象面对着千军万马，光有勇气没有一兵一卒是很难取胜的。 三、要求很高的处理方法和技巧。这也是本文的写作目的所在，好的处理方法是一位工程师长期工作经验的积累，也是个人的经验的总结。没有通用的处理方法，但有通用的原理和规则。那么处理海量数据有哪些经验和技巧呢，我把我所知道的罗列一下，以供大家参考： 一、选用优秀的数据库工具现在的数据库工具厂家比较多，对海量数据的处理对所使用的数据库工具要求比较高，一般使用Oracle或者DB2，微软公司最近发布的SQL Server 2005性能也不错。另外在BI领域：数据库，数据仓库，多维数据库，数据挖掘等相关工具也要进行选择，象好的ETL工具和好的OLAP工具都十分必要，例如Informatic，Eassbase等。笔者在实际数据分析项目中，对每天6000万条的日志数据进行处理，使用SQL Server 2000需要花费6小时，而使用SQL Server 2005则只需要花费3小时。 二、编写优良的程序代码处理数据离不开优秀的程序代码，尤其在进行复杂数据处理时，必须使用程序。好的程序代码对数据的处理至关重要，这不仅仅是数据处理准确度的问题，更是数据处理效率的问题。良好的程序代码应该包含好的算法，包含好的处理流程，包含好的效率，包含好的异常处理机制等。 三、对海量数据进行分区操作对海量数据进行分区操作十分必要，例如针对按年份存取的数据，我们可以按年进行分区，不同的数据库有不同的分区方式，不过处理机制大体相同。例如SQL Server的数据库分区是将不同的数据存于不同的文件组下，而不同的文件组存于不同的磁盘分区下，这样将数据分散开，减小磁盘I/O，减小了系统负荷，而且还可以将日志，索引等放于不同的分区下。 四、建立广泛的索引对海量的数据处理，对大表建立索引是必行的，建立索引要考虑到具体情况，例如针对大表的分组、排序等字段，都要建立相应索引，一般还可以建立复合索引，对经常插入的表则建立索引时要小心，笔者在处理数据时，曾经在一个ETL流程中，当插入表时，首先删除索引，然后插入完毕，建立索引，并实施聚合操作，聚合完成后，再次插入前还是删除索引，所以索引要用到好的时机，索引的填充因子和聚集、非聚集索引都要考虑。 五、建立缓存机制当数据量增加时，一般的处理工具都要考虑到缓存问题。缓存大小设置的好差也关系到数据处理的成败，例如，笔者在处理2亿条数据聚合操作时，缓存设置为100000条/Buffer，这对于这个级别的数据量是可行的。 六、加大虚拟内存如果系统资源有限，内存提示不足，则可以靠增加虚拟内存来解决。笔者在实际项目中曾经遇到针对18亿条的数据进行处理，内存为1GB，1个P4 2.4G的CPU，对这么大的数据量进行聚合操作是有问题的，提示内存不足，那么采用了加大虚拟内存的方法来解决，在6块磁盘分区上分别建立了6个4096M的磁盘分区，用于虚拟内存，这样虚拟的内存则增加为4096*6 + 1024 = 25600 M，解决了数据处理中的内存不足问题。 七、分批处理海量数据处理难因为数据量大，那么解决海量数据处理难的问题其中一个技巧是减少数据量。可以对海量数据分批处理，然后处理后的数据再进行合并操作，这样逐个击破，有利于小数据量的处理，不至于面对大数据量带来的问题，不过这种方法也要因时因势进行，如果不允许拆分数据，还需要另想办法。不过一般的数据按天、按月、按年等存储的，都可以采用先分后合的方法，对数据进行分开处理。八、使用临时表和中间表数据量增加时，处理中要考虑提前汇总。这样做的目的是化整为零，大表变小表，分块处理完成后，再利用一定的规则进行合并，处理过程中的临时表的使用和中间结果的保存都非常重要，如果对于超海量的数据，大表处理不了，只能拆分为多个小表。如果处理过程中需要多步汇总操作，可按
智慧旅游大数据行业监管平台 一、需求分析 近年来，以信息化为代表的科技进步以及现代商业模式的创新，将直接推动旅游业转型升级。随着信息技术和知识经济的发展，用现代化的新技术、新装备改造和提升旅游业，正在成为新时期旅游业发展的新趋势。今后一段时期，信息技术将会更加广泛地运用到旅游业发展的方方面面。 该系统通过采集汇总客户相关数据，综合分析景区旅游游客来源及行程轨迹 特征，并实时统计游客流量信息，进而分析出游客来源，景区热度排名等相关数据；同时通过景区景点系统，并设置游客上限阈值，实现景区景点客流量实时监控预警机制，对景区管理做出调度决策提供实时数据依据； 二、解决方案描述 智慧旅游监管系统主要包含以下几项功能：景区大数据分析、视频会议调度、景区出入口视频监管。 2.1 大数据分析 2.1.1今日一览 用户成功登陆后显示的即是该功能，它从归属地及时间两个维度展示了今日 与昨日客流量对比图标，详细展示了流量趋势。 若选择只查看某一条折线数据，可点击图标下方的时间标识按钮进行选择。 通过点击今日一览折线图中的某一点可跳转至历史数据查询页面，可选择日期进行对比查询。 2.1.2本周一览 该功能从归属地及时间两个维度展示了本周与上周客流量环比图标，显示展示了流量趋势。 2.1.3本月一览
该功能从归属地及时间两个维度展示本月与上月客流量环比图标，详细展示了流量趋势。点击本月一览中折线图中的某一点可跳转至自定义查询页面。 2.2本日客源 该功能从归属地的维度对客流数据进行分析统计，主要对今天实时客源进行 人数统计，数据以及归属地来进行分配，此功能主要让使用者对客源的人口区域 分布有直观的感受。 点击某一省的块状图可跳转下钻至相应省下属的地市柱状图，其中山东省可以下钻至街道，其他省份可下钻至地市。 2.3游客归属地 该功能从归属地的维度对流量数据进行分析统计；此功能主要将游客总入园 人数以饼图方式进行显示，让园区管理员有很直观的感受。 对于查询的结果还可以做导出处理。 2.4本日客流 本日客流分析主要是今天实时客流量的曲线趋势图分析，让景区管理员对景 区实时人流量的趋势进行有非常直观的了解。可按小时查看图表统计。 2.5本周客流 本周客流分析主要是本周实时客流量的曲线趋势图分析，让景区管理员对景 区本周实时人流量的趋势进行有非常直观的了解。 2.6本月客流 本月客流分析主要是本月实时客流量的曲线趋势图分析，让景区管理对景区 本月实时人流量的趋势有非常直观的了解。 2.7自定义查询 自定义查询分析主要是客流数据的统一对比查询分析，让用户可以自由的选 择任意时期进行对比查询。此功能实现了分时段的比较。灵活性很大。 2.8区域实时监控 景区实时监控分析主要实时显示各景点的人数，以及占景区总人数的统计分析。 2.9热力图 热力图分析主要以颜色来对基站所覆盖范围的游客密度进行标注，由蓝到红，
十七道海量数据处理面试题与Bit-map详解 第一部分、十七道海量数据处理面试题 1. 给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文 件共同的url？ 方案1：可以估计每个文件安的大小为50G×64=320G，远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。 1. 遍历文件a，对每个url求取，然后根据所取得的值将url分别存储到1000个 小文件（记为,这里漏写个了a1）中。这样每个小文件的大约为300M。 2. 遍历文件b，采取和a相同的方式将url分别存储到1000小文件中（记为）。这样 处理后，所有可能相同的url都在对应的小文件（）中，不对应的小文件不可能有相同的url。然后我们只要求出1000对小文件中相同的url即可。 3. 求每对小文件中相同的url时，可以把其中一个小文件的url存储到hash_set中。然后遍历另一个小文件的每个url，看其是否在刚才构建的hash_set中，如果是，那么就是共同的url，存到文件里面就可以了。 方案2：如果允许有一定的错误率，可以使用Bloom filter，4G内存大概可以表示340亿bit。将其中一个文件中的url使用Bloom filter映射为这340亿bit，然后挨个读取另外一个文件的url，检查是否与Bloom filter，如果是，那么该url应该是共同的url（注意会有一定的错误率）。 读者反馈@crowgns： 1. hash后要判断每个文件大小，如果hash分的不均衡有文件较大，还应继续hash分文件，换个hash 算法第二次再分较大的文件，一直分到没有较大的文件为止。这样文件标号可以用A1-2表示（第一次hash 编号为1，文件较大所以参加第二次hash，编号为2） 2. 由于1存在，第一次hash如果有大文件，不能用直接set的方法。建议对每个文件都先用字符串 自然顺序排序，然后具有相同hash编号的（如都是1-3，而不能a编号是1，b编号是1-1和1-2），可 以直接从头到尾比较一遍。对于层级不一致的，如a1，b有1-1，1-2-1，1-2-2，层级浅的要和层级深的每个文件都比较一次，才能确认每个相同的uri。 2. 有10个文件，每个文件1G，每个文件的每一行存放的都是用户的query，每个文件的query都可能 重复。要求你按照query的频度排序。 方案1： 1.顺序读取10个文件，按照hash(query)%10的结果将query写入到另外10个文件（记为）中。这样新生成的文件每个的大小大约也1G（假设hash函数是随机的）。 2.找一台内存在2G左右的机器，依次对用hash_map(query, query_count)来统计每个query出现的次数。利用快速/堆/归并排序按照出现次数进行排序。将排序好的query和对应的query_cout 输出到文件中。这样得到了10个排好序的文件（,此处有误，更正为b0,b1,b2,b9）。 3.对这10个文件进行归并排序（内排序与外排序相结合）。 方案2：
数据分析方法、数据处理流程实战案例 大数据时代，我们人人都逐渐开始用数据的眼光来看待每一个事情、事物。确实，数据的直观明了传达出来的信息让人一下子就能领略且毫无疑点，不过前提是数据本身的真实性和准确度要有保证。今天就来和大家分享一下关于数据分析方法、数据处理流程的实战案例，让大家对于数据分析师这个岗位的工作内容有更多的理解和认识，让可以趁机了解了解咱们平时看似轻松便捷的数据可视化的背后都是有多专业的流程在支撑着。 一、大数据思维 在2011年、2012年大数据概念火了之后，可以说这几年许多传统企业也好，互联网企业也好，都把自己的业务给大数据靠一靠，并且提的比较多的大数据思维。
那么大数据思维是怎么回事我们来看两个例子： 案例1：输入法 首先，我们来看一下输入法的例子。 我2001年上大学，那时用的输入法比较多的是智能ABC，还有微软拼音，还有五笔。那时候的输入法比现在来说要慢的很多，许多时候输一个词都要选好几次，去选词还是调整才能把这个字打出来，效率是非常低的。
到了2002年，2003年出了一种新的输出法——紫光拼音，感觉真的很快，键盘没有按下去字就已经跳出来了。但是，后来很快发现紫光拼音输入法也有它的问题，比如当时互联网发展已经比较快了，
会经常出现一些新的词汇，这些词汇在它的词库里没有的话，就很难敲出来这个词。 在2006年左右，搜狗输入法出现了。搜狗输入法基于搜狗本身是一个搜索，它积累了一些用户输入的检索词这些数据，用户用输入法时候产生的这些词的信息，将它们进行统计分析，把一些新的词汇逐步添加到词库里去，通过云的方式进行管理。 比如，去年流行一个词叫“然并卵”，这样的一个词如果用传统的方式，因为它是一个重新构造的词，在输入法是没办法通过拼音“ran bing luan”直接把它找出来的。然而，在大数据思维下那就不一样了，换句话说，我们先不知道有这么一个词汇，但是我们发现有许多人在输入了这个词汇，于是，我们可以通过统计发现最近新出现的一个高频词汇，把它加到司库里面并更新给所有人，大家在使用的时候可以直接找到这个词了。 案例2：地图
智慧景区大数据智能分析系统建设详细设计方案智能视频监控系统，与传统的监控系统相比，具有更优的有效性和持久性。它能够识别不同的运动物体，能够实现7x24全天“不知疲劳”的实时工作，大大减轻视频监控中人工劳动的强度，发现监控画面中的异常情况，并能够以最快和最佳的方式发出警报和提供有用信息，提高报警处理的及时性，从而能够更加有效的协助安全人员处理危机，并最大限度的降低误报和漏报现象。 智能分析技术的应用，将传统的被动监控转化为主动监控，由系统通过先进的分析算法，按照一定的规则进行实时的分析和判断，对可疑事件和行为进行告警，能够极大的提高视频的利用效率，提升监控系统的整体性能。 海康威视智能视频监控产品融合了视频处理、计算机视觉以及人工智能等多个领域的先进技术，将图像与事件之间建立了一种映射关系，使计算机从纷繁的视频图像中分辨、识别出关键目标物体并分析理解其行为。智能视频分析产品对输入的视频流采用对运动目标的检测、跟踪、分类技术，将视频内的目标经背景建模、目标分割、跟踪及分类等图像识别算法，完成由图像到事件参数的转变，从而实现对各种突发事件的实时检测。 海康威视智能视频分析模块，支持多种异常事件的检测
功能，包括入侵检测、徘徊检测、物品拿取检测、物品放置检测、停车检测和人群密度检测等，并支持快球摄像机的自动跟踪功能。 视频大数据应用是智慧景区建设的一个发展方向，而将海量视频数据结构化又是视频大数据应用的基础条件。“猎鹰”系列产品是海康威视专门推出的高端智能结构化分析设备，具有高并发视频结构化处理能力，适用于景区视频监控的结构化应用。在景区中，因为人员拥挤、游客众多，经常有老人或小孩走失，可通过视频全域结构化分析，提取人物特征，用于寻找走失人员，同时，对于游客属性统计分析、游客及车辆特征识别分析等可提供科学的基础分析数据。该设备集视频结构化分析、数据存储、平台应用等功能于一体，能够为用户提供整体解决方案。系统采用了视频智能分析、分布式集群、大数据检索等多项前沿技术，可广泛应用于传统监控场景的视频结构化。 1.1.1 智能分析系统架构 “猎鹰”可广泛应用于非主干道的监控场景，通过对实时视频资源或录像视频的结构化处理，从监控视频数据中分析提取出活动目标的特征信息或车辆信息等，并将提取到的结构化数据做存储，相关人员可以在系统中实现目标的快速检索，提高视频资源的整体利用效率。
提起数据分析，大家往往会联想到一些密密麻麻的数字表格，或是高级的数据建模手法，再或是华丽的数据报表。其实，“分析”本身是每个人都具备的能力；比如根据股票的走势决定购买还是抛出，依照每日的时间和以往经验选择行车路线；购买机票、预订酒店时，比对多家的价格后做出最终选择。 这些小型决策，其实都是依照我们脑海中的数据点作出判断，这就是简单分析的过程。对于业务决策者而言，则需要掌握一套系统的、科学的、符合商业规律的数据分析知识。 1.数据分析的战略思维 无论是产品、市场、运营还是管理者，你必须反思：数据本质的价值，究竟在哪里？从这些数据中，你和你的团队都可以学习到什么？ 数据分析的目标 对于企业来讲，数据分析的可以辅助企业优化流程，降低成本，提高营业额，往往我们把这类数据分析定义为商业数据分析。商业数据分析的目标是利用大数据为所有职场人员做出迅捷、高质、高效的决策，提供可规模化的解决方案。商业数据分析的本质在于创造商业价值，驱动企业业务增长。 数据分析的作用 我们常常讲的企业增长模式中，往往以某个业务平台为核心。这其中，数据和数据分析，是不可或缺的环节。 通过企业或者平台为目标用户群提供产品或服务，而用户在使用产品或服务过程中产生的交互、交易，都可以作为数据采集下来。根据这些数据洞察，通过分析的手段反推客户的需求，创造更多符合需求的增值产品和服务，重新投入用户的使用，从而形成形成一个完整的业务闭环。这样的完整业务逻辑，可以真正意义上驱动业务的增长。 数据分析进化论 我们常常以商业回报比来定位数据分析的不同阶段，因此我们将其分为四个阶段。 阶段 1：观察数据当前发生了什么？ 首先，基本的数据展示，可以告诉我们发生了什么。例如，公司上周投放了新的搜索引擎 A 的广告，想要
大数据应用分析案例分析大数据应用与案例分析当下，”大数据"几乎是每个IT人都在谈论的一个词汇，不单单是时代发展的趋势,也是革命技术的创新.大数据对于行业的用户也越来越重要。掌握了核心数据,不单单可以进行智能化的决策，还可以在竞争激烈的行业当中脱颖而出，所以对于大数据的战略布局让越来越多的企业引起了重视，并重新定义了自己的在行业的核心竞争。 在当前的互联网领域，大数据的应用已十分广泛，尤其以企业为主，企业成为大数据应用的主体.大数据真能改变企业的运作方式吗?答案毋庸置疑是肯定的。随着企业开始利用大数据，我们每天都会看到大数据新的奇妙的应用,帮助人们真正从中获益.大数据的应用已广泛深入我们生活的方方面面，涵盖医疗、交通、金融、教育、体育、零售等各行各业。...感谢聆听... 大数据应用的关键，也是其必要条件,就在于＂IT”与”经营"的融合,当然，这里的经营的内涵可以非常广泛，小至一个零售门店的经营，大至一个城市的经营。以下是关于各行各业,不同的组织机构在大数据方面的应用的案例，并在此基础上作简单的梳理和分类。
一、大数据应用案例之：医疗行业 ＳetｏｎＨｅaｌｔhcare是采用ＩBM最新沃森技术医疗保健内容分析预测的首个客户。该技术允许企业找到大量病人相关的临床医疗信息,通过大数据处理，更好地分析病人的信息。在加拿大多伦多的一家医院，针对早产婴儿，每秒钟有超过30０0次的数据读取。通过这些数据分析，医院能够提前知道哪些早产儿出现问题并且有针对性地采取措施,避免早产婴儿夭折. ...感谢聆听... 它让更多的创业者更方便地开发产品，比如通过社交网络来收集数据的健康类Apｐ。也许未来数年后,它们搜集的数据能让医生给你的诊断变得更为精确，比方说不是通用的成人每日三次一次一片，而是检测到你的血液中药剂已经代谢完成会自动提醒你再次服药. 二、大数据应用案例之:能源行业 智能电网现在欧洲已经做到了终端,也就是所谓的智能电表。在德国,为了鼓励利用太阳能，会在家庭安装太阳能，除了卖电给你，当你的太阳能有多余电的时候还可以买回来.通过电网收集每隔五分钟或十分钟收集一次数据,收集来的这些数据可以用来预测客户的用电习惯等,从而推断出在未来2~３个月时间里，整个电网大概需要多少电。有了这个预测后，就可以向发电或者供电企业购买一定数量的电.因为电有点像期货一样，如果提前买就会比较便