当前位置：文档之家 › 大数据案例分析

大数据案例分析

  • 格式：pdf
  • 大小：1.10 MB
  • 文档页数：7

⼤数据案例分析

⼀、⼤数据分析在商业上的应⽤

1、体育赛事预测

世界杯期间，⾕歌、百度、微软和⾼盛等公司都推出了⽐赛结果预测平台。百度预测结果最为亮眼，预测全程64场⽐赛，准确率为67%，进⼊淘汰赛后准确率为94%。现在互联⽹公司取代章鱼保罗试⽔赛事预测也意味着未来的体育赛事会被⼤数据预测所掌控。“在百度对世界杯的预测中，我们⼀共考虑了团队实⼒、主场优势、最近表现、世界杯整体表现和博彩公司的赔率等五个因素，这些数据的来源基本都是互联⽹，随后我们再利⽤⼀个由搜索专家设计的机器学习模型来对这些数据进⾏汇总和分析，进⽽做出预测结果。”---百度北京⼤数据实验室的负责⼈张桐

2、股票市场预测

去年英国华威商学院和美国波⼠顿⼤学物理系的研究发现，⽤户通过⾕歌搜索的⾦融关键词或许可以⾦融市场的⾛向，相应的投资战略收益⾼达326%。此前则有专家尝试通过Twitter博⽂情绪来预测股市波动。

理论上来讲股市预测更加适合美国。中国股票市场⽆法做到双向盈利，只有股票涨才能盈利，这会吸引⼀些游资利⽤信息不对称等情况⼈为改变股票市场规律，因此中国股市没有相对稳定的规律则很难被预测，且⼀些对结果产⽣决定性影响的变量数据根本⽆法被监控。

⽬前，美国已经有许多对冲基⾦采⽤⼤数据技术进⾏投资，并且收获甚丰。中国的中证⼴发百度百发100指数基⾦（下称百发100），上线四个多⽉以来已上涨68%。

和传统量化投资类似，⼤数据投资也是依靠模型，但模型⾥的数据变量⼏何倍地增加了，在原有的⾦融结构化数据基础上，增加了社交⾔论、地理信息、卫星监测等⾮结构化数据，并且将这些⾮结构化数据进⾏量化，从⽽让模型可以吸收。

由于⼤数据模型对成本要求极⾼，业内⼈⼠认为，⼤数据将成为共享平台化的服务，数据和技术相当于⾷材和锅，基⾦经理和分析师可以通过平台制作⾃⼰的策略。

3、市场物价预测

CPI表征已经发⽣的物价浮动情况，但统计局数据并不权威。但⼤数据则可能帮助⼈们了解未来物价⾛向，提前预知通货膨胀或经济危机。最典型的案例莫过于马云通过阿⾥B2B⼤数据提前知晓亚洲⾦融危机，当然这是阿⾥数据团队的功劳。

4、⽤户⾏为预测

基于⽤户搜索⾏为、浏览⾏为、评论历史和个⼈资料等数据，互联⽹业务可以洞察消费者的整体需求，进⽽进⾏针对性的产品⽣产、改进和营销。《纸牌屋》 选择演员和剧情、百度基于⽤户喜好进⾏精准⼴告营销、阿⾥根据天猫⽤户特征包下⽣产线定制产品、亚马逊预测⽤户点击⾏为提前发货均是受益于互联⽹⽤户⾏为 预测。

购买前的⾏为信息，可以深度地反映出潜在客户的购买⼼理和购买意向：例如，客户 A 连续浏览了 5 款电视机，其中 4 款来⾃国内品牌 S，1 款来⾃国外品牌 T；4 款为 LED 技术，1 款为 LCD 技术；5 款的价格分别为 4599 元、5199 元、5499 元、5999 元、7999 元；这些⾏为某种程度上反映了客户 A 对品牌认可度及倾向性，如偏向国产品牌、中等价位的 LED 电视。⽽客户 B 连续浏览了 6 款电视机，其中 2 款是国外品牌 T，2 款是另⼀国外品牌 V，2 款是国产品牌 S；4 款为 LED 技术，2 款为 LCD 技术；6 款的价格分别为 5999 元、7999 元、8300 元、9200 元、9999 元、11050 元；类似地，这些⾏为某种程度上反映了客户 B 对品牌认可度及倾向性，如偏向进⼝品牌、⾼价位的 LED 电视等。

5、⼈体健康预测

中医可以通过望闻问切⼿段发现⼀些⼈体内隐藏的慢性病，甚⾄看体质便可知晓⼀个⼈将来可能会出现什么症状。⼈体体征变化有⼀定规律，⽽慢性病发⽣前⼈体已经会有⼀些持续性异常。理论上来说，如果⼤数据掌握了这样的异常情况，便可以进⾏慢性病预测。

6、疾病疫情预测

基于⼈们的搜索情况、购物⾏为预测⼤⾯积疫情爆发的可能性，最经典的“流感预测”便属于此类。如果来⾃某个区域的“流感”、“板蓝根”搜索需求越来越多，⾃然可以推测该处有流感趋势。Google成功预测冬季流感:2009年，Google通过分析5000万条美国⼈最频繁检索的词汇，将之和美国疾病中⼼在2003年到2008年间季节性流感传播时期的数据进⾏⽐较，并建⽴⼀个特定的数学模型。最终google成功预测了2009冬季流感的传播甚⾄可以具体到特定的地区和州。

7、灾害灾难预测

⽓象预测是最典型的灾难灾害预测。地震、洪涝、⾼温、暴⾬这些⾃然灾害如果可以利⽤⼤数据能⼒进⾏更加提前的预测和告知便有助于减灾防灾救灾赈灾。 与过往不同的是，过去的数据收集⽅式存在着死⾓、成本⾼等问题，物联⽹时代可以借助廉价的传感器摄像头和⽆线通信⽹络，进⾏实时的数据监控收集，再利⽤⼤ 数据预测分析，做到更精准的⾃然灾害预测。

8、环境变迁预测

除了进⾏短时间微观的天⽓、灾害预测之外，还可以进⾏更加长期和宏观的环境和⽣态变迁预测。森林和农⽥⾯积缩⼩、野⽣动物植物濒危、海岸线上升，温 室效应这些问题是地球⾯临的“慢性问题“。如果⼈类知道越多地球⽣态系统以及天⽓形态变化数据，就越容易模型化未来环境的变迁，进⽽阻⽌不好的转变发⽣。 ⽽⼤数据帮助⼈类收集、储存和挖掘更多的地球数据，同时还提供了预测的⼯具。

9、交通⾏为预测

基于⽤户和车辆的LBS定位数据，分析⼈车出⾏的个体和群体特征，进⾏交通⾏为的预测。交通部门可预测不同时点不同道路的车流量进⾏智能的车辆调度，或应⽤潮汐车道；⽤户则可以根据预测结果选择拥堵⼏率更低的道路。

百度基于地图应⽤的LBS预测涵盖范围更⼴。春运期间预测⼈们的迁徙趋势指导⽕车线路和航线的设置，节假⽇预测景点的⼈流量指导⼈们的景区选择，平时还有百度热⼒图来告诉⽤户城市商圈、动物园等地点的⼈流情况，指导⽤户出⾏选择和商家的选点选址。多尔⼽夫的团队利⽤机器学习算法来创造路上⾏⼈的模型。⽆⼈驾驶汽车⾏驶的每⼀英⾥路程的情况都会被记录下来，汽车电脑就会保持这些数据， 并分析各种不同的对象在不同的环境中如何表现。有些司机的⾏为可能会被设置为固定变量（如“绿灯亮，汽车⾏”），但是汽车电脑不会死搬硬套这种逻辑，⽽是 从实际的司机⾏为中进⾏学习。 这样⼀来，跟在⼀辆垃圾运输卡车后⾯⾏驶的汽车，如果卡车停⽌⾏进，那么汽车可能会选择变道绕过去，⽽不是也跟着停下来。⾕歌已建⽴了70万英⾥的⾏驶数据，这有助于⾕歌汽车根据⾃⼰的学习经验来调整⾃⼰的⾏为。

10、能源消耗预测

加州电⽹系统运营中⼼管理着加州超过80%的电⽹，向3500万⽤户每年输送2.89亿兆⽡电⼒，电⼒线长度超过25000英⾥。该中⼼采⽤了 Space-Time Insight的软件进⾏智能管理，综合分析来⾃包括天⽓、传感器、计量设备等各种数据源的海量数据，预测各地的能源需求变化，进⾏智能电能调度，平衡全 ⽹的电⼒供应和需求，并对潜在危机做出快速响应。中国智能电⽹业已在尝试类似⼤数据预测应⽤。 ⼆、⼤数据分析种类

按照数据分析的实时性，分为实时数据分析和离线数据分析两种。

实时数据分析⼀般⽤于⾦融、移动和互联⽹B2C等产品，往往要求在数秒内返回上亿⾏数据的分析，从⽽达到不影响⽤户体验的⽬的。要满⾜这样的需求， 可以采⽤精⼼设计的传统关系型数据库组成并⾏处理集群，或者采⽤⼀些内存计算平台，或者采⽤HDD的架构，这些⽆疑都需要⽐较⾼的软硬件成本。⽬前⽐较新 的海量数据实时分析⼯具有EMC的Greenplum、SAP的HANA等。

对于⼤多数反馈时间要求不是那么严苛的应⽤，⽐如离线统计分析、机器学习、搜索引擎的反向索引计算、推荐引擎的计算等，应采⽤离线分析的⽅式，通过 数据采集⼯具将⽇志数据导⼊专⽤的分析平台。但⾯对海量数据，传统的ETL⼯具往往彻底失效，主要原因是数据格式转换的开销太⼤，在性能上⽆法满⾜海量数 据的采集需求。互联⽹企业的海量数据采集⼯具，有Facebook开源的Scribe、LinkedIn开源的Kafka、淘宝开源的 Timetunnel、Hadoop的Chukwa等，均可以满⾜每秒数百MB的⽇志数据采集和传输需求，并将这些数据上载到Hadoop中央系统上。

按照⼤数据的数据量，分为内存级别、BI级别、海量级别三种。

这⾥的内存级别指的是数据量不超过集群的内存最⼤值。不要⼩看今天内存的容量，Facebook缓存在内存的Memcached中的数据⾼达 320TB，⽽⽬前的PC服务器，内存也可以超过百GB。因此可以采⽤⼀些内存数据库，将热点数据常驻内存之中，从⽽取得⾮常快速的分析能⼒，⾮常适合实 时分析业务。图1是⼀种实际可⾏的MongoDB分析架构。

图1 ⽤于实时分析的MongoDB架构MongoDB⼤集群⽬前存在⼀些稳定性问题，会发⽣周期性的写堵塞和主从同步失效，但仍不失为⼀种潜⼒⼗⾜的可以⽤于⾼速数据分析的NoSQL。

此外，⽬前⼤多数服务⼚商都已经推出了带4GB以上SSD的解决⽅案，利⽤内存+SSD，也可以轻易达到内存分析的性能。随着SSD的发展，内存数据分析必然能得到更加⼴泛的应⽤。BI级别指的是那些对于内存来说太⼤的数据量，但⼀般可以将其放⼊传统的BI产品和专门设计的BI数据库之中进⾏分析。⽬前主流的BI产品都有⽀持TB级以上的数据分析⽅案。种类繁多。

海量级别指的是对于数据库和BI产品已经完全失效或者成本过⾼的数据量。海量数据级别的优秀企业级产品也有很多，但基于软硬件的成本原因，⽬前⼤多 数互联⽹企业采⽤Hadoop的HDFS分布式⽂件系统来存储数据，并使⽤MapReduce进⾏分析。本⽂稍后将主要介绍Hadoop上基于 MapReduce的⼀个多维数据分析平台。

三、⼤数据分析⼀般过程

3.1 采集⼤数据的采集是指利⽤多个数据库来接收发⾃客户端（Web、App或者传感器形式等）的 数据，并且⽤户可以通过这些数据库来进⾏简单的查询和处理⼯作。⽐如，电商会使⽤传统的关系型数据库MySQL和Oracle等来存储每⼀笔事务数据，除 此之外，Redis和MongoDB这样的NoSQL数据库也常⽤于数据的采集。在⼤数据的采集过程中，其主要特点和挑战是并发数⾼，因为同时有可能会有成千上万的⽤户 来进⾏访问和操作，⽐如⽕车票售票⽹站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署⼤量数据库才能⽀撑。并且如何在这些数据库之间 进⾏负载均衡和分⽚的确是需要深⼊的思考和设计。3.2 导⼊/预处理虽然采集端本⾝会有很多数据库，但是如果要对这些海量数据进⾏有效的分析，还是应该将这 些来⾃前端的数据导⼊到⼀个集中的⼤型分布式数据库，或者分布式存储集群，并且可以在导⼊基础上做⼀些简单的清洗和预处理⼯作。也有⼀些⽤户会在导⼊时使 ⽤来⾃Twitter的Storm来对数据进⾏流式计算，来满⾜部分业务的实时计算需求。导⼊与预处理过程的特点和挑战主要是导⼊的数据量⼤，每秒钟的导⼊量经常会达到百兆，甚⾄千兆级别。3.3 统计/分析统计与分析主要利⽤分布式数据库，或者分布式计算集群来对存储于其内的海量数据进⾏普通 的分析和分类汇总等，以满⾜⼤多数常见的分析需求，在这⽅⾯，⼀些实时性需求会⽤到EMC的GreenPlum、Oracle的Exadata，以及基于 MySQL的列式存储Infobright等，⽽⼀些批处理，或者基于半结构化数据的需求可以使⽤Hadoop。统计与分析这部分的主要特点和挑战是分析涉及的数据量⼤，其对系统资源，特别是I/O会有极⼤的占⽤。3.4 挖掘与前⾯统计和分析过程不同的是，数据挖掘⼀般没有什么预先设定好的主题，主要是在现有数 据上⾯进⾏基于各种算法的计算，从⽽起到预测（Predict）的效果，从⽽实现⼀些⾼级别数据分析的需求。⽐较典型算法有⽤于聚类的Kmeans、⽤于 统计学习的SVM和⽤于分类的NaiveBayes，主要使⽤的⼯具有Hadoop的Mahout等。该过程的特点和挑战主要是⽤于挖掘的算法很复杂，并 且计算涉及的数据量和计算量都很⼤，常⽤数据挖掘算法都以单线程为主。

合集下载

大数据数据分析方法数据处理流程实战案例

大数据数据分析方法数据处理流程实战案例

数据分析方法、数据处理流程实战案例

大数据时代，我们人人都逐渐开始用数据的眼光来看待每一个事情、事物。确实，数据的直观明了传达出来的信息让人一下子就能领略且毫无疑点，不过前提是数据本身的真实性和准确度要有保证。今天就来和大家分享一下关于数据分析方法、数据处理流程的实战案例，让大家对于数据分析师这个岗位的工作内容有更多的理解和认识，让可以趁机了解了解咱们平时看似轻松便捷的数据可视化的背后都是有多专业的流程在支撑着。

一、大数据思维

在2011年、2012年大数据概念火了之后，可以说这几年许多传统企业也好，互联网企业也好，都把自己的业务给大数据靠一靠，并且提的比较多的大数据思维。

那么大数据思维是怎么回事？我们来看两个例子：

案例1：输入法

首先，我们来看一下输入法的例子。

我2001年上大学，那时用的输入法比较多的是智能ABC，还有微软拼音，还有五笔。那时候的输入法比现在来说要慢的很多，许多时候输一个词都要选好几次，去选词还是调整才能把这个字打出来，效率是非常低的。 到了2002年，2003年出了一种新的输出法——紫光拼音，感觉真的很快，键盘没有按下去字就已经跳出来了。但是，后来很快发现紫光拼音输入法也有它的问题，比如当时互联网发展已经比较快了，会经常出现一些新的词汇，这些词汇在它的词库里没有的话，就很难敲出来这个词。

在2006年左右，搜狗输入法出现了。搜狗输入法基于搜狗本身是一个搜索，它积累了一些用户输入的检索词这些数据，用户用输入法时候产生的这些词的信息，将它们进行统计分析，把一些新的词汇逐步添加到词库里去，通过云的方式进行管理。

比如，去年流行一个词叫“然并卵”，这样的一个词如果用传统的方式，因为它是一个重新构造的词，在输入法是没办法通过拼音“ran bing luan”直接把它找出来的。然而，在大数据思维下那就不一样了，换句话说，我们先不知道有这么一个词汇，但是我们发现有许多人在输入了这个词汇，于是，我们可以通过统计发现最近新出现的一个高频词汇，把它加到司库里面并更新给所有人，大家在使用的时候可以直接找到这个词了。

大数据应用案例分析

大数据应用案例分析

大数据应用案例分析

1、中信银行信用卡营销

实施背景：中信银行信用卡中心是国内银行业为数不多的几家分行级信用卡专营机构之一，也是国内具有竞争力的股份制商业银行信用卡中心之一。近年来，中信银行信用卡中心的发卡量迅速增长，2008年银行向消费者发卡约500万张，而这个数字在2010年增加了一倍。随着业务的迅猛增长，业务数据规模也急剧膨胀。中信银行信用卡中心无论在数据存储、系统维护等方面，还是在有效地利用客户数据方面，都面临着越来越大的压力。

中信银行信用卡中心迫切需要一个可扩展、高性能的数据仓库解决方案，支持其数据分析战略，提升业务的敏捷性。通过建立以数据仓库为核心的分析平台，实现业务数据集中和整合，以支持多样化和复杂化的数据分析，比如卡、账户、客户、交易等主题的业务统计和OLAP（联机分析处理）多维分析等，提升卡中心的业务效率；通过从数据仓库提取数据，改进和推动有针对性的营销活动。

技术方案：从2010年4月到2011年5月，中信银行信用卡中心实施了EMC Greenplum数据仓库解决方案。实施EMC Greenplum解决方案之后，中信银行信用卡中心实现了近似实时的商业智能（BI）和秒级营销，运营效率得到全面提升。

图表 中信银行大数据应用技术架构图

Greenplum解决方案的一个核心的功能是，它采用了“无共享”的开放平台的MPP架构，此架构是为BI和海量数据分析处理而设计。目前，最普遍的关系数据库管理系统（如Oracle或Microsoft SQL Server），都是利用“共享磁盘”架构来实现数据处理，会牺牲单个查询性能和并行性能。而使用Greenplum 数据库提供的MPP架构，数据在多个服务器区段间会自动分区，而各分区拥有并管理整体数据的不同部分；所有的通信是通过网络互连完成，没有磁盘级共享或连接，使其成为一个“无共享”架构。Greenplum数据库提供的MPP架构为磁盘的每一个环节提供了一个专门的、独立的高带宽通道，段上的服务器可以以一个完全并行的方式处理每个查询，并根据查询计划在段之间有效地移动数据，因此，相比普通的数据库系统，该系统提供了更高的可扩展性。

SPSS大数据案例分析报告

SPSS大数据案例分析报告

实用标准文档

文案大全 SPSS数据案例分析

目录

一.手机 APP 广告点击意愿的模型构建 ............... 2

1.1构建研究模型 ................................ 2

1.2研究变量及定义 .............................. 2

1.3研究假设 .................................... 3

1.4变量操作化定义 .............................. 3

1.5问卷设计 .................................... 3

二．实证研究 ..................................... 5

2.1基础数据分析 ................................ 5

2.2频数分布及相关统计量 ........................ 6

2.3相关分析 .................................... 7

2.4回归分析 .................................... 8

2.5假设检验 ................................... 10

实用标准文档

文案大全 一.手机 APP 广告点击意愿的模型构建

1.1构建研究模型

我们知道效用期望、努力期望、社会影响对行为意愿会产生一定的影响，在模型中的性别、年龄、经验与自愿性等四个控制变量，通常都是作为控制变量来观察他们对采用因素与使用意向之间的关系的影响。因此，目前手机 APP 广告的使用人群年龄相对比较年轻，而且年龄特征分布高度集中，年龄在 30 岁以下的人群占到 70%以上，因此本研究考虑性别了这一变量，同时根据手机 APP 广告用户的特性，加入了手机流量作为控制变量，去观察它们对外部变量与点击意愿之间的关系是否有显著影响。

大数据十大经典案例(一)

大数据十大经典案例(一)

大数据十大经典案例（一）

引言概述：大数据的应用正日益成为了改变各行各业的重要推动力，许多经典案例展示了大数据在解决现实问题、改善业务效率和推动创新方面的巨大潜力。本文将介绍大数据领域中的十个经典案例，通过这些案例的分析和总结，我们可以更好地了解大数据的影响力和应用范围。正文：

1. 基于用户行为的个性化推荐系统 - 利用大数据技术分析用户历史行为数据，实现个性化推荐，提高用户体验。

- 使用机器学习算法对海量数据进行处理和训练，提供更准确的商品推荐。

2. 航空公司客户关系管理 - 分析乘客购票和航班数据，了解乘客偏好和行为模式，为航空公司提供精准的客户关系管理策略。

- 基于大数据预测乘客的需求，优化航班安排和座位分配，提高客户满意度和营收。

3. 银行风险控制和欺诈检测 - 利用大数据技术监控和分析银行系统中的交易数据，快速识别潜在风险和欺诈行为。

- 借助机器学习和模型算法，预测金融市场动态，提高银行的风险控制能力。4. 零售业供应链优化 - 通过分析和整合销售数据、库存数据和供应商数据，实现精细化的供应链管理，减少库存成本和运营风险。

- 基于大数据分析，预测销售趋势和需求变化，在合适的时间点调整补货和分配策略，提高销售效率。

5. 健康医疗领域的数据分析应用 - 利用大数据分析技术，挖掘医疗机构的海量数据，提取隐藏的医疗知识，支持医疗决策和治疗方案的制定。

- 基于大数据的健康监测和预测模型，提供个性化的健康管理建议和预防措施，提高医疗效果和患者满意度。总结：以上是大数据领域中的五个经典案例，这些案例展示了大数据在各行各业的广泛应用，无论是个性化推荐、客户关系管理、风险控制、供应链优化还是医疗领域，大数据都发挥了重要的作用。随着大数据技术的不断发展和应用范围的扩大，我们相信会有更多的经典案例涌现，为各行各业带来更多的机遇和挑战。