大数据第7章 大数据分析

目录
1 数据分析的演变 2 大数据分析平台 3 大数据与数据挖掘 4 数据挖掘的高级分析方法 5 数据挖掘项目的生命周期 6 大数据可视化 7 延伸阅读：什么是大数据分析做不了的？
第7章 大数据分析
在商业智能、科学研究、计算机仿真、互联网应用、电子商务等诸多应用领域， 数据在以极快的速度增长，为了分析和利用这些庞大的数据资源，必须依赖有效 的数据分析技术。为了从数据中发现知识并加以利用，辅助领导者的决策，必须 对数据做深入的分析，而不是生成简单的报表。这些复杂的分析必须依赖于分析 模型。
首先，我们有必要了解一下进入大数据时代后数据分析架构的转变，以及当 前数据分析在实践中的现状。
7.1 数据分析的演变
图7-1 数据分析流程
7.1.1 数据分析的商业驱动力
针对企业正面临的常见商业问题，表7-1给出了4个例子。这里，企业有机会 通过先进的分析方法来创造更多的具有竞争力的有利条件。企业与其去制作 这些方面的标准报表，还不如应用分析技术来优化流程，并从这些典型的任 务中获得更多价值。
7.1.2 数据分析环境的演变
分析沙盒（沙盒：指在受限的安全环境中运行应用程序的一种做法）使得应 用数据库内嵌处理（In-database processing）的高性能计算成为可能。这种 方法能够关联企业内部多个数据源，从而节省了分析人员用于建立独立数据 集的时间。用于深度分析的数据库内嵌处理使得开发和执行新分析模型的周 期大大加快，并减少了（虽然没有完全消除）用于在本地影子系统保存数据 的相关费用。另外，分析沙盒可以装载各种各样的数据，例如，互联网数据、 元数据和非结构化数据，而不仅仅是企业数据仓库中的典型结构化数据。
7.1.3 传统分析架构
（2）影子系统（Shadow system），是对企业数据仓库控制的结果，它以部 门数据仓库和本地数据集市（Data mart）的形式出现。业务用户建立它们是 为了满足对灵活分析的需求。这些本地的数据集市并不具有和企业数据仓库 一样的安全和结构约束，且允许用户进行企业中的一定级别的分析。然而， 这些一次性的系统都是孤立地存在，通常不被联网或者连接到其他的数据存 储，并且基本上没有备份。
7.1.2 数据分析环境的演变
从分析人员的ห้องสมุดไป่ตู้角看，数据分析环境经历了从孤立的数据集市到数据仓库， 再到如今的分析沙盒的演变过程。
人们对电子数据表（Spreadsheet）的真实感情常常是爱恨交加。由于电子数 据表的出现，业务用户可以在具有行列结构的数据上建立起简单逻辑，并创 建他们自己对业务问题的分析（例如试算）。普通用户不需要参加复杂的培 训即可建立电子数据表。
7.1.2 数据分析环境的演变
电子数据表的两个主要益处是：① 容易共享；② 终端用户对涉及的逻辑有所 控制。然而，它们的迅速扩散，使得企业不得不艰难地应对因为频繁更新而 引起的“多版本”问题。另外，如果一个用户不幸丢失或损坏了笔记本电脑， 则已经建立的数据及其逻辑也就此终结了。这些问题的存在使得数据集中化 需求越来越高。
大数据技术可以改进计量与监控手段，从而改善观察的效果。看得越清楚，就 越有可能采取合理明智的行动。但是，要让数据驱动的决策活动朝着良性方向发 展绝非易事。大多数企业对自己的经营活动无法形成清醒的认识，事实上，摆在 大数据时代的很多商机存在于平常的领域之中，在于更清楚无误的统计、监控与 观察。
7.1
7.1.1 数据分析的商业驱动力
表7-1 商业驱动力示例
7.1.1 数据分析的商业驱动力
表7-1中，前3个例子并不是新问题。多年来，各大公司一直在努力减少客户 流失，增加销量和对客户进行交叉销售。新的方法是将先进的分析技术与大 数据相融合，对这些旧问题做出更具影响力的分析。第4个例子描述了新兴的 管制需求。很多管制法规已经存在几十年了，但是每年都会加入补充条款。 这意味着给企业带来了额外的复杂性和数据处理要求。这些法规，比如反洗 钱和欺诈预防，需要先进的分析技术来协助，才能发挥更好的作用。
7.1.2 数据分析环境的演变
由于数据的增长，很多公司，像Oracle和Microsoft等都提供了更大规模的数 据仓库解决方案。这些技术使得数据可以被集中管理，提供了安全性、自动 备份和单独的储存库。在这里，用户可以确保取得的财务报表或者其他关键 任务的数据来自“正式的”的数据源。这种结构还有利于建立联机分析处理 和商业智能（BI）分析工具，给用户提供了快速多维度访问数据库和高效生 成报表的能力。一些提供商还将先进的逻辑方法打包，用来实现更深层次的 分析技术，比如，回归分析和神经网络等。
7.1.2 数据分析环境的演变
企业数据仓库（Enterprise Data Warehouse，EDW）对于报表和商业智能事 务是极其重要的，虽然从分析人员的视角看，数据仓库会限制分析人员执行 繁重的分析或降低数据探索的灵活性。在这种模式中，数据是由IT团队和数 据库管理员来管理和控制的，而分析人员必须依赖IT人员来访问和更改数据 模式。这种严格的控制和监督也意味着分析人员需要更长的时间才能获得数 据，而且数据又通常是来自多个数据源。事实上，数据仓库的规则限制了分 析人员建立分析所用的数据集，这使得企业中出现了影子系统，其中包含了 用于构造分析数据集的关键数据，由高级用户在本地管理。
7.1.3 传统分析架构
传统的基于数据仓库的分析架构，展示了以下这些特点： （1）对于源数据，为了载入企业数据仓库，数据需要使用合适的数据类型定
义，以便被很好地理解、结构化和规范化。这种集中化使得企业可以享受对 高度关键数据进行安全控制、备份和失效备援（Failover）带来的益处，与此 同时，这也意味着，数据必须完成重要的预处理和检查，才能进入这种可控 的环境。但这无助于数据探查（Data exploration）和迭代分析。
数据分析的演变
7.1 数据分析的演变
数据分析（图7-1）是指用适当的统计方法对收集来的大量第一手资料和第二 手资料进行分析，以求最大化地开发数据资料的功能，发挥数据的作用。数 据分析的目的是把隐没在一大批看来杂乱无章的数据中的信息集中、萃取和 提炼出来，以找出所研究对象的内在规律。在实用中，数据分析可帮助人们 作出判断，以便采取适当行动。