大数据在智慧城市建设中的实际应用 大数据在智慧城市建设中的实际应用 2015-09-26 07:38:00 来源：数据观 手机看新闻扫描到手机楼盘消息早知道扫一扫，用手机看本文更加方便的分享给朋友评论 当前，全球范围内城市化进程不断推进。随着互联网和信息化的发展，在云平台、大数据和物联网等技术的支持下，率先在美国“智慧星球”概念下诞生的“智慧城市”，逐渐成为当今世界各国城市建设的发展趋势和选择。 一国外案例 自21世纪初期，美国、英国、德国、荷兰、日本、新加坡、韩国等先一步开展了智慧城市的实践，诞生了许多经典案例。 1. 迪比克 美国第一个智慧城市，也是世界第一个智慧城市，它的特点是重视智能化建设。为了保持迪比克市宜居的优势，并且在商业上有更大发展，市政府与IBM合作，计划利用物联网技术将城市的所有资源数字化并连接起来，含水、电、油、气、交通、公共服务等，进而通过监测、分析和整合各种数据智能化地响应市民的需求，并降低城市的能耗和成本。该市率先完成了水电资源的数据建设，给全市住户和商铺安装数控水电计量器，不仅记录资源使用量，还利用低流量传感器技术预防资源泄漏。仪器记录的数据会及时反映在综合监测平台上，以便进行分析、整合和公开展示。 2. 纽约 通过数据挖掘，有效预防了火灾。据统计，纽约大约有100万栋建筑物，平均每年约有3000栋会发生严重的火灾。纽约消防部门将可能导致房屋起火的因素细分为60个，诸如是否是贫穷、低收入家庭的住房，房屋建筑年代是否久远，建筑物是否有电梯等。除去危害性较小的小型独栋别墅或联排别墅，分析人员通过特定算法，对城市中33万栋需要检验的建筑物单独进行打分，计算火灾危险指数，划分出重点监测和检查对象。目前数据监测项目扩大到2400余项，诸如学校、图书馆等人口密集度高的场所也涵盖了。尽管公众对数据分析和防范措施的有效性之间的关系心存疑虑，但是火灾数量确实下降了。 3. 芝加哥 通过“路灯杆装上传感器”，进行城市数据挖掘。在人们的生活里，无处不在的传感器被应用在了芝加哥市的街边灯柱上。通过“灯柱传感器”，可以收集城市路面信息，检测环境数据，如空气质量、光照强度、噪音水平、温度、风速。芝加哥城市信息技术委员会提供的资料表明，“灯柱传感器”不会侵犯个人隐私，它只侦测信号，不记录移动设备的MAC和蓝牙地址。在今后几年“灯柱传感器”将分批安装，全面占领芝加哥市的大小街区，每台传感器设备初次采购和安装调试成本在215～425美元之间，运行后的年平均用电成本约为15美元。该项目得到了思科、英特尔、高通、斑马技术（Zebra Technologies）、摩托罗拉以及施耐德等公司的技术和资金支持。 4. 西雅图 利用数据节省电力能源。该市与微软和埃森哲（Accenture）合作了一个试验项目，以减少该地区的能源使用。该项目收集并分析从市区建筑物管理系统中得来的众多数据集，通过预测分析，找出哪里可以减少能源使用，或者根本不需要使用能源。项目的目标是将该地区的电力消耗减少25%。 5. 伦敦 利用数据管理交通。在2012年奥运会期间，负责运行伦敦公共交通网络的公共机构“伦敦运输（Transport for London）”，在使用者增加25%的情况下，使用收集自闭路电视
全球｜北美大数据企业Splunk、Palantir业务及产品分析 Wikibon 统计了2013 年全球大数据领域收入排名TOP 30 的公司，其中不仅包括IBM、HP 等传统综合IT 企业，也包括palantir、inrix 等专注于特定领域数据分析的新兴企业，我们尝试对该30 家公司进行归类分析，并探索各类别企业背后的一些共性的因素。传统IT 企业。以IBM、HP、dell、oracle 等企业为代表，该类企业具有完整的软、硬件产品线，并通过既有产品线、hadoop 等开源计算框架的融合，迅速构建出综合性大数据解决方案。 传统互联网企业。以google、amazon 为代表，本身具有雄厚的技术和资金支持，且数据源丰富，自身业务对大数据具有较强的需求。 传统咨询公司。以埃森哲、BCG 等传统咨询公司为代表，作为咨询业务的延伸，依赖于对行业的理解，面向企业输出大数据实施方案以及承担相应的数据分析职能等。 新兴大数据企业。以palantir、splunk 等为代表，依赖于融合的计算框架和强大的技术实力，并叠加对特定行业的深入理解，提供相应的数据分析服务，典型的技术、行业认知驱动。 新兴大数据企业依靠技术、行业认知快速崛起 完成上述的分析后，我们再回到产业链本身，沿着数据源、
基础软硬件设施、数据分析三个核心环节进行归纳总结。 数据源：单一的数据源业务难独立存在 在营收排名靠前的大数据相关企业中，我们并未发现单纯聚焦于数据源环节的企业，我们判断在现阶段，数据源环节仍和数据分析等环节实现紧密绑定，难以独立存在，在未来从事单纯数据源业务的企业可能逐步出现。从数据来源来看，以美国市场为例，目前已经形成了企业自有数据、商业数据、第三方数据等多种数据融合、互通的良好局面。基础设施服务：云计算和大数据相互促进，基础软件市场空间有限 我们观察到，云计算产业的大规模发展为大数据产业的崛起奠定了扎实的底层基础，同时市场对大数据产业价值的认可，也进一步推动云计算产业的规模化部署，两者互为促进。在基础软件业务部分，传统的数据分析软件和基于Hadoop、Nosql 的开源生态互为补充，开源软件部分，目前来看，Hadoop、Nosql 商业化产品市场整体空间有限，且发展缓慢，且商业变现周期漫长。以从事Hadoop 商业化产品开发的Hortonworks 为例，该公司自上市以来营收增长乏力，股价持续下挫。数据分析：新兴大数据企业的孵化池 作为上层应用环节，数据分析市场占比在整体大数据产业中无疑是最大的，其在产业中占比同时也客观上反映了产业的发展成熟度，这里聚集了大量的新兴大数据公司，比如知名的Palantir、Splunk 等，我们分析发现该类成功新兴
认识埃森哲管理咨询团队客户与渠道 ? 杨葳，张晖，李琳作为埃森哲管理咨询客户与渠道服务主管， 你有何启发感想？ 埃森哲的客户与渠道管理服务是帮助企业在数字化的大潮下将“以客户为中心”的思想和理念变成日常的运作和实践。中国拥有全球最众多的数字化消费者，也是在电子商务领域最具创新的国家，数字化带来了客户购买行为的巨大变化、商业模式的颠覆。渠道不再是传统的金字塔结构，而是向多触点全渠道的多样化、数字化发展。客户也从“唯我独有”变更成“生态共享”。面临数字化创新带来的机会和挑战，埃森哲的客户与渠道管理服务深入洞察客户的购买历程行为趋势，帮助企业以客户体验为核心，大数据分析为支撑，采用最先进的数字化技术创新面对数字化客户端到端的响应能力，实现竞争力的提升。向内，帮助企业革新内部运作机制和模式，改善工作流程，以最高效和敏捷的方式实现新的发展和超越。 产品行业的客户涵盖了我们生活中的衣食住行，想象一下我们提供的咨询方案都会最终影响到我们自己，是不是会非常的激动？我们帮助过中国最大的B2C 电子商务公司设计他们的运营模式，我们帮助过某全球著名的汽车公司设计和推广基于数字化的“最佳客户体验”业务模式，我们帮助在亚洲和中国领先的房地产公司设计运营模式，我们帮助某全球领先的啤酒公司设计创新的客户体验及营销方式 – 数字化KTV 。杨葳 张晖
在埃森哲的难忘经历？你喜欢埃森哲什么地方？ 我是从INHOUSE 转到咨询行业的，我印象最为深刻的是我进入埃森哲的第一个项目。对于一切都是全新的我面临的压力可想而知，每天都需要学习海量知识。在这个既痛苦又新鲜的过程中我得到了长足的进步，团队最终高质量的交付了项目，并得到了客户的高度认可。 ? 2017埃森哲版权所有。 埃森哲及其标识与成就卓越绩效均为埃森哲公司的商标。李琳 埃森哲提供了行业内领先的员工培训体系，提供了数字化的工作环境，我们的同事互相帮助，我们的领导鼓励大家创新，我们是行业内唯一一家可以提供端到端解决方案的公司。现在我们被认为是数字化服务的领先公司。在一家全球最大的、财富500强中 唯一的百分百咨询服务公司中工作，是非常值得骄傲的。张晖 我非常喜欢埃森哲包容，创新的氛围：说到包容，她兼容并蓄，她不苛责每个人的不完美，每个人通过努力都能找到适合其自身发展的岗位。说到创新，埃森哲在技术和管理理念上不断创新，能够保持良好的前瞻性，从而为客户提供更有价值的服务。 李琳
物联网：推动中国产业转型物联网将成为中国经济增长的新动力，创造出数万亿美元的商业机会。 但要把展望和想象转化为实际增长，政府和企业领导者 必须创造条件，实现物联网的普及深入，实现在不同行业的应用发展。 物联网有望激活中国增长放缓的生产率，带来一个崭新的产业竞争时代。但如果缺乏适当支持，便会与这一机遇失之交臂。为了确保充分发挥物联网的经济价值，中国必须着力弥合关键能力和基础设施方面的差距，促进跨行业生态系统发展，并且加快投资周期。 价值万亿美元的重大契机 与历史上的蒸汽动力、电气化等工业革命类似，物联网正迅速成为促进全球经济增长的新动力。通过将实体世界与由计算机和分析工具组成的虚拟世界相连，物联网为我们提高生产率、进行创新和建立新市场创造了良机。 发达工业国家都在努力捕捉全新数字时代带来的各种机遇。传统制造业强国德国意识到数字技术对未来制造业的深刻影响，制定和启动了“工业4.0”计划。对中国而言，占据数字时代的竞争先机尤为迫切。中国经济增长逐步放缓，生产率增速下降，国内外市场竞争日趋激烈。此外，中国许多产业仍局限于价值链下端，创新能力低下。 中国政府审时度势迅速采取行动，启动“中国制造2025”战略，以提高制造业竞争力。“中国制造2025”旨在将中国转变为制造业强国，提高中国在全球制造业价值链 文 | 埃森哲
中的地位，通过将生产流程与互联网相整合，使制造业变得更加环保、智能和优质。 此外，中国政府还在推动“互联网+”战略，整合移动互联网、云计算、大数据和物联网等技术，促进信息技术和智能技术的广泛应用。埃森哲研究显示，物联网将成为中国经济增长的新动力，到2030年实现GDP累计增长1.8万亿美元。但是要将数字技术转变为经济增长，中国需要营造物联网拉动增长的必要条件，并将这些技术整合到各个行业中去。因此，本报告进一步研究物联网对中国主要产业的增长潜力影响，剖析在累积增长的1.8万亿美元GDP中，哪些行业将实现新的价值增长以及增长幅度有多大。我们聚焦制造业、交通、资源与公用事业三大行业，分析物联网如何能推动这些行业的增长。 物联网能够带来巨大的经济效益，而且只青睐于那些为此做好充分准备的国家。为了深入分析，埃森哲联合研究机构Frontier Economics，就物联网对未来GDP的潜在影响建立了分析模型，主要考察预计投资水平、国家产业结构以及各国采用物联网技术的能力三大因素。 分析模型显示，物联网对不同国家潜在的经济贡献完全不同，这取决于投资水平以及国家为物联网技术普及采取的行动措施。基于当前政策和投资趋势做最低估计，到2030年，物联网能给中国带来5000亿美元的GDP累计增长，比目前常规预测的发展水平高出0.3%。但分析也显示，中国经济的增长潜力甚至可能更大。通过采取进一步措施，提高本国采用物联网技术的能力以及增加物联网投资，到2030年中国 GDP累计增长额可达1.8万亿美元，换言之， 2030年GDP增长率有望提升1.3%。 2011 年，德国开始实施“工业4.0”战略方案，作为“高科技战略2020行动计划”的一部分。“工业4.0”旨在 提高德国制造业竞争力，并提出了“第四次工业革命”概念，即将实体世界与虚拟世界相结合起来，建立网络—物理融合生产系统和网络化世界，实现智能设备相互通信和交互。其中，网络—物理融合生产系统为建立物联网的基础。 目前，德国政府已投入2亿欧元，促进 政 府、学术界和商界对“工业4.0”计划开展深入研究。 “工业4.0”带来的诸多潜在效益，包括： 通过建立“智能工厂”革新德国现有制造业基地，显著提高生产率； 扩展传统工业，实现创收； 减少制造过程对环境的破坏，提高资源利用效率；使德国成为“工业4.0”工厂的全球技术供应方。除实施“工业4.0”计划外，德国政府旨在成为智能服务领域的数字市场领军者。例如，通过数字化平台，智能服务可将机器、系统和工厂与互联网相连接起来，从而使供应商能为消费者提供基于具体情境的综合服务，满足工作、休闲、保健、或教育等各种具体需求。 中国准备好了吗 政府决策者和企业领导不能想当然地认为中国将顺其自然地享有物联网带来的增长红利。要将对物联网的展望和想象转化为实际增长，领导者必须创造条件，实现物联网的普及深入，实现在不同行业的应用发展。 一项通用目的技术在经济中的普及和扩散，过程不仅漫长，战线也更为广泛，影响更为深远；它不仅需要技术自身的普及和扩散，而且要求增长、创新和财政支持延伸到多个领域与行业。决策者需要及时创造条件，抓住机会引导物联 网推动行业增长。
大数据咨询方法论白皮书Big Data Consultancy White Book
Catalogue 目录 大数据咨询的时代背景1 大数据咨询的定义和需求来源5大数据咨询的核心特征和挑战7大数据咨询的核心方法论9 大数据咨询工具：360o数据管家17 奇点云大数据咨询探索与实践19
大数据咨询的 时代背景 智能经济成为经济发展的新引擎 数字经济尚方兴未艾，智能经济却已经大步而来。 2019年政府工作报告，正式提出了「智能+」战略：「深化 大数据、人工智能等研发应用。打造工业互联网平台，拓展 “智能+”，为制造业转型升级赋能。」2019年5月，在全 球智慧物流峰会上，阿里巴巴CEO张勇也喊出了「数 智化」的口号：「未来的物流一定是从数字化到数智化，数智 世界将是我们共同面临的时代。」 人工智能（A I）将成为经济发展新引擎，已经成为全行业的 共识。普华永道报告认为，到2030年时，A I对全球经济的 贡献将高达15.7万亿美元，这超过了目前中国和印度的经 济总量之和；埃森哲分析报告称，2035年，A I将帮助人类 经济年增长率翻番；麦肯锡发布《人工智能对全球经济的影响》 报告，认为未来10年A I为全球G D P将贡献1.2%增 数据中台成为数字化转型的基础设施 数据中台演进的四个阶段 1
2 大数据咨询方法论白皮书 随着越来越多的企业上云，如何更好地利用云计算、大数 据和人工智能的力量就成为了他们探索的主题。要如何通 过技术来赋能企业数字化转型？如何让技术投入产生业务价值？是否需要调整组织？企业提出了越来越多的问题。 「数据中台」，狭义上，就是解决这一系列问题的基础设 施。 2018年以来，随着阿里巴巴双中台架构的普及，越来 越多的 企业把中台视为面向未来的企业进化必经之路，开 始寻求数据中台服务公司的帮助。2019年，甚至可以称为 数据中台 元年。 数据问题成为数字化转型的关键问题 随着企业把越来越多的业务和流程搬上云，以及使用了新 的 数字技术进行研发、生产、制造和销售领域的革新，数据问题 开始大量暴露出来。 统计口径不一致导致的数据质量问题；采集技术问题导致采集的数据一半是空值；缺乏实时计算能力，不能提供实 时数 据，导致管理的滞后性；数据分析和调研严重滞后于业务进 展，不能实时决策…… 数据问题已经成为企业数字化转型的关键问题，数据资产 将成为企业核心的战略资产。只有数据问题被解决，企业 才能真正实现数字化转型。 2019年9月，联合国发布了最新的《数字经济报告》，报告认为，数字经济扩张的驱动因素是数字数据和数字平台， 「在收集使用和分析大量数字数据的能力推动下，数字经 济继续以极快的速度发展」。 从全人类的角度来看，2015年是数据增长的里程碑。2015 年一年产生的数据量，是人类过去历史上产生的数据量 的 总和。从2015年之后，人类的数据量进入指数级增长， 每年增长40%-50%。 随着数据量的增长，一个全新的「数据价值链」开始浮 现。从数据采集、数据存储到数据治理再到数据应用，数 据生产进入了全新的「数据工业时代」，海量非结构化的 数据被结构化，从日志数据到视图声数据，人类开始以全 新的数据视角审视这个世界。 并且，越来越多的数据产品、越来越多的数据生态开始在 这个过程中被创造出来，商业数据、社会数据、政府数据 前所未有地交融在一起，为人类创造新的价值。 Information Created Worldwide = 180 160 140 120 100 80 Expected to Continue Accelerating % Structured/Tagged 2015年之后，人类社会的数据 量每年增长40%-50%。 2020: 过去历史上产生的数据量的总和。 2015: 12 ZB, 9% 2010: 2005: 2015年一年产生的数据量，是人类 Z e t a b t y t e s (Z B )
能源企业之所以无法借助数据分析来推动运营绩效，关键问题在于集成工作的欠缺，或谓之“中间环节缺失”。
趋势： 四大数字技术重塑能源业 众所周知，宏观经济走势会对能源行业产生影响：比如日益增长的能源需求、不断增加的投资成本、全球竞争、日趋严格的监管及合规要求等。为了应对这些问题，油气企业管理层既要努力提高生产与投资回报，又要对安全与风险进行有效管理。另一方面，十多年来伴随着以IT和互联网技术为基础的数字化进程，油气企业对某些突出的技术发展趋势已有所认识，但促使企业真正转型、实现高效管理的技术直到最近才发展成熟。 一是信息技术与运营技术的融 合。油气企业可利用设备捕获和收 集数据，并将数据整合进IT系统中进 行分析，该过程往往实时完成，以 支持优化钻探生产、实现设备监控 与可视化、完善环境、健康与安全 （EHS）监测。 值得注意的是，不同的系统、 标准及制造商造成了当前业务运营 与信息技术之间的脱节，但控制系 统、中间件（如生产执行系统）以 及后端IT系统都可以拉近两者距离， 将来自传感器和设备的数据进行有 效整合、实时分析。这非常适用于 资产密集型行业，尤其是资产分布 在不同地域的油气行业。 例如，BP公司努力发展复杂地 下数据可视化技术，提升其全球勘 探能力。为此，BP在休斯顿建立了 世界上最大的商业研究超级计算机 中心。高性能计算中心利用数据分 析技术处理和管理大量BP项目的各 种地理数据和地震数据，帮助科学 家更准确地绘制油藏信息、寻找新
的油气资源。再如，BP的远程运营中心每月搜集公司在7个国家13个风电场的海量数据。对海量信息的分析使得远程运营中心的操作团队对关键因素和可变因素保持密切的关注，如风机的可利用率、发电能力、市场定价和风速，以帮助他们更高效、经济、安全地生产。 二是移动技术及技术消费化。移动通信及用户友好型信息技术支持远程数据访问，有助提高企业运营的可视性和响应速度。随着便携式移动设备普及，在企业职能部门或操作现场的油气工人也可以通过非常直观的应用来帮助收集、利用、处理和分享相关工作数据。移动平台方面的投入必将拓展实时数据和分析法的使用范围。已有不少国际领先油气公司的员工使用iPad进行项目管理，这反映出自带设备办公（BYOD）的便利性和受欢迎的程度。 三是颠覆性架构（如云计算）。这种按需分配的动态特征正在重塑数据中心的信息技术运作及采购模式。这一发展趋势将影响数据中心的IT运营模式，使灵活采购成为现实。企业通过外部部署模式支持外包，以便更加专注于自身的优势业务，并以合理成本管理海量数据的计算能力。 例如，哈里伯顿公司（Halliburton）的vSpace是一个基于云计算的远程主机平台，主要用于检测油井的运营情况，能够给企业带来可观效益。而全球独立能源与生产企业塔里斯曼能源公司（Talisman Energy）利用 哈里伯顿的云解决方案开发了一个 实时运营中心，第一年就令自身节 约了3,000万美元。此外，该解决方 案还加强了地质科学与工程部门的 合作，提高了钻井之前预测危险的 能力。 四是大数据分析法与内存计算。 大数据反映了信息的指数式增长、 可获得性与使用情况，这些信息类 型多样，但不成体系。随着数据量 不断增加，计算速度变得至关重 要。开源工具可将海量数据转换为 有意义的洞见，自动对传统上杂乱 无序的数据进行整合。提取-转换-加 载（ETL）工具的发展有利于油气企 业从不同源头收集、整合数据，进 而进行统计分析和模型建构。互联 网协议的开放性为分析法在企业范 围的应用提供了进一步支持。更重 要的是，相比传统硬盘存储和读 取，新兴的内存计算技术显著加快 了查询时间，具有快速、可预测的 性能，将处理时间从几小时缩短到 不足一秒！武装了这种内存数据库 的企业，就能在超大数据集中运用 更加先进的分析手段。分析获得的 洞见不仅有助于企业提高绩效，而 且领先企业可将这些能力作为服务， 以按次计费的方式提供给同行。 例如，石油企业通常很难准确 预测原油价格走向，通常使企业面 临价格管理和执行的低效，面对多 种价格解决方案选择无所适从。基 于内存计算技术的定价分析解决方 案可以帮助油气企业将定价能力从 基础级提升到先进水平。 作为大型跨国能源企业，壳牌 不仅首当其冲地面临全球能源市场 瞬息万变带来的挑战，其交易报告 还要全球范围内合规。为此，壳牌 采用了交易分析解决方案，在风险 管控和合规中找到问题，然后通过 数据分析监控交易。这一解决方案 中涵盖了为决策支持而用到的预测 分析技术，帮助企业定义交易模 式，并利用统计分析技术防止潜在 的损失。 通过实施交易分析，壳牌将企 业风险管控和合规报告集成在同一 个报告平台中，为满足法规遵从的 管理要求，还建立了风险分析模 型。同时为交易模式和现场问题制 订了预测算法和数学模型。尤其为 了满足石油企业移动性办公的特 点，这一解决方案可以被扩展到移 动平台以进行风险管控，并方便管 理者们几乎实时地生成相关电子 报告。 从本质上看，这里的每一项数 字技术发展趋势都与数据密不可 分：数据如何被生成、获取、整 合、管理、分析，以及存储。在此 背景下，油气企业将利用这些技术 对业务流程进行数字化处理，同时 也开始参与数据管理和分析能力的 竞争角逐。最终，这一巨大的潜在 趋势将彻底改变能源行业领导者开 展业务、管理员工，以及满足客户 需求的方式。
中国大数据人才培养体系（第一版） 目录 一、大数据及大数据人才介绍. 二、大数据发展与大数据人才培养现状. （一）大数据发展进程. （二）大数据人才高校培养现状. （三）大数据人才社会培训现状. 三、大数据人才知识体系架构. （一）从实践应用需求中构建出的大数据人才知识体系. （二）案例：旅游大数据人才知识体系架构的应用落地. 四、大数据人才培养战略. （一）指导思想. （二）基本原则. （三）未来五年战略目标. 一、大数据及大数据人才介绍 2014年信息技术研究和分析机构Gartner对大数据进行定义：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。 2015年我国《促进大数据发展行动纲要》中对大数据的描述：“大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。” 大数据人才是具备多种交叉科学和商业技能的人，能够将数据和技术转化为企业的商业价值。这种商业价值的转化不是一次性的、一蹴而就的，而是需要有正确的策略，完整的团队，创新的能力，规范的工作流程和业务体系、评价体系等条件，从而逐渐利用数据分析，实现从改善到创新的过程，也是大数据的应用过程。 随着大数据的不断发展，相应的数据感知、数据传输、数据处理等共性技术
不断完善，而随着大数据应用领域的不断扩展，相应的应用层大数据分析、决策支持等方面的人才非常紧缺。因此，我们这里定义的大数据人才是数据分析应用型人才，要熟悉概念和原理，具有一定的专业知识，对业务逻辑有清晰地了解，能够熟练操作和使用数据库及分析工具，工作在大数据与各个领域结合的第一线，运用分析指导我们的生产和生活。 二、大数据发展与大数据人才培养现状 （一）大数据发展进程 1、国外大数据发展进程 大数据的产生来源于对决策支持的需求。自计算机出现以来，人们一直想用计算机来辅助决策，直到20世纪90年代，美国数据仓库之父比尔·恩门（BillInmon）提出数据仓库理论才有了突破，此后其多次在演讲中提到“BIGDATA”。随着数据量的增加，作为数据仓库平台提供商的Teradata、Oracle 提供的软硬件一体的服务器，无论在性能还是在成本上已经不能满足TB、PB级数据的处理需求，为此谷歌为解决网页搜索问题诞生了MapReduce、DFS和Bigtable，雅虎公司的DougCutting实现了谷歌三篇论文提出的分布式系统的架构，并将源码贡献给Apache基金会，形成了Hadoop开源生态，开启了大数据时代的大门。 2008年，计算机科学研究人员普遍认可了大数据，业界组织计算社区联盟(ComputingCommunityConsortium)发表《大数据计算：在商务、科学和社会领域创建革命性突破》白皮书，使人们的思维不再局限于数据处理的机器，并提出：大数据真正重要的是新用途和新见解，而非数据本身。同期，谷歌利用网上搜集到的海量个人搜索词汇数据，成功预测了甲型H1N1流感的传播趋势，说明大数据所蕴含的巨大价值。 2009年，奥巴马政府将大量数据向民众开放，将许多数据公布在美国政府数据开放门户网站https://www.doczj.com/doc/231192430.html,；同期，印度政府建立了用于身份识别管理的生物识别数据库，联合国全球脉冲项目已研究了对如何利用手机和社交网站的数据源来分析预测从螺旋价格到疾病爆发之类的问题；欧洲一些技术领先的研究型图书馆和科技信息研究机构也彼此建立了伙伴关系，致力于改善在互联网上获取科学数据的简易性。
■王雄 全世界都知道大数据是怎么回事：埃森哲公司“大数据的成功”研究发现，79%的企业高管表示，不采用大数据的公司将失去市场实力，可能面临倒闭。大数据被广泛视为所有连接到互联网的组织的生命线。此外，89%的受访者认为，大数据将以互联网的方式彻底改变商业运营。早期采用者在大数据方面看到了竞争优势，正在迅速改变并颠覆他们自己的数据实践。 但问题的关键在于许多组织只是在努力实施大数据。Unravel公司最近对组织对其大数据堆栈的意见和期望进行了一项研究，结果显示只有17%的受访者将其大数据堆栈的性能评为“最佳”，几乎满足所有关键绩效指标和目标。这主要是由于缺乏合适的技能、成本以及获得有价值和可操作的见解所需的时间等障碍。 如果“关键”在人们的掌握之外，那么如何才能通过数据“必杀技”？答案是优化。但首先，人们必须评估给他们当前数据堆栈带来的疑虑，以便充分理解为什么人们作为DataOps 社区，需要如此拼命地进行优化。 由于技能仍然稀缺，大数据引擎是否会停滞不前？ 我们的研究揭示了IT运营人员的广泛痛点。36%的受访者将其列为主要的痛点，因此缺乏技能不断成为追求数据堆栈协同效应的持续障碍。在这种技能差距中，最迫切的需求是大数据架构师，几乎一半的组织（45%）存在问题。 随着大数据不断爆炸，日常生活中人们需要越来越多的大数据架构师处理的大规模数据库，使数据科学家和分析师能够梳理这些数据，以便提取可行的见解为需要做出业务决策的利益相关者提供更好的支持。它们对于实现企业领导者对组织的期望至关重要，特别是当他们着眼于改进的数据分析、转换和可视化时。架构师将是企业实现这些目标的不可或缺的组成部分。 其中一个主要问题可能是让企业重新回到数据栈协调和商业幸福的风险中，因为很多组织还没有在云中托管他们的大数据应用程序。82%的受访者表示他们具有将现有大数据应用程序迁移到云端的战略。这里的推论是，他们中的许多人还没有将他们的应用程序放在云中，因此面临着随意扩展和缩小的挑战，这需要所有基础设施的准备和维护。 托管在云中的好处是：更多的企业正在意识到云计算提供的可能性。云计算的可扩展性为业务基础设施提供了包含多个服务器以及前所未有容量水平的可能性。在云中托管还可以降低成本以及提高大数据应用程序的性能。迁移到云端可能会让企业在自身尚未意识到的大数据堆栈中释放出大量潜力。 目前，大数据在防御性使用时似乎最有利可图或者说最有效，报告的主要4个用例是： 网络安全情报（42%）； 风险，监管，合规报告（41%）； 预防性维护的预测分析（35%）； 欺诈检测和预防（35%）。 超越经过试验和测试的项目可以对业务应用程序性能管理（APM）解决方案产生更大的影响，这是对大型数据堆栈的复杂软件和硬件冲突进行的微调、处理和增压。。 APM是一种能够支持双方分歧并帮助企业找到共同点的技术，是否错过了服务等级协议（SLA）、失败的作业或工作流程，缓慢的作业或查询，或计算资源不明智地分配并导致延迟亦或最终导致用户不满。通过监控大数据平台，并尝试无法实现预防或解决这些问题使用日志和图表修复问题。在典型的大数据部署中，该方法无法扩展。从隐喻的角度来说，传统的监控和调试方法就像试图解开交织在一起的电线，它只是无法扩展。对于DevOps来说，在太多不同的系统中存在太多潜在问题，但可以通过反复试验来解决问题并保持准时。 该技术有望为企业带来新的数据使用方式，但DevOps团队可能会在可预见的未来管理混合平台，因为这不是一夜之间的过渡。利用APM的强大功能和优化业务流程将揭示大数据堆栈的真正可能性，更多业务领导者将开始看到此技术满足其KPI，有助于降低整个业务的成本和时间管理。 在“大数据或将消亡”的世界里，是时候认真解决复杂、快速、不断发展的大数据栈所带来的挑战了。现在的主要挑战是确保大数据栈可靠、高效地运行，并且大数据团队拥有交付下一代应用程 序、分析、人工智能和机器学习的工具和专业知识。 大数据的痛点 49
《大数据》试题 单选题 1、大数据的核心就是（B） A、告知与许可 B、预测 C、匿名化 D、规模化 2、大数据不是要教机器像人一样思考。相反，它是（A） A、把数学算法运用到海量的数据上来预测事情发生的可能性。 B、被视为人工智能的一部分。 C、被视为一种机器学习。 D、预测与惩罚。 3、采样分析的精确性随着采样随机性的增加而（C），但与样本数量的增加关系不大。 A、降低 B、不变 C、提高 D、无关 4、大数据是指不用随机分析法这样的捷径，而采用（A）的方法 A、所有数据 B、绝大部分数据 C、适量数据 D、少量数据 5、大数据的简单算法与小数据的复杂算法相比（A） A、更有效 B、相当 C、不具备可比性 D、无效 6、相比依赖于小数据和精确性的时代，大数据因为更强调数据的（D），帮助我们进一步接近事实的真相。 A、安全性 B、完整性 C、混杂性 D、完整性和混杂性 7、大数据的发展，使信息技术变革的重点从关注技术转向关注（A） A、信息 B、数字 C、文字 D、方位 8、大数据时代，我们是要让数据自己“发声”，没必要知道为什么，只需要知道（B） A、原因 B、是什么 C、关联物 D、预测的关键 9、建立在相关关系分析法基础上的预测是大数据的（C） A、基础 B、前提 C、核心 D、条件 10、（C）下列说法正确的是 A、有价值的数据是附属于企业经营核心业务的一部分数据； B、数据挖掘它的主要价值后就没有必要再进行分析了； C、所有数据都是有价值的； D、在大数据时代，收集、存储和分析数据非常简单； 11、关于数据创新，下列说法正确的是（D） A、多个数据集的总和价值等于单个数据集价值相加； B、由于数据的再利用，数据应该永久保存下去； C、相同数据多次用于相同或类似用途，其有效性会降低； D、数据只有开放价值才能得到真正释放。 12、关于数据估值，下列说法错误的是（B） A、随着数据价值被重视，公司所持有和使用的数据也渐渐纳入了无形资产的范畴； B、无论是向公众开放还是将其锁在公司的保险库中，数据都是有价值的； C、数据的价值可以通过授权的第三方使用来实现 D、目前可以通过数据估值模型来准确的评估数据的价值评估 13、在大数据时代，下列说法正确的是（B）。 A、收集数据很简单 B、数据是最核心的部分 C、对数据的分析技术和技能是最重要的 D、数据非常重要，一定要很好的保护起来，防止泄露 14、随着数据科学家的崛起，（C）的地位将发生动摇。 A、国家领导人 B、大型企业 C、行业专家和技术专家 D、职业经理人 15、大数据公司的多样性表明了（B） A、数据作用的体现 B、数据价值的转移 C、数据技术的发展 D、数据思维的创新 16、以下哪种说法是错误的（B） A、将罪犯的定罪权放在数据手中，借以表达对数据和分析结果的崇尚，这实际上是一种滥用。