大数据思维与决策
数据，经验，直觉
大数据（big data），是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。
在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。
对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。根据维基百科的定义，大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。
大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值
陈小刚
2015.1.12
大数据导论 1. 课程简介 本课程的主要目的是让学生了解什么是大数据，大数据的特点，大数据思维，大数据的核心技术，大数据应用，大数据带来的变革，以及大数据面临的挑战，从而使学生对大数据技术和应用有一个初步的了解。本课程重视演示和实战，以便使学生通过亲身体验来理解和掌握大数据的核心概念。 2. 课程安排（74学时：42学时讲课，6学时演示，26学时实验） 第一阶段：大数据概述（8+4+0） 第一课：（理论：2学时） 第一章大数据概述 第二课：（理论：2学时） 第二章大数据采集 第三课：（理论：2学时） 第三章大数据预处理 第四课：（演示：2学时） 演示一：大数据技术演示 第五课：（理论：2学时） 第四章大数据处理系统 第六课：（演示：2学时） 演示二：大数据应用演示 第二阶段：大数据存储技术（8+0+8） 第七课：（理论：2学时） 第五章大数据文件系统HDFS 第八课：（使用：2学时） 实验一：分布式文件系统HDFS使用 第九课：（理论：2学时） 第六章 NoSQL数据库HBase 第十课：（实验：2学时） 实验二：列式数据库HBase使用 第十一课：（理论：2学时） 第七章数据仓库Hive 第十二课：（理论：2学时）
第七章数据仓库Hive 第十三课：（实验：2学时） 实验三：HiveQL 命令行的使用 第十四课：（实验：2学时） 实验四：使用JDBC程序操作数据库 第三阶段：大数据处理技术（12+0+10）第十五课：（理论：2学时） 第八章大数据批处理Hadoop MapReduce 第十六课：（理论：2学时） 第八章大数据批处理Hadoop MapReduce 第十七课：（实验：2学时） 实验五：批处理模式MapReduce应用 第十八课：（理论：2学时） 第九章大数据快速处理Spark 第十九课：（实验：2学时） 实验六：内存处理模式Spark应用 第二十课：（理论：2学时） 第十章大数据实时流计算 Spark Streaming 第二十一课：（实验：2学时） 实验七：流式处理模式Spark Streaming应用 第二十二课：（理论：2学时） 第十一章分布式图计算框架 Spark GraphX 第二十三课：（实验：2学时） 实验八：图处理模式Spark Graph应用 第二十四课：（理论：2学时）
大数据对企业管理决策影响分析 随着云计算技术的快速普及，加之物联网、移动互联网应用的大规模爆发，人类进入了大数据时代。大数据的数据集远远超出了目前典型数据库管理系统获取、存储、管理和分析的能力。研究机构Gartner将大数据定义为需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产；国际数据公司(IDC)认为大数据是从海量规模数据中抽取价值的新一代技术和架构；IBM将大数据定义为4个V即大量化(Volume) 、多样化(Variety)、快速化(Velocity)及产生的价值(Value) 。针对大数据的特征挖掘其价值并作出决策，成为企业在大数据环境下进行决策的重要依据。2012年1月达沃斯世界经济论坛将大数据作为主题之一，探讨了如何更好地利用数据产生社会效益；2012年5月联合国“Global Pulse”特别分析了发展中国家面对大数据的机遇和挑战，并倡议运用大数据促进全球经济发展；2012年3月美国奥巴马政府发布“大数据研究和发展倡议”，正式启动大数据发展计划，随后英国、加拿大、澳大利亚、法国、日本等30多个国家也相继启动了大数据计划；Google、IBM、EMC、惠普、微软和阿里巴巴、百度等国内外公司正在积极抢占大数据技术市场。大数据应用领域包括客户关系管理、市场营销、金融投资、人力资源管理、供应链管理和卫生保健、教育、国家安全、食品等各个行业，已成为一个影响国家、社会和企业发展的重要因素。在互联网时代，基于数据判断、决策成为国家、企业和个人的基本技能。大数据的出现改变了企业决策环境，并将对企业的传统决策方式产生巨大影响。 1、大数据对管理决策环境的影响 1.1 大数据下数据驱动的决策方式 目前人类每年产生的数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别。美国互联网数据中心指出，全球已有超过150亿台连接到互联网的移动设备，互联网上的数据每年增长50%，每两年便翻一番，而目前世界上90%以上的数据是最近几年才产生的，随着数据的急剧增长，大数据时代已经到来。大数据下的决策依赖于大量市场数据，如何有效地收集和分配数据、可靠智能地分析和执行数据成为企业未来面临的挑战。基于云计算的大数据环境影响到企业信息收集方式、决策方案制定、方案选择及评估等决策实施过程，进而对企业的管理决策产生影响。舍恩伯格指出，大数据的“大”，并不是指数据本身绝对数量大，而是指处理数据所使用的模式“大”：尽可能地收集全面数据、完整数据和综合数据，同时使用数学方法对其进行分析和建模，挖掘出背后的关系，从而预测事件发生的概率。数据驱动型决策(data-driven decision making)是大数据下决策的特点。研究表明，越是以数据驱动的企业，其财务和运营业绩越好。大数据是个极丰富的数据集，数据是知识经济时代重要的生产要素，是经济运行中的根本性资源。数据生产信息，信息改善决策，进而提高生产力。可以预期，未来决定、评价企业价值的最大核心在于数据，数据积累量、数据分析能力、数据驱动业务的能力将是决定企业价值的最主要因素。 1.2 大数据下决策方式应用现状 MIT沙龙主编与IBM商业价值协会通过对100个国家30多个行业的近3000名公司执行者、管理者和数据分析工作者进行调查，基于调查结果为公司提供了5条建议，其中提出对于每个机会，企业需要从问题而不是数据开始，所以应该先定义满足商务目标的问题，然后识别那些可以解答问题的数据。枟经济学家枠杂志2010年的一项调查显示，经营大数据已成为企业管理的热门话题，但大数据的应用目前还处于初级阶段。2013年3月IBM的大数据调研白皮书枟分析：大数据在现实世界中的应用枠显示“大数据”将带来蓬勃商机，63% 的受访者表示大数据和信息的分析使用为其组织创造了竞争优势，47% 的受访者称当前应
教育发展研究2013．21 决策参考 摘要：随着互联网技术的革新，大数据开始蔓延至各个行业和领域，影响着人们的知识体系和生活方式。在大数据时代，能否激发和利用隐藏于数据内部未被发掘的价值，实现在教育、经济、交通、医疗等领域的革新，取决于人们对于数据及其潜在价值和功能的认识和态度。本文主要阐述大数据时代思维方式的结构及特性，并总结大数据时代思维方式为教育带来的启发。 关键词：大数据；大数据时代；思维方式；个性化教育；教育决策；教育评价 张燕南/华东师范大学课程与教学研究所 博士研究生 赵中建/华东师范大学课程与教学研究所教授（上海 200062） 大数据时代思维方式对教育的启示 笮张燕南赵中建 在大数据时代背景下，数据无所不在，许多过去难以量化的信息都将转化为数据进行存储和处理。通过大数据时代的数据储备和技术理念，以前所未有的方式洞见事物的发展趋势，进而影响人们的价值体系、知识体系和生活方式。在大数据时代开启伊始的今天，能否激发和利用隐藏于数据内部尚未被发掘的价值，实现在教育、经济、交通、医疗等领域的革新，取决于人们对于大数据及其潜在价值功能的认识和态度。也就是说，形成与之相适应的思维方式是驾驭大数据和实现其价值的关键。大数据时代的思维方式离不开大数据的支撑，大数据是大数据时代思维方式出现的源头和赖以生存的基础。从根本上说，大数据时代思维方式是产生于大数据时代、立足于大数据平台之上的新观念体系。 一、大数据及其特性和价值 大数据(big data)概念源于最早经历信息爆炸的学科，用于描述目标数据量的规模远远超出了一般电脑处理能力的情形。在众多领域都面对着爆发式数据增长的今天，数据处理技术和工具随之蓬勃发展，大数据则不仅用于描述需要进行批量处理或分析的大量数据集，同时还涵盖了处理数据的速度。 美国互联网数据中心将大数据定义为：通过高速捕捉、发现/分析，从大容量数据中获取价值的一种新的技术架构。[1]可以概括为四个英文字母V ，即更大的容量(Volume)、更高的多样性(Variety)、更快的生成速度(Velocity)以及由前面三个“V ”的组合推动的第四个因素———价值(Value)。 1.大数据的特性 （1）大数据的海量特性。大数据使得许多过去不可获取、计量、存储和分析的信息都有了数据化的可能。在互联网、电信和卫星通信技术的支持下，迅速普及的PC 、平板电脑、智能手机以及不断涌现的诸多工具设备正在以数据的形式追踪人们的日常生活，并将这些数据存储在相应的数据库中：通过基于位置的服务(Location Based Service ，LBS)，移动通信运营商掌握着个人的行踪，同时实时通信信息也在加上时间标记后进行备份；信用卡提供商和在线支付平台记录个人的购物、旅行习惯以及支付能力；社会性网络服务（Social Networking Services ，SNS ）采集和存储着与用户的社会关系和个人爱好相关的全部言行记录；安装在各大公共机构的摄像头捕捉人们的外形特征、衣着以及出现的时间。大数据的技术手段和理念赋予了人们在更多领域、更多层次获
大数据时代的数据挖掘 大数据是2012的时髦词汇，正受到越来越多人的关注和谈论。大数据之所以受到人们的关注和谈论，是因为隐藏在大数据后面超千亿美元的市场机会。 大数据时代，数据挖掘是最关键的工作。以下内容供个人学习用，感兴趣的朋友可以看一下。 智库百科是这样描述数据挖掘的“数据挖掘又称数据库中的知识发现，是目前人工智能和数据库领域研究的热点问题，所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。数据挖掘是一种决策支持过程，它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，高度自动化地分析企业的数据，做出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，做出正确的决策。 数据挖掘的定义 技术上的定义及含义 数据挖掘（Data Mining ）就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。这个定义包括好几层含义：数据源必须是真实的、大量的、含噪声的；发现的是用户感兴趣的知识；发现的知识要可接受、可理解、可运用；并不要求发现放之四海皆准的知识，仅支持特定的发现问题。 与数据挖掘相近的同义词有数据融合、人工智能、商务智能、模式识别、机器学习、知识发现、数据分析和决策支持等。 ----何为知识从广义上理解，数据、信息也是知识的表现形式，但是人们更把概念、规则、模式、规律和约束等看作知识。人们把数据看作是形成知识的源泉，好像从矿石中采矿或淘金一样。原始数据可以是结构化的，如关系数据库中的数据；也可以是半结构化的，如文本、图形和图像数据；甚至是分布在网络上的异构型数据。发现知识的方法可以是数学的，也可以是非数学的；可以是演绎的，也可以是归纳的。发现的知识可以被用于信息管理，查询优化，决策支持和过程控制等，还可以用于数据自身的维护。因此，数据挖掘是一门交叉学科，它把人们对数据的应用从低层次的简单查询，提升到从数据中挖掘知识，提供决策支持。在这种需求牵引下，汇聚了不同领域的研究者，尤其是数据库技术、人工智能技术、数理统计、可视化技术、并行计算等方面的学者和工程技术人员，投身到数据挖掘这一新兴的研究领域，形成新的技术热点。 这里所说的知识发现，不是要求发现放之四海而皆准的真理，也不是要去发现崭新的自然科学定理和纯数学公式，更不是什么机器定理证明。实际上，所有发现的知识都是相对的，是有特定前提和约束条件，面向特定领域的，同时还要能够易于被用户理解。最好能用自然语言表达所发现的结果。n x _s u x i a n g n i n g
企业大数据思维 张靖笙 “一切皆可数据化”，舍恩伯格大数据思维里面这句话道出了这个时代滚滚洪流的主旋律，不管你听与不听，看与不看，数据都在哪里，像空气一样弥漫，也会像空气一样要命。在各种应用大数据的声音不绝于耳的今天，前者已是普遍的共识的，而对于后者，很多人却还不见得认同了，您可能觉得言过其实了，凭什么你说大数据会要命？我们没有用大数据就活不了了吗？而对于当今人类社会的所有组织机构来说，数据的重要性已经越来越明显，已经直接影响到存亡命运，缺少数据资源，无以谈事业；缺少数据思维，无以言未来，所以数据是很要命的。 而当前最要命的是，很多甚至是大多数的中国企业家还远远没有认识到这个严重性，这里折射的就是很多人在思维层面对于大数据这种新兴事物认识的不充分，正如马云所指出的：“很多人输就输在，对于新兴事物，第一看不见，第二看不起，第三看不懂，第四来不及。”赵国栋、易欢欢、糜万军、鄂维南合著的《大数据时代的历史机遇》中指出，有四种典型的片面认识阻碍企业家完整地认知大数据：第一，认定是炒作；第二，片面理解；第三，狭隘视野；第四，唯技术论。这些都是缺少全面和准确的大数据认识的表现，尽管还有其他各种客观原因，但是企业家对大数据没有正确的思想认识是阻碍大数据在企业获得深入应用的主要原因。 正确的思维来自正确的认知，在心理学上有一个思维圈法则，被许多高端人士推崇，这就是黄金思维圈，黄金思维圈是一种认知世界的方式，它能够帮助我们快速认识这个世界的本质。黄金思维圈包含三个层面，第一个层面是what层面，也就是事物的表象，特征。第二层则是how，方法，就是如何去解决这个问题，第三层则是本质层，就是why，就是事情背后的原因与真实的目的，可以说这个黄金思维圈是我们认识大数据最好的思维武器。
2020学年大数据思考与练习 一、单选题 1.当前大数据技术的基础是由（）首先提出的。 A.微软 B.百度 C.谷歌 D.阿里巴巴 2.大数据的起源是（）。 A.金融 B.电信 C.互联网 D.公共管理 3.智能健康手环的应用开发，体现了（）的数据采集技术的应用。 A.统计报表 B.网络爬虫 C.API接口 D.传感器 4.2012年，（）政府发布了《大数据研究和发展倡议》，标志着大数据已经成为重要的时代特征。 A.中国 B.美国 C.日本 D.英国 5.大数据的最显著特征是（）。 A.数据规模大 B.数据类型多样 C.数据处理速度快 D.数据价值密度高 6.下列关于大数据特点的说法中，错误的是（）。 A.数据规模大 B.数据类型多样 C.数据处理速度快 D.数据价值密度高 7.当前社会中，最为突出的大数据环境是（）。 A.互联网 B.物联网 C.综合国力 D.自然资源 8.医疗健康数据的基本情况不包括以下哪项？（） A.诊疗数据 B.个人健康管理数据 C.健康档案数据 D.公共安全数据 8.下列关于计算机存储容量单位的说法中，错误的是（）。 A.1KB＜1MB＜1GB B.基本单位是字节（Byte） C.一个汉字需要一个字节的存储空间 D.一个字节能够容纳一个英文字符 9.在数据生命周期管理实践中，（）是执行方法。 A.数据存储和备份规范 B.数据管理和维护 C.数据价值发觉和利用 D.数据应用开发和管理 10.大数据时代，数据使用的关键是（）。 A.数据收集 B.数据存储 C.数据分析 D.数据再利用 11.大数据的本质是（） A.联系 B.挖掘 C.洞察 D.搜集 12.规模巨大且复杂，用现有的数据处理工具难以获取、整理、管理以及处理的数据，这指的是（）。 A.大数据 B.贫数据 C.富数据 D.繁数据 13.信息技术的发展非常快，表现在（）。 A.集成电路的规模每18到24个月翻一倍 B.信息的存储能力每9个月翻一番 C.信息的存储能力每9个月翻一番 D.光通讯的速率和容量每年翻一番 14.与大数据密切相关的技术是（）。 A.蓝牙 B.云计算 C.博弈论 D.WiFi 15.大数据应用需依托的新技术有（）。 A.大规模存储与计算 B.数据分析处理 C.智能化 D.三个选项都是 16.数据科学就是从（）中提取知识的研究。 A.流量 B.互联网 C.数据 D.人群 17.IBM在3V的基础上又归纳总结了第4个V是指（）。 A.真实和准确 B.无时不在 C.巨量 D.极速
互联网时代的大数据思维 张靖笙 互联网带来了什么？ 当前，互联网的发展和普及已经达到了空前的规模，互联网已经成为人们日常生产和生活中不可缺少的一部分，正日益改变着人们对于信息或知识的获取和社会关系的认知方式。特别是手机移动互联网应用兴盛起来后，随时随地随手低头捣鼓手机上网几乎成了大多数城市人的习惯。 对于正处于转型升级中的中国企业，互联网大潮的冲击和洗礼是绕不过去的，必须积极去应对。认清互联网到底给人们的生活带来了什么影响和改变，给企业的经营和发展带来什么挑战和机会，这是每位企业领导人都应该认真思考的事情。我们先来看看互联网对于传统带来了什么颠覆性的影响。 (1)财富虚拟化：现在越来越多社会化大生产和市场经济活动通过互联网来开展，随着 大量的财富资源的交换转移到互联网中进行，由此改变了传统的财富存在方式，人 们越来越多的财富转换成信用和权益信息，以各种数据形式保存在互联网中。诚如 对于今天的新新人类，沟通比食物更加重要已经成为一个不争的事实，驱动财富虚 拟化的人性动力是信息需求取代了物质需求成为现代人类的第一需求，因此财富形 式的去实物化也将成为新的常态，传统的财富观念随着这个趋势必将会被颠覆，甚 至私有观念也会被信息社会里面所实现的共产主义彻底消灭； (2)选择无疆界：无论是消费者还是提供者，今天都可以通过互联网可以找到很多的选 择，互联网是一个永不休息的大市场，地域和时段都已经不是问题，今天的个人网 民们通过互联网选择个人喜好的商品、服务、伴侣、朋友、工作，企业网民通过互 联网选择原料、供应商、目标客户、合作伙伴，同时两者都把自己的各项要素资源 贡献到网上供别人选择，在全球化背景下，地理和政治疆界都不会成为这些选择的 障碍； (3)易变新常态：互联网上泛滥的多样性选择，既带来了传统社会要素缺乏时代难以催 生的新生事物的层出不穷，也带来消费者需求口味和潮流风尚的朝三暮四，互联网 让市场热点转移很快，所谓的蓝海也能迅速变红，大面积的改变几乎都能在一夜之 间完成，这种改变的速度只会越来越快，市场上的暂时胜出者被新的竞争者颠覆甚 至掘墓的周期越来越短促； (4)屌丝的逆袭：在互联网时代，每个人都可以成为电视新闻中心和出版发行者，互联 网让社会舞台的镁光灯不再专属于少数精英个人和组织，互联网让每个普通人都有 机会可以吸引全球范围内的广泛关注，让孤独的不再孤独，卑微的不再卑微，容易 被忽略的得以显现，可能被排挤的获得接纳，小人物正在通过互联网直接参与改写 历史的进程，人民的意志和力量通过互联网得到更大的伸展，屌丝（卑微下民）逆 袭上位，越来越多地从精英手上抢得发言权，网络是一个永不停息的无限大功率的 电台，好的作品通过互联网传播可以轻易实现“好事传千里”，创新和创作者的作 品因此能惠及很多人，那么他们所赢得的回报的速度和规模也会超出常规很多倍，几乎一夜之间全球流行起来的“江南Style”就让一名原本默默无闻的歌手成为和 联合国秘书长潘基文一样能影响全世界的韩国人，所以今天的“屌丝”，只要你在 个人专长上不懈努力，世界时刻为你准备着，互联网随时张开怀抱吸纳你绽放出的 生命精彩华章； (5)弄假可成真、众筹成大事：以前有句老话是：“谣言重复一万次可以变真”，而今天 在互联网让原本稀薄的力量得以聚合，让曾经被卷曲压制的想象得以延展释放，无 限小加上无限多形成了无限的可能，让原来根本不存在的事物可以从无生有，弄假
大数据可视化分析平台 一、背景与目标 基于邳州市电子政务建设的基础支撑环境，以基础信息资源库（人口库、法人库、宏观经济、地理库）为基础，建设融合业务展示系统，提供综合信息查询展示、信息简报呈现、数据分析、数据开放等资源服务应用。实现市府领导及相关委办的融合数据资源视角，实现数据信息资源融合服务与创新服务，通过系统达到及时了解本市发展的综合情况，及时掌握发展动态，为政策拟定提供依据。 充分运用云计算、大数据等信息技术，建设融合分析平台、展示平台，整合现有数据资源，结合政务大数据的分析能力与业务编排展示能力，以人口、法人、地理，人口与地理，法人与地理，实现基础展示与分析，融合公安、交通、工业、教育、旅游等重点行业的数据综合分析，为城市管理、产业升级、民生保障提供有效支撑。 二、政务大数据平台 1、数据采集和交换需求：通过对各个委办局的指定业务数据进行汇聚，将分散的数据进行物理集中和整合管理，为实现对数据的分析提供数据支撑。将为跨机构的各类业务系统之间的业务协同，提供统一和集中的数据交互共享服务。包括数据交换、共享和ETL等功能。 2、海量数据存储管理需求：大数据平台从各个委办局的业务系统里抽取的数据量巨大，数据类型繁杂，数据需要持久化的存储和访问。不论是结构化数据、半结构化数据，还是非结构化数据，经过数据存储引擎进行建模后，持久化保存在存储系统上。存储系统要具备高可靠性、快速查询能力。
3、数据计算分析需求：包括海量数据的离线计算能力、高效即席数据查询需求和低时延的实时计算能力。随着数据量的不断增加，需要数据平台具备线性扩展能力和强大的分析能力，支撑不断增长的数据量，满足未来政务各类业务工作的发展需要，确保业务系统的不间断且有效地工作。 4、数据关联集中需求：对集中存储在数据管理平台的数据，通过正确的技术手段将这些离散的数据进行数据关联，即：通过分析数据间的业务关系，建立关键数据之间的关联关系，将离散的数据串联起来形成能表达更多含义信息集合，以形成基础库、业务库、知识库等数据集。 5、应用开发需求：依靠集中数据集，快速开发创新应用，支撑实际分析业务需要。 6、大数据分析挖掘需求：通过对海量的政务业务大数据进行分析与挖掘，辅助政务决策，提供资源配置分析优化等辅助决策功能，促进民生的发展。
心得体会：大数据时代，领导干部决策要有新思维 随着信息技术的发展，社会生活中的方方面面、点点滴滴都被记录下来，形成海量的“微数据”“微信息”。通过对海量、实时数据的收集和挖掘，把握数据中蕴含的规律性、倾向性问题，可以有效提高公共决策的民主化、科学化水平，更好地回应公众关切，满足公众的需求和期待。大数据正在重塑政府的运行方式，大数据指导决策将是未来的趋势，领导干部必须变革旧观念，掌握新思想，提高治国理政的能力。 第一，数据思维。过去，领导干部在决策时常常苦于缺少可靠的信息材料，因而更多依赖于决策者的经验和主观判断。加之我国历来的文化传统中，认识事物的方式主要依赖于经验和直觉，注重对事物做质性的判断和把握。这在数据比较缺乏的年代是一种较好的办法，因为只要掌握了事物的大多数和总体趋势，就意味着犯错误的可能性最小。但是，进入大数据时代，我们拥有了更多全面而可靠的数据，可以通过数据准确认识事物的全貌及其发展变化特征。这些数据和信息作为公共决策的依据，可以比过去依靠经验和主观判断作决策更加可靠，减少犯错误的可能。所以，大数据时代，领导干部在决策时需要着力树立用数据说话、用数据决策的数据思维，实现从经验决策向数据决策转变。 第二，开放思维。一方面，大数据时代，社会治理和公共决策的议题范围更广、内容更多，单纯依靠某个部门或某几个人已然无法掌握事物全貌，更无法作出全面、细致的解决方案。所以，大数据时代的领导干部在决策时需要树立开放思维，打破部门和行业界限，广泛吸纳社会各方的看法和意见，才能让问题得到更好的解决。另一方面，大数据时代，决策的依据也要实现从封闭向开放的转变，而领导干部决策最重
第一章 1.试述信息技术发展史上的3次信息化浪潮及具体内容。 2.试述数据产生方式经历的几个阶段 答：运营式系统阶段，用户原创内容阶段，感知式系统阶段。 3.试述大数据的4个基本特征 答：数据量大、数据类型繁多、处理速度快和价值密度低。 4.试述大数据时代的“数据爆炸”的特性 答：大数据时代的“数据爆炸”的特性是，人类社会产生的数据一致都以每年50%的速度增长，也就是说，每两年增加一倍。 5.数据研究经历了哪4个阶段？
答：人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种范式。 6.试述大数据对思维方式的重要影响 答：大数据时代对思维方式的重要影响是三种思维的转变：全样而非抽样，效率而非精确，相关而非因果。 7.大数据决策与传统的基于数据仓库的决策有什么区别 答：数据仓库具备批量和周期性的数据加载以及数据变化的实时探测、传播和加载能力，能结合历史数据和实时数据实现查询分析和自动规则触发，从而提供对战略决策和战术决策。 大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。 8.举例说明大数据的基本应用 答： 9.举例说明大数据的关键技术
答：批处理计算，流计算，图计算，查询分析计算 10.大数据产业包含哪些关键技术。 答：IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层。 11.定义并解释以下术语：云计算、物联网 答：云计算：云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。 物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。 12.详细阐述大数据、云计算和物联网三者之间的区别与联系。
大数据对企业管理决策的影响分析及其对策 摘要：大数据是物联网、云计算之后又一项重大技术变革，无论是学术界、企业界还是政府都受到其影响。大数据下的决策环境发生了巨大改变，影响了企业的数据管理和知识管理。同时大数据下丰富的数据和知识使得决策参与者的决策能力大大提高，决策参与者角色发生了改变，进而影响到企业的管理决策组织。大数据的出现也对企业管理决策技术提出了更高的要求。在此分析基础上，系统阐述大数据对企业管理决策的影响及其对策。 关键词：大数据；企业管理；管理决策；对策 Analysis of the impact of big data on enterprise management and decision making and Its Countermeasures Abstract:Big data is another major technological revolution after the Internet of things and cloud computing, both in academic, corporate and government affected by it. Great changes have taken place in big data under the decision-making environment, affecting the company's data management and knowledge management. At the same time under the big data rich data and knowledge greatly improve decision making participants decision-making ability, decision-making participant roles changed, thus affect the enterprise's management decision-making organization. Big data is also put forward higher requirements for the enterprise management and decision-making technology. On the basis of this analysis, elaborated the influence of enterprise management decision-making system and Countermeasures of big data. Key words:Big Data; Business Management; Management Decision; Countermeasure 一、引言 随着云计算技术的快速普及，加之物联网、移动互联网应用的大规模爆发，人类进人了大数据时代。大数据的数据集远远超出了目前典型数据库管理系统获取、存储、管理和分析的能力。针对大数据的特征挖掘其价值并作出决策,成为企业在大数据环境下进行决策的重要依据。2012年1月达沃斯世界经济论坛将大数据作为主题之一,探讨了如何更好地利用数据产生社会效益；2012年5月联合国“GlobalPulse”特别分析了发展中国家面对大数据的机遇和挑战，并倡议运用大数据促进全球经济发展;2012年3月美国奥巴马政府发布“大数据研究和发展倡议”，正式启动大数据发展计划，随后英国、加拿大、澳大利亚、法国、日本等30多个国家也相继启动了大数据计划；Google、IBM、EMC、惠普、微软
大数据的思维方式 大数据的思维方式总体思维 社会科学研究社会现象的总体特征，以往采样一直是主要数据获取手段，这是人类在无法获得总体数据信息条件下的无奈选择。在大数据时代，人们可以获得与分析更多的数据，甚至是与之相关的所有数据，而不再依赖于采样，从而可以带来更全面的认识，可以更清楚地发现样本无法揭示的细节信息。正如舍恩伯格总结道：“我们总是习惯把统计抽样看作文明得以建立的牢固基石，就如同几何学定理和万有引力定律一样。但是，统计抽样其实只是为了在技术受限的特定时期，解决当时存在的一些特定问题而产生的，其历史不足一百年。如今，技术环境已经有了很大的改善。在大数据时代进行抽样分析就像是在汽车时代骑马一样。在某些特定的情况下，我们依然可以使用样本分析法，但这不再是我们分析数据的主要方式。”也就是说，在大数据时代，随着数据收集、存储、分析技术的突破性发展，我们可以更加方便、快捷、动态地获得研究对象有关的所有数据，而不再因诸多限制不得不采用样本研究方法，相应地，思维方式也应该从样本思维转向总体思维，从而能够更加全面、立体、系统地认识总体状况。 容错思维 在小数据时代，由于收集的样本信息量比较少，所以必须确保记录下来的数据尽量结构化、精确化，否则，分析得出的结论
在推及总体上就会“南辕北辙”，因此，就必须十分注重精确思维。然而，在大数据时代，得益于大数据技术的突破，大量的非结构化、异构化的数据能够得到储存和分析，这一方面提升了我们从数据中获取知识和洞见的能力，另一方面也对传统的精确思维造成了挑战。舍恩伯格指出，“执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%的数据是结构化且能适用于传统数据库的。如果不接受混乱，剩下95%的非结构化数据都无法利用，只有接受不精确性，我们才能打开一扇从未涉足的世界的窗户”。也就是说，在大数据时代，思维方式要从精确思维转向容错思维，当拥有海量即时数据时，绝对的精准不再是追求的主要目标，适当忽略微观层面上的精确度，容许一定程度的错误与混杂，反而可以在宏观层面拥有更好的知识和洞察力。 相关思维 在小数据世界中，人们往往执着于现象背后的因果关系，试图通过有限样本数据来剖析其中的内在机理。小数据的另一个缺陷就是有限的样本数据无法反映出事物之间的普遍性的相关关系。而在大数据时代，人们可以通过大数据技术挖掘出事物之间隐蔽的相关关系，获得更多的认知与洞见，运用这些认知与洞见就可以帮助我们捕捉现在和预测未来，而建立在相关关系分析基础上的预测正是大数据的核心议题。通过关注线性的相关关系，以及复杂的非线性相关关系，可以帮助人们看到很多以前不曾注意的联系，还可以掌握以前无法理解的复杂技术和社会动态，相关关系甚至可以超越因果关系，成为我们了解这个世界的更好视角。舍恩伯格指出，大数据的出现让人们放弃了对因果关系的渴求，
《大数据思维与决策》读后感 ——徐乾程学号652120100004 21世纪将是大数据的时代。 与《大数据预测》不同，《大数据思维与决策》并没有太多理论内容的介绍，作者主要通过大量例子说明近20年来大数据对传统行业、传统思维的冲击，从医学到教育领域到金融行业再到互联网，大数据思维的冲击都是史无前例的。其中给我印象比较深刻的主要有以下两点： 一、回归方程预测。从前人们的决策几乎全靠人为经验判断，作者在这个问题里举了“寻找棒球队员”的例子，传统的方式是经理人通过观看无数场球赛，观察球员的每一个细致动作，经理人根据经验判断该球员是否有潜力成为球星。该方式代价非常大且人为主观因素会影响决策正确率。大数据思维则是分析球员历史训练及比赛的记录数据，利用数理统计的回归方法分析数据，从而预测有潜力值球员。相对传统方式，大数据方法成本大大降低，且准确率更高。正如书中所说，数据比人客观，且现在大规模数据的获取更加容易，成本较低。 二、随机试验。作者提到的第二个很有用的方法是随机试验。基本思想是：随机抽取样本，控制单一变量，进行试验，分析试验数据检验哪个方式更加具有价值。这里采用的例子很多，其中一个就是某一个网站利用随机随机试验方法为网站开发者提供工具检测怎样的界面用户更加喜欢。文中列举“医生洗手对手术患者死亡影响”、“某一政策是否正确”等例子说明大数据下随机试验的利用。 但是，正如《大数据预测》里介绍的一样，大数据作为一种工具，必然存在两面性。大数据决策为我们提供很多快捷、准确的预测。但是，过分依赖数据则让我们在很多时候得出的结果相差很大。利用大数据进行决策，人为的经验还是不可或缺的，权值的设定，参数的调整，初值的设定等这些都是经验得来的，但是即使是这些经验，也不能太过依赖，因为数据在变化，世界在变化，以前正确的下一秒随时错误。总的来说，数据与人为经验相结合，互为促进。此外，随着科技发展，智能设备越来越普及，信息无处不在，数据无处不在。谷歌等都倡议数据共享，建立人人都可以利用的数据库。对于数据开发者、数据决策者而言的确是十分有利的。能够为客户创造价值,如机票预测是客户购买实惠机票很好的工具，这种情况客户也是乐意见到的。然而，一些恶意黑客当然也会因此入侵，获取用户数据，对人们生活带来很多干扰甚至是安全隐患。所以说，大数据下仍然很多问题，不过利益在驱动，还是会继续发展。大数据给人类社会的方方面面带来了巨大的变革，这是社会发展的潮流，不可逆转，我们只有顺应这种潮流，在思想上和技能上做好准备才能成为时代的弄潮儿。对于一家公司或一个国家，要从根本上改变思维和观念，尽早适应这种潮流。
大数据时代的地标选项 各位白领，各位骨干，各位精英： 大家好。在这个极富现代气息的写字楼里，我仿佛穿越到了上个世纪六十年代的曼哈顿，在麦迪逊大道的一间办公室里，苦思冥想一个产品的创意。 2012年，《纽约时报》、《华尔街日报》等西方主流媒体不约而同地开始关注“big data”这个词，“大数据”第一进入大众视野。进入2013年，“大数据”开始在国内走红，一些科技网站或博客网站，开始对“大数据”三个字进行各种各样的描述及解读。 那么什么是大数据时代？它会给我们带来怎样的市场冲击？在大数据时代，我们该怎样应对市场？如何从海量的数据中，寻找有价值的信息？ 大数据时代 说到大数据，我不得不佩服阿尔文·托夫勒，当他在1980年发表《第三次浪潮》时，互联网基础协议web还没有诞生，10年之后，这个协议才在美国诞生，第一个万维网浏览器（同时也是编辑器）和第一个网页服务器才被制作出来。但是，牛叉的托夫勒像一个穿越者，居然一眼看透未来，在《第三次浪潮》中，第一次提出了“大数据”，并将其热情地称颂为“第三次浪潮的华彩乐章”。 不过，大约从2009年开始，“大数据”才成为互联网信息技术行业的流行词汇。美国互联网数据中心指出，互联网上的数据每年将增长50%，每两年便将翻一番，而目前世界上90%以上的数据是最近几年才产生的。 大数据多大 那么，大数据究竟有多大？一组名为“互联网上一天”的数据告诉我们，一天之中，互联网产生的全部内容可以刻满1.68亿张DVD；发出的邮件有2940亿封之多（相当于美国两年的纸质信件数量）；发出的社区帖子达200万个（相当于《时代》杂志770年的文字量）；卖出的手机为37.8万台，高于全球每天出生的婴儿数量37.1万…… 2012年，互联网数据量已经从TB（1024GB=1TB）级别跃升到PB（1024TB=1PB）、EB（1024PB=1EB）乃至ZB(1024EB=1ZB)级别。国际数据公司（IDC）的研究结果表明，2008年全球产生的数据量为0.49ZB，2009年的数据量为0.8ZB，2010年增长为1.2ZB，2011年的数量更是高达1.82ZB，相当于全球每人产生200GB以上的数据。而到2012年为止，人类生产的所有印刷材料的数据量是200PB，全人类历史上说过的所有话的数据量大约是5EB。IBM的研究称，整个人类文明所获得的全部数据中，有90%是过去两年内产生的。而到了2020年，全世界所产生的数据规模将达到今天的44倍。 所以，越来越的人开始相信，一个不同于过往任何时代的“大数据时代”来了。他是如此地迫不及待，在我们还没有意识到的时候，呼啸而至，并且以极快的速度生长着。 还是让我列举一下他的生长速度吧。每秒钟，人们发送290封电子邮件；每分钟人们在youtube上传20小时的视频；人们每月在总共在facebook上浏览7000亿分钟；移动互联网 网用户发送和上传的数据量达到1.3exabytes，相当于10的18次方；每秒钟亚马逊处理72.9笔订单。 大数据的价值 有研究者认为，大数据有六大价值。 第一，通过大数据研究互联网网民的情绪，并通过这些情绪指数影响自己的商业决策。据说，美国华尔街有一家公司的CEO每天的主要工作就是研究全球3.4亿微博账户的留言，并通过研究进而判断民众情绪，再以“1”到“50”进行打分。根据打分结果，他再决定如何处理手中数以百万美元计的股票。他判断原则很简单：如果所有人似乎都高兴，那就买入；
国内哪些做大数据决策分析平台或公司比较有优势？ 大数据类的公司1、大数据决策平台，帆软。帆软是商业智能和数据分析平台提供商，从报表工具到商业智能BI，有十多年的数据应用的底子，在这个领域很成熟，但是很低调。像帆软的FineBI，可以部署自带的FineIndex（类cube,数据仓库），有数据缓存机制，可实现定量更新，定时更新，减少了数据仓库的建设维护。还有FineDirect(直连)可直接连接数据仓库或数据库，主要针对Hadoop一类的大数据平台和实时数据分析的需求。2、数据库，大数据平台类，星环，做Hadoop生态系列的大数据底层平台公司。Hadoop 是开源的，星环主要做的是把Hadoop不稳定的部分优化，功能细化，为企业提供Hadoop大数据引擎及数据库工具。 3、云计算，云端大数据类，阿里巴巴，明星产品-阿里云，与亚马逊AWS抗衡，做公有云、私有云、混合云。实力不差，符合阿里巴巴的气质，很有野心。 4、大数据存储硬件类，浪潮，很老牌的IT公司，国资委控股，研究大数据方面的存储，在国内比较领先。BI Hadoop的案例Hadoop是个很流行的分布式计算解决方案，是Apache的一个开源项目名称，核心部分包括HDFS及MapReduce。其中，HDFS 是分布式文件系统，MapReduce是分布式计算引擎。时至今日，Hadoop在技术上已经得到验证、认可甚至到了成熟
期，同时也衍生出了一个庞大的生态圈，比较知名的包括HBase、Hive、Spark等。HBase是基于HDFS的分布式列式数据库，HIVE是一个基于HBase数据仓库系统。Impala 为存储在HDFS和HBase中的数据提供了实时SQL查询功能，基于HIVE服务，并可共享HIVE的元数据。Spark是一个类似MapReduce的并行计算框架，也提供了类似的HIVE的Spark SQL查询接口，Hive是基于hadoop的数据分析工具。很多企业比如银行流水作业很多，数据都是实时更新且数据量很大。会采用hadoop作为底层数据库，借由中间商处理底层数据，然后通过BI系统去连接这些中间数据处理厂商的中间表，接入处理数据，尤其以星环、华为这类hadoop大数据平台商居多，使用也较为广泛。以星环大数据帆软大数据BI工具FineBI的结合为例。由于星环也是处理hadoop下的hive数据库，其本质都是差不多的，可以使用Hive提供的jdbc驱动，这个驱动同样可以让FineBI连接星环的数据库并进行一些类关系型数据库的sql语句查询等操作。将这些驱动拷贝到BI工程下面，然后重启BI服务器。重启后可以建立与星环数据库的数据连接，最后通过连接进行数据查询。关于FineBI的FineIndex和FineDirect功能hadoop是底层，hive是数据库，上述案例采用的是FineIndex （cube连）连接，用的是hiveserver的方式进行数据连接的；数据连接成功之后，将hive数据库中的表添加到业务包
摘要大数据对于思维以及管理带来的变革逐渐深入人心，进而推 动教育的变革，本文从数据、大数据、教育大数据的概念入手，进而总结出远程教育大数据现实意义及其在远程教育这一层面应用的基本思路。关键词网络大数据；教育决策；应用；基本思路在2016 年全国教育工作会议上，袁贵仁同志做了以新的发展理念为引领，全面提高教育质量，加快推进教育现代化为题的讲话。在这些文件中，现代化科学治理等词组频繁出现。在发展现代而科学的 教育治理体系与治理能力方面，大数据的应用将有望为教育发展注入新的活力。在教育领域，随着大数据发展而带来的教育政策研究与决策的以证据为本之趋势亦渐明显。在信息化时代，随着 互联网与移动学习的兴起，各高校在远程教育教学中形成了大批量记录学生的基础信息、学习记录、活动轨迹、学习成果数据、选课记录、参与讨论与提问的记录数据；教师在线教学、辅导答疑的各种教学行为记录数据；以及学习管理数据，这些数据聚合而成教育大数据。然而，这些教育数据在近十年来往往仅是简单的堆砌，不被重视，更谈不上进行有效地收集与整理。近两年来，随着大数据概念的 不断深入，人们开始对教学过程当中产生的各种数据有了一定的重视, 但将其近一步进行收集和整理，进而为学院的各种方面提供有效决策服务的应用还不多见。因此，将大数据引入教育决策的紧迫性 可见一斑。一、数据的概念传统意义上的数据，是指有根据的数字，是对客观世界测量或检测结果的记录。20世纪60年代，随着数据库的发明，数据的内涵得以扩大，不仅包括有根据的数字,
也泛指一切保存在电脑中的信息，如数字、文本、图片、音频和视频等，都统称为数据。人类对大量信息进行归纳演绎和集成提炼， 获得以目标为导向的组织化信息，就形成了知识。在知识基础上，人们可以形成正确的判断并做出最佳的决策，形成智慧。智慧是人类特有的能力，它的产生需要基于知识的应用。如果对 数据、信息、知识和智慧进行有序的加工和处理，它们可从底层向顶层转化，成为一个不断递进的过程。在教育领域，学习者获取 数据智慧的过程，本质上是数据经过分析处理后，逐步提升为信息和知识，并最终成为头脑中极为个性化的智慧的过程。二、大数 据概念及主要特征大数据或称巨量资料，指的是所涉及的资料量巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。实际上，许 多发达国家的研究机构和大企业公司都已经把大数据作为获取有效信息的来源以及调整部署重要决策的战略依据。而大数据处理技术也已成为信息挖掘、整理、分析的工具。大数据相比于传统的数据概括起来有四个特点，业界将其归纳为4个一数据规模体量巨大。数据规模体量巨大即为第一个一一大量。在2007 年的研究中就已经得到人类大约储存了超过300艾字节的数据，相当于3000个压缩成1数字电影，近几年，全球数据存储量更是呈现爆炸式增长，互联网数据正在以每年50%的速率在增长，据预测。到2020年，全球数据量将达到35,等于80亿块4硬盘。二数据类型多样。数据类型多样即第二个一一多样。数据类型