《大数据时代的航运信息平台》专著摘要
该书是对航运信息化科学进行系统论述的第一次尝试。在大数据时代，传统产业在互联网的渗透下渐渐的失去原有的边界，原本看似牢不可破的行业门槛轻易地就被互联网平台取代，例如出版业、家电业、旅游业等。航运业作为传统产业，也面临着来自互联网和平台经济前所未有的冲击，作者试图从信息科学的角度解释航运与互联网和平台经济相结合而产生的新系统、新模式、新思维。
航运信息化发展全面进入了航运信息平台的新时代，航运业务所涉及的一切都可以抽象为信息资源，通过互联网将这些信息资源融合集聚到信息平台之上，就可以实现信息资源的统一配置。
该书首次给出了“航运信息平台”的定义，即：是通过航运信息资源的融合汇聚来满足航运业不同参与者需求的网络化信息系统，最基本的两个特征是“开放”和“聚合”。航运信息平台主要分为航运电子商务平台、航运电子政务平台、航运信息服务平台三类。书中分析了航运信息平台的发展现状，指出航运信息化的发展呈现“需求向导、数据驱动、全程可视、远程智能、云端共享、电子商务、互联融合、生态发展”趋势。
随后，作者论述了航运信息平台发展的时代特征——航运大数据。分析了航运大数据的定义、框架和意义。在此基础上，该书分别分析了航运电子商务平台、航运电子政务平台、航运信息服务平台三类航运信息平台的特点、模式、案例、经验。
第一，航运电子商务平台，是航运电子商务活动中为交易双方或多方提供交易撮合及相关服务的网络信息系统的总和，基本功能有：交易撮合、流程控制、支付结算、信用监督。航运电子商务平台将取代现有的航运商业模式，成为航运业转型升级的历史趋势。航运电商平台按照模式分类可以分为：第一方垂直类、第三方横向类、第四方聚合类，按业务分类可以分为：货物运输类、船舶业务类、客运业务类。货运类的航运电商发展将会经历货运平台、物流平台、贸易平台三个阶段，货代企业生存空间必然受到压缩，但是货代企业不会被消灭。
第二，航运电子政务平台克服了过去垂直整合系统信息无法横向流动、模块固化重复、维护成本高等缺陷，实现了政府信息资源化、信息资源共享流动、互联网在线政务信息服务，成为一种发展趋势。航运电子政务平台发展有利于：跨
区域合作管理与执法、面向更好的跨境贸易服务、实现众多的公共服务接口。书中围绕口岸电子政务平台和海事电子政务平台进行了介绍，并认为未来航运电子政务平台最终有可能实现统一。
第三，航运信息服务平台，是以提供集成化信息服务为目标，将港航有关信息资源连接并融合起来的一站式服务平台。航运信息服务平台的发展水平标志着航运信息服务水平的高低，从而影响到其所在地区的航运服务软实力和航运资源配置能力，对航运业的发展具有重要的战略价值。按照数据是否在本地存储，航运信息服务平台可以分航运信息交换平台和航运信息聚合平台。
最后，该书介绍了物联网和云计算在航运信息平台中的意义和作用，展望了航运信息平台的未来发展。作者指出航运信息平台与物联网、云计算技术关系密切，物联网技术为航运信息平台提供了重要的信息来源，云计算技术则为构建航运信息平台提供了基础环境。该书创造性的提出了“多式监控技术”和解决方案“通用目标监测系统”（GTMS），还针对2030年我国航运信息化发展给出了前瞻性预判，并围绕智慧航运和无人驾驶船舶这两个热点概念进行了探讨。
该书涉及了航运信息化的各个方面，含有丰富的背景知识，提出了一些新的理论和方法。该书适合航运业从事航运信息化管理和战略规划工作的高层次管理人员参考阅读，也可以作为关注航运信息化发展的政府人员、研究人员、技术人员了解航运大数据、航运电子商务、航运物联网等相关问题的参考书。
作者介绍：
徐凯：上海国际航运研究中心航运信息化研究室主任，上海海事大学工程师、物流管理与工程博士研究生，交通科学数据共享平台理事，主要从事港航信息化、航运电子商务、物联网、大数据、物流信息系统、人工智能算法等方面的科研工作，主讲《物联网导论》课程。
负责中国航运数据库、中国海运信息网、港航大数据实验室的研发与管理，参与了大量港航信息系统研究开发项目，包括：海事传感实验室、舟山港务局指挥中心船舶监控项目、云南省海事局内河船员管理系
统开发项目、南极中山站远程监控系统项目、集装箱监控黑匣子、中国航运景气指数问卷调查系统等，参与“航运平台建设研究”、“上海国际航运中心建设十三五规划前期研究”、“南京港口物流十二五规划”等战略咨询课题研究，参与撰写《2030年中国航运发展展望》，申请发明专利1项，软件著作权10余项，发表学术论文10余篇。
大数据时代的Excel统计与分析 第1章大数据分析概述 1.1 大数据概述 1.1.1 什么是大数据 1.1.2 数据、信息与认知 1.1.3 数据管理与数据库 1.1.4 数据仓库 1.1.5 数据挖掘的内涵和基本特征 1.2 制造行业需要分析哪些数据？ 1.2.1 产品的良率监控 1.2.2 产品的BOM设计 1.2.3 市场数据监控 1.2.4 财务数据 1.2.5 产品生产数据 1.2.6 设备预防性维护数据 1.2.7 产品需求数据 1.2.8 其他日常数据等 第2章数据挖掘流程 2.1 数据挖掘流程概述 2.1.1 问题识别 2.1.2 数据理解 2.1.3 数据准备 2.1.4 建立模型 2.1.5 模型评价 2.1.6 部署应用 第3章大数据的Excel统计分析 3.1 研究程序与抽样 3.2 频率分布 3.2.1 传统的建表方式 3.2.2 离散变量—单选题频率布 3.2.3 如何用Word编辑频率分布表 3.2.4 绘制频率分布统计图表 3.2.5 离散变量—复选题频率分布 3.2.6 利用RANK（）函数处理 3.3 集中趋势 3.3.1 平均值\平均值的优点 3.3.2中位数\ 众数\ 内部平均值\ 最大值\最小值 3.3.3 第几最大值第几最小值
3.3.4 描述统计 3.4 离散程度 3.5 假设检验 3.6 单因子方差分析 3.7 相关分析 3.8 回归分析 3.9 聚类分析 3.10预测分析 第4章大数据的图表分析案例 前言：常见图表分析的三大错误 4.1 用实例说明九大类型图表：饼图、柱状图、条形图、折线图、散点图、雷达图、气泡图、面积图、圆环图的应用场合 4.2 几种专业的图表分析法 4.3九大类型图表的生成实例演练 4.4介绍几种专业的图表分析工具，您需要展示与众不同的专业度 -利用双曲线组合图表显示预计销量和实际销量对比 -利用柱形层叠图显示计划完成度 -利用双侧比较图显示市场调查结果 -利用复合饼图深入分析主要销售组成 -使用断层图分析企业数据 第5章数据分析应用实践 5.1 合理的数据呈现与EXCEL/PPT图表制作 图表制作的关键要素 合适的图表展示合适的数据 正确表达需要的主题 图表与文字的协调 图表的结论 5.2科学的数据分析结果解读 注意因果关系 不要以偏概全 考虑环境影响 兼顾定性研究 第6章数据分析报告与汇报 6.1如何撰写一份优秀的数据分析报告 6.2现场实操演练：分析报告撰写 6.3 汇报的技巧 第7章商业预测技术 预测是企业重要的决策依据，企业通过预测技术可以估计下一季度、年度的市场规模、市场占有率、销售量等。 1. 预测责任者与支持者 2. 预测的组织流程
《海量数据挖掘技术及工程实践》题目 一、单选题（共80题） 1)( D )的目的缩小数据的取值范围，使其更适合于数据挖掘算法的需要，并且能够得到 和原始数据相同的分析结果。 A.数据清洗 B.数据集成 C.数据变换 D.数据归约 2)某超市研究销售纪录数据后发现，买啤酒的人很大概率也会购买尿布，这种属于数据挖 掘的哪类问题(A) A. 关联规则发现 B. 聚类 C. 分类 D. 自然语言处理 3)以下两种描述分别对应哪两种对分类算法的评价标准 (A) (a)警察抓小偷，描述警察抓的人中有多少个是小偷的标准。 (b)描述有多少比例的小偷给警察抓了的标准。 A. Precision,Recall B. Recall,Precision A. Precision,ROC D. Recall,ROC 4)将原始数据进行集成、变换、维度规约、数值规约是在以下哪个步骤的任务(C) A. 频繁模式挖掘 B. 分类和预测 C. 数据预处理 D. 数据流挖掘 5)当不知道数据所带标签时，可以使用哪种技术促使带同类标签的数据与带其他标签的数 据相分离(B) A. 分类 B. 聚类 C. 关联分析 D. 隐马尔可夫链 6)建立一个模型，通过这个模型根据已知的变量值来预测其他某个变量值属于数据挖掘的 哪一类任务(C) A. 根据内容检索 B. 建模描述 C. 预测建模 D. 寻找模式和规则 7)下面哪种不属于数据预处理的方法 (D) A.变量代换 B.离散化
C.聚集 D.估计遗漏值 8)假设12个销售价格记录组已经排序如下：5, 10, 11, 13, 15, 35, 50, 55, 72, 92, 204, 215 使用如下每种方法将它们划分成四个箱。等频（等深）划分时，15在第几个箱子内 (B) A.第一个 B.第二个 C.第三个 D.第四个 9)下面哪个不属于数据的属性类型：(D) A.标称 B.序数 C.区间 D.相异 10)只有非零值才重要的二元属性被称作：( C ) A.计数属性 B.离散属性 C.非对称的二元属性 D.对称属性 11)以下哪种方法不属于特征选择的标准方法： (D) A.嵌入 B.过滤 C.包装 D.抽样 12)下面不属于创建新属性的相关方法的是： (B) A.特征提取 B.特征修改 C.映射数据到新的空间 D.特征构造 13)下面哪个属于映射数据到新的空间的方法 (A) A.傅立叶变换 B.特征加权 C.渐进抽样 D.维归约 14)假设属性income的最大最小值分别是12000元和98000元。利用最大最小规范化的方 法将属性的值映射到0至1的范围内。对属性income的73600元将被转化为：(D) 15)一所大学内的各年纪人数分别为：一年级200人，二年级160人，三年级130人，四年 级110人。则年级属性的众数是： (A) A.一年级 B.二年级 C.三年级 D.四年级
大数据时代下数据分析的变化(一)分析思路 大数据时代的分析常常是直接计算现象之间的相依性。传统的统计分析过程是“定性－定量－再定性”，第一个定性是为定量分析找准方向，主要靠经验判断，一般针对数据短缺的情况下比较重要。现在大数据时代，可以直接通过数据分析做出判断，所要做的是直接从“定量的回应”中找出数量特征和数量关系，然后得出可以作为判断或决策依据的结论。因此大数据时代统计分析的过程可以简化为“定量－定性”。在实证分析上，传统思路通常是“假设－验证”，先根据最终的研究目的提出假设性意见，然后收集分析数据，进而验证假设的成立与否。这种实证分析容易受到数据的缺失、假设的局限性以及指标选择的不当等的影响，得不到正确的结论。尤其是在假设本身的非科学性、非客观性、非合理性的情况下，得出的结论更是毫无用处，甚至歪曲事实本身。在现在的大数据时代，可以从中寻找关系、发现规律而不受任何假设的限制，然后得出结论，分析的思路可以概括为“发现－总结”。 (二)研究对象的变化 首先，从数据来源上看，传统的统计抽样调查方法有一些不足:抽样框不稳定，随机取样困难;事先设定调查目的会限制调查的内容和范围;样本量有限，抽样结果经不起细分;纠偏成本高，可塑性弱。而在大数据时代，更多的是将总体直接作为研究对象，摒弃了抽样样本的研究，传统统计抽样调查方法的不足可以在大数据时代得到改进。其次，对于数据类型而言，传统数据通常是结构型的，即
定量数据加上少量的定性数据，格式化，有标准，可通过常规的统计指标和统计图来表示。而大数据则注重非结构性数据或者半结构、异结构数据，多样化、无标准，很难通过传统的统计指标或统计图表加以表现。 (三)假设检验的变化 传统的统计研究，通常是根据内容提出假设意见，然后根据最初设定的理论模型来检验验证假设的真实效用性。但对于大数据时代而言，信息资源充足，可以采用人工智能对数据信息进行挖掘开发，需要验证的假设比传统经济学研究多出很多，不在一个数量级上。传统的假设验证分析是无法满足大数据时代的需求的。 (四)分析关系的变化
大数据时代的数据概念分析及其他 一、概念： "大数据"是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。"大数据"首先是指数据体量(volumes)?大，指代大型数据集，一般在10TB?规模左右，但在实际应用中，很多企业用户把多个数据集放在一起，已经形成了PB级的数据量；其次是指数据类别(variety)大，数据来自多种数据源，数据种类和格式日渐丰富，已冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。接着是数据处理速度（Velocity）快，在数据量非常庞大的情况下，也能够做到数据的实时处理。最后一个特点是指数据真实性（Veracity）高，随着社交数据、企业内容、交易与应用数据等新数据源的兴趣，传统数据源的局限被打破，企业愈发需要有效的信息之力以确保其真实性及安全性。 百度概念: 大数据(bigdata)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据的4V特点：Volume、Velocity、Variety、Veracity。 研究机构Gartner概念： "大数据"是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从数据的类别上看，"大数据"指的是无法使用传统流程或工具处理或分析的信息。它定义了那些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集。亚马逊网络服务（AWS）、大数据科学家JohnRauser提到一个简单的定义：大数据就是任何超过了一台计算机处理能力的庞大数据量。研发小组对大数据的定义："大数据是最大的宣传技术、是最时髦的技术，当这种现象出现时，定义就变得很混乱。" Kelly说："大数据是可能不包含所有的信息，但我觉得大部分是正确的。对大数据的一部分认知在于，它是如此之大，分析它需要多个工作负载，这是AWS的定义。当你的技术达到极限时，也就是数据的极限"。大数据不是关于如何定义，最重要的是如何使用。最大的挑战在于哪些技术能更好的使用数据以及大数据的应用情况如何。这与传统的数据库相比，开源的大数据分析工具的如Hadoop的崛起，这些非结构化的数据服务的价值在哪里。 二、大数据分析 从所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取很多智能的、深入的、有价值的信息。那么越来越多的应用涉及到大数据，而这些大数据的属性，包括数量，速度，多样性等等都是呈现了大数据不断增长的复杂性，所以大数据的分析方法在大数据领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。基于如此的认识，大数据分析普遍存在的方法理论有哪些呢？ 大数据分析的五个基本方面： 1、可视化分析Analytic Visualizations
大数据时代数据分析与信息安全 目前，中国已进入大数据时代，科学的大数据管理对于我国实现网络强国目标具有重要意义。本文基于目前全球数据发展的推动作用，结合中国大数据时代的具体特点，分析、探讨大数据时代背景下的信息安全特点，并作简要讨论。 标签：大数据；信息安全；数据分析 大数据是社会科学技术发展和工业化的融合，目前随着全球化进程的加剧，数据信息的增加，其发展规模和速度都发生了巨大变化。全球化的大数据融合，必然会引起各国对信息安全的高度重视，尤其是与其他国家相连接和互动的国际信息。这些信息不仅会影响我国的外交、经济、军事、政治和文化，更会给我国的信息安全管理工作带来巨大挑战。本文通过分析大数据时代的发展趋势，着重探索其特点和安全要求。 一、大数据时代的发展趋势 近年来，相关业界和学术界提出了大数据的讨论，大数据时代已经到来。大数据给学术界带来了新的思路，且颠覆了很多传统的行业模式，并为之带来了新的发展变化。据预测，大数据将成为企业、政府、研究、教育、医疗和其他行业的新挑战。大数据的核心技术是对信息的存储和传输进行整理分析，要求做到数据实时处理、真实有效。相比于传统信息的挖掘和应用，大数据更具优势，打破了传统数据源的局限性，给全世界的商业模式带来了新的机遇和挑战，其潜在的价值也将带来新的市场空间。与此同时，无处不在的数据，也对信息安全提出了新的标准和要求。与大数据技术相关的产业链将迎来一个新的发展时期，美国在20世纪90年代就提出了“信息高速公路”项目和技术，此外，日本、英国、澳大利亚和其他国家都已出台了战略举措和相应的大数据技术。 大数据属于数据集，其特点是种类多、容量大、应用方便、存取方便、发展速度快，大数据的科学管理方法已成为新一代的重要信息技术。在大数据背景下逐渐形成的万物互联的发展趋势促进了全球经济的发展。国际经济新格局的发展趋于网络化、智能化，数据共享日益方便，因此互联网信息安全也进入大数据时代。发达国家相继出台与大数据相关的政策，使大数据成为经济发展和转型的新动力，并且给国家带来新的发展机遇。2014年中国正式提出行动数据大计划，将发展大数据作为未来发展的重要战略目标。在大数据时代，我国的信息安全管理工作也将迎来新的发展机遇和挑战，政府和各行业间的信息资源，将通过整合、共享、相互渗透，实现数据间的有效连接，由此将会带来信息安全保证的挑战，促使信息安全管理变得更加全面，使人们不得不树立新的信息安全管理意识。 二、数据分析现状及发展 大数据的价值不可估量，并且被誉为“未来石油”。企业通过海量的数据信息挖掘，从中发现商机、明确客户需求，从而准确锁定目标客户。大数据产业具有
邬贺铨：大数据时代的发展趋势 2013-07-24 13:49:31 来源：CIO时代网 摘要：中国工程院副院长、院士、国家信息化专家咨询委员会委员邬贺铨先生首先以“大数据时代的发展趋势”为主题发表了精彩的演讲。 关键词：大数据信息化CIO 以“从大数据中挖掘大价值”为主题的“第二届中国大数据应用论坛”于2013年7月21日在北京大学英杰交流中心阳光大厅隆重举办。本次活动由北京大学信息化与信息管理研究中心和北京大学CIO班教务办公室主办，北达软协办，CIO时代网承办。各企事业单位信息化负责人、北大CIO班学员及有关媒体代表200多人荟萃于此，对大数据的众多议题进行了热烈讨论。 中国工程院副院长、院士、国家信息化专家咨询委员会委员邬贺铨先生首先以“大数据时代的发展趋势”为主题发表了精彩的演讲。邬院士的精彩观点包括：大数据必然催生大带宽；云计算将改变互联网流量和流向，大数据将驱动大量部署的对等连接，网络节点位置从信源中心向能源中心扩展；大数据呼唤智能化的处理和分析。以下为演讲实录： 中国工程院副院长、院士、国家信息化专家咨询委员会委员邬贺铨尊敬的北大的各位老师、各位专家、各位CIO，很高兴来参加这次论坛。最近这几天好像有点“CIO热”，上个礼拜Gartner在北京有CIO论坛，明天在上海也有CIO论坛，大数据论坛也是到处在开。今天的标题是“大数据应用”，我知道今天后面的几位报告人会讲到大数据在教育、医疗、商业等等方面的应用，所以我这里就只讲一下大数据时代的ICT 趋势，会讲到四个方面的问题：大数据浪潮的到来、大带宽发展的趋势、大网络布局的演变、大数据挖掘的挑战。
第一，大数据浪潮的到来。绿色图表示每个网民人均每个月下载流量，1998年每个网民一个月只需要一兆流量，2003年就需要一百兆，2008年就是1G，到2014年每个月要10个G的下载量。右边的图是讲全世界互联网流量累计达到1EB所需要的时间，2001年需要一年，2004年需要一个月，而今年只需要一天。2012年去年全世界互联网一天的信息量大概是1EB，可以刻满1.68亿张DVD，。现在全世界新产生的数据量每年增加40%，每两年数据翻一番。2012年、2013年产生数据量总和是人类有历史以来到2011年产生数据量的总和，两年的数据量等于一万年的总和，这个数据规模为1.8ZB，假如把这个数据装在32G的IPad上，要装575亿个，把这些iPad摞起来，可以摞起两座中国的长城。2020年全球数据将达到40ZB，如果将数据装在光盘上，这些光盘总重量等于424艘尼米兹号航母。所以说，大数据时代到来了。 大数据有网络数据、企事业单位数据、政府数据，网络数据自媒体数据（比如社交网络、博客、微博等），有日志数据（比如搜索引擎，大家上网等等都会留下很多足迹），还有富媒体数据（视频、音频等等），每天的数据量很大。比如淘宝每天数据量就超过50个TB；新浪微博晚上高峰的时候一秒钟就要接收100万以上的响应请求；百度每天大概处理60亿次搜索请求，几十PB；中国联通每天记录用户上网条数，一秒钟记录83万条，一个月大概是300TB；国家电网信息中心目前累计收集了2PB的数据；北京公交一卡通，每天用公交一卡通的旅客有4000万刷卡记录，而北京地铁每天乘客1000万，把这些数据每天收集起来分析数据可以用于改善北京的交通状况，优化北京的公交线路。 最大的流量是视频。美国TouTube网站一分钟有72小时的视频上载，到2016年互联网上的忙时流量是720Tbps，相当于全世界有6亿人同时看不一样的高清电影。到2016年每3分钟互联网传送360万小时视频，相当于全球已经生产的全部电影。这个电影用什么量衡量呢？如果一个人要看3分钟所传送的电影，需要34年不吃饭、不睡觉才能看完。最近两个月在TouTube上载的视频量是美国三大电视台--ABC、NBC、CBS自1948年以来 24/7/365连续播出的内容，可以看到视频流量非常大。 大数据无所不在。图中是美国的一家医院（UPMC），一年能收500TB数据；伦敦有200个交通摄像头，每天是8TB数据；伦敦才200个，北京有八十万个摄像头，数据量要比伦敦大得多了。还有其他方面的数据量，大数据无所不在。就监控而言，很多城市的摄像头多达几十万个，一个月的数据就达到数十个PB。北京公安局规定，所有超市，只要有开放食品架的，全都要装高清摄像头，能清晰的拍摄到走在架前人的脸部，以防投毒，防用针管装艾滋病毒、传染病毒打到液体里等，那么产生的数据就更大了。飞机的汽轮机产生的数据是Twitter的七倍，例如波音787，它每一个飞行来回可产生TB级的数据，美国每个月收
《大数据时代》读后感 《大数据时代》这本书主要描述的是大数据时代到临人们生活、工作与思维各方面所遇到的重大变革。 文中清晰的阐述了大数据的基本概念和特点，并列出明确的观点。不管对于产业实践者，还是对于政府和公众机构，都非常具有价值。作者将本书分为3个部分。第一部分提出了大数据时代处理数据理念上的三大转变：抽样等于全体；要效率不要绝对精确；要相关不要因果；第二部分作者从万事万物数据化和数据交叉复用的巨大价值两个方面，讲述驱动大数据战车在材质和智力方面向前滚动的最根本动力；最后一部分，作者描绘了大数据帝国前夜的脆弱和不安，包括产业生态环境、数据安全隐私、信息公正公开等问题。 本书观点掷地有声，作者观念高屋建瓴，从很多实例和经验中萃取普适性观念。例子详实丰富，囊括了进百个学术和商业实例。 引言提出了大数据将给生活、工作于思维带来重大的变革。一个例子是2009年H1N1流行病毒背景下谷歌通过检测检索词条，处理了4.5亿个不同的数据模型，通过预测并与2007年、2008年美国疾控中心记录的实际流感病例进行对比后，确定了45条检索词条组合，并将其用于一个特定的数学模型后，预测的结果与官方数据的相关系数高达97%。按照传统的信息返回流程，通告新流感病毒病例将有一到两周的延迟。对于飞速传播的疾病，信息滞后两周是致命的。而谷歌运用大数据技术，以前所未有的方式，通过海量数据分析得出流感所传播的范围，为世界预测流感提供了一种更快捷的预测工具。此外，我联想到原淘宝董事长马云通过大量数据分析得出2008年经济疲弱，为其商家提前做好迎接经济危机提供了时间缓冲。（补充并清晰描述详细）关于大数据在商业领域的应用，Farecast公司是一个成功的典型范例。该公司由奥伦·埃齐奥尼创办，利用机票的销售数据来预测未来的机票价格，旨在帮助用户在购买机票方面做出预测，并对机票价格走势预测的可信度标示出来供消费者查考。Farecast系统利用近十万亿条价格记录预测的准确度达75%，使得使用Farecast票价预测工具购买机票的旅客，平均每张机票节约50美元。而处理如此多的数据离开了大数据技术将无法进行。
西南财经大学天府学院 大数据时代的信息分析实 训报告 学生姓名：31300427商靖诚 31300510张越越 31300426何通 31300626顾苓琰 31300441刘鹏 所在班级：2013级103班
摘要 对于数据分析，这无疑是一个前所未有的黄金时代。现在，几乎每个人的衣袋都有一部可以随时联网的智能手机，更强大的平板电脑则安静的躺在数亿人的手提包里，加之久久没有退出历史舞台的个人电脑和方兴未艾的物联网中的电子设备，这个世界，每时每刻有数以百亿计的电子精灵在产生数据，一个崭新的数据爆炸时代正喷薄而出。本文以大数据和大数据分析来写，从了解大数据的概念、大数据与传统数据库应用的比较，大数据与大数据分析的概念来了解什么是大数据，通过实训模拟来进一步描述我们所了解的大数据，从我们的实训模拟中来得出的大数据来知道现在这个信息发达的时代什么是需要的、什么是我们可以通过数据去完成的。然后在文中也写到了大数据的两面性，我们要合理利用大数据。 关键词：大数据数据爆炸数据分析
Abstract For data analysis, this is a hitherto unknown of the golden age. Now, almost everyone has a mobile phone pocket intelligent can be networked, flat computer more powerful quietly lying in the hundreds of millions of people's handbag, and for a long time without electronic equipment, quit the stage of history of the personal computer and the Internet of things be just unfolding in the world, all electronic elves tens of billions of in the data, a new era of information explosion is gushing out. Based on the analysis of large data and data to be written to, from concept, large data of large data and traditional database applications, concept analysis data and data to understand what is the big data, large data further described by training simulation, we know, big data from our training simulation at from now to know this information developed era of what is needed, what we can through the data to complete the. Then wrote two sides of large data in this paper, we should make use of the large data. Keywords: Big data The data explosion
SPSS生活统计学 随着计算机技术的发展普及，各种信息系统的广泛运用，各类系统中积累了大量的原始数据，分析这些数据内部所蕴含的规律、预测相关系统的运行趋势，已经成为当代各行各业的迫切需求，“大数据”这个词在这样的时代背景下产生并走红，对数据分析能力培养就是在大数据的背景下进行的。 大数据 什么是大数据？维基百科上说：大数据指的是网络公司日常运营所产生的和积累用户网络行为所获得的海量数据。大数据不是一种新技术，也不是一种新产品，而是一种新现象。大数据具有以下特点： ?数据体量巨大；大型数据集的数据量可以达到TB级，甚至PB级。 ?数据类别繁多；数据来自多种数据源，数据种类和格式冲破了以前所限定的结构化数据范畴，囊括半结构化和非结构化数据。 ?价值密度低；以视频为例，在连续不间断监控过程中，可能有用的数据仅仅1~2秒。 ?处理速度快；大大数据处理中包含大量在线或实时数据分析处理的需求。 大数据的处理流程，是指在合适工具的辅助下，对广泛异构的数据进行抽取和集成，对结果按照一定的标准统一存储，然后利用合适的数据分析技术对存储的数据进行分析，从中提取有益的知识并利用恰当的方式将结果展现给终端用户。总结来说，分为数据获取与集成、数据分析以及数据解释。由于现代大数据的上述四个特点，决定了大数据处理流程的每一步都要发展和调整，才能得到满意的结果。 大数据分析研究 随着大数据热的兴起，数据分析与数据挖掘的技术日益成熟，统计学、数据分析的技术手段被引入到大数据处理过程中。 首先，统计学的理论被引入到大数据处理领域。由于大数据的规模大，经过数据清洗的有效数据通常符合统计规律，因此信度系数检验、关联性分析、数据离散度分析、聚类分析、主成分分析等被广泛应用到大数据处理的过程中。 其次，除了传统的数据分析技术之外，遗传算法、神经网络、语义网络、分布式数据库管理等处理技术已经成熟。 第三，专业的数据挖掘软件、数据推送技术快速发展。
大数据时代 最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。” “大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。 大数据 随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。著云台的分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。 “大数据”在互联网行业指的是这样一种现象：互联网公司在日常运营中生成、累积的用户网络行为数据。这些数据的规模是如此庞大，以至于不能用G或T来衡量。 大数据到底有多大？一组名为“互联网上一天”的数据告诉我们，一天之中，互联网产生的全部内容可以刻满1.68亿张DVD；发出的邮件有2940亿封之多（相当于美国两年的纸质信件数量）；发出的社区帖子达200万个（相当于《时代》杂志770年的文字量）；卖出的手机为37.8万台，高于全球每天出生的婴儿数量37.1万…… 截止到2012年，数据量已经从TB（1024GB=1TB）级别跃升到PB（1024TB=1PB）、EB （1024PB=1EB）乃至ZB(1024EB=1ZB)级别。国际数据公司（IDC）的研究结果表明，2008年全球产生的数据量为0.49ZB，2009年的数据量为0.8ZB，2010年增长为1.2ZB，2011年的数量更是高达1.82ZB，相当于全球每人产生200GB以上的数据。而到2012年为止，人类生产的所有印刷材料的数据量是200PB，全人类历史上说过的所有话的数据量大约是5EB。IBM 的研究称，整个人类文明所获得的全部数据中，有90%是过去两年内产生的。而到了2020年，全世界所产生的数据规模将达到今天的44倍。
大数据与“我” 又一批新生的到来，不知他们是不是和我们那时一样对大数据了解甚微，所以就由我们来向小十九们介绍一下吧！ 什么是大数据？ 大数据是指所涉及的数据规模巨大到无法通过人工或计算机在合理的时间内达到截取、管理、处理并整理成人们所能理解的形式的信息。
你知道什么是大数据的4V特性吗？ 1、数据量巨大（Volume） 根据著名咨询机构IDC（internet data center）做出的预测，人类社会产生的数据一直都在以每年50%的速度增长，基本上是每两年度就增加一倍，被形象的称之为“数据量摩尔定律”。而相信这样的预测有望被汹涌而至的大数据时代和人工智能时代的来临而很大程度上突破，数据量的真实增长会是怎样的只有明天才有结论，但是数据量大的大数据时代却是一定的牢不可动的第一标签。 2、数据类型繁多（Variety） 数据类型分为结构化、半结构化以及非结构化这三大类。大型商业运营阶段的数据类型多为传统的结构化数据，这些数据多为隐私性和安全性级别都十分高的商业、贸易、物流以及财务、保险、股票等等的传统支柱行业数据；而互联网时代产生的数据类型多为非结构化的电子商务交易数据、社交网络数据、图片定位数据以及商业智能报表、监控录像等。数据类型的改变也促进了新型数据库的大力发展，如Nosql和Newsql数据库都得到了长足的发展。 3、信息处理数据高（Velocity） 大的数据量、繁杂的数据类型，必然要求高的信息处理速度，而确实最近这些年计算机核心处理单元CPU的综合信息处理能力是呈指数级别增长的。实际CPU运算速度的增长是分为两个阶段的，第一阶段行业的关注重点是单个核心的睿频的不断地提升，但到了21世纪初提高单核CPU已很困难，且成本也不再符合市场的需求，因此行业领导者如intel和AMD都把提高信息的处理速度的方式转变到多核心联动处理，而大数据时代的到来为多核心多线程的信息处理提供了极大的技术融合优势。 4、价值密度底（Value） 数据量虽然巨大，但是人们关注的其中的有用信息却是不容易寻觅和发现的，这也是大数据时代的一个很大的特点，数据量级巨大，但是人们需要的有价值的数据资料和数据决策却是十分难得，需要专业人员根据各自行业的需求，通过特定的技术手段和研究方法，在海量的价值密度极低的数据海洋里找到合适的数据集，通过具体可行的数据分析挖掘方法去得到可以利用的高密度价值的数据，促进低密度数据的高价值信息提取，从而实现大数据的科学合理利用。
简介 《大数据时代》是国外大数据系统研究的先河之作，本书作者维克托?迈尔?舍恩伯格被誉为“大数据商业应用第一人”，拥有在哈佛大学、牛津大学、耶鲁大学和新加坡国立大学等多个互联网研究重镇任教的经历，早在2010年就在《经济学人》上发布了长达14页对大数据应用的前瞻性研究。 维克托尔耶舍恩伯格在本书中前瞻性地指出，大数据带来的信息风暴正在变革我们的生活、工作和思维，大数据开启了一次重大的时代转型，并用三个部分讲述了大数据时代的思维变革、商业变革和管理变革。 维克托最具洞见之处在于，他明确指出，大数据时代最大的转变就是，放弃对因果关系的渴求，而取而代之关注相关关系。也就是说只要知道“是什么”，而不需要知道“为什么”。这颠覆了千百年来人类的思维惯例，对人类的认知和与世界交流的方式提出了全新的挑战。 本书认为大数据的核心就是预测。大数据将为人类的生活创造前所未有的可量化的维度。大数据已经成为了新发明和新服务的源泉，而更多的改变正蓄势待发。书中展示了谷歌、微软、亚马逊、IBM、苹果、facebook、twitter、VISA等大数据先锋们最具价值的应用案例。 序言 大数据，变革商业 大数据不仅改变了公共卫生领域，整个商业领域都因为大数据而重新洗牌。购买飞机票就是一个很好的例子。 2003 年，奥伦埃齐奥尼（OrenEtzioni）准备乘坐从西雅图到洛杉矶的飞机去参加弟弟的婚礼。他知道飞机票越早预订越便宜，于是他在这个大喜日子来临之前的几个月，就在网上预订了一张去洛杉矶的机票。在飞机上， 埃齐奥尼好奇地问邻座的乘客花了多少钱购买机票。当得知虽然那个人的机票比他买得更晚，但是票价却比他便宜得多时，他感到非常气愤。于是，他又询问了另外几个乘客，结果发现大家买的票居然都比他的便宜。对大多数人来说，这种被敲竹杠的感觉也许会随着他们走下飞机而消失。然而，埃齐奥尼是美国最有名的计算机专家之一，从他担任华盛顿大学人工智能项目的负责人开始，他创立了许多在今天看来非常典型的大数据公司，而那时候还没有人提出“大数据”这个概念。 1994 年，埃齐奥尼帮助创建了最早的互联网搜索引擎MetaCrawler，该引擎后来被InfoSpace公司收购。他联合创立了第一个大型比价网站 Netbot，后来把它卖给了Excite 公司。他创立的从文本中挖掘信息的公司ClearForest则被路透社收购了。在他眼中，世界就是一系列的大数据问题，而且他认为他有能力解决这些问题。作为哈佛大学首届计算机科学专业的本科毕业生，自1986年毕业以来，他也一直致力于解决这些问题。 飞机着陆之后，埃齐奥尼下定决心要帮助人们开发一个系统，用来推测当前网页上的机票价格是否合理。作为一种商品，同一架飞机上每个座位的价格本来不应该有差别。但实际上，价格却千差万别，其中缘由只有航空公司自己清楚。 埃齐奥尼表示，他不需要去解开机票价格差异的奥秘。他要做的仅仅是预测当前的机票价格在未来一段时间内会上涨还是下降。这个想法是可行的，但操作起来并不是那么简单。这个系统需要分析所有特定航线机票的销售价格并确定票价与提前购买天数的关系。 目录
浅谈大数据时代下的数据分析与挖掘 摘要由于科学技术的快速发展，同时也引领着社会各项事业共同前进，其中大数据时代的来临更是为众多的行业注入了新的活力。不仅科研单位对数据的获取与挖掘提高了重视，企业发展对数据的内容和可靠性也产生了较强的依赖性。因此在这种环境下，数据挖掘和数据分析已经成为一种主流技术，在大数据时代的发展中发挥着不可磨灭的作用。 关键词大数据时代；数据挖掘；数据分析 1 大数据概述 由于信息化时代的来临，大数据已经成为当今世界的核心话题，它不仅具有理论的研究意义，而且更加具有应用的实际发掘价值。除此之外，大数据的战略化意义也不仅仅局限于掌握庞大的数据信息，更着重于其对于有意义的数据进行专业化，精准化的分析处理，通过这种方式以此来实现数据的增值。 在经济，政治，科技全球化的时代，数据分析和数据挖掘的能力具有非常重要的实际意义，是促进各学科科技发展，融会贯通的前提。但是它同样也是具有两面性，大数据在促进人类发展的同时，也造成了许多不容忽视的问题。因此为了有效帮助人类利用大数据，尽量减少数据信息化所造成的负面影响，正确合理使用数据挖掘和数据分析是目前需要解决的当务之急[1]。 2 大数据分析和商业信息化的现状 数据价值的最直观应用就是体现在企业管理之中，这个过程往往和商业信息化的演变发展交织在一起。在很早之前，企业的各类业务，财务数据都是通过账簿记录，但是这种方式统计效率极其之低，可靠性也不高。之后随着计算机技术的发展和应用，越来越多的金融业，电信业，大型零售业开始转变了商业模式，并向数据信息化方向进攻。随后，由于数据信息处理能力的不断完善，以及处理分析数据的基础设施的不断健全，基于数据分析的客户管理模式和营销策略开始被愈来愈多的企业接纳并正式应用。 尽管从如今现有的各类资料和工作模式来看，目前绝大多数企业的信息化处理能力还处于初级状态。尤其是对于一些中小型的企业，在大数据的应用上几乎没有什么发展，大都处于空白停滞状态。究其原因，是由于大多数企业的基础设施还未能很大程度上完全匹配并适应对数据的存储和处理能力，甚至对于一些大型的企业，如百度，由于数据挖掘的速度增长过快，需要耗费大量的人力物力来维护和更新储存大数据的基础设施，因此想要形成稳定，成熟的大数据处理能力还待需更多的努力才行。 然而对于综合实力较强的大型公司而言，在数据挖掘和数据分析的应用领域确实是存在成功的案例也为数据信息企业化提供了宝贵的经验[2-5]。
世界的本质就是数据 大数据时代的经济学、政治学、社会学和许多科学门类都会发生巨大甚至是本质上的变化和发展，进而影响人类的价值体系、知识体系和生活方式。哲学史上争论不休的世界可知论和不可知论将会转变为实证科学中的具体问题。可知是绝对的，无事无物不可知；不可知论是相对的，是尚未知道的意思。 大数据时代处理数据理念上的三大转变：要全体不要抽样，要效率不要绝对精确，要相关不要因果。 某些观念有时会以惊人的力量给知识状况带来巨大的冲击。由于这些观念能一下子解决许多问题，所以，它们似乎有希望解决所有基本问题，澄清所有不明了的疑点。每个人都想迅速地抓住它们，作为进入某种新实证科学的法宝，作为可以用来建构一个综合分析体系的概念轴心。这种宏大概念突然流行起来，一时间把几乎所有的东西都挤到了一边。 努力在可以应用、可以拓展的地方，应用它、拓展它；在不能应用、不能拓展的地方，就停下来。我想这应该是所有人面对一个新领域或新概念时应有的态度。 危险不再是隐私的泄露，而是被预知的可能性 大数据的精髓在于我们分析信息时的三个转变，这些转变将改变我们理解和组建社会的方法。 第一个转变就是，在大数据时代，我们可以分析更多的数据，有时候甚至可以处理和某一个特别现象相关的所有数据，而不再依赖于随机采样。 随机采样是在不可收集和分析全部数据的情况下的选择，它本身存在许多固有的缺陷。它的成功依赖于采样的绝对随机性，但是实现采样的随机性非常困难。更糟糕的是，随机采样不适合考察子类别的情况，因为一旦继续细分，随机采样结果的错误率大大增加。因此，当人们想了解更深层次的细分领域的情况时，随机采样的方法就不可取了。 随机采样也需要严密的安排和执行。随机采样的方法并不适用于一切情况，因为这种调查结果缺乏延展性，即调查得出的数据不可以重新分析以实现计划之外的目的。 采样忽视了细节考察。在很多领域，从收集部分数据到收集尽可能多的数据的转变已经发生了。如果可能的话，我们会收集所有的数据，即样本等于总体。 大数据是指不用随机分析法这样的捷径，而采用所有数据的方法。 第二个转变就是，研究数据如此之多，以至于我们不再热衷于追求精确度。 执迷于精确性是信息缺乏时代和模拟时代的产物 在大数据时代要求我们重新审视精确性的优劣。我们掌握的数据库越来越全面，我们不再需要那么担心某个数据点对整套分析的不利影响。我们要做的就是要接受这些纷繁的数据并从中受益，而不是以高昂的代价消除所有的不确定性。 大数据不仅让我们不再期待精确性，也让我们无法实现精确性。 要想获得大规模数据带来的好处，混乱应该是一种标准途径，而不应该是竭力避免的。 相对依赖于小数据和精确性的时代，大数据因为更强调数据的完整性和混杂性，帮助我们进一步接近事实的真相，部分和确切的吸引力是可以理解的，但是，当我们的视野局限在我们可以分析和能够确定的数据上时，我们对世界的整体理解就可能产生了偏差和错误。不仅失去了去经历收集一切数据的动力，也失去了从各个不同角度来观察事物的权利。 第三个转变因前两个转变而促成，即我们不再热衷于寻找因果关系。 通过给我们找到一个现象的良好的关联物，相关关系可以帮助我们捕捉现在和预测未来。我们理解世界不再需要建立在假设的基础上，这个假设是指针对现象建立的有关其产生机制和内在机理的假设。大数据的相关关系分析法更准确、更快，而且不易受偏见的影响。 建立在相关关系分析法基础上的预测是大数据的核心。 通过找出新种类数据之间的相互联系来解决日常需要
浅谈大数据时代的数据分析与挖掘 随着改革开放的进一步深化，以及经济全球化的快速发展，我国各行各业都有了质的飞跃，发展方向更加全面。特别是近年来科学技术的发展和普及，更是促进了各领域的不断发展，各学科均出现了科技交融。在这种社会背景下，数据形式和规模不断向着更加快速、精准的方向发展，促使经济社会发生了翻天覆地的变化，同时也意味着大数据时代即将来临。就目前而言，数据已经改变传统的结构模式，在时代的发展推动下积极向着结构化、半结构化，以及非结构化的数据模式方向转换，改变了以往的只是单一地作为简单的工具的现象，逐渐发展成为具有基础性质的资源。文章主要针对大数据时代下的数据分析与挖掘进行了分析和讨论，并论述了建设数据分析与挖掘体系的原则，希望可以为从事数据挖掘技术的分析人员提供一定的帮助和理论启示，仅供参考。 标签：大数据；数据分析；数据挖掘；体系建设 引言 進入21世纪以来，随着高新科技的迅猛发展和经济全球化发展的趋势，我国国民经济迅速增长，各行业、领域的发展也颇为迅猛，人们生活水平与日俱增，在物质生活得到极大满足的前提下，更加追求精神层面以及视觉上的享受，这就涉及到数据信息方面的内容。在经济全球化、科技一体化、文化多元化的时代，数据信息的作用和地位是不可小觑的，处理和归类数据信息是达到信息传递的基础条件，是发展各学科科技交融的前提。 然而，世界上的一切事物都包含着两个方面，这两个方面既相互对立，又相互统一。矛盾即对立统一。矛盾具有斗争性和同一性两种基本属性，我们必须用一分为二的观点、全面的观点看问题。同时要积极创造条件，促进矛盾双方的相互转变。数据信息在带给人们生产生活极大便利的同时，还会被诸多社会数据信息所困扰。为了使广大人民群众的日常生活更加便捷，需要其客观、正确地使用、处理数据信息，完善和健全数据分析技术和数据挖掘手段，通过各种切实可行的数据分析方法科学合理地分析大数据时代下的数据，做好数据挖掘技术工作。 1 实施数据分析的方法 在经济社会快速发展的背景下，我国在科学信息技术领域取得长足进步。科技信息的发展在极大程度上促进了各行各业的繁荣发展和长久进步，使其发展更加全面化、科学化、专业化，切实提升了我国经济的迅猛发展，从而形成了一个最佳的良性循环，我国也由此进入了大数据时代。对于大数据时代而言，数据分析环节是必不可少的组成部分，只有科学准确地对信息量极大的数据进行处理、筛选，才能使其更好地服务于社会，服务于广大人民群众。正确处理数据进行分析过程是大数据时代下数据分析的至关重要的环节。众所周知，大数据具有明显的优势，在信息处理的过程中，需要对大容量数据、分析速率，以及多格式的数据三大问题进行详细的分析和掌握。
浅析大数据时代的运营商经营分析 汪继红 （中国联合网络通信呼和浩特市分公司，呼和浩特010020） 摘要：运营商的经营分析是通过对经营数据的分析，深究数据背后的规律和存在的问题，来进一步对企业的经营状况做出客观分析和判断，数据无疑是经营分析的重要支撑。大数据时代，通信运营商需要更加有效的应用大数据资源，构建一个完善的一体化的经营分析系统是经营分析转型的关键，也是转型的技术核心，对推进经营分析大数据化，促进电信运营商做实用户、做实收入，对电信运营商甚至是电信行业都是有重要的现实意义的。 关键词：大数据、经营分析、一体化、共建共享 运营商的经营分析（Business Analysis）就是适应企业在市场经济的需要，运用定量分析、定性分析以及相关业务分析等方法，对部数据和外部数据进行综合性分析的一种现代经营分析体系。运营商通过经营分析，准确掌握上一个时期的市场份额、收入结构、盈利能力、重点业务发展、通信能力、网络支撑能力、维系和服务能力等各项经营的推进情况，并通过数据的发展趋势，对下一步经营做出科学判断和定位，对企业运营起着重大的作用。经营分析是以数据为前提和依据的，数据无疑是经营分析的重要支撑。数据的可靠性、准确性、有效性、关联性等，都直接影响到经营分析的质量。 大数据（BigData）以其数据量大（Volume）、类型繁多（Variety）、价值密度低（Value）、速度快时效高（Velocity）的特征被人们迅速熟知，电信运营商通过技术的创新与发展，也已经在经营数据的全面感知、收集和分析上做出一些行动，例如通过预测分析软件预测客户的行为，发现用户行为趋势，提前进行挽留具有离网趋向的用户，降低公司用户流失率；NTT docomo把手机位置信息和互联网上的信息结合起来，为顾客提供附近的餐饮店信息，接近末班车时间时，提供末班车信息服务。但就运营商的经营分析还存在很多的疑问和争议，对大数据的广泛应用还处在转型阶段。 本文从经营分析问题背后的本质出发，对现有经营分析对大数据的应用进行归纳和总结，最后预测大数据时代的运营商经营分析的发展方向。这是一场由技术驱动的转型，更是一场思维的变革。