浅谈大数据

龙源期刊网

浅谈大数据及大数据分析

作者：吕跃超

来源：《电脑知识与技术》2018年第18期

摘要：认识当今的大数据环境、新型分析方法的基本原理和商机、所需的角色，以及垂直行业中具有代表性的大数据分析示例。明确大数据，高级分析的四大业务驱动因素，区分用于业务智能与用于数据科学的方法，描述数据科学家在新型大数据生态系统内的角色。

关键词：大数据；大数据数据结构；数据存储库

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2018）18-0001-02

人类已经进入了信息时代，大数据将要融入人们的生活，那么什么是大数据？数据何以成为“大”数据？“大数据”是指数据的规模、分布、多样性或时效性要求必须使用新型技术体系结构和分析，以发掘新的业务价值源。

1 大数据的特征

大数据具有多项特征，其中3项较为突出，可作为界定特征：

1）巨大的数据量。

2）数据类型和结构的复杂性，非结构化数据量与日俱增（现存数据中的 80%-90% 为非结构化数据）。

3）生成新数据的速度快。

此外，由于这类数据规模过大或结构层次过于复杂，因此仅采用传统的数据库或方法无法高效地对其进行分析。

新兴的大数据商机和解决方案数不胜数。这里列举其中几个：Netflix 为您的下一次影碟租赁提供建议，通过动态监视桥体内嵌的传感器来检测实时应力和长期腐蚀，零售商通过分析数字视频流来优化产品布局和显示布局及各个商店的促销空间，以上是大数据如何渗透到我们当今生活的一些真实示例。

这些种类的大数据问题需要采用新的工具或技术来进行存储、管理以及实现业务优化。此类数据所需的新体系结构由新工具、流程和规程提供支持，从而帮助组织创建、操作和管理这些极为庞大的数据集以及用于承载这些数据集的存储环境。

浅谈大数据及展望未来

XXX

（班级:2班，学号:**********）

引言

早在2007年，人类制造的信息量有史以来第一次在理论上超过可用存储空间总量，近几年两者的剪刀差越来越大。2010年，全球数字规模首次达到了“ZB”（1ZB＝1024TB）级别。2012年，淘宝网每天在线商品数超过8亿件。2013年底，中国手机网民超过6亿户。随着互联网、移动互联网、传感器、物联网、社交网站、云计算等的兴起，我们这个社会的几乎所有方面都已数字化，产生了大量新型、实时的数据。无疑，我们已身处在大数据的海洋。

有两个重要的趋势使得目前的这个时代（大数据时代）与之前有显著的差别：其一，社会生活的广泛数字化，其产生数据的规模、复杂性及速度都已远远超过此前的任何时代；其二，人类的数据分析技术和工艺使得各机构、组织和企业能够以从前无法达到的复杂度、速度和精准度从庞杂的数据中获得史无前例的洞察力和预见性。

大数据是技术进步的产物，而其中的关键是云技术的进步。在云技术中，虚拟化技术乃最基本、最核心的组成部份。计算虚拟化、存储虚拟化和网络虚拟化技术，使得大数据在数据存储、挖掘、分析和应用分享等方面不仅在技术上可行，在经济上也可接受。

在人类文明史上，人类一直执着探索我们处的世界以及人类自身，一直试图测量、计量这个世界以及人类自身，试图找到隐藏其中的深刻关联、运行规律及终极答案。大数据以其人类史上从未有过的庞大容量、极大的复杂性、快速的生产及经济可得性，使人类第一次试图从总体而非样本，从混杂性而非精确性，从相关关系而非因果关系来测量、计量我们这个世界。人类的思维方式、行为方式及社会生活的诸多形态（当然包括商业活动）正在开始发生新的变化。或许是一场革命性、颠覆性的变化。从这个意义上讲，大数据不仅是一场技术运动，更是一次哲学创新。

1 大数据的概述

1.1 大数据的概念

大数据（Big Data）是指那些超过传统数据库系统处理能力的数据。它的数据规模和转输速度要求很高，或者其结构不适合原本的数据库系统。为了获取大数据中的价值，我们必须选择另一种方式来处理它。

织，尤其是大型企业，很难在竞争　中生存。这就是趋势，这就是潮　流。正如孙中山先生所言：“天下　大势，浩浩荡荡，顺之者昌，逆之　者亡　顺势而为，才能基业长青；　逆势而动，将会自取灭亡。　现在，从整个经济的发展趋　势来看，随着二产和三产的融合　越来越普遍，产业“垂直整合”和　跨界整合的态势越发明显。越是　接近最终消费者，越能提供优质　服务以牢牢黏住最终消费者的公　司，在产业链中的发言权就会越　大。所以，一旦信息产业与保险　行业结合，随着数据平台、移动支　付、社交网络和电子商务等企业　的纷纷加入，就会把信息产业的　整合趋势和演进规律带入保险行　业，由此可能造成保险行业出现　以下新的态势：一是越贴近最终　消费者，越注意维护消费者体验　度和满意度，越是跨界整合、上下　游通吃，提供一条龙全覆盖的服　务，为消费者服务到底。二是与　信息产业类似，保险市场的业态　极有可能从现阶段的垄断竞争逐　步演进到寡头垄断阶段，即“赢者　通吃，败者出局”，中小公司中仅　有一部分具备差异化专业化优势　的公司才能够留存下来，而大量　提供同质化业务和服务、创新不　足的公司将会举步维艰。　二、大数据与保险　（一）大数据为何与保险有缘　保险的原理和经营特点与大　数据高度吻合，可以说是天造地　设，量身定制。大数据在保险业　大有可为，而且可能是融合得最　好的行业之一。　１．保险经营的数理基础：大　数法则　大数法则构成了保险经营的　基本数理要求，而对同质化大数　的要求可以天然地与大数据吻合　起来。因为通过大数据，可以轻　而易举地抓取、筛选和分析出精　算、营销、投保、服务、理赔等各个　环节的统计数据，自主地找出风　险同质的潜在标的，更加科学地　设定各种费率调节因子，通过费　率杠杆更好地引导投保、改善经　营；可以通过对客户留下的各类　信息和数据的精准分析，向客户　主动提示以前年度风险保障不足　的地方，对比筛选出最适合的保　险产品和服务类型并向其精准推　送；可以根据以前年度客户自身　或所在行业的整体风险情况研究　规律和趋势，主动提供防灾防损　意见和建议。总之，大数据可以　大大提高保险经营过程中的数据　准确性和信息对称性，为风险管　理和客户服务奠定坚实的基础。　２．保险经营的根本条件：最　大诚信　最大诚信是保险经营最重要　的基本原则。在经营过程中，单　靠主观上的道德与诚信是不够　的，需要从客观机制上特别是由　信息数据来提供更为强大的支　撑。在大数据时代，个人或组织　及其一切行为都可以被标准化和　数字化。当这些个人或组织具备　了被筛选分析和逻辑推理的基　础。就可以对其进行信用评分乃　至评级。如果在合法的基础上了　解和掌握客户的交易习惯，对其　交易行为进行挖掘和分析，可以　推理出其诚信程度。因此，保险　公司判断客户信用情况可以不再　仅仅依靠其主观表达，而是增加　客观统计数据信息，用代表行为　模式的数据和概率来提高研判客　户信用情况的准确度，大大提升　防范逆选择和道德风险的水平。　与此同时，线上世界的诚信　度存在明显高于线下世界的趋　势。因为在线上，需求方无时不　在搜寻、比较和交流，所以供给方　在精准营销、引导交易、提供服　务、传递口碑时，可以做到速度最　快、成本最低、影响最大。但这同　时又是一把双刃剑。你可能需要　积累１００次甚至１（１００次诚信服　务才能获得一个好的信用和名　声，但只要失信一次，客户就会通　过社交网络和熟人圈子用难以置　信的速度传播你的“恶名”，将你　的名声毁了。这种倒逼机制时刻　警示你：除非你不是来做生意而　是来烧钱的，否则一个理智正常　的人没有任何理由把自己的信誉　和品牌做砸。这可能就是为什么　当今电子商务的整体诚信度相对　较高，进而倒逼线下服务商也努　力保持良好信用的重要原因之　。　３．保险经营的基本要求：服　务落地　需要提供落地服务可能是保　险与其他金融行业在提供互联网　眼务过程中一个比较显著的区　别，也是保险的优势所在。在银　行、证券、信托等的互联网服务　中，特别是针对个人客户的网上　服务中，基本没有什么落地服务，　所有付款、转让和登记等行为都　可以在网上完成。说白了，就是　・堆数字过去，过一段时间后一　堆数字再回来，不管这堆数字是　２２　《上海保Ｉ￣））

浅谈大数据在交通管理工作中的作用

大数据或称巨量资料，指的是以多元形式，自许多来源搜集而来的庞大数据组，同时需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。而大数据的产生是由高速发展的科技生活，人与人之间的信息频繁流通产生而来，在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样的捷径，而采用所有数据进行分析处理。大数据的5V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值密度)、Veracity（真实性）。

一、交通“大数据”的定义

交通大数据指的是与道路交通的相关的所有道路交通数据，本人认为这些数据分为两大类：一类是包含气候在内的所有道路基础信息，它包括但不限于因天气而对道路产生影响的信息、道路基础路况信息、车道基础信息、道路指示标志信息等等；一类是因人的出行而产生的所有数据，它包括但不限于出行者的出发时间、出发地点、出行路径、行进速度、目的地以及行进所产生的所有信息[1]。而交通大数据的采集方式是多种多样的，对于道路基础信息，在道路规划施工阶段会有基础信息以及标志标线信息产生，此类信息可直接采集录入；在道路建成通车后会逐渐积累行车信息、危险路段信息、组织优化信息等，此类信息需要交通管理部门逐渐积累并收集录入；在使用过程中，因天气变幻会产生实时天气信息，此类信息为实时信息，只要对接端口，可实时调用。而对于交通参与者所产生的信息既包含手机信息软件（包括但不限于地图软件、外卖软件、定位软件等等）、车载信息软件、道路信息采集系统（包括但不限于电子警察、交通卡口等）等所有能够产生交通数据的信息源，此类数据为实时产生，信息量巨大且时效性高，此类信息需实时分析并整合利用[2]。

二、交通“大数据”在道路交通管理工作中作用

（一）强化顶层设计，推动“互联网+智慧交管”。要站在“科技兴警、科技强警”的战略高度，从交警长远发展的角度，围绕用数据提升战斗力的战略需要，坚持可持续、强化顶层设计，研究制定公安交警“大数据”发展规划，确保顶层设计，研究定制公安交警“大数据”发展规划，确保顶层设计的科学性、系统性、实用性[3]。整合互联网平台，通过资源互换与信息共享融合，以大数据、人工智能为支撑，为广大驾驶人、企业等不同群体提供全方位、全流程，体验良好、服务优质的“互联网+交管”服务。