大数据知识

1、大数据概念：

法透过目前主流软件工具，在合理时间内到达撷取、治理、处理、并整理成为帮助企业经营决策更乐观目的的资讯。

“大数据”作为时下最炽热的IT 行业的词汇，随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用渐渐成为行业人士争相追捧的利润焦

点。

早在 1980 年，著名将来学家阿尔文·托夫勒便在《第三次浪潮》一书中，将大数据

热忱地赞颂为“第三次浪潮的华彩乐章”。不过，大约从2023 年开头，“大数据”才成为互联网信息技术行业的流行词汇。美国互联网数据中心指出，互联网上的数据每年将增长50%，每两年便将翻一番，而目前世界上 90%以上的数据是最近几年才产生的。此外，数据又并非单纯指人们在互联网上公布的信息，全世界的工业设备、汽车、电表上有着很多的数 码传感器，随时测量和传递着有关位置、运动、震惊、温度、湿度乃至空气中化学物质的变化，也产生了海量的数据信息。

大数据技术的战略意义不在于把握浩大的数据信息，而在于对这些含有意义的数据进展专业化处理。换言之，假设把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工力量”，通过“加工”实现数据的“增值”。且中国物联网校企联盟认为，物联网的进展离不开大数据，依靠大数据可以供给足够有利的资源。

随着云时代的降临，大数据〔Big data〕也吸引了越来越多的关注。《著云台》的分析师团队认为，大数据〔Big data〕通常用来形容一个公司制造的大量非构造化和半构造化数据， 这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算 联系到一起，由于实时的大型数据集分析需要像MapReduce 一样的框架来向数十、数百或甚至数千的电脑安排工作。

3、大数据的领域：

大数据可分成大数据技术、大数据工程、大数据科学和大数据应用等领域。目前人们谈论最多的是大数据技术和大数据应用。

大数据的 4 个“V”，或者说特点有四个层面：

第一，数据体量巨大。从TB 级别，跃升到PB 级别。

其次，数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。

第三，价值密度低，商业价值高。以视频为例，连续不连续监控过程中，可能有用的数据仅仅有一两秒。

第四，处理速度快。1 秒定律。最终这一点也是和传统的数据挖掘技术有着本质的不

同。

业界将其归纳为 4 个“V”——Volume，Variety，Value，Velocity。

4、大数据技术：

大数据需要特别的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理〔MPP〕数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

大数据技术分为整体技术和关键技术两个方面。 大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无

2、 大数据简介： （1） 整体技术

（2） 关键技术

大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及治理、大数据分析及挖掘、大数据呈现和应用〔大数据检索、大数据可视化、大数据应用、大数据安全等〕。

大数据采集技术：数据是指通过 RFID 射频数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得的各种类型的构造化、半构造化〔或称之为弱构造化〕及非构造化的海量数据，是大数据学问效劳模型的根本。重点要突破分布式高速高牢靠数据爬取或采集、高速数据全映像等大数据收集技术；突破高速数据解析、转换与装载等大数据整合技术；设计质量评估模型，开发数据质量技术。

大数据采集一般分为大数据智能感知层：主要包括数据传感体系、网络通信体系、传感适配 体系、智能识别体系及软硬件资源接入系统，实现对构造化、半构造化、非构造化的海量数 据的智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理和治理等。必需着重攻克针对大数据源的智能识别、感知、适配、传输、接入等技术。根底支撑层：供给大数据效劳平台所需的虚拟效劳器，构造化、半构造化及非构造化数据的数据库及物联网络资源 等根底支撑环境。重点攻克分布式虚拟存储技术，大数据猎取、存储、组织、分析和决策操作的可视化接口技术，大数据的网络传输与压缩技术，大数据隐私保护技术等。

大数据预处理技术：主要完成对已接收数据的辨析、抽取、清洗等操作。

1） 抽取：因猎取的数据可能具有多种构造和类型，数据抽取过程可以帮助我们将这些简单的数据转化为单一的或者便于处理的构型，以到达快速分析处理的目的。

2） 清洗：对于大数据，并不全是有价值的，有些数据并不是我们所关心的内容，而另一些数据则是完全错误的干扰项，因此要对数据通过过滤“去噪”从而提取出有效数据。 数据采集：ETL 工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进展清洗、转换、集成，最终加载到数据仓库或数据集市中， 成为联机分析处理、数据挖掘的根底。

数据存取：关系数据库、NOSQL、SQL 等。根底架构：云存储、分布式文件存储等。

数据处理：自然语言处理(NLP，NaturalLanguageProcessing)是争论人与计算机交互的语言问题的一门学科。处理自然语言的关键是要让计算机“理解“自然语言， 所以自然语言处理又叫做自然语言理解(NLU，NaturalLanguage Understanding)，也称为计算语言学(Computational Linguistics。一方面它是语言信息处理的一个分支，另一方面它是人工智能(AI, Artificial Intelligence)的核心课题之一。

统计分析：假设检验、显著性检验、差异分析、相关分析、T 检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简洁回归分析、多元回归分析、逐步回归、回归推测与残差分析、岭回归、logistic 回归分析、曲线估量、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析〔最优尺度分析〕、bootstrap 技术等等。

数据挖掘：分类〔Classification〕、估量〔Estimation〕、推测〔Prediction〕、相关性分组或关联规章〔 Affinity grouping or association rules 〕、 聚类

〔Clustering〕、描述和可视化、Description and Visualization〕、简单数据类型挖掘(Text, Web ,图形图像，视频，音频等)

模型推测：推测模型、机器学习、建仿照真。

结果呈现：云计算、标签云、关系图等。 大数据存储及治理技术：大数据存储与治理要用存储器把采集到的数据存储起 来，建立相应的数据库，并进展治理和调用。重点解决简单构造化、半构造化和非构造化大 数据治理与处理技术。主要解决大数据的可存储、可表示、可处理、牢靠性及有效传输等几 个关键问题。开发牢靠的分布式文件系统〔DFS〕、能效优化的存储、计算融入存储、大数据的去冗余及高效低本钱的大数据存储技术；突破分布式非关系型大数据治理与处理技术， 异构数据的数据融合技术，数据组织技术，争论大数据建模技术；突破大数据索引技术；突 破大数据移动、备份、复制等技术；开发大数据可视化技术。

开发型数据库技术，数据库分为关系型数据库、非关系型数据库以及数据库缓存系统。其 中，非关系型数据库主要指的是NoSQL 数据库，分为：键值数据库、列存数据库、图存数据库以及文档数据库等类型。关系型数据库包含了传统关系数据库系统以及NewSQL 数据库。

开发大数据安全技术。改进数据销毁、透亮加解密、分布式访问掌握、数据审计等技术；突破隐私保护和推理掌握、数据真伪识别和取证、数据持有完整性验证等技术。

大数据分析及挖掘技术：大数据分析技术。改进已有数据挖掘和机器学习技术；

开发数据网络挖掘、特异群组挖掘、图挖掘等型数据挖掘技术；突破基于对象的数据连接、 相像性连接等大数据融合技术；突破用户兴趣分析、网络行为分析、情感语义分析等面对领 域的大数据挖掘技术。

数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取

隐含在其中的、人们事先不知道的、但又是潜在有用的信息和学问的过程。数据挖掘涉及的 技术方法很多，有多种分类法。依据挖掘任务可分为分类或推测模型觉察、数据总结、聚类、 关联规章觉察、序列模式觉察、依靠关系或依靠模型觉察、特别和趋势觉察等等；依据挖掘 对象可分为关系数据库、面对对象数据库、空间数据库、时态数据库、文本数据源、多媒体数据库、异质数据库、遗产数据库以及环球网 Web；依据挖掘方法分，可粗分为:机器学习方法、统计方法、神经网络方法和数据库方法。机器学习中，可细分为:归纳学习方法(决策 树、规章归纳等)、基于范例学习、遗传算法等。统计方法中，可细分为:回归分析(多元回归、自回归等)、判别分析(贝叶斯判别、费歇尔判别、非参数判别等)、聚类分析(系统聚类、动 态聚类等)、探究性分析(主元分析法、相关分析法等)等。神经网络方法中，可细分为:前向 神经网络(BP 算法等)、自组织神经网络(自组织特征映射、竞争学习等)等。数据库方法主要是多维数据分析或OLAP

方法，另外还有面对属性的归纳方法。

从挖掘任务和挖掘方法的角度，着重突破：1.可视化分析。数据可视化无论对于一般用 户或是数据分析专家，都是最根本的功能。数据图像化可以让数据自己说话，让用户直观的 感受到结果。2.数据挖掘算法。图像化是将机器语言翻译给人看，而数据挖掘就是机器的母 语。分割、集群、孤立点分析还有各种各样五花八门的算法让我们精炼数据，挖掘价值。这些算法肯定要能够应付大数据的量，同时还具有很高的处理速度。3.推测性分析。推测性分 析可以让分析师依据图像化分析和数据挖掘的结果做出一些前瞻性推断。4.语义引擎。语义 引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。语言处理技术包括机器 翻译、情感分析、舆情分析、智能输入、问答系统等。5.数据质量和数据治理。数据质量与 治理是治理的最正确实践，透过标准化流程和机器对数据进展处理可以确保获得一个预设质量 的分析结果。

大数据呈现与应用技术：大数据技术能够将隐蔽于海量数据中的信息和学问挖掘 出来，为人类的社会经济活动供给依据，从而提高各个领域的运行效率，大大提高整个社会 经济的集约化程度。在我国，大数据将重点应用于以下三大领域：商业智能、政府决策、公 共效劳。例如：商业智能技术，政府决策技术，电信数据信息处理与挖掘技术，电网数据信 息处理与挖掘技术，气象信息分析技术，环境监测技术，警务云应用系统〔道路监控、视频 监控、网络监控、智能交通、反电信诈骗、指挥调度等公安信息系统〕，大规模基因序列分析比对技术，Web 信息挖掘技术，多媒体数据并行化处理技术，影视制作渲染技术，其他各种行业的云计算和海量数据处理应用技术等。

5、大数据的换算关系

大数据的最小根本单位是Byte，按挨次给出全部单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、NB、DB，

它们依据进率 1024〔2 的十次方〕来计算：