大数据技术简介

大数据

大数据(big data,mega data)，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的4V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。

第一，数据体量巨大。从TB级别，跃升到PB级别。

第二，数据类型繁多，如前文提到的网络日志、视频、图片、地理位置信息，等等。

第三，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。

第四，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。

大数据最核心的价值就是在于对于海量数据进行存储和分析。

大数据（Big data）通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。

大的数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统，但不是所有的MPP的关系数据库的PB的数据存储和管理的能力。隐含的负载，监控，备份和优化大型数据表的使用在RDBMS的。

SOA管理大数据SOA的三个数据中心模型分别是数据即服务(DaaS)模型、物理层次结构模型和架构组件模型。DaaS数据存取的模型描述了数据是如何提供给SOA组件的。物理模型描述了数据是如何存储的以及存储的层次图是如何传送到SOA数据存储器上的。最后，架构模型描述了数据、数据管理服务和SOA组件之间的关系。

大数据处理常用技术简介

1.Apache Hadoop: 是Apache开源组织的一个分布式计算开源框架，提供了一个分布式文件系统子项目(HDFS)和支持MapReduce分布式计算的软件架构。

2.Apache Hive: 是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

3. Apache Pig: 是一个基于Hadoop的大规模数据分析工具，它提供的 SQL-LIKE语言叫Pig

Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。

4.Apache HBase: 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

5.Apache Sqoop: 是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

6. Apache Zookeeper: 是一个为分布式应用所设计的分布的、开源的协调服务，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，简化分布式应用协调及其管理的难度，提供高性能的分布式服务

7.Apache Mahout:是基于Hadoop的机器学习和数据挖掘的一个分布式框架。Mahout用MapReduce实现了部分数据挖掘算法，解决了并行挖掘的问题。

8.Apache Cassandra:是一套开源分布式NoSQL数据库系统。它最初由Facebook开发，用于储存简单格式数据，集Google BigTable的数据模型与Amazon Dynamo的完全分布式的架构于一身

使用与维护　第３２卷２０１４年第４期（总第１７２期）　

大数据技术　

刘蔚然刘莉娜　

（鞍钢工程技术有限公司工程信息中心　包钢设备动力部鞍山　１１４０００）　

【摘要】　随着网络信息化的日益普及，移动互联、社交网络、电子商务大大拓展了互联网的边界和应用领　域，目前正处在一个数据爆炸式增长的“大数据”时代。大数据在社会、经济、政治、文化、生活等方面产生着深远　的影响，时代对人类的数据驾驭能力提出了新的挑战。本文介绍了大数据的定义、４Ｖ特征、大数据技术及应用，　介绍了加工制造业大数据应用。　【关键词】大数据４Ｖ特征大数据技术　

Ｂｉｇ　Ｄａｔａ　Ｔｅｃｈｎｏｌｏｇｙ　

ＬＩＵ　Ｗｅｉ－ｒａｎ，ＬＩＵ　Ｌｉ－ｎａ　

（ＥｎｇｉｎｅｅｒｉｎｇａｎｄＩｎｆｏｒｍａｔｉｏｎ　ＣｅｎｔｅｒｏｆＡｎｇａｎｇＥｎｇｉｎｅｅｒｉｎｇａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ　Ｃｏ．，Ｌｔｄ．，Ｂａｏｓｔｅｅｌ　

Ｅｑｕｉｐｍｅｎｔ　ａｎｄＰｏｗｅｒＤｅｐａｒｔｍｅｎｔ，Ａｎｓｂａｎ　１１４０ｏ０）　

【Ａｂｓｔｒａｃｔ】Ｗｉｔｈ　ｔｈｅ　ｒｉｓｉｎｇ　ｐｏｐｕｌａｒｉｔｙ　ｏｆ　ｎｅｔｗｏｒｋ　ｉｎｆｏｒｍａｔｉｏｎ，ｍｏｂｉｌｅ　Ｉｎｔｅｍｅｔ　ａｎｄ　ｓｏｃｉａｌ　ｎｅｔｗｏｒｋ，　

ａｎｄ　ｇｒｅａｔｌｙ　ｅｘｐａｎｄｅｄ　Ｉｎｔｅｍｅｔ　ｂｏｕｎｄａｒｙ　ａｎｄ　ａｐｐｌｉｃａｔｉｏｎ　ｆｉｅｌｄｓ　ｂｙ　ｅｃｏｍｍｅｒｃｅ，ｗｅ　ａｒｅ　ｉｎ　ａ”ｂｉｇ　ｄａｔａ”ｅｒａ　

ｗｉｔｈ　ｅｘｐｌｏｓｉｖｅ　ｄａｔａ　ｇｒｏｗｔｈ．Ｂｉｇ　ｄａｔａ　ｈａｖｅ　ｆａ卜ｒｅａｃｈｉｎｇ　ｉｎｆｌｕｅｎｃｅ　ｏｎ　ｍａｎｙ　ａｓｐｅｃｔｓ　ｓｕｃｈ　ａｓ　ｓｏｃｉｅｔｙ．　

ｅｃｏｎｏｍｙ，ｐｏｌｉｔｉｃｓ，ｃｕｌｔｕｒｅ，ａｎｄ　ｌｉｆｅ．Ｔｈｅ　ａｇｅ　ｐｒｏｐｏｓｅｓ　ｔｈｅ　ｎｅｗ　ｃｈａｌｌｅｎｇｅ　ｔｏ　ｈｕｍａｎ　ｄａｔａ　ｃｏｎｔｒｏｌ　ａｂｉｌｉｔｙ．　Ｔｈｉｓ　ｐａｐｅｒ　ｐｒｅｓｅｎｔｓ　ｔｈｅ　ｄｅｆｉｎｉｔｉｏｎ　ｏｆ　ｂｉｇ　ｄａｔａ，４Ｖ　ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ，ｂｉｇ　ｄａｔａ　ｔｅｃｈｎｏｌｏｇｙ　ａｎｄ　ａｐｐｌｉｃａｔｉｏｎ，　

龙源期刊网

大数据技术简介

作者：段鹏松

来源：《中学生数理化·自主招生》2019年第09期

当前，大数据是个很热的词，各种大数据分析工具也时常出现，让人感觉非常时髦。那么，大数据究竟是什么？目前的研究进展如何？对普通人的生活有何影响？本文将围绕这些问题展开介绍。

一、什么是大数据

人类的一切语言文字、图形图画、音像记录等，所有感官可以察觉到的事物，只要能被记下来，能够查询到，都可以称为数据（data）。大数据也是数据，但又不同于一般的数据。一般来说，大数据除了一般数据的特征，还具有体量巨大、处理速度快、数据类型多样和潜在价值高这四个特征。

1.体量巨大。体量巨大指的是大数据包含的数据数量非常多，占用的存储空间较大。以平时接触较多的手机流量来说，常见统计单位为kB、MB和GB等。这些统计单位之间的关系为1GB=1024MB，1MB=1024kB。就目前的技术而言，要成为大数据，存储至少达到TB级别以上，而1TB=1024GB。但要注意，如果只是体量巨大，而结构单一，也不能称为大数据。

2.处理速度快。实际生活中，数据量可能会随着时间的积累而不断增长，也可能随着空间的变化而不断变化。数据都具有一定的时效性，如果采集到的数据不能得到及时处理，最终会过期作废，失去应用的价值。对于海量的数据，如果能在有效时间内完成处理，则可以称为大数据;反之，则不能称之为大数据。

3.数据类型多样。作为大数据，其包含的数据类型可能是多种多样的，并不仅仅局限于一种数据类型。目前，文字、图片、语音、图像，一切在网络上可以传输和显示的信息，都可以属于大数据的范畴。从结构上来说，当前的大数据主要指半结构化和非结构化的信息，如网站的各种日志文件、发布的音视频文件等。

4.潜在价值高。大数据应用的最终目的是通过挖掘和分析，发现趋势或规律，进而指导实际工作。如果数据本身是毫无规律的，不能对实际工作行程进行指导，则不能称为大数据。尽管大数据的潜在价值高，但由于数据量巨大，所以价值密度低，要通过大量分析才能实现从数据到价值的转变。