大数据基础知识点

大数据的基础知识

大数据是当前信息时代的热门话题，随着互联网技术的发展，数量庞大且多样化的数据在日常生活中普遍存在。大数据的兴起，对以往数据处理方式提出了新的挑战，同时也为数据分析提供了新的机遇。本文将着重介绍大数据的基础知识，包括大数据的定义、特征、分类、处理技术以及应用。

一、大数据的定义

大数据是指数据量极大、数据类型广泛、可采用分布式存储和计算处理的一种信息资源。其定义有多种之说，但大体上可以总结为三个方面：大数量、多样性和高速度。

量的方面，大数据的数量很大，其数量级常常是亿级吨位的，可预测开发聚集分布在多个地理位置、机构或社区的海量数据，以及来自各种数据源的各种数据。

多样性方面，大数据的类型多样，包括结构化、半结构化和非结构化数据，其中非结构化数据占比70%以上，包括各种文本、图像、音频、视频等等。 速度方面，大数据的生成速度很快，以互联网为例，其数据每秒钟增长的速度超过10亿条。

二、大数据的特征

大数据的特征主要有以下四个方面：

1.高速度：大数据的信息更新速度很快，个人可以浏览的数据量与全球数据量的增长速度大大不一致，新的数据一直在源头不断涌现；

2.高维度：大数据的信息维度复杂，包括时间、空间、行为、情境等方面的多元信息；

3.高价值：大数据的信息资源具有高价值性，往往蕴藏着商业、科学和人文领域的深刻隐含结构和规律；

4.高异构性：大数据的信息资源非常异构，包含有结构化、半结构化、非结构化数据和数字、文字、图像、音视频等多种类型信息。

三、大数据的分类

根据处理方法和数据来源的不同，大数据可被分为三类： 1.结构化数据：结构化数据是通过一定的方式封装在数据表中，以类似于电子表格的形式呈现。这种数据是最为固定和整齐的数据，通常用于描述数值、统计和财务资料;

2.半结构化数据：半结构化数据不依赖于表格形式，但它包含有明确定义的字段，而字段之间的关系不确定。一些比较流行的半结构化数据类型包括音频、视频和XML数据;

大数据导论知识点总结

一、大数据概念

大数据是指规模大、种类多、处理速度快、价值密度低的数据集合，它具有高维度、非结构化、实时性和全球性等特点。大数据技术包括对大数据的存储、处理、分析和应用。

1.1 大数据的4V特征

大数据的特征主要表现在4个方面，即数据的规模（Volume）、种类（Variety）、处理速度（Velocity）和价值密度（Value）。

1.2 大数据的应用场景

大数据技术可以应用于很多领域，如金融、医疗、交通、电商、物流等，可以用于数据分析、预测、决策支持等方面。

二、大数据技术

2.1 大数据存储技术

大数据的存储技术包括分布式文件系统（HDFS）、NoSQL数据库（MongoDB、Cassandra）、分布式数据库（HBase）等。

2.2 大数据处理技术

大数据的处理技术包括MapReduce（Hadoop）、Spark、Storm等。

2.3 大数据分析技术

大数据的分析技术包括数据挖掘、机器学习、深度学习、自然语言处理、图像识别等。

2.4 大数据应用技术

大数据的应用技术包括数据可视化、数据仓库、数据治理、数据安全等。

三、大数据发展趋势

3.1 人工智能与大数据的结合

人工智能与大数据是相辅相成的关系，结合起来能够实现更多的应用场景。

3.2 云计算与大数据的融合

云计算与大数据的融合能够实现数据资源的共享、弹性扩展和成本节约。

3.3 数据安全与隐私保护 随着大数据的发展，数据安全和隐私保护越来越受到重视，需要加强数据保护和安全技术研究。

3.4 边缘计算与大数据的结合

边缘计算是指将计算资源放置在接近数据源头的地方，能够为大数据的实时处理提供更好的支持。

3.5 数据治理与数据价值挖掘

数据治理是指在数据采集、存储、处理、分析和应用各个阶段对数据进行梳理和管理，以促进数据的有效利用和价值挖掘。

3.6 大数据产业化与智能化

大数据产业化和智能化是大数据技术发展的必然趋势，能够推动产业升级和智能化转型。

1大数据和云是不是一回事？

而说到大数据，这个可以是基于云的，也可以是不基于云的。大数据的处理技术与提供云服务的技术是不尽相同的，但是又有所交集。可以说云服务是基础设施，是市政工程，而大数据是城市里的高楼大厦。大数据可以基于云，也可以不基于云。从技术角度上说，国内的大多数云服务商，主要提供的是虚拟机服务，这是一种分的概念，把一台物理服务器拆成多个虚拟的小服务器，尽可能多的使用其物理资源，避免浪费。而大数据是合的思想，是把很多台服务器合并成一个虚拟的巨型服务器，通过分配计算资源使数据可以快速的为生产力服务。用合并起来的计算资源超越小型机或者中型机的计算能力。这里面当然也有云的概念存在着，就是说，你不需要关心数据的存储和计算到底是怎么完成的，你只需要用就可以了

2大数据技术的战略意义是什么？

大数据的前提是数据总量的迅速增加以及数据的流动性增加，前者是由于用户的行为在手机和电脑上越来越多，门槛越来越低；另外一个因素是因为各种平台的开放导致流动性增加，以上两个因素的诞生才能催生更多的直接为消费者服务的大数据公司。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

3目前大数据中有一部分数据是处于休眠或者是半休眠状态，产生不了很多价值。这些数据怎么处理？

我们认为大数据的解决不是单一的一个产品能够解决的，它需要一整套的解决方案，它要融合很多传统的、新的技术。完整的解决方案在我们眼里是一个新的数据管理和应用平台。这个平台当中包含了很多不同的产品和功能模块，其中IBM在这个当中是占有先机的。

（IBM 提供了全面的大数据解决方案，InfoSphere大数据分析平台包括BigInsights和 Streams，Streams采用内存计算方式分析实时数据，可以动态地分析大规模的结构化和非结构化数据。BigInsights基于Hadoop，增加了文本分析、统计决策工具，同时在可靠性、安全性、易用性、管理性方面提供了工具，并且可与DB2、Netezza等集成，这使大数据平台更适合企业级应用）

龙源期刊网

大数据与IT基础架构

作者：

来源：《个人电脑》2015年第07期

有研究表明：人类70%的活动都是有规律可循的。大数据，可以让我们看到这种规律并预知未来，例如通过整理近期的气象情况和卫星云图，我们能够判断未来几天的天气状况。去年，央视两次携手百度分别打造“据说春运”与“据说春节”特别节目——“据说春运”携手百度地图，用大数据展现春节前后人口大迁徙的轨迹与特征；“据说春节”运用百度大数据来述说回娘家、恐婚族等春节长假期间的热门话题。可见，通过解读数据可以发现有趣的现象、挖掘以往被忽视的规律，还可以对人类的行为进行预测。

事实上，数据分析的案例自古有之，在前几年也有很多数据挖掘技术和应用的出现。但这些数据挖掘技术对数据的使用，都是先抽样、萃取人们或系统认为有价值的数据，再分析、挖掘，而并不是使用全部数据。原因很简单——信息的收集、存储和信息分析的系统构建、维护成本过于巨大，所以人们总是习惯在信息收集的过程中，把有关联的少部分精确数据留下。

以人们的日常购买行为为例，传统超市会通过对“时间、产品销售量/销售额”这几个指标的分析，判断近期哪些货品是热销产品，在短期更受用户的欢迎，进而对热销货品提供充足的货源保障，把热销货品放在超市最容易接触的位置，提供某些促销优惠等等。

再看另一个来自美国的零售商塔吉特的案例，它使用大数据进行“怀孕趋势分析”。通过对大量消费记录的分析，塔吉特公司注意到，准妈妈很可能在怀孕第三个月的时候购买某种乳液，并陆续购买营养品（如钙、镁、锌等）。塔吉特公司找到了几十种关联物，通过这些关联关系，预判客户是否怀孕以及预产期的大概日期。在客户怀孕的不同阶段，该公司会向客户推销相应的产品或优惠券。

前两个案例，分别是典型的“小数据”分析和“大数据”分析。大数据不仅是数据量大，同时数据种类多；不是数据的抽样，而是数据的全集；不是与目标有因果关系的数据，而是所有有关联的数据。与传统的数据分析相比，大数据可以被用来开发新产品和新型服务，其价值越来越受到关注。