大数据时代的知识管理与应用

大数据时代的数据管理

作者

刘庆 发布于 2011年10月24日

处理大数据惯常是属于商业智能（BI）的事情。抽取数据、挖掘数据，制成报表、OLAP、仪表盘、挖掘模型，作为辅助决策之用。不过在BI领域都不这么叫法，大伙儿都说海量数据，Large-scale Data。这听起来还是略显学术气，不如Big

Data来的通俗——大数据。这大概是因为如今随处可见的数据，一种爆炸效应带来的结果，已经脱离某种专业的范畴，人们需要用更简单的术语来命名这种数据爆炸。这给不温不火的BI带来一些新的刺激，让BI人看到一些希望。

以前，不说国内，就算是国外，做BI也大多是局限在几个大行当，电信、金融、零售、政府，他们需要数据来帮助自己理性决策。在国内很长一段时间里，更是仅限于电信和金融两个行当。可是尴尬的地方在于，决策者有时候更愿意相信自己的直觉，而非数据。这种意识虽然逐渐在变化，可从来没有发生过根本的变化。意识的变化是艰难的。当一些新兴行业的介入，他们对数据的利用方式，价值的榨取，让人看到数据分析不仅仅用于辅助决策，而是可以从数据中获得收益了，它已经不再是一种锦上添花的东西了，那正是因为大数据时代的到来。这得感谢互联网以及还未兴起的物联网，在这些行当里面，数据在爆发，不断增长。他们不甘心只是如报表、OLAP、仪表盘之类的分析应用。数据分析部门可以按照推荐系统的点击效果利润分成；交易的数据可以包装成分析服务销售给商户，让他们自己去洞察市场商机；根据用户的点击流行为和上网内容，个性化广告布放等等。

就在刚过去的9月，TDWI（数据仓库学院）发布了2011年第四季度最佳实践报告，而这份最佳实践的主题正是大数据分析。TDWI会通过调查问卷的方式，对全球范围的企业调查，目标对象既有IT人，有业务单位的人，也有咨询顾问。问卷的问题一般都会询问企业应用BI技术的实际情况，现在如何，计划如何。所以，这类最佳实践报告可以反映出当下某项技术的现状和趋势。报告的内容也遵循一定结构，一下定义，二看现状，三分长短，四谈趋势，最后再来个厂商介绍。同样，这份大数据分析的最佳实践报告也是如此结构。

龙源期刊网

“互联网+”时代大数据的应用

作者：刘苏萌

来源：《科学与信息化》2017年第35期

摘 要 大数据包含着种类丰富的海量数据，传统数据库处理工具在大数据面前失去了作用。随着互联网技术的快速发展，大数据当前已经普遍进入社会各个领域当中。本文首先指出了大数据的概念与特点，以及大数据借助互联网的发展策略。

关键词 大数据；互联网；应用行业

互联网以讲求互动为主，人们可以借助互联网实现沟通与交流。人们每天打开互联网，可以在网上看到丰富多样的信息，了解世界的风云变幻，由此对人们的生产生活产生了重大影响，人们日益离不开互联网的应用。在近几十年的快速发展过程中，互联网在人们生产生活发挥的作用日益重要，甚至还影响到了社会进程，随着互联网的快速发展，我国当前已经进入大数据时代。

1 大数据的概念

1998年，美国硅图公司首席科学家John R.Masey第一次提出了大数据的概念，大数据就是一个庞大的数据集合，处于全球领先水平的咨询公司麦肯锡第一次提出“大数据时代”，其认为大数据时代是一种利用传统数据库软件工具不能对数据进行收集、保存、管理、分析的数据集合。

专门从事大数据研究的学者们认为大数据包括四个特点：第一，数据规模呈现海量性，最初大数据的计量单位是P、E、Z；第二，数据种类的多样性，数据不同主要表现在编码方式、数据格式、应用特点等几个方面，由于存在大量的信息源而出现了异构数据，如网络日志、视频文件、图片、地理位置信息等；第三，信息包含的价值大但分布范围过于宽广，有着较高的商业价值；第四，数据传播速度快，如果大数据与感知、传输、决策、控制开放式循环有关，则不易于实现数据的实时处理，利用传统数据库处理手段掌握信息时有可能已经失去了作用，此是不同于传统数据处理技术的明显区别[1]。

2 在互联网支持下的大数据发展

大数据管理与应用

随着互联网及物联网的不断发展，越来越多的数据被收集和存储，这就涉及到了大数据的管理与应用。大数据管理与应用是指通过采集、存储、处理和分析大量数据，来了解市场需求、优化生产和服务流程、提高企业竞争力等。本文将从以下几个方面来探讨大数据的管理与应用。

一、大数据的采集和存储

大数据的采集和存储是大数据管理的基础。在采集方面，通常有以下几种方式：

1. 传感器收集：适用于物联网中的数据采集，通常可以使用传感器来收集。

2. 网络爬虫：适用于互联网数据的采集。

3. 日志文件：大量的数据被记录在系统的日志文件中，可以通过分析这些日志文件来获取数据。

4. 数据库：已存在的数据库中也包含大量的数据，可以通过采集数据并整合数据库的方式来获取有价值的信息。

在获取了大量数据后，存储是至关重要的。目前常用的存储方式有以下几种：

1. 分布式文件系统：如Hadoop distributed file

system（HDFS）。

2. 数据库系统：如关系型数据库MySQL、非关系型数据库NoSQL等。

3. 内存数据库：如Redis、Memcached等。

二、大数据的处理 在上一步中我们获得了大量的数据，但是它们可能并不是我们需要的数据或者不是我们所关心的数据，因此需要对其进行处理。常用的处理方式有以下方法：

1. 数据清洗：将数据中的噪声、异常点进行过滤和清洗。

2. 数据变换：通常会对数据进行转化，使其适合用于后续的建模、分析。

3. 数据聚合：将数据进行聚合，可以获得更高层次的统计信息。

4. 数据分析：也是数据处理的核心，主要是通过数据分析的方式来发现数据之间的关系。

三、大数据的分析

数据的收集和处理并不是最终目的，而是为了获取更有意义的信息。因此，分析大数据是大数据管理和应用的重点之一。大数据的分析可以分为以下几个阶段：

1. 描述性分析：对数据进行概括和描述，例如平均值、众数、中位数、方差等。

大数据时代下的数据管理与应用

随着科技的飞速发展，大数据时代已经悄然而至。目前我们每天都在不经意间产生着大量的数据，这些数据如果被有效应用，将会给我们带来许多的便利。但是，这些数据的管理与应用并非易事，这就需要我们去探讨和思考。

一、 什么是大数据

所谓大数据，就是以海量、多样且快速变化的数据为基础，结合新型的处理方式和工具、技术和算法等手段，去实现对数据的管理、挖掘和应用的一种新型的计算机信息处理方式。

之所以成为“大数据”，除了因为这些数据的规模很大，还因为这些数据的到来速度非常快。如今，我们所使用的各种应用、工具以及社交媒体等等，都在不断地产生着各种各样的数据。这些数据可能是文字、图片、音频、视频等等，它们的产生速度之快，那么多样的数据类型，普通的管理模式已经无法胜任了。

二、 数据管理的挑战

在这个大数据时代，分布、速度和多样性的挑战是显而易见的。如何将这些海量的数据进行管理，成为了摆在我们面前的一个难题。

首先是数据分布的挑战。目前的数据已经不只存在于一个中央数据库中，而是分布在各种各样的数据源上。因此，如何整合这些分散在不同系统和业务的数据是一个亟待解决的问题。

其次是数据的速度的挑战。大量产生的数据要求处理的效率更高，处理的速度更快。而目前的传统数据库与应用在高速数据流环境下，往往会因为性能不足而出现瓶颈，这也需要我们去思考如何提高数据的处理速度。

最后是数据多样性的挑战。由于数据来自于多样的来源和形式，如何进行数据的标准化和规范化，将不同来源和形式的数据整合起来，是一个需要解决的问题。

三、 大数据的应用

在面对数据管理的挑战时，我们可以从数据管理工具、技术和算法等方面入手，将数据进行有效地规范化和整合，再将数据运用到各个领域中去。

目前，大数据已经在不同领域得到了应用：

1. 医疗健康：通过大数据的分析，我们可以掌握更多健康数据，挖掘出更多疾病相关的信息，促进医疗领域的科技创新。