【精选】大数据文献综述

  • 格式:docx
  • 大小:29.19 KB
  • 文档页数:11

下载文档原格式

  / 12
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

信息资源管理文献综述题目:大数据背景下的信息资源管理系别:信息与工程学院

班级:2015级信本1班

姓名:

学号:**********

任课教师:

2017年6月

大数据背景下的信息资源管理

摘要:随着网络信息化时代的日益普遍,我们正处在一个数据爆炸性增长的“大数据”时代,在我们的各个方面都产生了深远的影响。大数据是数据分析的前沿技术。简言之,从各种各样类型的数据中,快速获得有价值信息的能力就是大数据技术,这也是一个企业所需要必备的技术。“大数据”一词越来越地别提及与使用,我们用它来描述和定义信息爆炸时代产生的海量数据。就拿百度地图来说,我们在享受它带来的便利的同时,无偿的贡献了我们的“行踪”,比如说我们的上班地点,我们的家庭住址,甚至是我们的出行方式他们也可以知道,但我们不得不接受这个现实,我们每个人在互联网进入大数据时代,都将是透明性的存在。各种数据都在迅速膨胀并变大,所以我们需要对这些数据进行有效的管理并加以合理的运用。

关键词:大数据信息资源管理与利用

目录

前言:大数据泛指大规模、超大规模的数据集,因可从中挖掘出有价值

的信息而倍受关注,但传统方法无法进行有效分析和处理.《华尔街日

报》将大数据时代、智能化生产和无线网络革命称为引领未来繁荣的

大技术变革.“世界经济论坛”报告指出大数据为新财富,价值堪比

石油.因此,目前世界各国纷纷将开发利用大数据作为夺取新一轮竞

争制高点的重要举措.

当前大数据分析者面临的主要问题有:数据日趋庞大,无论是入

库和查询,都出现性能瓶颈;用户的应用和分析结果呈整合趋势,对

实时性和响应时间要求越来越高;使用的模型越来越复杂,计算量指

数级上升;传统技能和处理方法无法应对大数据挑战.

正文:

大数据概念

大数据定义

维基百科对大数据的定义则简单明了:大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。也就是说大数据是一个体量特别大,数据类别特别大的数据集,并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理

大数据来源

1)来自人类活动:人们通过社会网络、互联网、健康、金融、经济、交通等活动过程所产生的各类数据,包括微博、病人医疗记录、文字、图形、视频等

信息.

2)来自计算机:各类计算机信息系统产生的数据,以文件、数据库、多媒体等形式

存在,也包括审计、日志等自动生成的信息.

3)来自物理世界:各类数字设备、科学实验与观察所采集的数据.如摄像头所不断产生的数字信号,医疗物联网不断产生的人的各项特征值,气象业

务系统采集设备所收集的海量数据等

传统数据库和大数据的比较

现有数据处理技术大多采用数据库管理技术,从数据库到大数据,看似一个简单的技术升级,但仔细考察不难发现两者存在一些本质上区别。传统数据库时代的数据管理可以看作“池塘捕鱼”,而大数据时代数据管理类似“大海捕鱼”,“鱼”表示待处理的数据。“捕鱼”环境条件的变化导致“捕鱼”方式的根本性差异

大数据技术

大数据处理技术正在改变当前计算机的运行模式,正在改变着这个世界。它能处理几乎各种类型的海量数据,无论是微博、文章、电子邮件、文档、音频、视频,还是其他形态的数据。它实时、高效、可视化呈现结果。它依托云计算将计算任务分布在大量计算机构成的廉价的资源池上,使用户能够按需获取计算资源、存储资源、网络资源和信息服务。云计算技术的应用使得大数据处理和利用成为可能。大数据作为信息金矿,对其采集、传输、处理和应用的相关技术就是大数据处理技术,是一系列使用非传统的工具来对大量的结构化、半结构化和非结构化数据进行处理,从而获得分析和预测结果的一系列数据处理技术,或简称大数据技术

大数据的存储与管理

数据存储与大数据应用密切相关。大数据给存储系统带来3个方面挑战:

1)存储规模大,通常达到PB甚至EB量级;

2)存储管理复杂,需要兼顾结构化、非结构化和半结构化的数据

3)数据服务的种类和水平要求高大数据存储与管理,需要对上层应用提供高效的数据访问接口,存取PB甚至EB量级的数据,并且对数据处理的实时性、有效性提出更高要求,传统常规技术手段根本无法应付。某些实时性要求较高的应用,如状态监控,更适合采用流处理模式,直接在清洗和集成后的数据源上进行分析。而大多数其他应用需要存储,以支持后续更深度数据分析流程。根据为上层应用访问接口和功能侧重不同,存储和管理软件主要包括文件系统和数据库。大数据环境下,目前最适用的技术是分布式文件系统、分布式数

大数据隐私与安全

当前大数据的发展仍然面临着许多问题,安全和隐私问题是人们公认的关键问题之一。其中,隐私问题由来已久,计算机的出现使得越来越多的数据以数字化的形式存储在电脑中,互联网的发展则使数据更加容易产生和传播,数据隐私问题越来越严重。大数据在存储、处理、传输等过程中面临安全风险,具有数据安全和隐私保护需求。而实现大数据安全与隐私保护,较其他安全问题(如云安全中数据安全等)更为棘手。呈现出的安全隐私问题主要有:

1)大数据时代的安全与传统安全相比,变得更加复杂;

2)使用过程中的安全问题;

3)对大数据分析较高的企业和团体,面临更多的安全挑战;

4)基于位置的隐私数据暴露严重;

5)缺乏相关的法律法规保证;

6)大数据的共享问题;

7)数据动态性;

8)多元数据的融合挑战;

目前针对上述问题,主要研究解决方法有:文件访问控制技术、基础设备加密、匿名化保护技术、加密保护技术、数据水印技术、数据溯源技术、基于数据失真的技术、基于可逆的置换算法据库以及访问接口和查询语言

大数据在信息管理层面的应用

大数据在宏观信息管理层面的应用

关于大数据的科学价值与社会价值正如牛津大学的维克托·迈尔·舍恩伯格教授所言主要表现为两大方面,“一方面,对大数据的掌握程度可以转化为经济价值的来源。另一方面,大数据已经撼动了世界的方方面面,从商业科技到医疗、政府、教育、经济、人文以及社会的其他各个领域。”大数据的潜在经济价值很快在现实中表现出来,伦敦智库政策交易所宣布大数据每年能为英国政府节省330亿英镑。因此无论出于利益还是效率方面的考虑,各国政府对于大数据在宏观信息层面的管理都已提到议事日程上来。美国奥巴马政府2亿美元的“大数据研究和发展计划”,中国工信部在物联网“十二五”规划中提出了与大数据密切相关的四项关键技术创新工程:信息感知技术、信息传输技术、信息安全技术、信息处理技术。由此可见,各国政府充分意识到了大数据的潜在价值,试图从宏观上对信息结构进行合理的开发与应用。而在政府宏观信息管理范畴内较为重要的一个问题是“数据开放”,只有在保证数据透明开放的前提下,大数据的潜在价值才有被开发的可能。以大数据在政务管理方面的应用为例。今天政府工作在电子政务方面的发展已经相对普及,但始终停留于低层次的初级水平,这不仅涉及到政府工作效率,更是对政府职能的一次叩问。蒂姆·奥莱利在Web2.0概念基础上提出了政府2.0。所谓政府2.0是指政府利用互联网上的多元信息平台,打造形成

相关主题