当前位置:文档之家› 大数据时代的挑战、价值与应对策略

大数据时代的挑战、价值与应对策略

大数据时代的挑战、价值与应对策略
大数据时代的挑战、价值与应对策略

大数据时代的挑战、价值与应对策略

【摘要】在社会的发展之下,人们已经全面进入了大数据时代,在这一时代中,人们的生活与工作方式发生了极大的改变,本文主要分析大数据时代的挑战、价值以及相关的应对策略。

【关键词】大数据时代;挑战;价值;应对策略

当今社会,互联网、物联网、云计算等技术高速发展,视频监控技术、智能终端系统、手机应用等也快速进入人们的视线,普及量日益见长。随之而来,全球数据量也呈现出指数式的增加,以太字节为单位的数据时代已经到来了。

面对以太字节为单位的大数据时代,电信运营商的网络扩容每秒都在无限量的增加,但其收益却没有因此而增加多少。一些公司为了提高其生产力,采用“数据驱动型决策”模式取得了显著成效。

那么在大数据时代,人们可以做什么呢?人们可以通过技术对海量的数据进行分析,得到用户的喜好和行为,例如,在因材施教方面,学校和老师可以通过大数据来分析学生的个性和爱好,以此来进行教学,增强老师的教育工作能力,同时也提高了学生的学习效率,事半功倍。在公司管理方面,公司可以通过对公司各项数据的分析,开源节流,建立起精细型管理模式,提高公司发展水平。在产品生产方面,通过对大数据的分析,优化产品生产结构,合理规划生产流程,提高产品生产能力。

一、大数据时代的特征。

全球知名的咨询公司麦肯锡最早提出了“大数据时代”。现在人们用“大数据”来定义信息爆炸时代产生的海量数据。关于多少的数据量可以称得上是“大数据”,到目前为止,还尚未达成共识。一般认为,大数据应该在10TB至1PB (P为T的1024被)以上。其特征主要有四个。

(一)数据量大——核心特征

大数据时代之所以称之为“大”,就是其量大。数据量已经进入以太字节为单位了,其包含数量之广是我们难以相信和预测的。据统计,2009年,全球信息量已经达到了80万PB(1021字节),2010年比2009年增加了40万PB,达到了120万PB。120万PB是什么概念呢?就是把这些字节刻录在DVD上面,再把这些刻录了120万PB数据的DVD叠放在一起,可以从地球到月球叠放一个来回。

(二)种类繁多

这里的“多”指的是数据形式的多样性。在这个时代,网页,图片,视频,音频,文字等各种形式的数据承载方式,数据结构繁多,在2012年半结构化和非结构化的数据占全球网络数据量的85%左右。

(三)速度快

大数据时代的一个基本特征就是传播速度之“快”,现在不仅仅是传播速度,就是处理数据的速度因为软件工程的日新月异和人工智能的发展,也在急速增加。

(四)价值密度低

因为过多的数据和无处不在的信息感知,信息的价值密度相对较低,如何从海量的数据中提取出我们确实需要的数据,成为了大数据时代的一大难题。二、大数据时代的挑战

(一)数据洪流的急速发展使得运营商的带宽能力更不上,适应能力亟待提高。运营商的带宽虽然也在不停的发展,但远远比不上数据的指数式增长,因此目前日益增长的数据传输能力和现有的带宽承载能力无法相匹配。

(二)数据量大、形式多样以及快速等特征也对数据的处理和存储提出了全新的要求。那么多的数据,那么多样化的数据,快速更新的数据要求更加宽大,更加便利的软件工程和人工智能来处理和存储,单单的人脑已经无法满足数据的需求。

(三)在大数据时代,海量的数据往往为网络罪犯和黑客提供了可乘之机。他们利用海量的数据作为反追踪的利器。海量的数据也为他们的作案工具和作案手法提供了新思路。例如我们熟知的APT(高级持续性安全威胁),一些小团体就是利用了先进的数据攻击手段对特定目标进行长期的持续性网络攻击。

(四)一些个人或者企业通过非法手段窃取了某些用户的私人数据,并用这些数据非法分析用户的行为和爱好,一些企业的商业机密也在海量的数据中被泄露出去。因此个人隐私和企业利益在大数据时代中受到了重大的冲击和损害。如何保护个人和企业的利益成为关键。

(五)在海量的数据面前,数据是否真实,这点显得有些扑朔迷离。“去伪存真”就成了十分重要的一项工作。但其方法和过程之分复杂。我们首先需要了解需要数据的基本特点,根据其特点来对已有的数据进行筛选,接着把已经筛选出来的数据进行分析和清理,通常是用相关工具和分析模型赖进行评估,看看结果是否符合我们需要的数据的基本特点。最后把已经分析出来的我们需要的数据进行整理和呈现。

三、大数据时代的应对策略

面对上述五个挑战,我们需要措施来应对以适应更好的大数据时代的发展。

(一)面对带宽不足的问题,电信运营商已经想出了初步的解决办法,它们将以智能管道与聚合平台作为基础,将扩大流量规模、提升流量层次和丰富流量内涵三者并驾齐驱,把释放流量价值作为导向,实现大数据和云计算的深层次结合。

(二)面对大数据时代的特征带来的挑战,这需要惠普、IBM、微软等IT 巨头们携手共进,全方面加强科技创新,通过软件工程和人工智能的创新发展来扩大数据存储容量,增加数据存储方式,提高数据分析效率,让海量的数据更好的为我们服务。

(三)面对APT带来的安全威胁,政府需要借助大数据来创新处理技术。针对APT的的单点隐蔽强、攻击路径不定等特点,在全流量审计方面,需要加强事时流量监测能力和事后回溯的能力,并且提高安全工作人员的分析素质,把计算机存储和运算能力相结合,运做出一套完整的解决反APT方案。

(四)面的个人隐私安全,最主要的是加强信息加密的可靠性,防止信息被盗。用户在登录网页时填写的用户名和密码在存储和传输时的路径都需要加密,。同时网站不能用用户信息作为谋取私利的工具。另外,还需要对存储信息的硬盘进行加密和保护,防止因硬盘被盗而资料外泄。除此以外,国家也可以通过加强立法来规范数据安全,保护个人隐私和商业机密。

(五)面对“去伪存真”的冗杂工作,一方面我们需要建立有效的分析模型,

提高分析数据的能力和效率,节省数据分析时间。另一方面,在输入数据的时候,提高筛选能力,利用人工智能自动筛选数据,节省人力成本。另外,也需要提高工作人员的数据分析能力,尽可能掌握好大数据的存储、分类、挖掘能力,以应变各种可能的情况。

大数据时代已经到来,各行各业乃至我们自身都在不断的积累数据、运用数据、产生数据、传输数据。Gary King作为哈佛量化社会科学研究所主任,他提出:“我们的确正在起航。在庞大的新数据来源的支持下,量化的前进步伐将会踏遍学术、商业和政府领域。没有一个领域可以不被触及。”既然大数据时代已经避无可避,作为大数据的拥有者和统计人,我们所要做的就是顺应时代,跟上时代,懂得什么是大数据,如何运用大数据。用大数据来提高企业发展,支撑社会进入,振兴中华民族。

参考文献:

[1]程莲娟. 美国推进大数据的应用实践及其有益借鉴——基于图书馆视角的分析[J]. 情报资料工作. 2013(05)

[2]程开明,陈龙. 大数据时代的统计挑战与应对[J]. 中国统计. 2013(08)

[3]沈晓雨. 大数据时代下的服务需求管理新思路[J]. 商场现代化. 2013(20)

大数据时代下的数据挖掘试题和答案及解析

A. 变量代换 B. 离散化 海量数据挖掘技术及工程实践》题目 、单选题(共 80 题) 1) ( D ) 的目的缩小数据的取值范围,使其更适合于数据挖掘算法的需要,并且能够得 到 和原始数据相同的分析结果。 A. 数据清洗 B. 数据集成 C. 数据变换 D. 数据归约 2) 某超市研究销售纪录数据后发现,买啤酒的人很大概率也会购买尿布,这种属于数 据挖 掘的哪类问题 (A) A. 关联规则发现 B. 聚类 C. 分类 D. 自然语言处理 3) 以下两种描述分别对应哪两种对分类算法的评价标准 (A) (a) 警察抓小偷,描述警察抓的人中有多少个是小偷的标准。 (b) 描述有多少比例的小偷给警察抓了的标准。 据相分离 (B) 哪一类任务 (C) A. 根据内容检索 B. 建模描述 7) 下面哪种不属于数据预处理的方法 (D) A. Precision,Recall B. Recall,Precision A. Precision,ROC D. Recall,ROC 4) 将原始数据进行集成、 变换、维度规约、数值规约是在以下哪个步骤的任务 (C) 5) A. 频繁模式挖掘 C. 数据预处理 B. D. 当不知道数据所带标签时, 分类和预测 数据流挖掘 可以使用哪种技术促使带同类标签的数据与带其他标签的数 6) A. 分类 C. 关联分析 建立一个模型, B. D. 聚类 隐马尔可夫链 通过这个模型根据已知的变量值来预测其他某个变量值属于数据挖掘的 C. 预测建模 D. 寻找模式和规则

C.聚集 D. 估计遗漏值 8) 假设12 个销售价格记录组已经排序如下:5, 10, 11, 13, 15, 35, 50, 55, 72, 92, 204, 215 使用如下每种方法将它们划分成四个箱。等频(等深)划分时,15 在第几个箱子内(B) A. 第一个 B. 第二个 C. 第三个 D. 第四个 9) 下面哪个不属于数据的属性类型:(D) A. 标称 B. 序数 C.区间 D. 相异 10) 只有非零值才重要的二元属性被称作:( C ) A. 计数属性 B. 离散属性 C.非对称的二元属性 D. 对称属性 11) 以下哪种方法不属于特征选择的标准方法:(D) A. 嵌入 B. 过滤 C.包装 D. 抽样 12) 下面不属于创建新属性的相关方法的是:(B) A. 特征提取 B. 特征修改 C. 映射数据到新的空间 D. 特征构造 13) 下面哪个属于映射数据到新的空间的方法(A) A. 傅立叶变换 B. 特征加权 C. 渐进抽样 D. 维归约 14) 假设属性income 的最大最小值分别是12000元和98000 元。利用最大最小规范化的方 法将属性的值映射到0 至 1 的范围内。对属性income 的73600 元将被转化为:(D) 15) 一所大学内的各年纪人数分别为:一年级200人,二年级160人,三年级130 人,四年 级110 人。则年级属性的众数是:(A) A. 一年级 B. 二年级 C. 三年级 D. 四年级 16) 下列哪个不是专门用于可视化时间空间数据的技术:(B) A. 等高线图 B. 饼图

大数据时代的机遇与挑战论文3000字[精品文档]

大数据时代的机遇与挑战 什么是大数据时代? “大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日,却因为近年来互联网和信息行业的发展而引起人们关注。最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。” 大数据时代是怎样产生的? 物联网、云计算、社交网络、社会媒体以及信息获取技术的飞速发展,数据正以前所未有的速度迅速增长和积累,数据是人类社会最重要的财富大数据时代的到来 大数据时代的特点? 1.数据量大(Volume) 第一个特征是数据量大。大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)。 2.类型繁多(Variety) 第二个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等,多类型的数据对数据的处理能力提出了更高的要求。 3.价值密度低(Value) 第三个特征是数据价值密度相对较低。如随着物联网的广泛应用,信息感知无处不在,信息海量,但价值密度较低,如何通过强大的机器算法更迅速地完成数据的价值“提纯”,是大数据时代亟待解决的难题。 4.速度快、时效高(Velocity) 第四个特征是处理速度快,时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。既有的技术架构和路线,已经无法高效处理如此海量的数据,而对于相关组织来说,如果投入巨大采集的信息无法通过及时处理反馈有效信息,那将是得不偿失的。可以说,大数据时代对人类的数据驾驭能力提出了新的挑战,也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。 大数据时代的机遇 大数据技术通过对海量数据的快速收集与挖掘、及时研判与共享,成为支持社会治理科学决策和准确预判的有力手段,为社会转型期的社会治理创新带来了机遇。建立大数据中心,及时搜集、实时处理数据信息,为科学决策提供坚实基础。对社会大数据进行历时性和实时性分析,加强社会风险控制,提高政府预测预警能力和应急响应能力。

大数据技术的挑战和启示分析

大数据技术的挑战和启示 目前,大数据技术的运用仍存在一些困难与挑战,体现在大数据挖掘的四个环节中。首先在数据收集方面。要对来自网络包括物联网和机构信息系统的数据附上时空标志,去伪存真,尽可能收集异源甚至是异构的数据,必要时还可与历史数据对照,多角度验证数据的全面性和可信性。其次是数据存储。要达到低成本、低能耗、高可靠性目标,通常要用到冗余配置、分布化和云计算技术,在存储时要按照一定规则对数据进行分类,通过过滤和去重,减少存储量,同时加入便于日后检索的标签。第三是数据处理。 有些行业的数据涉及上百个参数,其复杂性不仅体现在数据样本本身,更体现在多源异构、多实体和多空间之间的交互动态性,难以用传统的方法描述与度量,处理的复杂度很大,需要将高维图像等多媒体数据降维后度量与处理,利用上下文关联进行语义分析,从大量动态而且可能是模棱两可的数据中综合信息,并导出可理解的内容。第四是结果的可视化呈现,使结果更直观以便于洞察。目前,尽管计算机智能化有了很大进步,但还只能针对小规模、有结构或类结构的数据进行分析,谈不上深层次的数据挖掘,现有的数据挖掘算法在不同行业中难以通用。 大数据技术的运用前景是十分光明的。当前,我国正处在全面建成小康社会征程中,工业化、信息化、城镇化、农业现代化任务很重,建设下一代信息基础设施,发展现代信息技术产业体系,健全信息安全保障体系,推进信息网络技术广泛运用,是实现四化同步发展的保证。大数据分析对我们深刻领会世情和国情,把握规律,实现科学发展,做出科学决策具有重要意义,我们必须重新认识数据的重要价值。 为了开发大数据这一金矿,我们要做的工作还很多。首先,大数据分析需要有大数据的技术与产品支持。发达国家一些信息技术(IT)企业已提前发力,通过加大开发力度和兼并等多种手段,努力向成为大数据解决方案提供商转型。国外一些企业打出免费承接大数据分析的招牌,既是为了练兵,也是为了获取情报。过分依赖国外的大数据分析技术与平台,难以回避信息泄密风险。有些日常生活信息看似无关紧要,其实从中也可摸到国家经济和社会脉搏。因此,我们需要有自主可控的大数据技术与产品。美国政府2012年3月发布《大数据研究与发展倡议》,这是继1993年宣布“信息高速公路”之后又一重大科技部署,联邦政府和一些部委已安排资金用于大数据开发。我们与发达国家有不少差距,更需要国家政策支持。 中国人口居世界首位,将会成为产生数据量最多的国家,但我们对数据保存不够重视,对存储数据的利用率也不高。此外,我国一些部门和机构拥有大量数据却不愿与其他部门共享,导致信息不完整或重复投资。政府应通过体制机制改革打破数据割据与封锁,应注重公开信息,应重视数据挖掘。美国联邦政府建立统一数据开放门户网站,为社会提供信息服务并鼓励挖掘与利用。例如,提供各地天气与航班延误的关系,推动航空公司提升正点率。

大数据题目及参考答案

公需科目大数据培训考试 考试时间:120分钟 选择题中红色代表正确答案,判断题X为错,R为对。 1.根据涂子沛先生所讲,摩尔定律是在哪一年提出的?(单选题1分) A.1988年 B.2004年 C.1965年 D.1989年 2.2015年,贵阳市的呼叫服务产业达到()坐席。(单选题1分) A.3万 B.5万 C.10万 D.20万 3.以下说法错误的是哪项?(单选题1分) A.大数据的思维方式遵循因果逻辑推理 B.摩尔定律是戈登?摩尔提出的 C.图灵测试是阿兰·图 D.ENIAC于1946年诞生 4.茂名PX事件发生后,下列哪个学校的化工系学生在网上进行了一场“PX词条保卫战”?(单选题1分) A.北大 B.清华 C.浙大 D.复旦 5.促进大数据发展部级联席会议在哪一年的4月13日召开了第一次会议?(单选题1分) A.2014年 B.2015年 C.2013年 D.2016年 6.根据涂子沛先生所讲,哪一年被称为大数据元年?(单选题1分) A.2012年 B.2010年 C.2008年 D.2006年 7.数据、信息与知识三者之间的变化趋势是(单选题1分) A.价值先增后减 B.价值递减 C.价值递增 D.价值不变 8.具体来说,摩尔定律就是每()个月,产品的性能将提高一倍。(单选题1分) A.18 B.16 C.12 D.6 9.“()大数据交易所”2015年4月14日正式运营,目前,交易所已有包括京东、华为、阿里巴巴等超过300家会员企业,交易总金额突破6000万元。(单选题1分)

A.毕节 B.安顺 C.贵阳 D.遵义 10.()说明如果联网越多,从介入方式、技术上越来越突破,则网络规模越大、成本越低,网络的成本可能会趋向于零。(单选题1分) A.吉尔德定律 B.摩尔定律 C.梅特卡尔夫定律 D.新摩尔定律 11.以下说法错误的是哪项?(单选题1分) A.大数据会带来机器智能 B.大数据不仅仅是讲数据的体量大 C.大数据的英文名称是large data D.大数据是一种思维方式 12.美国首个联邦首席信息官是下列哪位总统任命的?(单选题1分) A.克林顿 B.奥巴马 C.小布什 D.老布什 13.截至2015年年底,全国电话用户总数达到()。(单选题1分) A.13.37亿户 B.12.37亿户 C.14.37亿户 D.15.37亿户 14.2012年全国各城市支付宝人均支出排名中,位居第七位的是()(单选题1分) A.嘉兴市 B.台中市 C.高雄市 D.嘉义市 15.吴军博士认为过去五十年是()的时代。(单选题1分) A.科尔定律 B.艾尔定律 C.摩尔定律 D.拉尔定律 16.ENIAC诞生于哪一年?(单选题1分) A.1946年 B.1938年 C.1940年 D.1942年 17.梅特卡尔夫定律主要是描述信息网络,指出网络的价值在于网络的互联,联网的接点数与其价值呈现()的方式,联网越多,系统的价值越大。(单选题1分) A.正比 B.对数 C.指数 D.反比 18.根据周琦老师所讲,高德交通报告针对全国()个城市交通状态进行挖掘分析。(单选题1分) A.38 B.21 C.25 D.30 19.2012年全国各城市支付宝人均支出排名中,位居第三位的是()(单选题1分) A.嘉义市 B.杭州市 C.嘉兴市 D.高雄市

大数据时代的机遇和挑战

大数据时代的机遇和挑战 【】First of all ,the paper makes a simple analysis of the concept and characteristics of large data. Secondly ,it explores the opportunities and challenges that big data brings to all aspects of economic life. Finally ,it explores how to deal with opportunities and challenges ,and improve the development environment of big data. improve the environment for the development of big data ,so as to make a certain contribution to the economic development in the era of big data. 【Keywords】big data age ;quantitative economics ;application 1引言 “大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。被称为“第三次浪潮的华彩乐章”。近几年来,大数据吸引了越来越多的关注,

人们随时都能感觉到生活在一个日益信息化的世界中。随着网络技术的发展,越来越多的人使用社交软件进行网上聊天,发布个人心情状态,对网络中的信息进行评论,这些都极大的丰富了我们的生活。同时,网上每天都会产生大量的数据,根据有关统计,每天网络中大约出现220 万TB 的新数据, 而且这个速度还在不断增加 伴随着大数据时代的到来,数据资源越来越庞大,数据处理速度越来越快,人们可以通过大数据技术实现各种构想。学者能够利用大数据这一有利条件进行更加科学且贴近现实的经济研究。银行能够通过大数据考查企业的诚信状况,并决定是否放贷。而计算机则可以在海量的数据中统计分析出人的行为、习惯等方式,从而更好地学习模拟人类智能。随着科学技术的不断发展,未来大数据会发挥出更加强大的作用, 而如何应对大数据时代的机遇与挑战,有效利用大数据资源,是各行各业应关注的焦点。 2大数据时代的特点 大数据又可以称之为巨量资料,它的概念比较抽象,其定义是依靠互联网技术下的主流软件对一些规模较大、较复杂的资料进行处理、分析、管理,从而形成对经济发展更加有用的信息。大数据的主要特点就是信息量大、多样化、高速等。大数据的形成需要特殊专业的技术,例如互联网、数据挖掘电子网或者大规模并行处理数据库等软件,通过有效的掌握丰富的数据资源,并对这些数据进行专业化的处理,从而在经济社会的发展中实现盈利,把对大数据的处理加工有效的转变为信息资

大数据带来的给予和挑战

大数据带来的机遇和挑战 互联网高端技术的创新与发展,给人类社会带来了巨大变化。今后20年全球将步入大数据新时代。高端互联网将再铸新世界。我们正处在一个数据爆发增长的时代。移动互联网、移动终端和数据感应器的出现,使数据以超出人们想象的速度在快速增长。据国际数据资讯公司(GlobalPulse)估测,数据数量一直在快速增加,每年增长50%,这个速度不仅是指数据流的增长,而且还包括全新的数据种类的增多。据统计,全球企业2010年在硬盘上存储了超过7EB的新数据,消费者在PC和笔记本电脑等设备上存储了超过6EB新数据,而1EB数据就相当于美国国会图书馆中存储数据的4000多倍。目前数据容量增长的速度,已经大大超过了硬件技术的发展速度,并正在引发数据存储和处理的危机。 有研究统计,从人类文明开始到2003年,人类共创造了5TB(兆亿字节)的信息,而现在,这样的数据量却仅需两天就被创造出来,且速度仍在加快。数据显示,2011年全球创建和复制的数据总量,就达到了1.8ZB(1ZB等于10的21次方比特),相当于全球每人产生300GB以上的数据。目前这个数字仍在快速增长,预计2020年,全球产生的数据量更将超过80ZB。由此可见,我们的确已经迈入了大数据时代。 2012年3月,美国奥巴马政府发起了《大数据研究和发展倡议》,将大数据定义为“未来的新石油”,称将斥资2亿美元用于大数据研究,以应对大数据革命正在带来的大机遇。据美国咨询机构Gartner预测,从现在起到2015年,大数据将会在世界范围内创造440万个工作岗位。 “大数据”,这一新兴概念,正在被赋予极其丰富的内涵,并被寄予特别巨大的希望……大数据时代,我们该如何寻找对策,迎接挑战? 一、“大数据资源”成为重要战略资源 互联网时代,“资源”的含义正在发生极大的变化,它已不再仅仅只是指煤、石油、矿产等一些看得见、摸得着的实体,“大数据”,也正在演变成不可或缺的战略资源。互联网、物联网每天都在产生大量的数据,这些庞大的数据资源,为人们依据数据了解世界、了解市场、了解人们的生活提供了可能。大数据已经被视为一种资产、一种财富、一种可以被衡量和计算的价值。得大数据者得天下,是一些推崇大数据时代的变革者所坚信不疑的判断。

浅谈大数据时代的机遇与挑战

湖南农业大学课程论文学院:信息科学技术学院班级:计算机1班姓名:XXX 学号:2015XXXX 课程论文题目:浅谈大数据时代的机遇与挑战 课程名称: 评阅成绩: 评阅意见: 成绩评定教师签名: 日期:年月日

课程论文题目 ——浅谈大数据时代的机遇与挑战 学生:XXX (信息科学技术学院计算机1班) 摘要:随着时代的发展,大数据这个词慢慢进入了人们的视野的当中,而大数据也与我们的生活关联越来越紧密,对我们的影响也越来越大。怎么样才能把握住机遇,在大数据时代中脱颖而出,怎么样才能在大数据时代到来的挑战中稳步前行。 关键词:大数据;机遇与挑战;大数据时代分析 Abstract:with the development of The Times, the word big data slo wly into the people's horizons, and big data is linked to our life more and more closely, to our influence is growing. How to seize the opportunity, in the era of big data, how can ability in the er a of big data move steadily in the coming challenges. Key Words: Big data; Opportunities and challenges; The era of big da ta analysis

一、绪论 (一)什么是大数据? “大数据”作为时下最火热的IT行业的词汇在互联网时代显得越来越重要。大数据究竟有多大?大数据能做些什么?在新互联网时代,这些词汇让我们应接不暇。大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据还有四个特性分别是数据量大,种类多,速度快,价值大。大数据技术,是指从各种各样类型的数据中,快速获得有价值信息的能力。最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”(二)大数据能做些什么? 大数据的应用示例包括了大科学、传感设备网络、天文学、大气学、基因组学、生物学、大社会数据分析、互联网文件处理、制作互联网搜索引擎索引、通信记录明细、军事侦察、社交网络、通勤时间预测、医疗记录、照片图像和图像封存、大规模的电子商务等。仅仅十余年,现在越来越多的政府、企业等组织机构意识到数据正在成为组织最重要的资产,数据分析能力正在成为组织的核心竞争力。大数据不仅是一种海量的数据状态及其相应的数据处理技术,更是一种思维方式,一项重要的基础设施。这或是明天我们治理交通拥堵、雾霾天气、看病难、食品安全等“城市病”的利器,也会为政府打开了解社情民意的更大窗口。众所周知,大数据已经不简简单单是数据大的事实了,而最重要的现实是对大数据进行分析,只有通过分析才能获取很多智能的、深入的、有价值的信息。二、本论 (一)大数据的重要性 1.大数据的处理分析正成为新一代信息技术融合应用的结点 有专家指出,大数据及其分析,会在未来10年改变几乎每一个行业的业务功能,从科学研究到保险,从银行业到互联网,各个不同的领域都在遭遇爆发式增长的数据量。在美国的17个行业中,已经有15个行业大公司拥有大量的数据,其平均拥有的数据量已经远远超过了美国国会图书馆所拥有的数据量。在医疗与健康行业,根据数据预测,如果具备相关的IT设施,数据投资和分析能力等条

大数据与精准营销研究综述

大数据与精准营销研究综述 摘要:随着互联网的日益普及,人们对互联网技术的利用率越来越高,由此而来的大数据对社会的各行各业都带来很大变化,人们正步入大数据时代。在企业营销中,大数据的应用可以大大促进精准营销的发展,为其带来前所未有的发展机遇。本文首先分别对大数据与精准营销的研究进行综述,然后提出大数据时代下精准营销模式的问题,最后针对该问题提出一些思考与建议。 关键词:大数据;精准营销;精准营销模式 一、大数据研究现状 1.大数据起源与兴起 1980年,著名未来学家托夫勒在其《第三次浪潮》提出了“大数据”的概念,并热情地将其称颂为“第三次浪潮的华彩乐章”,但是之后很长一段时期内,由于技术发展制约,“大数据”的概念并没有得到人们的重视。 2008年开始,移动计算、物联网、云计算等一系列新兴技术相继兴起,这些技术的发展及其在社交媒体、协同创造、虚拟服务等新型模式中的广泛应用,使得全球数据量呈现出前所未有的爆发式增长态势,数据复杂性也急剧增长,客观上要求新的分析方法和技术来挖掘数据价值,大数据技术应运而生,并得到迅速发展和应用,如此,“大数据”时代真正到来。 2008 年末,三位信息领域资深科学家卡内基梅隆大学的R.E.Bryant、加利福尼亚大学伯克利分校的R.H.Katz、华盛顿大学的https://www.doczj.com/doc/862300859.html,zowska联合业界组织计算社区联盟(Computing Community Consortium)发表了非常有影响力的白皮书《大数据计算:商务、科学和社会领域的革命性突破》,使得研究者和业界高管意识到大数据真正重要的是其新用途和带来的新见解,而非数据本身。随后,包括EMC、IBM、惠普、微软在内的全球知名企业纷纷通过收购大数据相关厂商来实现技术整合,实施其大数据战略;国内外咨询机构也相继发布与大数据相关的研究报告,积极跟进大数据领域的研发与应用。2011 年5 月,EMC 公司在主题为“云计算相遇大数据”的World 2011 大会中阐述了云计算与大数据的理念和技术趋势。同年10 月,Gartner 将大数据列入2012 年十大战略新兴技术;11 月,由CSDN 举办的中国大数据技术大会在北京成功举行。大数据在产业界逐渐形成燎原之势。 目前,大数据研究和应用已经成为信息科技领域中的热点。世界各国均高度重视大数据领域的研究探索,并从国家战略层面推出研究规划以应对其带来的挑战。2012 年3 月,

大数据时代题目及答案(三套试题仅供参考)

大数据时代题目及答案(三套试题仅供参考)

第一套试题 1、当前大数据技术的基础是由(C)首先提出的。(单选题,本题2分) A:微软 B:百度 C:谷歌 D:阿里巴巴 2、大数据的起源是(C )。(单选题,本题2分) A:金融 B:电信 C:互联网 D:公共管理 3、根据不同的业务需求来建立数据模型,抽取最有意义的向量,决定选取哪种方法的数据分析角色人员是(C)。(单选题,本题2分) A:数据管理人员 B:数据分析员 C:研究科学家 D:软件开发工程师 4、(D )反映数据的精细化程度,越细化的数据,价值越高。(单选题,本题2分) A:规模 B:活性 C:关联度 D:颗粒度 5、数据清洗的方法不包括( D)。(单选题,本题2分) A:缺失值处理 B:噪声数据清除 C:一致性检查 D:重复数据记录处理 6、智能健康手环的应用开发,体现了( D)的数据采集技术的应用。(单选题,本题2分) A:统计报表 B:网络爬虫 C:API接口 D:传感器 7、下列关于数据重组的说法中,错误的是(A)。(单选题,本题2分) A:数据重组是数据的重新生产和重新采集 B:数据重组能够使数据焕发新的光芒 C:数据重组实现的关键在于多源数据融合和数据集成 D:数据重组有利于实现新颖的数据模式创新 8、智慧城市的构建,不包含( C)。(单选题,本题2分) A:数字城市 B:物联网 C:联网监控 D:云计算 9、大数据的最显著特征是(A)。(单选题,本题2分) A:数据规模大 B:数据类型多样 C:数据处理速度快 D:数据价值密度高10、美国海军军官莫里通过对前人航海日志的分析,绘制了新的航海路线图,标明了大风与洋流可能发生的地点。这体现了大数据分析理念中的(B )。(单选题,本题2分) A:在数据基础上倾向于全体数据而不是抽样数据 B:在分析方法上更注重相关分析而不是因果分析 C:在分析效果上更追究效率而不是绝对精确 D:在数据规模上强调相对数据而不是绝对数据 11、下列关于舍恩伯格对大数据特点的说法中,错误的是(D)。(单选题,本题2分) A:数据规模大 B:数据类型多样 C:数据处理速度快 D:数据价值密度高12、当前社会中,最为突出的大数据环境是(A)。(单选题,本题2分) A:互联网 B:物联网 C:综合国力 D:自然资源 13、在数据生命周期管理实践中,( B)是执行方法。(单选题,本题2分) A:数据存储和备份规范 B:数据管理和维护 C:数据价值发觉和利用 D:数据应用开发和管理 14、下列关于网络用户行为的说法中,错误的是(C)。(单选题,本题2分) A:网络公司能够捕捉到用户在其网站上的所有行为 B:用户离散的交互痕迹能够为企业提升服务质量提供参考 C:数字轨迹用完即自动删除 D:用户的隐私安全很难得以规范保护 15、下列关于计算机存储容量单位的说法中,错误的是( C)。(单选题,本题2分) A:1KB<1MB<1GB B:基本单位是字节(Byte) C:一个汉字需要一个字节的存储空间 D:一个字节能够容纳一个英文字符, 16、下列关于聚类挖掘技术的说法中,错误的是(B)。(单选题,本题2分) A:不预先设定数据归类类目,完全根据数据本身性质将数据聚合成不同类别

浅谈大数据时代的精准营销

龙源期刊网 https://www.doczj.com/doc/862300859.html, 浅谈大数据时代的精准营销 作者:陈稳 来源:《商情》2016年第43期 【摘要】随着大数据时代的到来,精准营销对于持续有效提高商业银行效益尤为重要。为了促进商业银行的不断发展,提升银行效益,需要采取精准营销管理,推动银行的建设与发展。对于当前商业银行精准营销管理进行分析,挖掘大数据下的顾客需求与商业银行营销之间的关系,为推动银行的发展提出建议与意见。 【关键词】大数据;精准营销;意见建议 一、精准营销的概念 精准营销是指在可量化的数据基础上分析消费者个体的消费模式和特点,并以此来划分顾客群体,精准地找到目标顾客,以及精准地开展营销活动,以提高营销成本效益率的过程。 精准营销核心是“精准”。依托强大的数据库资源,通过现代信息技术手段实现个性营销活动,以现代信息技术、市场定量分析为手段,对客户进行精确衡量和分析,做到合适的时间、合适的地点、以合适的价格、通过合适的营销渠道,向合适的顾客提供合适的产品,商业银行实现效益最大化。 二、精准营销的作用 (一)精准营销降低营销成本 随着精准营销的发展,借助于数据挖掘技术、用户定位技术、云计算等现代信息技术,实现了精准营销信息推送以及线上与线下营销的连接,商业银行的营销更加有的放矢,有效地降低了营销成本。 (二)精准营销缩短销售周期 精准营销与传统营销的显著区别在于更加注重细分客户和精确定位,同时精准营销更侧重于顾客便利,通过细化社会分工,把销售渠道缩到最短。第三方物流的兴起,也使得当前商品流通更加快速,从而有效缩短了销售周期。 (三)精准营销实现可持续发展 先进科技手段的运用实现了商业银行与顾客之间的直接沟通,也使商业银行和客户的个性化互动成为可能,从而不断满足客户的需求,为商业银行建立稳定的顾客群,从而实现商业银行长期稳定的发展需求。

浅谈基于大数据时代的机遇与挑战

浅谈基于大数据时代的机遇与挑战 本文从网络收集而来,上传到平台为了帮到更多的人,如果您需要使用本文档,请点击下载按钮下载本文档(有偿下载),另外祝您生活愉快,工作顺利,万事如意! 随着信息时代的到来,大数据(Big Data)一词逐渐被人们认知和熟悉,其常被用于定义和描述“信息爆炸时代产生的海量数”。随着“大数据”时代的来临,在商业、经济及其他领域中,人们做出决策不仅仅依靠经验和直觉,常以数据分析作为决策依据,这种方式大大提高了决策的科学性,最大限度避免决策失误。用好大数据,必将对商业发展、科学研究和政府决策产生积极的影响。 1 大数据的基本概况 大数据(Big Data)是指那些超过传统数据库系统处理能力的数据,其具有以下四个基本特性,即海量性、多样性、易变性、高速性。同时数据类型繁多、数据价值密度相对较低、处理速度快、时效性要求高等也是其主要特征。 2 大数据的时代影响 大数据,对经济、政治、文化等方面都具有较为深远的影响,其可帮助人们进行量化管理,更具科学性和针对性,得数据者得天下。大数据对于时代的影

响主要包括以下几个方面: (1)“大数据决策”更加科学有效。如果人们以大数据分析作为基础进行决策,可全面获取相关决策信息,让数据主导决策,这种方法必将促进决策方式的创新和改变,彻底改变传统的决策方式,提高决策的科学性,并推动信息管理准则的重新定位。2009 年爆发的甲型H1N1 流感就是利用大数据的一个成功范例,谷歌公司通过分析网上搜索的大量记录,判断流感的传播源地,公共卫生机构官员通过这些有价值的数据信息采取了有针对性的行动决策。 (2)“大数据应用”促进行业融合。虽然大数据源于通信产业,但其影响绝不局限于通信产业,势必也将对其他产生较为深远的影响。目前,大数据正逐渐广泛应用于各个行业和领域,越来越多的企业开始以数据分析为辅助手段加强公司的日常管理和运营管理,如麦当劳、肯德基、苹果公司等旗舰专卖店的位置都是基于大数据分析完成选址的,另外数据分析技术在零售业也应用越来越广泛。 (3)“大数据开发”推动技术变革。大数据的应用需求,是大数据新技术开发的源泉。相信随着时代的不断发展,计算机系统的数据分析和数据挖掘功能将逐渐取代以往单纯依靠人们自身判断力的领域应用。借

《大数据时代下的数据挖掘》试题及答案..

《海量数据挖掘技术及工程实践》题目 一、单选题(共80题) 1)( D )的目的缩小数据的取值范围,使其更适合于数据挖掘算法的需要,并且能够得到 和原始数据相同的分析结果。 A.数据清洗 B.数据集成 C.数据变换 D.数据归约 2)某超市研究销售纪录数据后发现,买啤酒的人很大概率也会购买尿布,这种属于数据挖 掘的哪类问题?(A) A. 关联规则发现 B. 聚类 C. 分类 D. 自然语言处理 3)以下两种描述分别对应哪两种对分类算法的评价标准? (A) (a)警察抓小偷,描述警察抓的人中有多少个是小偷的标准。 (b)描述有多少比例的小偷给警察抓了的标准。 A. Precision,Recall B. Recall,Precision A. Precision,ROC D. Recall,ROC 4)将原始数据进行集成、变换、维度规约、数值规约是在以下哪个步骤的任务?(C) A. 频繁模式挖掘 B. 分类和预测 C. 数据预处理 D. 数据流挖掘 5)当不知道数据所带标签时,可以使用哪种技术促使带同类标签的数据与带其他标签的数 据相分离?(B) A. 分类 B. 聚类 C. 关联分析 D. 隐马尔可夫链 6)建立一个模型,通过这个模型根据已知的变量值来预测其他某个变量值属于数据挖掘的 哪一类任务?(C) A. 根据内容检索 B. 建模描述 C. 预测建模 D. 寻找模式和规则 7)下面哪种不属于数据预处理的方法? (D) A.变量代换 B.离散化

C.聚集 D.估计遗漏值 8)假设12个销售价格记录组已经排序如下:5, 10, 11, 13, 15, 35, 50, 55, 72, 92, 204, 215 使用如下每种方法将它们划分成四个箱。等频(等深)划分时,15在第几个箱子内? (B) A.第一个 B.第二个 C.第三个 D.第四个 9)下面哪个不属于数据的属性类型:(D) A.标称 B.序数 C.区间 D.相异 10)只有非零值才重要的二元属性被称作:( C ) A.计数属性 B.离散属性 C.非对称的二元属性 D.对称属性 11)以下哪种方法不属于特征选择的标准方法: (D) A.嵌入 B.过滤 C.包装 D.抽样 12)下面不属于创建新属性的相关方法的是: (B) A.特征提取 B.特征修改 C.映射数据到新的空间 D.特征构造 13)下面哪个属于映射数据到新的空间的方法? (A) A.傅立叶变换 B.特征加权 C.渐进抽样 D.维归约 14)假设属性income的最大最小值分别是12000元和98000元。利用最大最小规范化的方 法将属性的值映射到0至1的范围内。对属性income的73600元将被转化为:(D) A.0.821 B.1.224 C.1.458 D.0.716 15)一所大学内的各年纪人数分别为:一年级200人,二年级160人,三年级130人,四年 级110人。则年级属性的众数是: (A) A.一年级 B.二年级 C.三年级 D.四年级

大数据时代的挑战--价值与应对策略

2012中国国际信息通信展专刊 14 2012年第17期 大数据时代的挑战、价值与应对策略 随着全球数据量爆炸式的增长,大数据时代已经到来。文章从大数据时代的基本特征入手,引出了大数据时代面临的挑战以及大数据带来的价值,提出了以创新为核心的务实应对策略。 【摘 要】 【关键词】大数据时代 “四V ”特征 流量经营 安全威胁 收稿日期:2012-08-14 责任编辑:左永君 zuoyongjun@https://www.doczj.com/doc/862300859.html, 随着移动互联网、物联网、云计算等的快速发展,及视频监控、智能终端、应用商店等的快速普及,全球数据量出现爆炸式增长。即使在遭遇金融危机的2009年,全球信息量也比2008年增长62%,达到80万PB(1015字节),2010年增至120万PB。据IDC预测,至2020年全球以电子式形存储的数据量将达32ZB (1021字节)。以120万PB数据为例,如果将其刻录在DVD上,再将这些盘片堆叠起来,可从地球到月球垒一个来回! 在此背景下,电信运营商在其网络无休止扩容的同时,却面临“增量不增收”的困境;而一些采用“数据驱动型决策”模式经营的公司,则可将其生产力提高5%~6%。因此,有必要深入研究大数据时代(Big Data Era)的挑战、价值与务实应对策略。 1 大数据时代的基本特征 据统计,2010年以互联网为基础所产生的数据比之前所有年份的总和还要多;而且不仅是数据量的激增,数据结构亦在演变。Gartner预计,2012年半结构和非结构化的数据,诸如文档、表格、网页、音频、图像和视频等将占全球网络数据量的85%左右;而 且,整个网络体系架构将面临革命性改变。由此,所谓大数据时代已经来临! 对于大数据时代,目前通常认为有下述四大特征,称为“四V”特征: (1)量大(V o l u m e B i g )。数据量级已从T B (1012字节)发展至PB乃至ZB,可称海量、巨量乃至超量。 (2)多样化(Variable Type)。数据类型繁多,愈来愈多为网页、图片、视频、图像与位置信息等半结构化和非结构化数据信息。 (3)快速化(Velocity Fast)。数据流往往为高速实时数据流,而且往往需要快速、持续的实时处理;处理工具亦在快速演进,软件工程及人工智能等均可能介入。 (4)价值高和密度低(V a l u e H i g h a n d L o w Density)。以视频安全监控为例,连续不断的监控流中,有重大价值者可能仅为一两秒的数据流;360°全方位视频监控的“死角”处,可能会挖掘出最有价值的图像信息。 2 大数据时代面临的挑战 (1)运营商带宽能力与对数据洪流的适应能力面临前所未有的挑战,管道化压力化解及“云-管- 端”的有效装备也均面临新挑战。 (2)大数据的“四V”特征在数据存储、传输、

大数据时代下的精准营销精编版

大数据时代下的精准营 销精编版 MQS system office room 【MQS16H-TTMS2A-MQSS8Q8-MQSH16898】

2012年以后,大数据(bigdata)一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新。哈佛大学社会学教授加里·金说“这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界、商界还是政府,所有领域都将开始这种进程。”本文总结一下:利用海量数据和先进的数据挖掘技术,研究客户行为特征,进行精准营销。 数据库营销 关于数据库营销,美国全国数据库营销中心是这样定义的:“数据库营销是一个动态的数据库管理系统,该数据库的内容涵盖现有顾客和潜在顾客,并可以随时扩充、更新。就其功能而言,要能实现以下目标:确认最佳目标顾客及潜在顾客,然后与顾客建立起长期的、牢固的、融洽的关系,同时根据数据库建立先期模型,进行针对性营销。”? 拉克萨根据数据库营销的产生和演进,把数据库营销的发展过程划分成交易信息、名录管理、数据库分析、接触管理、软件进化、客户关系管理等不同的阶段,所有不同的阶段都可以认为是发展全功能数据库营销策略的一个又一个里程碑。? 数据挖掘 通过数据挖掘技术对数据库中的数据进行分析是数据库营销的主要分析技术。数据挖掘的目的就是要在数据庞大的、信息不完全的、有噪声的、表述模糊的、随机的数据中,提取出隐含于其中的、人们不知道的、但又是潜在的、有用的信息和知识。可以说数据挖掘是一个利用现有的各种分析工具,用以在海量数据中发现模型和数据间关系的过程,然后依据这些模型和关系作出预测。数据挖掘能通过预测未来趋势及行为,帮助人们作出前瞻的、基于知识的决策。? CRISP-DM(跨行业数据挖掘标准流程)是世界公认的方法论之一,也较有影响力。在这一流程中DM不再只是数据的组织或者简单的呈现,也不仅仅表现为对数据的分析和统计建模,其强调的则是一个从理解业务需求、寻求解决方案到接受实践检验的完整过程。? CRISP-DM将整个挖掘过程分成了以下六个步骤:商业理解,数据理解,数据准备,建立模型,模型评估,模型发布。? 通常来说,把模型的结果转化成一段数据库存储过程的代码,并与数据处理代码进行整合,就可以在数据库存储过程中实现

大数据的机会与挑战

大数据的机会与挑战 我们活在大数据的世界,数据的数量与多样化的程度,每日都以前所未有的规模扑向人类。无论你是不是在相关产业工作,都不可能逃离被大数据「围攻」的现实。自哈佛大学电脑科学系毕业、Cambridge Semantics共同创办人Lee Feigenbaum撰写的〈Turnning Big Data into Smart Data〉一文,告诉我们横亘企业眼前的「大数据挑战」。让我们先来看看,大数据到底有多大? 每天全球每一个人聚沙成塔,累积的新数据达到「艾位元组(exabytes)」(甚 至达到「皆位元组(zettabytes)」,端赖统计的来源)。 至今一半以上(有些报告甚至指出高达90%)的数据资料是在过去12个月产生的。 人们创造数据的速度每一个月都以双倍速度成长。 除了吓人以外,光有这些「大数据」,其实没有什么意义,唯有人类能够从中发 掘价值,大数据才产生意义。所幸,已有很多应用实例,让大数据发出应有的光芒,也让我们看到各行各业有无穷尽的机会,等待数据科学家的探勘。

在「大数据」还没变成人人琅琅上口的流行词汇之前,小说改变而成的电影《魔球》描述美国大联盟运动家队点石成金在缺乏明星球员的状况下杀出血路的真实故事,早已让人津津乐道,而它正是数据分析的绝佳体现。 医疗与制药产业纷纷投入大笔经费,研发「客制化」的个人医学,透过分析病人的特徵与基因组成,给予个别病人量身定做的诊断与疗法,实验室与临床都需要大量且多样化的数据整合。 智能手机、运动手环甚至後来的智慧型手表,我们分分秒秒都在「量化自我」, 健身的程度、摄取的营养、身心状况、行为趋向全部都被巨细靡遗的记录下来。 大型银行与隶属政府的金融部门对资料长(chief data officer,CDO)与数据 科学家需求若渴,他们要能全盘考量组织职能,针对数据的蒐集、分析与应用做出策略性的思维。

2018年大数据时代的互联网信息安全试题和答案解析(100分)

1.网盘是非常方便的电子资料存储流转工具。不仅不占用空间,而且在任何电脑上都能访问,下面这些使用网盘的做法中,哪一项会造成个人隐私信息泄露的风险?()(单选题2分) 得分:2分 C.将所有信息保存在云盘,设置一个复杂的云盘密码,然后将密码信息保存在电脑D 盘的文件夹中 2.位置信息和个人隐私之间的关系,以下说法正确的是()(单选题2分)得分:2分 C.需要平衡位置服务和隐私的关系,认真学习软件的使用方法,确保位置信息不泄露 3.你收到一条10086发来的短信,短信内容是这样的:“尊敬的用户,您好。您的手机号码实名制认证不通过,请到XXXX网站进行实名制验证,否则您的手机号码将会在24小时之内被停机”,请问,这可能是遇到了什么情况?()(单选题2分)得分:2分 D.伪基站诈骗 4.我们在日常生活和工作中,为什么需要定期修改电脑、邮箱、网站的各类密码?()(单选题2分)得分:2分 D.确保个人数据和隐私安全 5.浏览网页时,弹出“最热门的视频聊天室”的页面,遇到这种情况,一般怎么办?()(单选题2分)得分:2分 D.弹出的广告页面,风险太大,不应该去点击 6.在某电子商务网站购物时,卖家突然说交易出现异常,并推荐处理异常的客服人员。以下最恰当的做法是?()(单选题2分)得分:2分 C.通过电子商务官网上寻找正规的客服电话或联系方式,并进行核实 7.重要数据要及时进行(),以防出现意外情况导致数据丢失。(单选题2分)得分:2分 C.备份 8.我国计算机信息系统实行()保护。(单选题2分)得分:2分 B.安全等级 9.当前网络中的鉴别技术正在快速发展,以前我们主要通过账号密码的方式验证用户身份,现在我们会用到U盾识别、指纹识别、面部识别、虹膜识别等多种鉴别方式。请问下列哪种说法是正确的。()(单选题2分)得分:2分 C.使用多种鉴别方式比单一的鉴别方式相对安全 10.日常上网过程中,下列选项,存在安全风险的行为是?()(单选题2分)得分:2

大数据时代对社会的影响与挑战

大数据时代面临机遇和挑战。 一、“大数据”概念的界定 (一)“大数据”概念的提出与发展 2008年9月4日,《自然》(Nature)刊登了一个名为“Big Data”的专辑,首次提出 大数据(Big Data)概念,该专辑对如何研究PB级容量的大数据流,以及目前正在制订的、用以最为充分地利用海量数据的最新策略进行了探讨。[1]2011年5月,EMC(全球最大的外置存储硬盘供应商)举办了主题为“云计算相遇大数据”的大会;紧随其后,IBM、麦肯锡等众多国外机构发布了“大数据”的相关研究报告,2011年6月,麦肯锡全球研究所发布研究报告——《大数据的下一个前沿:创新、竞争和生产力》(Big Data: The Next Frontier for Innovation, Competition, and Productivity)[2],首次提出“大数据时代”来临。此后,联合国、世界经 济论坛也纷纷关注信息时代海量数据对社会经济发展所带来的冲击,2012年5月,联合国“全 球脉冲”(Global Pulse)计划发布《大数据开发:机遇与挑战》(Big Data for Development: Challenges & Opportunities)[3]报告,阐述了大数据带来的机遇、主要挑战和大数据应用。2011、2012年达沃斯世界经济论坛将大数据作为专题讨论的主题之一,发布了《大数据、大影响:国 际发展新的可能性》(Big Data, Big Impact: New Possibilities for International Development)[4]等系列报告。 奥巴马政府创造性地将“大数据”概念全面引入到公共行政领域。2009年,美国联邦政府 发布《开放政府指令》(The Open Government Directive),作为大数据的前奏推出了“https://www.doczj.com/doc/862300859.html,”公共数据开放网站。2012年3月,美国联邦政府发布了《大数据研究和发展倡议》(Big Data Research and Development Initiative)[5],正式启动了“大数据发展计划”,宣布将投入超 过2亿美元在大数据研究上[6];同年5月,联邦政府发布《数字政府战略》(Digital Government Strategy)[7],致力于为公众提供更好的“数字化”服务,围绕数据进行的一系列措施在美国政府全面推进,大数据对美国政府的影响逐步显现。 (二)大数据的概念 “大数据”作为信息社会发展的一个新生事物,目前尚处在逐渐被认识、被应用的初始阶段,无论是学术界还是IT行业对大数据的理解各有侧重,尚未形成一套完整的理论体系,因此很难进行精准的定义。维基百科将大数据定义为“所涉及的资料量规模巨大到无法通过目前主流软件工具在合理时间内达到撷取、管理、处理并整理成为帮助企业经营决策更积极目的的资讯”[8]。全球知名的咨询公司如麦肯锡、Gartner以及知名信息化企业如IBM等作为大数据的推崇者,更侧重于从技术层面界定大数据。2011-2013年,Gartner发布了多个与大数据有关的白皮书,如“Hype Cycle for Big Data, 2012”,定义了大数据的技术生命周期,报告中指出大数据不只是一项单一的技术,而是一个概念,一套技术。《互联网周刊》则认为,“大数据是通过对海量数据进行分析,获得有巨大价值的产品和服务,或深刻的洞见,最终形成变革之力”。[9]

相关主题
文本预览
相关文档 最新文档