第1期网络科学热点问题荟萃7
网络大数据
——复杂网络的新挑战：如何从海量数据获取信息？
周涛
(电子科技大学互联网科学中心成都 610054)
doi:10.3969/j.issn.1001-0548.2013.01.004
2012年3月，奥巴马政府公布了“大数据研发计划”，美国国家科学基金会、国防部、能源部、国家健康研究所、地质勘探局和国防部先进研究计划局六个联邦部门和机构共同投资2亿美元，致力于提高和改进人们从海量和复杂的数据中获取知识的能力。这是美国1993年宣布“信息高速公路”计划后又一次重大科技发展部署。2012年5月，我国召开第424次香山科学会议，这是我国第一个以大数据为主题的重大科学工作会议。中国计算机学会、通信学会等于今年分别成立了“大数据专家委员会”。国家自然科学基金委员会2013年的《项目指南》中，大数据成为最热门关键词！2012年12月13日，中关村成立大数据产业联盟，由云基地、联通、用友、联想、百度、腾讯、阿里巴巴等企业组成了第一批理事单位。
数据量的激增带来了很多共性问题，譬如数据的可表示、可处理和可靠性问题等等。与此同时，各学科自身也有各具特色的大数据问题。网络科学既是以网络为研究对象的一门有数百年历史的专业性很强的学科，又是众多学科中不同研究对象的统一抽象的表达方式，其所遭遇的问题和挑战往往特别典型、特别重要！目前万维网具有超过万亿的统一资源定位符(URL)，Facebook有10亿节点和千亿连边，大脑神经元网络有数百亿节点，中国三大运营商的手机通讯网络无一不拥有数亿用户……如何处理超大规模的网络数据，已经成为学术界和企业界亟待解决的关键科学技术问题。
很多与网络紧密相关的大数据问题是具有共性的。网络数据是典型的非结构化数据，针对大型网络的存储和管理的图数据库设计是目前非关系型数据库的一个重要分支。尽管有学者坚信随着计算能力和数据采集能力的提升，处理全体数据将成为趋势，但抽样仍然是目前处理海量数据问题的一种常用方法，而网络抽样不同于从一堆数中抽样去逼近原始分布，后者有明确的最优目标，前者则无章可循——什么样的网络抽样才算是好的呢？应该用什么方法抽样呢？抽样误差如何估计呢？大数据之间需要通过关联和交叉复用展现出1+1>2的价值，以网络科学的语言来做比喻，就是希望破译“人人网”里面的某A就是“中国移动手机通讯网络”中的某B，并且分析两个网络之间到底存在多少结构和功能的关联性。另外，可视化展示能够帮助科学家快速从大数据中验证科学猜想并获得新的科学发现，大规模网络的可视化也已被认为是一种有助于理解和分析网络的有效方法。
除了上述提到的一些共性问题外，此处我们着重介绍两个网络大数据独特的问题：一是预测问题，二是图的快速算法问题。
预测是大数据最核心的科学问题。目前学术界主要关心两类预测问题，一是趋势预测，二是缺失信息预测。趋势预测是指通过事物的一些基本属性信息和早期的态势分析，预测事物发展的轨迹和最终影响力[1-2]。这样的例子很多，譬如通过分析社交网络中注册一个月的用户的行为以及这些用户与其他用户的互动，预测哪些用户将来会成为很有影响力的用户；通过用户–商品二部分图中产品的早期表现，例如一首新歌或一个新歌手上线一周的情况，来预测这首歌或者这个歌手有没有可能走红；通过一条信息早期数小时在微博网络上的传播情况，来预测这条信息最终的影响力等等。信息传播的趋势预测是一个正问题，其相应的反问题是对传播路径进行还原，确定扩散源节点的位置[3]。这个问题虽
收稿日期：2012 ? 12 ? 15
作者简介：周涛(1983 ? )，男，教授，主要从事统计物理与复杂性科学方面的研究.
电子科技大学学报第42卷8
然不属于典型的预测问题，但也是相关且值得关注的问题。缺失信息预测假设我们观察到的网络只是真实网络的一部分，在这个基础上探讨如何利用当前信息去预测缺失边[4]。以基因调控网络和蛋白质相互作用网络为例，我们已经知道的网络结构只是完整结构很小的一部分，这时候缺失预测方法就能够起到很大的作用。另外，社交网络朋友推荐也可以看做是缺失信息预测，因为我们推荐的基本假设是“他们应该认识并成为好朋友”，其方法论和缺失信息预测是完全一致的。推荐系统设计的核心问题，就是用户–商品二部分图上的缺失信息预测[5]。这和上面提到的一部分图上的链路预测问题理念相近但方法技术上有所不同。
图的快速算法问题在大数据时代尤其具有挑战性。以前O(N2)或者O(N3)的算法就被认为效率很高了，而在动辄数亿节点的网络中，O(N log N)甚至线性算法可能都是不可接受的——快速算法和分布式计算是必然的努力方向。在这种规模的网络上，即便是求取簇系数和平均距离，都是一件开销昂贵的事情。当然，这些毕竟还是简单的事情，因为精确计算的复杂性也不大，而且近似算法设计也比较容易。此处主要介绍图匹配的问题和图社区划分问题，因为这两个问题本身复杂性高，而且具有特别重要的应用价值。图匹配最严格的是要求判定两个同阶图是否同构，较弱的定义是判定两个图是否是子图同构的，也就是是否存在顶点之间的一个单射关系，若图A中两个顶点相连，则其在图B中的单射的两个顶点也必须相连。注意，此时A、B两个图不需要同阶，A的顶点数可以少于B。一般而言，两个图既不是同构的，也不会是子图同构的，这个时候，可以通过寻找最大公共诱导子图来描述两个图的相似性。这些问题在大数据时代往往没有太大实用价值，因为计算复杂性大得惊人，这个时候寻找近似的最大公共子图或者通过传播算法以及谱算法快速寻找两个图的顶点对应关系就变得重要了[6]。社区挖掘的重要性不需赘述，不仅是展开网络中观结构从而观察网络组织规律的有力武器，也对包括推荐系统设计[5]在内的很多网络应用问题的重要辅助算法。目前，表现良好的算法已经可以在单机上实现数小时内划分千万节点规模的简单无向网络[7]，划分效果主要还是采用模块化程度这一指标，尽管这个指标在社区规模分辨率等方面存在缺陷。社区挖掘还有一个针对超大网络非常直接的应用，就是大规模网络的分布式存储。这个时候我们希望把网络的节点分别存在在不同机器上，并且跨机器的交叉边越少越好，而且为了负载平衡，还要求每个机器上节点总数是差不多的。这就相当于社区挖掘的时候给出了两个限定条件，一是知道社区数目，二是要求每个社区的节点数几乎相等。最近微软亚洲研究院提出了一个可以处理十亿规模的分布式算法[8]。一个大胆的猜测是，现在和将来优秀的快速社团挖掘算法，也包括求解平均距离和其他网络特征的近似算法，都会越来越多地利用重整化群的理念与方法。
参考文献
[1] ASUR S, HUBERMAN B A. Predicting the future with
social media[C]//IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology (WI-IAT). New York: IEEE Press, 2010: 492-499.
[2] ALTSHULER Y, PAN W, PENTLAND A. Trends prediction
using social diffusion models[J]. Lect Notes Comput Sci, 2012(7227): 97-104.
[3] PINTO P C, THIRAN P, VETTERLI M. Locating the source
of diffusion in large-scale networks[J]. Phys Rev Lett, 2012(109): 068702.
[4] LüL, ZHOU T. Link prediction in complex networks: a
survey[J]. Physica A, 2011(390): 1150-1170.
[5] LüL, MEDO M, YEUNG C H, et al. Recommender
systems[J]. Physics Reports, 2012(519): 1-49.
[6] TIAN Y, MCEACHIN R C, SANTOS C, et al. SAGA: a
subgraph matching tool for biological graphs[J].
Bioinformatics, 2007(23): 232-239.
[7] BLONDEL V D, GUILLAUME J-L, LAMBIOTTE R, et al.
Fast unfolding of communities in large networks[J]. J Stat Mech, 2008(10): 10008.
[8] WANG L, XIAO Y, SHAO B, et al. How to partition a
billion-node graph[R]. Beijing: MSRA, 2012.
编辑蒋晓
2018 年度大数据时代的互联网信息安全考试
考试时间：2017-06-01 11:23-2017-06-01 11:44
100 分
得分：2 分
?
1.要安全浏览网页，不应该（ ）（单选题 2 分）
o o o o
A.定期清理浏览器缓存和上网历史记录 B.在公用计算机上使用“自动登录”和“记住密码”功能 C.定期清理浏览器 Cookies D.禁止开启 ActiveX 控件和 Java 脚本
?
2.李同学浏览网页时弹出“新版游戏，免费玩，点击就送大礼包”的广告，李同学点了之后 发现是个网页游戏，提示： “请安装插件” ， 请问， 这种情况李同学应该怎么办最合适? （ ） （单选题 2 分）
o
得分：2 分 A.网页游戏一般是不需要安装插件的，这种情况骗局的可能性非常大，
不建议打开
o o o ?
B.为了领取大礼包，安装插件之后玩游戏 C.先将操作系统做备份，如果安装插件之后有异常，大不了恢复系统 D.询问朋友是否玩过这个游戏，朋友如果说玩过，那应该没事 得分：2 分
3.“短信轰炸机”软件会对我们的手机造成怎样的危害（ ）（单选题 2 分）
o o o o
A.会使手机发送带有恶意链接的短信 B.会大量发送垃圾短信，永久损害手机的短信收发功能 C.会损害手机中的 SIM 卡 D.短时内大量收到垃圾短信，造成手机死机 得分：2 分
?
4.位置信息和个人隐私之间的关系，以下说法正确的是（ ）（单选题 2 分）
o o o
A.位置隐私太危险，不使用苹果手机，以及所有有位置服务的电子产品 B.我就是普通人，位置隐私不重要，可随意查看 C.需要平衡位置服务和隐私的关系，认真学习软件的使用方法，确保位
置信息不泄露
o ?
D.通过网络搜集别人的位置信息，可以研究行为规律 得分：2 分
5.注册或者浏览社交类网站时，不恰当的做法是：（ ）（单选题 2 分）
o
A.信任他人转载的信息
信息时代的网络安全及其对大学生的影响 的看法和建议 高校校园网络的迅猛发展，对高校师生的学习方式、生活方式、交往方式产生了巨大的冲击。对师生尤其是对大学生的思维方式、价值观念、精神世界产生了不可忽视的影响。同时，由此形成的网络文化对传统校园文化提出了前所未有的挑战。因此，在高校信息化校园建设过程中，只有进一步提高校园网络文化建设对高等教育深化改革重要性的认识，准确把握网络文化的发展方向，分析研究网络文化的特点和规律，切实克服网络文化所产生的种种负面影响，才能使网络文化为高校各项工作服务。 一、信息时代网络对大学生的影响 （一）大学生利用网络进行违法犯罪行为 1、发表不当言论 由于网络的开放性、虚拟性，上网族可以匿名在网络上表达自己的观点和看法。如果没有较强的社会责任感，大学生就可以在不同的网站随意发表自己的观点，这种观点正确与否发表者本人并不在意，他所得到的就是情绪的一种宣泄。这种不负责任的宣泄有可能会对国家，或某个组织，或是对某一个体造成伤害。严重的还会触犯国家的法律，造成犯罪。比如华南理工大学一名学生因个人爱好在电子公告上张贴武器发展的相关信息，造成了国家泄密事件，触犯了国家法律。 2、扮演黑客，进行网络攻击和入侵 大学生是一个具有较高智商的群体，这个群体对新生事物有着更多的好奇心理，网络的开放性使他们可以无所顾忌的放任自己。因此，一些大学生就制造计算机病毒，在网络上进行发布，对他人电脑进行攻击，侵犯其他隐私，甚至盗取国家机密，走上犯罪道路。 3、传播不良信息 互联网和其他媒体相比，它所提供的内容相当丰富，信息量很大，它对社会文明的发展起到了非常积极的作用。但是，一种现象不得不面对，那就是互联网上存在的大量黄色网站，而在我国上网族中，25岁以下的青少年就占54.2%，由于大学生涉世未深和可塑性较强，使得他们成为“网络黄毒”的最大受害者，对正处在成长阶段的大学生带来了很大的负面影响。大学生一旦沉迷于这些不良信息，就会不可自拔，进而成为色情网站的“常客”，甚至会利用网络传播这些不良信息。 （二）大学生网络上当受骗 网络聊天随着互联网的发展应运而生，大学生是一个思想活跃的群体，容易接受新生事物，而且喜欢研究和探索，追求时尚。网络聊天给他们带来了很大的乐趣，为他们提供了一个可以和任何陌生人交流、沟通，甚或是交朋友的平台。因为网络是虚拟的，上网族通过它获取到的信息都是华丽的，而信息是否真实，却缺乏考证。因此，在聊天中对于分辨能力还不是很强的大学生来说，很容易相信网络上的人或信息，使得大学生上当受骗的几率大大增
大数据带来的机遇和挑战 互联网高端技术的创新与发展，给人类社会带来了巨大变化。今后20年全球将步入大数据新时代。高端互联网将再铸新世界。我们正处在一个数据爆发增长的时代。移动互联网、移动终端和数据感应器的出现，使数据以超出人们想象的速度在快速增长。据国际数据资讯公司（GlobalPulse）估测，数据数量一直在快速增加，每年增长50%，这个速度不仅是指数据流的增长，而且还包括全新的数据种类的增多。据统计，全球企业2010年在硬盘上存储了超过7EB的新数据，消费者在PC和笔记本电脑等设备上存储了超过6EB新数据，而1EB数据就相当于美国国会图书馆中存储数据的4000多倍。目前数据容量增长的速度，已经大大超过了硬件技术的发展速度，并正在引发数据存储和处理的危机。 有研究统计，从人类文明开始到2003年，人类共创造了5TB（兆亿字节）的信息，而现在，这样的数据量却仅需两天就被创造出来，且速度仍在加快。数据显示，2011年全球创建和复制的数据总量，就达到了1.8ZB(1ZB等于10的21次方比特)，相当于全球每人产生300GB以上的数据。目前这个数字仍在快速增长，预计2020年，全球产生的数据量更将超过80ZB。由此可见，我们的确已经迈入了大数据时代。 2012年3月，美国奥巴马政府发起了《大数据研究和发展倡议》，将大数据定义为“未来的新石油”，称将斥资2亿美元用于大数据研究，以应对大数据革命正在带来的大机遇。据美国咨询机构Gartner预测，从现在起到2015年，大数据将会在世界范围内创造440万个工作岗位。 “大数据”，这一新兴概念，正在被赋予极其丰富的内涵，并被寄予特别巨大的希望……大数据时代,我们该如何寻找对策,迎接挑战? 一、“大数据资源”成为重要战略资源 互联网时代,“资源”的含义正在发生极大的变化,它已不再仅仅只是指煤、石油、矿产等一些看得见、摸得着的实体，“大数据”，也正在演变成不可或缺的战略资源。互联网、物联网每天都在产生大量的数据，这些庞大的数据资源，为人们依据数据了解世界、了解市场、了解人们的生活提供了可能。大数据已经被视为一种资产、一种财富、一种可以被衡量和计算的价值。得大数据者得天下，是一些推崇大数据时代的变革者所坚信不疑的判断。
《“互联网+”与大数据时代的机遇与挑战》在线考试 时间限制:90分钟 离考试结束还剩23分47秒(到时间后将自动交卷) 一、单项选择题(共20小题，每小题2分) 1.本讲提到，政府提出的“放管服”中的“放”是指要（）。 A. 促进公平竞争 B. 降低准入门槛 C. 强化监管 D. 提高服务效率 2.本讲认为，（）是中国经济的新引擎。 A. 改革 B. 大众创业、万众创新 C. 城镇化 D. 扩大内需 3.下列不属于建立统一的公共数据共享和开放平台体系内容的是（）。 A. 依托国家电子政务外网，建立国家、省、市三级非涉密政务信息共享交换平台
B. 依托国家电子政务内网，建立国家、省两级涉密政务信息共享交换平台 C. 依托国家电子政务外网及已有资源，建立国家、省、市三级公共数据开放平台 D. 依托国家电子政务外网，建立国家、省两级涉密政务信息共享交换平台 4.根据本讲，以下不属于“十三五之歌”的特点的是（）。 A. 贴近西方受众 B. 符号接近性 C. 着重对外交问题阐述立场和主张 D. 解释性叙事 5.通过对（）的规范化和标准化使得数据具有一致性。 A. 数据元素 B. 信息模型 C. XML D. RDF 6.本讲指出，（）成为互联网与传统产业结合的重要趋势，也是“互联网+”发挥作用的重要立足点。 A. 跨界融合 B. 跨界兼并 C. 跨界制造 D. 跨界生产
7.2015年5月19日，经李克强总理签批，国务院印发《中国制造2025》，部署全面推进实施（）战略。 A. 全面发展 B. 工业强国 C. 制造强国 D. 创新强国 8.以下哪项新兴经济形态对双方来说都是共赢（）。 A. 生态经济 B. 平台经济 C. 共享经济 D. 网红经济 9.我国互联网发展的现状不包括（） A. 已成为互联网大国 B. 互联网已成为社会运行的核心基础设施 C. 网络购物用户规模增长迅速 D. 网络信息安全形势日益复杂 10.流通型电子商务产业生态的核心是（） A. 互联网金融 B. 电子商务平台 C. 网上支付和网上物流环节的完善 D. 线上和线下电子商务的融合发展 11.（）是把互联网的创新成果与经济社会各个领域深度融合，推进技术进步、
大数据技术的挑战和启示 目前，大数据技术的运用仍存在一些困难与挑战，体现在大数据挖掘的四个环节中。首先在数据收集方面。要对来自网络包括物联网和机构信息系统的数据附上时空标志，去伪存真，尽可能收集异源甚至是异构的数据，必要时还可与历史数据对照，多角度验证数据的全面性和可信性。其次是数据存储。要达到低成本、低能耗、高可靠性目标，通常要用到冗余配置、分布化和云计算技术，在存储时要按照一定规则对数据进行分类，通过过滤和去重，减少存储量，同时加入便于日后检索的标签。第三是数据处理。 有些行业的数据涉及上百个参数，其复杂性不仅体现在数据样本本身，更体现在多源异构、多实体和多空间之间的交互动态性，难以用传统的方法描述与度量，处理的复杂度很大，需要将高维图像等多媒体数据降维后度量与处理，利用上下文关联进行语义分析，从大量动态而且可能是模棱两可的数据中综合信息，并导出可理解的内容。第四是结果的可视化呈现，使结果更直观以便于洞察。目前，尽管计算机智能化有了很大进步，但还只能针对小规模、有结构或类结构的数据进行分析，谈不上深层次的数据挖掘，现有的数据挖掘算法在不同行业中难以通用。 大数据技术的运用前景是十分光明的。当前，我国正处在全面建成小康社会征程中，工业化、信息化、城镇化、农业现代化任务很重，建设下一代信息基础设施，发展现代信息技术产业体系，健全信息安全保障体系，推进信息网络技术广泛运用，是实现四化同步发展的保证。大数据分析对我们深刻领会世情和国情，把握规律，实现科学发展，做出科学决策具有重要意义，我们必须重新认识数据的重要价值。 为了开发大数据这一金矿，我们要做的工作还很多。首先，大数据分析需要有大数据的技术与产品支持。发达国家一些信息技术（IT）企业已提前发力，通过加大开发力度和兼并等多种手段，努力向成为大数据解决方案提供商转型。国外一些企业打出免费承接大数据分析的招牌，既是为了练兵，也是为了获取情报。过分依赖国外的大数据分析技术与平台，难以回避信息泄密风险。有些日常生活信息看似无关紧要，其实从中也可摸到国家经济和社会脉搏。因此，我们需要有自主可控的大数据技术与产品。美国政府2012年3月发布《大数据研究与发展倡议》，这是继1993年宣布“信息高速公路”之后又一重大科技部署，联邦政府和一些部委已安排资金用于大数据开发。我们与发达国家有不少差距，更需要国家政策支持。 中国人口居世界首位，将会成为产生数据量最多的国家，但我们对数据保存不够重视，对存储数据的利用率也不高。此外，我国一些部门和机构拥有大量数据却不愿与其他部门共享，导致信息不完整或重复投资。政府应通过体制机制改革打破数据割据与封锁，应注重公开信息，应重视数据挖掘。美国联邦政府建立统一数据开放门户网站，为社会提供信息服务并鼓励挖掘与利用。例如，提供各地天气与航班延误的关系，推动航空公司提升正点率。
大数据的应用及带给企业的挑战 随着信息技术特别是信息通讯技术的发展，互联网、社交网络、物联网、移动互联网、云计算等相继进入人们的日常工作和生活中，全球数据信息量呈指数式爆炸增长之势。根据国际数据公司IDC发布的研究报告，预计全球数据量大约每两年翻一番，到2020年全球将达到35ZB的数据信息量。随着前所未有巨量数据信息的聚集，“大数据”已得到广泛关注。本文将分企业数据、机器数据和社会化数据三类，针对企业数据处理面临的挑战、机器数据应用场景、社会化数据带来的变革展开讨论。 1、企业数据处理面临的挑战 中国的企业已经认识到大数据蕴含着巨大的商业价值，但国内互联网巨头作为率先使用大数据技术的用户，仅仅是基于开源软件自主开发大数据应用，未形成企业级的个性化应用。 (1)非结构化和结构化数据的统一及整合 随着互联网和通信技术的迅猛发展，企业中的数据类型早已不是单一的以文本为主的结构化数据，还充斥着广泛存在于社交网络、物联网、电子商务等之中的网络日志、音频、视频、图片、地理位置信息等多类型的数据。这些数据称为非结构化数据。据统计，企业中
85%的数据属于非结构化数据。但是企业现有的数据处理方法仅适用于结构化数据，无法将大量的非结构化数据与结构化数据进行统一、整合，就无法发掘数据中的价值。 (2)跨业务平台数据的关联 当今企业环境中存在着：不同业务模块的数据分布在不同的系统平台，这些被割裂的数据在单一业务平台无法得到有效利用；不同业务模块的数据无法实现共享、关联；仅对关键业务的数据进行收集、整合和利用，非关键业务的数据被忽视等现状。企业中的数据由于业务模块的划分而被割裂开来．单一业务模块的数据价值远远小于所有业务模块数据关联起来进行分析运用，企业将如何实现跨业务平台数据的关联与整合将面临巨大的挑战。 (3)面向数据的实时分析 随着经济的飞速发展，企业所面临的市场行情也在瞬息万变，企业曾经惯用的事后处理机制已经不能应对，企业需要实时洞察业务运营状态，以便迅速应对不断变化的市场形势。 企业业务的运营状态将体现在海量数据的快速处理和有效进行 实时分析的基础上。但随着大数据的爆炸式增长，与企业相关的数据可能在无限量的不断增长，这些不断变化的数据，需要企业进行全面、实时的分析。
大数据时代网络信息安全问题及对策 摘要：本文在目前大数据的时代背景下，对网络信息安全存在的问题进行了分析，并提出了相应的对策来确保网络信息安全，希望能对实现信息安全保护目标 具有借鉴意义。 关键词：大数据时代；网络信息安全；问题；对策 1.引言 如今在我们生活中，信息资源泄露、病毒攻击、黑客破坏等问题越来越严重。虽然大数 据给人们生活带来了很多便利，例如淘宝、京东等购物网站可以根据用户的搜索历史来有针 对性的向用户推荐产品。但同时，这也意味着人们的个人信息被完全暴露于在大数据当中， 人们的隐私受到威胁。本文讨论了如今大数据时代，网络信息安全问题，希望在大数据时代 下能够尽可能的保障信息的安全。 2.大数据时代的概述 2.1大数据的内涵 大数据是指对传统的数据库、软件等数据进行收集以及处理的集合。和传统数据处理相 比较，大数据对处理信息的质量以及效率更加注重。如今随着计算机技术的不断发展，以及 与之相关联的物联网、云技术的快速发展，各项数据都在以惊人的速度增长，而各种智能设 备的出现，也给大数据时代的发展提供了数据来源。大数据具有巨大的经济效益以及商业价值，其规模赶得上上世纪的工业革命。大数据开创了政府管理，企业经验的新模式，其以逐 渐成为各企业竞争的核心所在。 2.2大数据的基本特征 (1)数据的数量巨大；在大数据时代，对于计算机硬盘来说，其容量一般都从传统的以TB 作为容量单位，升级到以PB以及ZB作为容量单位，在一些大的企业，其容量甚至开始以EB 作为单位。现如今，数据的容量及规模已经有了巨大的提升，这可以推动我国信息技术的快 速发展。 (2)处理数据速度很快；在大数据的时代，其生产数据的熟读以及对数据进行处理的速度 都得到了很大的提升，可以满足在信息化社会当中，对于“实时性”的要求。 (3)数据的种类很多；“大数据”来源于很多方面，如传感器以及终端设备等等，对于不同 设备，采用的数据记载格式有很大的不同，所以使得数据有很多类型。 3.大数据时代信息安全所面临的主要问题 3.1进行信息安全攻击的载体是大数据 在传统的数据库管理当中，通常是根据某个时间点中所进行的匹配性以及实时性检测来 对威胁进行检测，这种检测成功率比较高，而在大数据当中，APT攻击方法是一个比较复杂、持续的过程，不太可能进行实时检测，并且大数据的价值密度很低，很难把安全防护的工具 都放在价值点当中，从而给木马及病毒的侵入提供了机会，这给各个企业的信息安全带来了 挑战，例如，系统中藏有木马病毒会影响企业检索、收集相关信息，造成企业发展与正确方 向相偏离，形成一个巨大的信息“漏洞”，使得个人及单位的大量信息泄露，出现信息安全隐患。 3.2网络黑客及病毒的攻击 随着互联网的普及和发展，它给大数据奠定了良好的基础，是网络黑客攻击的主要目标，这会严重影响大数据的发展及应用。可以将黑客攻击分为两种，主动攻击和被动攻击。主动 攻击是指主动有针对性的攻击客户信息，造成用户信息的泄露，被动攻击则是破解或拦截用 户的信息。与传统数据库相比较，大数据可以存储更高价值、大数量的数据，因此，黑客入 侵的可能性更大。目前，大数据是采用并发平行的方法，无法准确判断所使用的数据节点和 完整以及客户断的认证。因此，在实际中，不会对用户访问进行限制。大数据库没有将内数 据库和数据库区分开来，所以无法将用户的个人数据进行隐藏，访问他们的数据没有限制， 这使得黑客更加容易对数据库进行攻击，从而造成了很大的数据安全隐患。 3.3存在网络漏洞 网络漏洞有三种类型：一是网络协议漏洞，这是指互联网网络协议还不够完善，例如：
《科学文件检索》综合报告 --大学生信息安全素养 1.课题分析 信息素养的本质是全球信息化需要人们具备的一种基本素质和能力。信息安全素养的定义来源于信息素养的概念,是指人们所具有的信息安全方面的素 养,是人员整体素养的一部分,也是现代社会成员适应信息化条件下的各项工 作的基本能力之一。它是个体对信息安全理由的全面放映，包括感性认识和理 性认识。感性认识层面是指对信息安全理由的基本态度和信息安全目前状况的 情感体验；理性认识层面则是指对信息安全理由的认知，包括对信息安全的重 要量、内涵、威胁来源、实现途径等方面的认知。通过信息安全教育,使大学 生有较强信息安全意识,了解信息安全形势,明确信息安全对自身成长的重要 性,从而促使其主动学习信息安全知识,提高自身信息安全技能,掌握信息安全 的防范知识、责任意识、保密意识。 2.背景知识 在21世纪人才竞争激烈的情况下，大学生作为一个知识时代的知识分子群，是社会发展的主要动力和后备，将会成为推动社会发展的主要力量。大学 生整体素质的高低直接决定一个民族的发展情况，决定着一个民族或者一个 国家伟大复兴的共同理想的实现与否。随着网络的迅速发展和高校校园网的建 设与应用,大学生已成为网络信息社会的主要群体之一。互联网技术的发展,信 息的数量以惊人的速度急剧地增加,大量无用的、有害的信息充斥在互联网中, 大学生作为最大的上网群体与大学生本身具有的信息安全知识、信息安全意识、
信息伦理道德等信息安全素养的反差,使得大学生难以辨认信息优劣和真伪, 容易上当受骗甚至犯罪。如果能有效、合理地利用互联网,将有利于拓宽学生 思维和行为空间,也能增加知识面。在计算机公共选修课教学中注重培养大学 生的信息安全素养,使他们能抵御互联网中形形色色的诱惑,合理利用互联网, 是一种行之有效的方法。 3.希望通过检索解决的问题 1.信息安全素养以及信息安全素养的内容。 2.从网络信息安全视角分析当前大学生的信息安全素养存在缺失的原因。 3.结合具体实践经验,探索培养大学生信息安全素养的有效措施和方法。 4.检索思路及选择的检索数据库或网站 检索的思路：在母校的图书馆的中外文数据库中查找相关的文章进行分子和解 读，然后通过百度和谷歌查找相关信息进行补充。 5.检索的方法及步骤 检索步骤及方法如下： 利用速递检索进行中国文期刊检索 1、检索词进行期刊检索 2、学校订阅的数据库检索结果
大数据时代信息安全面临的挑战与机遇 2013-7-11 10:17:00来源：中国科技网 根据有关学者的研究，数据密集型科学将成为继实验科学、理论科学、计算机科学之后，人类科学研究的第四个范式。以大数据为代表的数据密集型科学将成为新一次技术变革的基石。随着数据的进一步集中和数据量的增大，对海量数据进行安全防护变得更加困难，数据的分布式处理也加大了数据泄露的风险，信息安全正成为制约大数据技术发展的瓶颈。 大数据时代已经到来 物联网、云计算、移动互联网等新技术的发展，使得手机、平板电脑、PC及遍布地球各个角落的传感器，成为数据来源和承载方式。据估计，互联网上的数据量每两年会翻一番，到2013年，互联网上的数据量将达到每年667EB（1EB=230GB）。这些数据绝大多数是“非结构化数据”，通常不能为传统的数据库所用，但这些庞大的数据“宝藏”将成为“未来的新石油”。 1.大数据具有四个典型特征 大数据（Big Data）是指“无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合”。业界通常用四个V来概括大数据的特征。 ——数据体量巨大（Volume）。到目前为止，人类生产的所有印刷材料的数据量是200PB（1PB=210TB），而历史上
全人类说过的所有的话的数据量大约5EB（1EB=210PB）。当前，典型个人计算机硬盘的容量为TB量级，而一些大企业的数据量已经接近EB量级。 ——数据类型繁多（Variety)。这种类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等，这些多类型的数据对数据的处理能力提出了更高要求。 ——价值密度低（Value）。价值密度的高低与数据总量的大小成反比。以视频为例，一部1小时的视频，在连续不间断的监控中，有用数据可能仅有一两秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”，成为目前大数据背景下亟待解决的难题。 ——处理速度快（Velocity）。这是大数据区分于传统数据挖掘的最显著特征。根据IDC的“数字宇宙”报告，预计到2020年，全球数据使用量将达到35.2ZB（1ZB=210EB）。在如此海量的数据面前，处理数据的效率就是企业的生命。 2.大数据成为国家和企业的核心资产 2012年瑞士达沃斯论坛上发布的《大数据大影响》报告称，数据已成为一种新的经济资产类别，就像货币或黄金一样。奥巴马政府已把“大数据”上升到国家战略层面，2012年3月，美国宣布投资2亿美元启动“大数据研究和发展计划”，借以增强收集
1.网盘是非常方便的电子资料存储流转工具。不仅不占用空间，而且在任何电脑上都能访问，下面这些使用网盘的做法中，哪一项会造成个人隐私信息泄露的风险?（）（单选题2分） 得分：2分 C.将所有信息保存在云盘，设置一个复杂的云盘密码，然后将密码信息保存在电脑D 盘的文件夹中 2.位置信息和个人隐私之间的关系，以下说法正确的是（）（单选题2分）得分：2分 C.需要平衡位置服务和隐私的关系，认真学习软件的使用方法，确保位置信息不泄露 3.你收到一条10086发来的短信，短信内容是这样的：“尊敬的用户，您好。您的手机号码实名制认证不通过，请到XXXX网站进行实名制验证，否则您的手机号码将会在24小时之内被停机”，请问，这可能是遇到了什么情况?（）（单选题2分）得分：2分 D.伪基站诈骗 4.我们在日常生活和工作中，为什么需要定期修改电脑、邮箱、网站的各类密码?（）（单选题2分）得分：2分 D.确保个人数据和隐私安全 5.浏览网页时，弹出“最热门的视频聊天室”的页面，遇到这种情况，一般怎么办?（）（单选题2分）得分：2分 D.弹出的广告页面，风险太大，不应该去点击 6.在某电子商务网站购物时，卖家突然说交易出现异常，并推荐处理异常的客服人员。以下最恰当的做法是?（）（单选题2分）得分：2分 C.通过电子商务官网上寻找正规的客服电话或联系方式，并进行核实 7.重要数据要及时进行（），以防出现意外情况导致数据丢失。（单选题2分）得分：2分 C.备份 8.我国计算机信息系统实行（）保护。（单选题2分）得分：2分 B.安全等级 9.当前网络中的鉴别技术正在快速发展，以前我们主要通过账号密码的方式验证用户身份，现在我们会用到U盾识别、指纹识别、面部识别、虹膜识别等多种鉴别方式。请问下列哪种说法是正确的。（）（单选题2分）得分：2分 C.使用多种鉴别方式比单一的鉴别方式相对安全 10.日常上网过程中，下列选项，存在安全风险的行为是?（）（单选题2分）得分：2
大学生计算机及网络信息安全论文 浅谈对大学生计算机及网络信息安全的教育 1引言 2安全的概念 ②个人安全，解决对已授权访问机构及其运作的个人或机构的保护。 ③运作安全，集中于保护某特定运作或一系列活动的细节。 ④通信安全，包括对一个机构通信媒体、技术和内容的保护。 ⑤网络安全，对网络组件、连接和内容的保护。 ⑥信息安全，对信息、系统以及使用、存储和传输信息的硬件的保护。 3信息安全的基本要求 保密性表示对信息资源开放范围的控制，不让不应涉密的人涉及秘密信息。实现保密性的方法一般是通过信息的加密、对信息划分密级，并为访问者分配访问权限，系统根据用户的身份权限控制对不同密级信息的访问。 完整性是指保证计算机系统中的信息处于“保持完整或一种未受损的状态”。任何对系统信息应有的特性或状态的中断、窃取、篡改或伪造都是破坏系统信息完整性的行为。 可控性是指可以控制计算机信息系统授权范围内的信息流向及行为方式，如对数据信息的访问、传播和内容具有控制能力。 4网络信息安全的层次 4.1计算机硬件安全
计算机硬件安全主要指计算机硬件防信息泄露的各种措施，其中包括防复制技术、敏感数据的硬件隔离技术、硬件用户认证技术、 防硬件电磁辐射技术和计算机运行环境安全问题。 4.2操作系统安全 4.3计算机网络安全 4.4数据库安全 数据库安全主要是保护数据库的完整性、元素的完整性、可审计性、访问控制、用户认证、可利用性、保密性及防止敏感数据的直 接泄露或推理泄露。 4.5应用系统安全 应用系统安全主要包括防止应用系统受程序攻击、因编程不当引起敏感信息开放、隐蔽信道、服务拒绝及开发安全的应用系统的技术、操作系统对应用系统的安全控制与软件配置管理。 5信息安全的防御技术体系 5.1身份认证技术 5.2访问控制技术 5.3加密技术 加密是使某些信息只能让特定的接收者可以知道的过程。一般有三种不同类型的加密方法：对称加密、非对称加密及HASH加密。加 密提供的服务包括：数据保密性、数据完整性、认证和不可否定性。 5.4防火墙技术 “防火墙”这个术语参考自应用在建筑结构里的安全技术。自从1986年全球第一个商用防火墙系统安装后，防火墙技术经历了包过滤、代理服务器及状态监控功能防火墙等几代技术革新。防火墙在 内部网(单位专用网)和外部网(互联网)之间建立起一个安全保护的 边界，可以抵御来自外部网络发起的攻击。
新技术云计算、大数据实施举措
云计算、大数据实施举措 国务院确定促进云计算创新发展措施 工信部五大举措支持云计算产业发展 工信部将以云计算创新发展能力为主线，着力培育云计算骨干服务企业创新服务模式、丰富应用的形态，增强关键技术和产品的能力，实现云计算健康快速发展，为我国经济社会发展提供有力的支撑。 一是要加强规划引导和合理布局，统筹规划全国云计算基础设施建设和云计算服务产业的发展，支持形成具有区域特色、行业特色的云计算应用。 二是要加强关键核心技术研发，创新云计算服务模式，支持超大规模云计算操作系统，核心芯片等基础技术的研发推动产业化，逐步形成一批满足重点领域需求的安全可控关键技术的产品。 三是要加强云计算应用示范推广，面向具有迫切应用需求的重点领域，组织实施试点示范工程，以大型云计算平台建设和重要行业试点示范、应用带动产业链上下游的协调发展。 四是要加强网络基础设施建设，积极推进第四版移动通信，还有像移动互联网等，加快光纤宽
成10个以上行业大数据应用平台，实现对国内外大数据创新资源的聚集整合，带动产业规模超过1万亿元，对一区多园协同发展的作用明显。 二是提升大数据对经济社会发展的带动作用。提高中关村企业等各类创新主体对大数据的认识和大数据创新能力，支持开展人机交互、复杂沟通、深度学习等大数据关键技术研发和应用，推动大数据采集、存储、处理、分析、应用等环节创新，提升应用大数据对环境治理、城市管理、疾病预防等重大关切方面的服务能力。 三是推动大数据行业应用，促进生产效率提升。重点开展大数据在生产制造、商业服务、金融、文化、教育等行业的应用，发挥大数据对生产效率提升的带动作用，促进产业的转型升级。 四是实施大数据解决方案，推动商业模式创新。围绕市场需求，率先在智慧城市、金融、智能终端、文化、位置服务、教育、环境、制造、生物健康、基础设施、服务平台、数据安全等12个领域，开展大数据解决方案应用示范，实质性提供大数据产品和服务，创新商业模式。 五是构建人才、技术、资本、数据、平台配
大数据时代如何保护公民隐私？
?2015春运期间,互联网上就出现了一张可以呈现国内春节人口迁徙实况的地图,这张尽显中国春运迁徙实景的图片更是被《新闻联播》进行盘点。自从春运开始,这张地图多次被电视、报纸等媒体引用,成为人们用数据解读春运状况，反应中国人口迁徙的一个样本。不仅如此,央视《新闻联播》更是再次运用百度大数据来盘点春节长假。“大数据”这个词对于普通人来说,可能是个高深莫测、无法理解的科技术语,但是当大数据和春运联系起来后,我们逐渐发现大数据原来就在我们每个人的身边。
什么是大数据时代？ ?数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来
大数据到底有多大？ ?名为“互联网上一天”的数据告诉我们，一天之中，互联网产生的全部内容可以刻满1.68亿张DVD；发出的邮件有2940亿封之多（相当于美国两年的 纸质信件数量）；发出的社区帖子达200万个（相当于《时代》杂志770年的文字量）；卖出的手机为37.8万台，高于全球每天出生的婴儿数量37.1万
大数据都能干啥。具体有六大价值：?●1、华尔街根据民众情绪抛售股票； ?●2、对冲基金依据购物网站的顾客评论，分析企业产品销售状况； ?●3、银行根据求职网站的岗位数量，推断就业率；?●4、投资机构搜集并分析上市企业声明，从中寻找破产的蛛丝马迹； ?●5、美国疾病控制和预防中心依据网民搜索，分析全球范围内流感等病疫的传播状况； ?●6、美国总统奥巴马的竞选团队依据选民的微博，实时分析选民对总统竞选人的喜好。
大学生网络信息安全素养认知现状分析网络信息安全素养的定义来源于信息素养的概念，信息素养的本质是全球信息化需要人们具备的一种基本素质和能力，也是现代社会成员适应信息化条件下的各项工作的基本能力之一。而大学生的网络信息安全素养受多因素的影响，这种影响对不同因素和信息素养能力的各维度存在着差异。 首先，能否保护个人电脑安全是大学生掌握信息安全知识程度的一个重要体现，根据我们的问卷调查数据分析来看，多数大学生会为自己的电脑安装杀毒软件，定时清理上网痕迹。说明大学生能意识到木马病毒的威胁并作出行动，有基本的网络安全危机意识。在存放个人信息的选择上，选择U盘和个人电脑作为隐私信息的存放点的人占了大多数，而在移动端的网盘和手机也占了一部分。个人电脑和U盘作为硬盘，安全系数较高。而网盘则是较为便捷。这正与大多数大学生在网上购物时选择快捷支付的现象和心理相似，大学生们会有考虑信息安全的想法，但是相比较于方便，还是会选择后者。这说明大学生有基本的信息安全判别能力和防范意识，但是对个人信息安全的重视还不够。 其次，在个人信息的隐私保密方面的习惯，也能映射出大学生的信息安全素养。在问卷数据中我们发现，当大学生的账号信息被泄露时，绝大多数学生选择修改密码，更换个人信息等，这是他们面对信息被泄露的威胁时做出的较为有效的措施，说明大学生有保护个人隐私的意识。对上网痕迹的清理也能证明大学生
对个人隐私的重视程度较高，在面对陌生邮件时删除或阅后删除的做法也表明大学生对垃圾邮件的警惕也有所提高。 再次，当人们迎来这一信息爆炸时代信息数据的传输速度更快更便捷,信息数据传输量也与日俱增,传输过程便易出现安全隐患。保障人们在网络活动中对自己的信息和一些相关资料的保密的要求,保障网络的安全性和保密性就显得越来越急切了。由问卷中第8和第9题的统计回答来看，当今大学生会网络信息的传输方式方面的知识过于匮乏，他们不知道信息流通中的信息加密手段，就无法知道他们的信息是否安全，同时也让商业黑客有机可乘。尤其是在校园网，明文传输的加密方式几乎很少有大学生知道。由此可知，大学生缺乏对网络信息传输方式的了解，并较少在平时接触到这类知识，因此，在这方面的信息安全素养，还更需普及与提高。 最后，我们通过各方面的回答统计及分析得出大学生网络信息安全素养认知现状是：当代大学生普遍具有基本的网络安全防护意识并且重视个人信息的安全，并能在发现问题后采取一定措施，但是不少大学生处于被动保护个人信息的状态，对网络技术知识的缺乏也使他们在使用网络的过程中个人信息被泄露，隐私被窃取等非法行为时防不胜防。能在平时保持良好的信息管理习惯的人不多，大学生整体网络信息安全素养有一定的基础，但仍需加强提高。因此对于网络普及的今天，大学生急需加深对网络技术知识的了解，并学习得使用基本的电脑信息维护操作，来
doi:10.3969/j.issn. 1672-5166.2013.04.03 医疗大数据面临的挑战及思考 蔡佳慧①张 涛①宗文红①△ 文章编号：1672-5166（2013)04-0292-04 中图分类号：R-37 文献标志码：A 摘 要随着卫生信息化建设进程的不断加快，医疗数据的类型和规模正以前所未有的速度增长，医疗卫生领域已进入“大数据时代”。本文在对医疗大数据基本概念进行剖析的基础上，归纳总结医疗大数据时代所面临的新挑战，详细介绍闸北区为应对这些挑战在数据管理、整合、存储、利用等方面所实施的具体措施，并对下一步工作进行了有益的思考。 关键词大数据卫生信息化数据处理 Challenges and Considerations of the Big Data of Medicine Cai Jiahui, Zhang Tao, Zong Wenhong Zhabei District Health Research and Information Center, Shanghai 200070, China Abstract With the rapid development of health information, the type and scale of medical and health data continue to expand at an unprecedented pace. Medical and health ? eld has entered a big-data era. On the basis of the analysis of the basic concepts of health data, this paper summarizes the new challenges faced in medical and health ? eld in the age of big data and introduces in details the implementation of speci? c measures of Zhabei District to meet these challenges in data management, integration, storage, utilization. The bene? cial thinking for the next step has also been put forward. Key words Big data, Health information, Data processing 1 引言 当前我们正处于一个数据爆炸性增长的“大数据”时代。据IDC（ International Data Corporation ，国际数据公司）预测，中国的大数据市场在2012～2016年间将增长5倍，政府、银行、医疗卫生、电信等行业将在其中占据最多的份额。在医疗卫生领域，各种信息系统在医疗机构的广泛应用以及医疗设备和仪器的数字化，使医院数据库的信息容量不断膨胀，这些宝贵的医疗信息资源对于疾病的管理、控制和医疗研究都是非常有价值的。如何利用这些海量的信息资源更好地为医疗卫生行业的管理、诊疗、科研和教学服务，已经越来越为人们所关注。 ① 上海市闸北区卫生科技与信息中心，上海市，200070 作者简介：蔡佳慧（1986），女，学士学位；研究方向：卫生信息管理；E-mail：caijiahui86@https://www.doczj.com/doc/f36194415.html, 通讯作者：宗文红（1968），女，硕士学位；副主任医师；研究方向：卫生信息管理；E-mail：zongwenhong2006@https://www.doczj.com/doc/f36194415.html, △通讯作者 292
2017 年公需科目《大数据前沿技术及应用》 第一章：大数据行业生态答案 1、大数据的数据类型包括网络日志、音频、视频、图片、地理位置信息等等。 A.是 B.否正确选项：A 2、大数据的起始计量单位至少是 MB。 A.是 B.否正确选项：B 3、大数据最早由麦肯锡在编写《大数据时代》中提出，指不用随机分析法（抽样调查）的捷径，而是采用所有数据进行分析处理。 A.是 B.否正确选项：B 4、生产成本只有材料费和人工费。其中材料费的控制主要是防止不必要的浪费；人工费的控制只要是提供工人的生产效率。 A.是 B.否正确选项：B 5、“大数据”是需要新处理模式才能具有强大的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。 A.是 B.否正确选项：A 6 智能电表通过电网收集每隔五分钟或十分钟收集一次数据，收集来的这些数据可用来预测客户的用电情况等，从而推断出未来几个月时间里，整个电网的用电量。 A.是 B.否正确选项：A
7、早在 2004 年，Facebook 联合创始人，克里斯？休斯就建议扎克伯格在网站上推出相关服务，帮助总统候选人在 Facebook 上建立个人主页，以便他们进行形象推广。 A.是 B.否正确选项：B 8、传统制造产业链 6+1 中，6 指的是产品设计，原料采购，存储运输，订单处理，批发经营，终端零售， 1 指的是产品制造。 A.是 B.否正确选项：A 9、以服装制造业企业为例来说，企业设计的服装不一定能在市场中获得预计的销量，通过收集消费者的评价和建议都是对设计部门有用的数据资料。 A.是 B.否正确选项：A 10、通过网络销售平台，可以容易获得老客户的资料，也可以看到有哪些潜在的客户，增大销售量减少企业的销售成本。 A.是 B.否正确选项：A 11、传统厂商在数据管理方面，企业数据结构单一，管理过程繁琐，效率低下，数据的收集耗费大量的人力。 A.是 B.否正确选项：A 12、大数据在行业应用很广泛，行业领域包括电视媒体，汽车行业，医疗行业，保险行业等等。 A.是 B.否正确选项：A 13、计量单位从低到高，下面的说法正确的是（） A.KB B.KB C.GB D.EB 正确选项：B
湖南农业大学课程论文学院：信息科学技术学院班级：计算机1班姓名：XXX 学号：2015XXXX 课程论文题目：浅谈大数据时代的机遇与挑战 课程名称： 评阅成绩： 评阅意见： 成绩评定教师签名： 日期：年月日
课程论文题目 ——浅谈大数据时代的机遇与挑战 学生：XXX (信息科学技术学院计算机1班) 摘要：随着时代的发展，大数据这个词慢慢进入了人们的视野的当中，而大数据也与我们的生活关联越来越紧密，对我们的影响也越来越大。怎么样才能把握住机遇，在大数据时代中脱颖而出，怎么样才能在大数据时代到来的挑战中稳步前行。 关键词：大数据;机遇与挑战；大数据时代分析 Abstract:with the development of The Times, the word big data slo wly into the people's horizons, and big data is linked to our life more and more closely, to our influence is growing. How to seize the opportunity, in the era of big data, how can ability in the er a of big data move steadily in the coming challenges. Key Words: Big data; Opportunities and challenges; The era of big da ta analysis
一、绪论 （一）什么是大数据？ “大数据”作为时下最火热的IT行业的词汇在互联网时代显得越来越重要。大数据究竟有多大？大数据能做些什么？在新互联网时代，这些词汇让我们应接不暇。大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据还有四个特性分别是数据量大，种类多，速度快，价值大。大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”（二）大数据能做些什么？ 大数据的应用示例包括了大科学、传感设备网络、天文学、大气学、基因组学、生物学、大社会数据分析、互联网文件处理、制作互联网搜索引擎索引、通信记录明细、军事侦察、社交网络、通勤时间预测、医疗记录、照片图像和图像封存、大规模的电子商务等。仅仅十余年，现在越来越多的政府、企业等组织机构意识到数据正在成为组织最重要的资产，数据分析能力正在成为组织的核心竞争力。大数据不仅是一种海量的数据状态及其相应的数据处理技术，更是一种思维方式，一项重要的基础设施。这或是明天我们治理交通拥堵、雾霾天气、看病难、食品安全等“城市病”的利器，也会为政府打开了解社情民意的更大窗口。众所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取很多智能的、深入的、有价值的信息。二、本论 (一)大数据的重要性 1.大数据的处理分析正成为新一代信息技术融合应用的结点 有专家指出，大数据及其分析，会在未来10年改变几乎每一个行业的业务功能，从科学研究到保险，从银行业到互联网，各个不同的领域都在遭遇爆发式增长的数据量。在美国的17个行业中，已经有15个行业大公司拥有大量的数据，其平均拥有的数据量已经远远超过了美国国会图书馆所拥有的数据量。在医疗与健康行业，根据数据预测，如果具备相关的IT设施，数据投资和分析能力等条