大数据安全分析
作者：谭林，新炬网络技术专家。
大数据安全，顾名思义，用大数据技术解决安全问题。核心——解决安全问题，手段——大数据技术。
我们从核心出发，安全问题抽象来说就是攻击与防御，接下来明确防御对象是什么？攻击目的是什么？攻击手段是怎样的?攻击者的特征?一句话——搞清楚谁为了什么目的通过什么手段攻击了谁。
比如说防御对象有企业内部安全，有对外发布产品安全，同时防御对象又决定了不同的攻击目的与攻击手段，有企业入侵，有对产品本身的攻击(比如说软件破解，游戏外挂，订单欺诈)，有对产品用户的攻击(比如利用支付漏洞窃取用户财产)，同样发起攻击的攻击者们特征又是迥异的，有无特定目的批量散弹攻击，有靠接单挣钱的赏金黑客，有外挂作坊等等。
在明确了的问题后，接下来就是确定解决问题的方法，传统方法的缺陷是什么?大数据技术解决问题的优势又是什么?比如说WAF系统中，传统的检测机制——基于签名库(黑名单)，缺陷是对未知漏洞(0day) 不可感知。解决方案——基于异常(白名单)，如何鉴定异常——机器学习(学习正常的行为模式)，如何对大量数据鉴定异常——大数据技术支撑下的机器学习。
在这一过程，我们需要具备领域知识(安全知识)，数据科学知识(数据分析知识，机器学习，文本分析，可视化)，大数据知识(数据收集，数据存储，数据传输，数据分布式计算)，编程知识。
本文以企业入侵检测日志分析为场景来讨论大数据安全。
一、安全领域
大数据安全分析最容易走偏的就是过度强调数据计算平台(大数据)，算法(机器学习)，而失去了本心，忽略了我们使用这一技术的目的，以入侵检测为例，我们希望日志分析达到以下目的：
如何感知威胁，我们可以先对攻击者进行画像，攻击手段进行建模。
1. 攻击者画像
这里是非常粗略的分类，实际上我们可以用关系图(社交网挖掘)的方式将攻击者关联起来，对取证抓坏人也是有效果的。
2. 攻击手段建模
相信喜欢撸paper、ppt的人对Attack Models、 Attack Trees、 Kill Chain这三个术语特别熟悉，特别是看过2013年后的各大安全会议文档后，其实说的都是攻击行为建模。
(1) 渗透模型
(2)普通攻击模型
(3)攻击模型(升级版)
注意以上攻击手段只是高度精炼的攻击环节，实际的攻击检测中，我们需要尽可能精确的还原入侵场景(包括对应的正常场景是怎样的)，从入侵场景中提炼关键环节，从而检测出异常的攻击行为。
在熟悉了杀生链(kill chain)后，接下来要做的就是在构成链的每个环节进行狙击，注意越往后成本越高。而每个阶段的操作必然会雁过留痕，这些痕迹，就是我们进行数据分析的数据源，知道对什么数据进行分析是最最重要的(数据量要恰到好处，要多到足够支撑数据分析与取证，要少到筛选掉噪音数据)。
二、数据科学
在明确了我们要解决的问题，接下来我们来普及一下数据分析的基本流程：
从上图可以看出，传统的数据分析在模型选择上都仅仅用了0——规则，1——统计分析，设置基线，依靠阈值的方法。
数据分析与领域知识是紧密耦合的，千万不要误入套用算法的误区，要进行基于行为建模(攻击行为，正常行为)的数据分析，可以从单点分析(单条数据的深度分析，例如分析单条HTTP请求是否是攻击请求)，简单的关联分析(例如分析一个session下，多条HTTP请求的关联关系，是否为扫描器行为，是否有尝试绕过WAF的操作，是否符合攻击链的关键步骤)，复杂的关联分析(例如Web日志，数据库日志，操作系统日志的联动分析，例如SQL 注入写马攻击中HTTP请求对应的数据库操作，主机操作)来逐步深入分析，当攻击场景很复杂的时候，我们可以考虑从结果出发的方式来回溯，这些技巧都取决于领域知识。
下面列举一些传统的关联技巧：
1.规则关联
If the system sees an EVENT E1 where E1.eventType=portscan
followed by
an event E2 where E2.srcip=E1.srcip and E2.dstip = E1.dstip and
E2.eventType = fw.reject then
doSomething
2.漏洞关联：将漏洞扫描数据和实时事件数据结合起来，以便帮助减少假阳性 false
positive
e.g. 如果IDS检测到了端口扫描，可以对网络进行例行的漏洞扫描，来验证问题中的主机
是否真的打开了个端口，是否容易遭到攻击
3.指纹关联
4.反端口关联
if (event E1.dstport != (Known_Open_Ports on event E1.dstip))
then
doSomething
5.关联列表关联：外部情报列表，例如攻击者列表
https://www.doczj.com/doc/195053864.html,/
6. 环境关联 e.g.如何知道公司的假期安排，可以使用这一信息，在每个人都不上班的时
候发现内部资源的访问。
?休假时间表
?业务时间
?假日计划
?内部资源访问权限
?重复的网络“事件”例如漏洞扫描
?计划的系统、数据存储备份等
?维护安排，例如操作系统补丁等
?常见的关联搜索模式：
?x次登录失败后有一次登录成功
?创建非管理员账户之后进行权限提升
?VPN用户在工作时间内/外登录，并向网络之外传输更多的数据
?网络上的一台主机开始攻击或者探查网络上的其他主机
?在很接近的时间内X次尝试访问用户没有权限的共享/文件/目录等
?从同一个工作站以多个用户名登录
?在多个系统上有多个防病毒软件失效
?攻击DMZ系统，随后有出站连接
?攻击DMZ系统，随后在同一个系统上更改配置
?在几分钟内有许多Web 404，401 500和其他web错误码
以上都是单靠领域知识感知威胁，领域知识的缺陷是太依赖于专家知识了，而专家知识是有限的，这个时候机器学习就可以发挥长度了，例如理工渣眼中的HMM及安全应用。
即使是使用机器学习也仍离不开安全领域知识，有安全领域背景的人在数据预处理阶段、feature选择阶段会事半功倍，比如对访问日志进行白名单建模时，从访问日志中筛选出异常日志(攻击日志、不存在的日志、服务器错误日志)，需要安全领域知识(知道什么是攻击)、web服务器知识(知道什么是异常，url重写)进行数据清理;比如HMM web安全检测feature的选择，我们知道攻击注入点在哪里，就不需要进行运气流的feature选择、降维处理。
机器学习虽然能弥补单靠领域知识分析的缺陷，但由于其存在准确率的问题而不能直接在线上应用，只存在于运维离线的环境下。或许是算法需要优化，但个人认为能解决当前方法不能解决的问题就是很大的进步了，比如说能发现一个0 day。我想当电灯刚发明出来的时候，也是绝对没有蜡烛好用，也希望架构师们不要单一的靠准确率这个唯一的标准来评价机器学习的结果。
在知道了如何进行数据分析后，接下来的就是如何在数据量巨大的情况下进行分析。玩单机脚本的年代要一去不返了，分布式需要搞起。
三、大数据技术
我们要使用的大数据技术的核心其实就是是分布式存储与分布式计算，当然能利用已有的数据预处理接口，算法接口也是很有帮助的。
以下是一个完整的大数据分析架构图：
得出这个架构，也走了不少弯路，最开始由于不了解ElasticSearch的特性，采用的是直接使用ElasticSearch对数据源进行分析与结果存储，ElasticSearch全文索引的设计决
定了ta不适合频繁写操作并且会很夸张的扩大数据量，所以最后引入了更适合及时读写操作的HBase数据库来做持久化存储，同时增加了算法层这块，只在ElasticSearch离存储最终结果。
大数据有着庞大的生态圈，较之机器学习(人工智能，深度学习)的发展，数据存储、数据计算方面简直是突飞猛进，为算法的发展提供了良好的支撑，当然学习的成本也非常高。
以下是入门的一些文章：
?大数据之hadoop伪集群搭建与MapReduce编程入门
?大数据之hive安装及分析web日志实例
?大数据之elasticsearch集群搭建与基本使用-渗透人员入门
?大数据之Redis渗透人员入门——安装配置、基本操作及常用管理工具
?大数据之MongoDB的安装配置、基本操作及Perl操作MongoDB
万事具备，就差第四个能力——编程，这是将想法落实的能力，否则都是镜花水月。不是有一句老话吗?“Talk is cheap, show me the code”。
四、编程
对于战斗力负5的渣，编程方面的心得是在太多了，每天都有新发现，这里就说说经验之谈吧。
1. 语言选择
先使用Python或者R去做小数据量(样本数据)的分析，然后使用Java实现分布式算法(在大数据的生态圈中，为了避免不必要的麻烦还是用原生语言Java好)。
2. 日志格式问题
日志处理中，输入日志的格式会直接影响模型运行时间，特别是采用正则的方式对文本格式的输入进行解析会极度消耗时间，所以在模型运算时需要先对日志进行序列化处理，Protocol Buffer就是很好的选择，但千万注意jar包的版本哦。
结语
大数据安全涉及的内容非常深入，每个方面都是几本厚厚的书，这里只是非常浅显的漫谈，给大家一幅平面的框架图，期待更多的数据科学(数据分析，机器学习，大数据处理)领域的人进入这个行业，或者安全行业的人开拓自己在数据分析方面的深度，大数据安全将发展的更好，不仅仅是叫好不叫座了。
2018年度大数据时代的互联网信息安全 1.我们经常从网站上下载文件、软件，为了确保系统安全，以下哪个处理措施最正确。（B ）（单选题2分） A.直接打开或使用 B.先查杀病毒，再使用 C.习惯于下载完成自动安装 D.下载之后先做操作系统备份，如有异常恢复系统 2.使用微信时可能存在安全隐患的行为是?（A ）（单选题2分） A.允许“回复陌生人自动添加为朋友” B.取消“允许陌生人查看10张照片”功能 C.设置微信独立帐号和密码，不共用其他帐号和密码 D.安装防病毒软件，从官方网站下载正版微信 3.日常上网过程中，下列选项，存在安全风险的行为是?（B ）（单选题2分） A.将电脑开机密码设置成复杂的15位强密码 B.安装盗版的操作系统 C.在QQ聊天过程中不点击任何不明链接 D.避免在不同网站使用相同的用户名和口令 4.我国计算机信息系统实行（B ）保护。（单选题2分） A.主任值班制 B.安全等级 C.责任制 D.专职人员资格 5.重要数据要及时进行（C ），以防出现意外情况导致数据丢失。（单选题2分） A.杀毒 B.加密 C.备份 D.格式化 6.小强接到电话，对方称他的快递没有及时领取，请联系XXXX电话，小强拨打该电话后提供自己的私人信息后，对方告知小强并没有快递。过了一个月之后，小强的多个账号都无法登录。在这个事件当中，请问小强最有可能遇到了什么情况?（B ）（单选题2分） A.快递信息错误而已，小强网站账号丢失与快递这件事情无关 B.小强遭到了社会工程学诈骗，得到小强的信息从而反推出各种网站的账号密码 C.小强遭到了电话诈骗，想欺骗小强财产 D.小强的多个网站账号使用了弱口令，所以被盗。 7.没有自拍，也没有视频聊天，但电脑摄像头的灯总是亮着，这是什么原因（A ）（单选题2分） A.可能中了木马，正在被黑客偷窥 B.电脑坏了 C.本来就该亮着 D.摄像头坏了 8.刘同学喜欢玩网络游戏。某天他正玩游戏，突然弹出一个窗口，提示：特大优惠!1元可购买10000元游戏币!点击链接后，在此网站输入银行卡账号和密码，网上支付后发现自己银行卡里的钱都没了。结合本实例，对发生问题的原因描述正确的是?（C ）（单选题2分）A.电脑被植入木马
网络空间安全态势感知与大数据分析平台建设方案 网络空间安全态势感知与大数据分析平台建立在大数据基础架构的基础上，涉及 大数据 智能建模平台建设、业务能力与关键应用的建设、网络安全数据采集和后期的 运营支持服务。 1.1 网络空间 态势感知系统 系统建设 平台按系统功能可分为两大部分：日常威胁感知和战时指挥调度应急处置。 日常感知部分包括大数据安全分析模块、安全态势感知呈现模块、等保管理模块 和通报 预警模块等。该部分面向业务工作人员提供相应的安全态势感知和通报预警功 能，及时感知发生的安全事件，并根据安全事件的危害程度启用不同的处置机制。 战时处置部分提供从平时网络态势监测到战时突发应急、指挥调度的快速转换能 力，统 筹指挥安全专家、技术支持单位、被监管单位以及各个职能部门，进行协同高 效的应急处置和安全保障，同时为哈密各单位提升网络安全防御能力进行流程管理， 定期组织攻防演练。 1.1.1 安全监测子系统 安全监测子系统实时监测哈密全市网络安全情况，及时发现国际敌对势力、黑客 组织等不法分子的攻击活动、攻击手段和攻击目的，全面监测哈密全市重保单位信息 系统和网络，实现对安全漏洞、威胁隐患、高级威胁攻击的发现和识别，并为通报处 置和侦查调查等业务子系统提供强有力的数据支撑。 安全监测子系统有六类安全威胁监测的能力： 一类是网站云监测，发现网站可用性的监测、网站漏洞、网站挂马、网站篡改 （黑链 / 暗链）、钓鱼网站、和访问异常等安全事件 第二类是众测漏洞平台的漏洞发现能力，目前 360 补天漏洞众测平台注册有 多白帽子，他们提交的漏洞会定期同步到态势感知平台，加强平台漏洞发现的能力。 第三类是对流量的检测，把重保单位的流量、城域网流量、电子政务外网流量、 IDC 机房流量等流量采集上来后进行检测，发现 webshell 等攻击利用事件。 第四类把流量日志存在大数据的平台里，与云端 IOC 威胁情报进行比对，发现 等高级威胁告警。 第五类是把安全专家的分析和挖掘能力在平台落地，写成脚本，与流量日志比 对，把流量的历史、各种因素都关联起来，发现深度的威胁。 第六类是基于机器学习模型和安全运营专家，把已经发现告警进行深层次的挖掘 分析和关联，发现更深层次的安全威胁 1、网站安全数据监测：采用云监测、互联网漏洞众测平台及云多点探测等技术， 实现对重点网站安全性与可用性的监测，及时发现网站漏洞、网站挂马、网站篡改 （黑链 / 暗链）、钓鱼网站、众测漏洞和访问异常等安全事件。 4万 APT
浅谈大数据时代的客户数据安全与隐私保护如何运用好“大数据”这把双刃剑 数据如同一把双刃剑，在带来便利的同时也带来了很多安全隐患。数据对于互联网服务提供者而言具备了更多的商业价值，但数据的分析与应用将愈加复杂，也更难以管理，个人隐私无处遁形。回顾2014年，全球各地用户信息安全事件频出: 2014年3月22日“携程网”出现安全支付日志漏洞，导致大规模用户信息如姓名、身份证号、银行卡类别、银行卡卡号、银行卡CVV等信息泄露。 2014年5月13日，小米论坛用户数据库泄露，涉及约800万使用小米手机、MIUI系统等小米产品的用户，泄露的数据中带有大量用户资料，可被用来访问“小米云服务”并获取更多的私密信息，甚至可通过同步获得通信录、短信、照片、定位、锁定手机及删除信息等。 2014年12月2日乌云漏洞平台公开了一个导致“智联招聘网”86万用户简历信息泄露的漏洞。黑客可通过该漏洞获取包含用户姓名、婚姻状况、出生日期、出生日期、户籍地址、身份证号、手机号等各种详细的信息。 2014年12月25日，12306网站用户数据信息发生大规模泄露。 2014年8月苹果“iCloud服务”被黑客攻破，造成数百家喻户晓的名人私密照片被盗。 …… 这些信息安全事件让人们开始感受到“数据”原来与我们的生活接触如此紧密，数据泄露可以对个人的生活质量造成极大的威胁。大数据时代，如何构建信
息安全体系，保护用户隐私，是企业未来发展过程中必须面对的问题。安全技术水平的提高、法律法规的完善、以及企业和个人用户正视数据的运用的意识缺一不可。 数据安全技术是保护数据安全的主要措施 在大数据的存储，传输环节对数据进行各种加密技术的处理，是解决信息泄露的主要措施。对关键数据进行加密后，即使数据被泄漏，数据的盗取者也无法从中获得任何有价值的信息。尽管对于大数据的加密动作可能会牺牲一部分系统性能，但是与不加密所面临的风险相比，运算性能的损失是值得的。这实际上是企业管理和风险管理间的协调，重要的是企业要有将信息安全放在第一位的理念。 目前数据加密保护技术主要包括：数据发布匿名保护、社交网络匿名保护、数据水印等几种。此外，除了对数据进行加密处理以外，也有许多可以运用在数据的使用过程，以及发生数据泄露之后的相关保护技术。这些技术可以有效地降低数据安全事故带来的损失。 1、数据发布匿名保护技术 数据发布匿名保护技术是对大数据中结构化数据实现隐私保护的核心关键与基本技术手段。能够很好地解决静态、一次发布的数据隐私保护问题。 2、社交网络匿名保护技术 社交网络匿名保护技术包括两部分：一是用户标识与属性的匿名，在数据发布时隐藏用户的标志与属性信息;二是用户间关系的匿名，在数据发布时隐藏用户之间的关系。 3、数据水印技术
Solution 解决方案 大数据平台安全解决方案 防止数据窃取和泄露确保数据合规使用避免数据孤岛产生 方案价值 大数据平台安全解决方案为大数据平台提供完善的数据安全 防护体系，保护核心数据资产不受侵害，同时保障平台的大数据能被安全合规的共享和使用。 数据安全防护体系以至安盾?智能安全平台为核心进行建设。智能安全平台支持三权分立、安全分区、数据流转、报警预警和审计追溯等五种安全策略，以及嵌入式防火墙、访问控制、安全接入协议等三道安全防线，保证安全体系在系统安 全接入、安全运维、数据流转、数据使用、数据导出脱敏、用户管理、用户行为审计追溯等方面的建设，保障大数据平台安全高效运行。 智能安全平台提供安全云桌面，保证数据不落地的访问方式， 并可根据需求提供高性能计算资源和图形处理资源，并支持“N+M”高可靠性架构，保证云桌面的稳定运行，为平台用户提供安全高效的数据使用环境。 提供数据不落地的访问方式以及完善的文档审批和流转功能 提供五种安全策略和三道安全防线提供严格的用户权限管理和强大的用户行为审计和追溯功能 提供高性能、高可靠稳定运行的大数据使用环境 方案亮点 如欲了解有关志翔科技至安盾? ZS-ISP、至明? ZS-ISA安全探针产品的更多信息，请联系您的志翔科技销售代表，或访问官方网站：https://www.doczj.com/doc/195053864.html, 更多信息 志翔科技是国内创新型的大数据安全企业，致力于为政企客户提供核心数据保护和业务风险管控两个方向的产品及服务。志翔科技打破传统固定访问边界，以数据为新的安全中心，为企业构筑兼具事前感知、发现，事中阻断，事后溯源，并不断分析与迭代的安全闭环，解决云计算时代的“大安全”挑战。志翔科技是2017年IDC中国大数据安全创新者，2018年安全牛中国网络安全50强企业。2019年，志翔云安全产品入选Gartner《云工作负载保护平台市场指南》。 关于志翔科技 北京志翔科技股份有限公司https://www.doczj.com/doc/195053864.html, 电话： 010- 82319123邮箱：contact@https://www.doczj.com/doc/195053864.html, 北京市海淀区学院路35号世宁大厦1101 邮编：100191 扫码关注志翔
大数据对信息安全带来的技术和挑战 周恩来政府管理学院政治学与行政学宋梓林1312756 1.大数据时代 最早提出“大数据”时代已经到来的机构是全球知名咨询公司麦肯锡。麦肯锡在研究报告中指出，数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素；而人们对于直面大数据对信息安全的挑战。 对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。 从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘（SaaS），但它必须依托云计算的分布式处理、分布式数据库（PaaS）和云存储、虚拟化技术（IaaS）。 大数据可分成大数据技术、大数据工程、大数据科学和大数据应用等领域。目前人们谈论最多的是大数据技术和大数据应用。工程和科学问题尚未被重视。大数据工程指大数据的规划建设运营管理的系统工程；大数据科学关注大数据网络发展和运营过程中发现和验证大数据的规律及其与自然和社会活动之间的关系。 物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。有些例子包括网络日志，RFID，传感器网络，社会网络，社会数据（由于数据革命的社会），互联网文本和文件,互联网搜索索引,呼叫详细记录，天文学，大气科学，基因组学，生物地球化学，生物，和其他复杂或跨学科的科研，军事侦察，医疗记录,摄影档案馆,视频档案和大规模的电子商务。 随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。《著云台》的分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。 大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。 2.大数据技术给信息安全带来的技术支持 信息安全是指信息系统（包括硬件、软件、数据、人、物理环境及其基础设施）受到保护，不受偶然的或者恶意的原因而遭到破坏、更改、泄露，系统连续可靠正常地运行，信息服务不中断，最终实现业务连续性。信息安全主要包括以下五方面的内容，即需保证信息的保密性、真实性、完整性、未授权拷贝和所寄生系统的安全性。 信息作为一种资源，它的普遍性、共享性、增值性、可处理性和多效用性，使其对于人类具有特别重要的意义。信息安全的实质就是要保护信息系统或信息网络中的信息资源免受各种类型的威胁、干扰和破坏，即保证信息的安全性。根据国际标准化组织的定义，信息安全性的含义主要是指信息的完整性、可用性、保密性和可靠性。信息安全是任何国家、政府、部门、行业都必须十分重视的问题，是一个不容忽视的国家安全战略。但是，对于不同的部门和行业来说，其对信息安全的要求和重点却是有区别的。 信息安全其根本目的就是使内部信息不受内部、外部、自然等因素的威胁。为保障信息
大数据平台系统项目 安全保障 安全是系统正常运行的保证。根据本项目的业务特点和需要，以及现有的网络安全状况，建立一个合理、实用、先进、可靠、综合、统一的安全保障体系，确保信息安全和业务系统的正常运行。 一、规章制度建设 1.1机房管理制度 为保证系统每天24小时，全年365天不间断运行，加强防火、防盗、防病毒等安全意识，应该制定严格的机房管理制度，以下列出常见的机房管理方面的十条规定： （1）路由器、交换机和服务器以及通信设备是网络的关键设备，须放置计算机机房内，不得自行配置或更换，更不能挪作它用。 （2）要求上机工作人员严格执行机房的有关规定，严格遵守操作规程，严禁违章作业。 （3）要求上机工作人员，都必须严格遵守机房的安全、防火制度，严禁烟火。不准在机房内吸烟。严禁将照相机、摄像机和易燃、易爆物品带入机房。 机房工作人员要掌握防火技能，定期检查消防设施是否正常。出现异常情况应立即报警，切断电源，用灭火设备扑救。
（4）要求外来人员必须经有关部门批准，才能进入放置服务器的机房，一般人员无故不得在机房长时间逗留。 （5）要求机房值班人坚守工作岗位，不得擅离职守；下班时，值班人员要对所有计算机的电源进行细致的检查，该关的要切断电源，并检查门窗是否关好。 （6）双休日、节假日，要有专人检查网络运行情况，如发现问题及时解决，并做好记录处理，解决不了的及时报告。 （7）机房内所有设备、仪器、仪表等物品和软件、资料要妥善保管，向外移（带）设备及物品，需有主管领导的批示或经机房工作负责人批准。 制定数据管理制度。对数据实施严格的安全与保密管理，防止系统数据的非法生成、变更、泄露、丢失及破坏。当班人员应在数据库的系统认证、系统授权、系统完整性、补丁和修正程序方面实时修改。 （8）网管人员应做好网络安全工作，服务器的各种帐号严格保密。监控网络上的数据流，从中检测出攻击的行为并给予响应和处理。统一管理计算机及其相关设备，完整保存计算机及其相关设备的驱动程序、保修卡及重要随机文件，做好操作系统的补丁修正工作。 （9）保持机房卫生，值班人员应及时组织清扫。 （10）保护机房肃静，严禁在机房内游艺或进行非业务活动。
网络空间安全态势感知与大数据分析平台建设方案 网络空间安全态势感知与大数据分析平台建立在大数据基础架构的基础上，涉及大数据智能建模平台建设、业务能力与关键应用的建设、网络安全数据采集和后期的运营支持服务。 1.1网络空间态势感知系统系统建设 平台按系统功能可分为两大部分：日常威胁感知和战时指挥调度应急处置。 日常感知部分包括大数据安全分析模块、安全态势感知呈现模块、等保管理模块和通报预警模块等。该部分面向业务工作人员提供相应的安全态势感知和通报预警功能，及时感知发生的安全事件，并根据安全事件的危害程度启用不同的处置机制。 战时处置部分提供从平时网络态势监测到战时突发应急、指挥调度的快速转换能力，统筹指挥安全专家、技术支持单位、被监管单位以及各个职能部门，进行协同高效的应急处置和安全保障，同时为哈密各单位提升网络安全防御能力进行流程管理，定期组织攻防演练。 1.1.1安全监测子系统 安全监测子系统实时监测哈密全市网络安全情况，及时发现国际敌对势力、黑客组织等不法分子的攻击活动、攻击手段和攻击目的，全面监测哈密全市重保单位信息系统和网络，实现对安全漏洞、威胁隐患、高级威胁攻击的发现和识别，并为通报处置和侦查调查等业务子系统提供强有力的数据支撑。 安全监测子系统有六类安全威胁监测的能力： 一类是云监测，发现可用性的监测、漏洞、挂马、篡改（黑链/暗链）、钓鱼、和访问异常等安全事件 第二类是众测漏洞平台的漏洞发现能力，目前360补天漏洞众测平台注册有4万多白帽子，他们提交的漏洞会定期同步到态势感知平台，加强平台漏洞发现的能力。 第三类是对流量的检测，把重保单位的流量、城域网流量、电子政务外网流量、IDC 机房流量等流量采集上来后进行检测，发现webshell等攻击利用事件。 第四类把流量日志存在大数据的平台里，与云端IOC威胁情报进行比对，发现APT 等高级威胁告警。 第五类是把安全专家的分析和挖掘能力在平台落地，写成脚本，与流量日志比对，把流量的历史、各种因素都关联起来，发现深度的威胁。 第六类是基于机器学习模型和安全运营专家，把已经发现告警进行深层次的挖掘分析和关联，发现更深层次的安全威胁。
大数据时代数据分析与信息安全 目前，中国已进入大数据时代，科学的大数据管理对于我国实现网络强国目标具有重要意义。本文基于目前全球数据发展的推动作用，结合中国大数据时代的具体特点，分析、探讨大数据时代背景下的信息安全特点，并作简要讨论。 标签：大数据；信息安全；数据分析 大数据是社会科学技术发展和工业化的融合，目前随着全球化进程的加剧，数据信息的增加，其发展规模和速度都发生了巨大变化。全球化的大数据融合，必然会引起各国对信息安全的高度重视，尤其是与其他国家相连接和互动的国际信息。这些信息不仅会影响我国的外交、经济、军事、政治和文化，更会给我国的信息安全管理工作带来巨大挑战。本文通过分析大数据时代的发展趋势，着重探索其特点和安全要求。 一、大数据时代的发展趋势 近年来，相关业界和学术界提出了大数据的讨论，大数据时代已经到来。大数据给学术界带来了新的思路，且颠覆了很多传统的行业模式，并为之带来了新的发展变化。据预测，大数据将成为企业、政府、研究、教育、医疗和其他行业的新挑战。大数据的核心技术是对信息的存储和传输进行整理分析，要求做到数据实时处理、真实有效。相比于传统信息的挖掘和应用，大数据更具优势，打破了传统数据源的局限性，给全世界的商业模式带来了新的机遇和挑战，其潜在的价值也将带来新的市场空间。与此同时，无处不在的数据，也对信息安全提出了新的标准和要求。与大数据技术相关的产业链将迎来一个新的发展时期，美国在20世纪90年代就提出了“信息高速公路”项目和技术，此外，日本、英国、澳大利亚和其他国家都已出台了战略举措和相应的大数据技术。 大数据属于数据集，其特点是种类多、容量大、应用方便、存取方便、发展速度快，大数据的科学管理方法已成为新一代的重要信息技术。在大数据背景下逐渐形成的万物互联的发展趋势促进了全球经济的发展。国际经济新格局的发展趋于网络化、智能化，数据共享日益方便，因此互联网信息安全也进入大数据时代。发达国家相继出台与大数据相关的政策，使大数据成为经济发展和转型的新动力，并且给国家带来新的发展机遇。2014年中国正式提出行动数据大计划，将发展大数据作为未来发展的重要战略目标。在大数据时代，我国的信息安全管理工作也将迎来新的发展机遇和挑战，政府和各行业间的信息资源，将通过整合、共享、相互渗透，实现数据间的有效连接，由此将会带来信息安全保证的挑战，促使信息安全管理变得更加全面，使人们不得不树立新的信息安全管理意识。 二、数据分析现状及发展 大数据的价值不可估量，并且被誉为“未来石油”。企业通过海量的数据信息挖掘，从中发现商机、明确客户需求，从而准确锁定目标客户。大数据产业具有
【背景链接】 随着全球范围内大数据产业的全面推进，公民隐私及个人信息保护问题也日益凸显，传统个人信息保护框架在大数据时代遭遇严峻冲击，如何寻求个人信息的合理及有效保护成为各国普遍面临的难题。 一段时间以来，个人信息安全备受关注。数据显示，截至2015年底，中国网民规模达到6.88亿，在网活跃智能设备数量接近9亿。伴随移动互联网应用向经济社会生活方方面面的渗透，海量的个人身份信息、生活信息、金融信息乃至生物信息，都会散布于无处不在的网络之中。根据中国互联网协会发布的《中国网民权益保护调查报告(2015)》，63.4%的网民通话记录、网上购物记录等网上活动信息遭泄露;78.2%的网民个人身份信息曾被泄露，包括姓名、家庭住址、身份证号及工作单位等。 尽管舆论对于相关问题的关注度不断加大，互联网用户个人信息保护意识也有所增强，但个人防范始终跟不上技术演进，正如央视315晚会曝光的那样，用户在公共场合连接一个wifi都面临个人信息被窃取的风险。 刚出生的婴儿躺在保育箱内，旁边的贴纸上，“姓名”、“年龄”、“诊断病情”、“入院日期”等信息一览无余。2016年7月，安徽大量新生儿的住院视频，出现在了一家商业视频网站上，引发网络热议。(7月12日《新京报》) 【综合分析】 [泄露原因] 一是在市场需求和利益驱动下，一些不法分子打起了获取、兜售公民个人信息的歪主意。 二是一些网络、电话销售、保险、贷款等公司的从业人员，把自己掌握的“个人信息资源”，卖给了不法分子。 三是个人在浏览、登录网站，点击中奖信息、随便安装来路不明的软件等，不慎泄露了自己的信息。 [大数据时代个人信息保护的新挑战] 大数据时代，个人信息保护面临前所未有的新挑战。 首先，随着移动互联网的普及和智能穿戴等物联网设备的应用，个人信息的收集日益密集和隐蔽. 第二，多重来源的个人信息进行比对累积，能够形成完整的个人画像和实时追踪，使人们无处遁形. 第三，大数据技术能通过特定算法从既有信息中挖掘出新结论，不仅增加敏感信息暴露的风险，还可能用于影响个人权益的决策，如评估个人信用状况等.
这一篇应该是比较容易引起争议的，大家现在乐于说看见（visibility ）的力量，如何看到却是一个尚在探索中的问题。数据是看到的基础条件，但是和真正的看见还有巨大的差距。我们需要看到什么？什么样的方法使我们真正看到？ 安全分析和事件响应 网络空间的战斗和现实世界有很大的相似性，因此往往可以进行借鉴。美国空军有一套系统理论，有非常的价值，值得深入思考并借鉴，它就是OODA周期模型： 观察（Observe）：实时了解我们网络中发生的事件。这里面包括传统的被动检测方式：各种已知检测工具的报警，或者来自第三方的通报（如：用户或者国家部门）。但我们知道这是远远不够的，还需要采用更积极的检测方式。即由事件响应团队基于已知行为模式、情报甚至于某种灵感，积极地去主动发现入侵事件。这种方式有一个很炫的名字叫做狩猎。 定位（Orient）：在这里我们要根据相关的环境信息和其他情报，对以下问题进行分析：这是一个真实的攻击吗？是否成功？是否损害了其它资产？攻击者还进行了哪些活动？ 决策（Decision）：即确定应该做什么。这里面包括了缓解、清除、恢复，同时也可能包括选择请求第三方支持甚至于反击。而反击往往涉及到私自执法带来的风险，并且容易出错伤及无辜，一般情况下不是好的选择。 行动（Action）：能够根据决策，快速展开相应活动。 OODA模型相较传统的事件响应六步曲（参见下图），突出了定位和决策的过程，在现今攻击技术越来越高超、过程越来越复杂的形势下，无疑是必要的：针对发现的事件，我们采取怎样的行动，需要有足够的信息和充分的考量。 在整个模型中，观察（对应下文狩猎部分）、定位与决策（对应下文事件响应）这三个阶段就是属于安全分析的范畴，也是我们下面要讨论的内容，附带地也将提出个人看法，关于大数据分析平台支撑安全分析活动所需关键要素。
大数据时代面临的信息安全问题分析 王小君 （深圳信息职业技术学院，广东深圳518172） 摘要：互联网的普及以及相关科技的发展进步，各类信息在便捷快速的环境下交换，进而形成极为复杂的信息网。在大数据时代，信息被有效利用的同时，也产生了信息安全问题。原有的信息安全保护机制已经不能满足大数据时代技术更新换代的要求，人们的生活生产活动的信息安全受到一定的威胁和挑战。为此，文章就大数据时代面临的信息安全问题进行了探讨，并提出了几点看法和建议。 关键词：大数据；信息安全；互联网 中图分类号：TP309文献标识码：A文章编号：1673-1131（2016）10-0161-02 0引言 互联网的普及以及各种科技产品的推陈出新，数据、信息呈现每天爆发增长的趋势，而数据、信息的爆发似乎已经成为人们生活生产的活动中习以为常的事情。人们通过手机、电脑等各种终端和客户端享受着信息交换带来的好处，最为显著的好处就是带来了巨大的经济效益。通过手机、电脑等产生的网络传输、互动网络社交等都在产生大量的数据，依据相关统计，光是中国产生的数据信息在2013年已经超过了0.8ZB（相当于8亿TB），并且预计到2020年中国产生的数据总流量达到2013年数据量的10倍以上，超过8.5ZB[1]。 在大数据时代，数据包含了四大特征：数据量大、类型繁多、价值密度低、速度快实效高。当前，社会数据得到广泛的应用，通过手机或电脑等网络相关设备，随时都可以看到网络日志、音频、视频、图片等[2]。而当数据信息量达到一定的规模和程度，数据管理和处理的难度加大，数据信息安全也存在一定的风险。信息安全风险包括个人信息、企业信息以及国家信息的泄露风险，因此在大数据时代做好数据信息的管理与安全防范非常重要。1大数据时代信息安全面临的问题 在大数据时代，信息量庞大，在利用和交换信息的过程中还应当重视保护信息安全。信息传输与交换也日益频繁，大数据时代面临的信息安全问题也日益凸显。 1.1隐私泄漏问题 在人们的日常生活生产当中，涉及到的信息多种多样，包括自己的相关信息也包括别人的信息。总而言之，日常生活生产使用信息是不可避免的。在大数据时代背景下，信息能够更加快捷方便地交换传输，提高人们生活工作的效率[3]。但大量的数据信息汇集，用户的信息隐私等泄漏的风险也在加大。例如，用户通过微信、QQ、微博等社交平台晒自己的生活日常，以及网上购物，收发邮件等都会涉及到个人信息以及个人隐私，如手机号码、姓名、住址、照片等等，这些信息不仅会被他人的掌握，也被网络运营商掌握。通过我们的网上足迹，可以查到我们的很多的信息和隐私。以网上购物为例，新浪微博和阿里巴巴公司合作后，淘宝用户浏览的相关商品以及购物的习惯等会被记录下来，当与之关联的账户登录新浪微博时，数据库会经过特定算法推算后，精确地推荐该用户应该感兴趣的商品信息[4]。网络服务渐趋“人性化”，但与此同时也 监控系统的安装场所一般较为嘈杂，共现矩阵的抗干扰性强，再加上纹理不变的特征，通过共现矩阵来提取关键帧的特征值，能够保证特征值的准确性。例如，在银行营业厅，客户在ATM机办理取款业务，由于营业厅人员众多，环境混乱，通过监控系统采集客户的面貌特征，并通过建立共现矩阵来提取其中的关键帧特征值，能够保存取款人的准确信息，以便出现问题提供有效取证。 在消费者办理IC卡时，一般通过设置密码、输入指纹、确定身份证号等方式进行一一匹配。而密码、指纹和身份证号均是能够准确确认客户的唯一性信息，也属于免疫系统特征值的一种。在现实生活中，如果消费者在进入楼宇门厅时，大部分都需要输入密码，或者按压指纹，只有信息正确，也就是免疫系统特征值与数据库中信息能够吻合，才能够顺利打开门厅，进入楼内，大大提高了门禁系统的安全性。 3结语 本文以视频监控系统在IC卡消费中的应用为研究对象，对IC卡消费过程中，监控系统如何传输图像和信息数据，对大量数据进行分类存储，并根据其中特定唯一的特征值，与视频信息进行匹配，使得客户在搜索查询视频信息时，能够快速准确地得到有效信息。另一方面，通过监控视频系统的技术提高，也增强了IC卡消费时的安全性，为使用IC卡消费人群的进一步扩大提供了技术保障。 参考文献： [1]刘俊,谭建军,邵长高.基于Flex的WebGIS框架设计与实 现[J].计算机工程,2010,36(10):242-244. [2]汪林林,胡德华,王佐成,等.基于Flex的RIAWebGIS研究 与实现[J].计算机应用,2008,28(12):3257-3260. [3]尤亮.基于流媒体技术的在线视频教学系统的设计与实现 [D].厦门:厦门大学,2008. [4]章毓晋基于内容的视觉信息检索[M].北京:科学出版社, 2003. [5]付信际,杨汝良,岳海霞.一种新的灰度共现矩阵特征提取 算法[J].测试技术学报,2005,19(3):310-314. [6]严柏军,郑链,王克勇.基于亮度差和纹理的货车类型的识 别[J].计算机工程,2003,29(1):41-42+78. [7]徐春鸽.人工免疫系统研究及其在数据聚类中的应用[D]. 广州:华南师范大学,2007. [8]刘韬,王耀才,王致杰.一种基于人工免疫系统的聚类算法 [J].计算机工程与应用,2004,40(19) :182-184. １６１
大数据时代下的信息安全 来到信息工程大学后，我接触到了许多信息安全与网络空间安全的知识，在这一学期选报的信息安全创新实践后，我对信息安全的重要性的理解越来越深入，也对信息安全相关内容产生了浓厚的兴趣，基于我所学的大数据专业，结合自己近一年来所学的零碎内容，结合网上和图书馆中的文献资料，谈谈我的理解。 大数据时代已经到来 物联网、云计算、移动互联网等新技术的发展，使得手机、平板电脑、PC及遍布地球各个角落的传感器，成为数据来源和承载方式。据估计，互联网上的数据量每两年会翻一番，到2013年，互联网上的数据量将达到每年667EB（1EB=230GB）。这些数据绝大多数是“非结构化数据”，通常不能为传统的数据库所用，但这些庞大的数据“宝藏”将成为“未来的新石油”。 1.大数据具有四个典型特征 大数据（Big Data）是指“无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合”。业界通常用四个V来概括大数据的特征。 ——数据体量巨大（Volume）。到目前为止，人类生产的所有印刷材料的数据量是200PB（1PB=210TB），而历史上全人类说过的所
有的话的数据量大约5EB（1EB=210PB）。当前，典型个人计算机硬盘的容量为TB量级，而一些大企业的数据量已经接近EB量级。 ——数据类型繁多（Variety)。这种类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等，这些多类型的数据对数据的处理能力提出了更高要求。 ——价值密度低（Value）。价值密度的高低与数据总量的大小成反比。以视频为例，一部1小时的视频，在连续不间断的监控中，有用数据可能仅有一两秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”，成为目前大数据背景下亟待解决的难题。 ——处理速度快（Velocity）。这是大数据区分于传统数据挖掘的最显著特征。根据IDC的“数字宇宙”报告，预计到2020年，全球数据使用量将达到35.2ZB（1ZB=210EB）。在如此海量的数据面前，处理数据的效率就是企业的生命。 2.大数据成为国家和企业的核心资产 2012年瑞士达沃斯论坛上发布的《大数据大影响》报告称，数据已成为一种新的经济资产类别，就像货币或黄金一样。奥巴马政
大数据平台系统安全方案 1使用安全 在大数据智能化平台系统建设的环节，系统安全主要通过制定系统资源访问限制策略，实现系统的数据访问安全。 （1）账号管理 系统中的权限必须通过角色才能分配给账号；账号、角色、权限管理符合最小化权限原则；程序账号不能人工使用，不能在程序中使用预设账号，程序用账号密码可修改； （2）系统安全配置 完成数据库、操作系统、网络配置和网络设备的基线配置、补丁安装； 平台访问采用加密的SSH或SSL方式，登录进行密码保护； 能够在系统管理界面显示当前活动的TCP/UDP服务端口列表以及已建IP连接列表。 （3）日志管理 应用系统、操作系统、数据库、网络设备、防火墙等的操作有完整的日志记录； 系统自身产生的运行日志和告警日志发至安全监控系统统一存储管理； 应用系统本身提供友好的日志查询和统计界面，应用系统可保存短期日志；
（4）系统管理 在系统中存在很多应用服务器，对于关键应用服务器的系统本身和运行于其上的应用，应给予专门的保护，防止未授权用户的非法访问。系统建设之后达到以下效果： 通过良好的口令管理、登录活动记录和报告、用户和网络活动的周期检查，防止未被授权使用系统的用户进入系统。 对于需要登录系统访问的用户，通过产品提供的安全策略强制实现用户口令安全规则，如限制口令长度、限定口令修改时间间隔等，保证其身份的合法性。 能够按照用户、组模式对操作系统的访问进行控制，防止已授权或未授权的用户存取相互的重要信息。不同部门或类型的用户只能访问相应的文件或应用，可以采取授权方式限定用户对主机的访问范围。 能够防止恶意用户占用过多系统资源(CPU、内存、文件系统等)，从而防止因无系统资源导致系统对其他用户的不可用的事件发生。 能够对主机的安全事件进行详细的记录，并根据需要随时进行查阅。 提供完善的漏洞扫描手段，及时发现系统的安全隐患，并据此提供必要的解决方案。 （5）应用安全 应用安全主要通过对各用户访问系统功能限制和数据访问范围的合理配置来实现。 （6）权限管理
大数据时代下信息安全的特点与现状 大数据时代悄然而至，社会经济、军事、民生等都随之发生了转变，带来高效便捷的同时，海量的数据信息使得计算机网络信息安全受到冲击，整个计算机网络系统面临威胁。本文从大数据时代和信息安全的概念引入，分析其特点并描述发展现状，总结大数据时代下信息安全相关问题，希望对计算机网络健康发展有所裨益。 标签：大数据时代；信息安全；计算机网络；特点；现状； 计算机网络技术处于飞速发展阶段，新技术层出不穷的改变着我们的日常学习和生活，而事物的两面性又警告我们在舒适便利的同时，关注其带来的漏洞，其中计算机网络信息安全最为瞩目，由数据泄露带来的犯罪案例逐年递增，严重制约了大数据时代下计算机网络的安全发展。 1 大数据时代与信息安全 大数据即海量的数据信息集合，具有多元化、更新快、成本低等特点，随着计算机网络技术发展，大数据的概念被广为人知，也被运用于各个领域中，企业、高校、政府等都通过大数据便利自身，人与人之间的交流更为紧密，迎来了高科技时代的加速发展。 信息安全是随之而来的重要概念，其涵盖了信息的保密、真实、完整、安全等内容[1]，了解并采取一些手段保证信息安全，有助于减少网络犯罪，维护个人和企业利益，保障网络信息服务通畅运行、安全可靠。其安全体系包括安全操作系统、安全协议等，建立以密码论为基础的计算机安全领域，维护公共利益和网络安全。 2 大数据时代下信息安全的特点 现代化社会使得人类面临的风险增多，且具有整体性、全球性和自反性，难以感知和明确，而这也会对大数据时代下信息安全造成众多影响，使其呈现出各种各样的特点，从性质、时间、空间、内容、形态等方面总结如下： 第一，规模安全。大数据时代使得整个世界的关联性增加，其数据来源具有全方位和立体化的特点，携各个领域融入多样化载体平台，据预测，至2020年，500亿台设备通过互联网建立沟通联系[2]，云端平台和数据中心所涵盖数据已无法计算，带来的风险和危害程度无法预测，个人信息泄露和黑客攻击窃取信息的案例层出不穷，所造成的危害和涵盖的面积规模越来越大。 第二，泛在安全。安全信息在传播中具有即时性，网络空间的治理模式也将改变，由静态管理转为动态治理，需要无所不在的泛在安全以满足信息的多样化、灵活性和移动性的特征。
.....L . 0)00：：fi m ip ili n i p o i a 1000l 001^^B iO IO ^M |i &?^r a ^O lD O i'O o jin D 烛卿議则1 Ig O O IO O lO lD lC r o o i o o f i t j o i B i 本期专I s C ^fe T jT m T iy ■(oioiieicf. u /〇:o r ' 产 OWOlOO W Q fj 丨(H ,m l l f f i 0.1Q ^100l 01Q D 10l |l 0p l t )0 :f l t j i o i i K i 政—’侧,o fiitr r 伞 diooioiiiMiL ju ttoo iod ai g i noiijoiMioioo M fiip o io o ]iio ^ 〇]〇j^]〇o io ilM K io fi)〇i(jRA _ 30100丨丨丨010100丨_丨 :;C 3卬 I。Q !I ]丨Q I fl G D 丨 f firtlD ’lE fiffiB B W P 010*******i 0(基于大数据的网络安全态势分析平台态势感知，即利用当前数据趋势预测未来事件，其思路是通过现有数据预测 即将到来的网络攻击■并进行必要的防护。与被动防御相比，通过科学的数据分析 进行态势感知，从而发现未知风险，对于网络安全具有重要意义。本期专题介绍了一种基于大数据技术的网络安全态势分析平台，从系统基本 信息、受攻击事件、系统漏洞、系统风险等多个维度对大量信息系统进行全方位安 全监控，对安全事件和漏洞情况及时告警和预警，并提供全部监测目标的全局统计 报表和趋势分析，为公安机关维护网络安全提供了有力的技术支撑。
1.1、大数据概述 1、大数据概述 1996年，SGI公司首席科学家John Mashey第一次提出大数据的概念。 2001年，Gartner分析师Doug Laney首先定义了大数据的三个维度：数据容量 速度和种类（3V）。 业界把3V扩展到了11V，但主要包括Volume、Velocity、Variety、Value等 2、大数据定义 指无法在可承受的时间内用软硬件进行捕捉、管理和处理的数据集合，需要新处理模式才能使该数据集合成为具有更强的决策力、洞察力和流程优化等能力的海量、多样化的信息资产。 3、海量数据的来源 由25%的结构化数据和75%的非结构和半结构化数据构成。 数据类型分为： 结构化数据：指可以存储在数据库里，可以用二维表结构来逻辑表达实现的数据。 非结构化数据：不方便用数据库二维逻辑表来表现的数据，包括所有格式的办公文档，文本、图片，XML，HTML，各类报表图像和音频，视频信息等等 半结构化数据：介于结构化数据和非结构化数据之间的数据。HTML文档就属于半结构化数据。 4、大数据的价值 对于企业组织，大数据在竞争能力构建、决策分析和成本控制等领域有广泛的应用前景；对于事业组织，大数据在科学探索、知识服务和社会安全等领域也有强烈的需求。例如： 1.在卫星测绘领域能海量存储数据。 2.在金融领域能盘活归档数据，深挖存量数据价值。 3.在能源勘探领域能进行潜力分析，降低的勘探成本。 4.在媒体娱乐中能进行高清制播 …… 5、大数据基本特征（4V） 量大（Volume）：存储大、计算量大 样多（Variety）：来源多、格式多 快速（Velocity）：生成速度快、处理速度要求快 价值（Value）：价值密度的高低和数据总量的大小成反比，即有价值的数据比重小。6、大数据带来的挑战： 网络架构：传统网络架构支持南北向网络流量，不适配大数据应用对东西流量的需求。 数据中心：同时访问子系统压力大。 数据仓库：不适应非结构化数据和半结构化数据在数据处理上的需求。 7、大数据与云计算的关系： 云计算是底层平台，大数据是应用。 云计算作为底层平台，整合了计算、存储、网络等资源。同时提供基础架构资源弹性伸缩能力。 大数据在云计算平台的支撑下，调度下层资源进行数据源加载，计算和最终结构输出等动作。 1.2、电信大数据应用 1、大数据给电信行业的机会与挑战 挑战1：电信行业生产圈的信息产业遇到了革命性的变化。运营商相关业务的发展更加
浅谈大数据时代的信息安全 不久前，在上海召开的“中国信息化百人会”上，有专家提出“大数据时代”已经来临，2013年也被业内普遍称为中国的大数据元年。大数据具有规模化、多样化、快速化和高价值等特征，在带给人们价值发现、发展机遇、方便快捷的同时，也形成了其高度社会化的巨大溢出效应，其形成的种种变化给国家信息安全带来了前所未有的大挑战和大风险，呼唤国家信息安全管理因势而谋、顺势而为，及时把握新环境给国家信息安全管理带来的发展新机遇，进行管理范式的创新转型。 首先，从互连互通的“大联网”趋势观察。网络整合集群的发展和数字智能化的进程，使成千上万的网络成为网网互联的庞大体系，它在给人们带来便捷的大服务的同时，也使安全防范的缝隙越来越多，原本的安全防范措施显得越来越脆弱，某局部的安全隐患在瞬间便会波及至全局的方方面面；一个点上的漏洞，在不经意间便会演化为面上的整体风险，使信息安全的关联度和协同性大大增强，信息安全管理面临必须点面兼顾、巨细统筹的新挑战。 其次，从“云”端信息的“大集中”趋势观察。依托基于互联网的超级计算模式，通过网络技术、传感技术与射频技术，人们和机构的一举一动已难以遁形，其内容、时空、方位、特性等都可转化为数据。随着智能眼睛、智能手表等可穿戴技术产品的创意推出和将要到来的广泛流行，这些随身便捷产品所形成的巨量动态信息的云端汇集，也将带来信息安全的隐蔽性和模糊性。这些海量、多样的大数据云集于各大平台之中，汇聚于一体化的管理架构之下，可据以了解认识事物的本质特性或发展趋势，为信息的分析挖掘及其价值发现提供了可能；但个人的各类隐私、机构的宏观数据、国家的保密信息也同时存在着大泄漏、大失控、大泄密的潜在新挑战。 第三，从泛在即时的“大流动”趋势观察。移动泛在的信息新形态体现了社会信息化的即时性、互动性、高效性，人们可以不受时空和形式的限制，随时、随地、随式、随意地进行全媒体的点对点、点对面的平等自由交流，即时快速的信息可以进行跨域、立体、融合的传递与互动。亿万用户的自由度和主动性，使数据由管理主导迈向用户主导，使网络安全呈现出交叉性、复杂性和巨量型特征。据统计，目前在新浪和腾讯微博中，10万以上粉丝的大V超过1，9万个，百万以上粉丝的大V超过3300个，千万以上粉丝的大V超过200个。大数据在给成千上万的用户带来便捷的同时，也形成了可能的信息安全管理大失控、谣言大传播、隐私大泄密的新挑战。 第四，从跨域延伸的“大渗透”趋势观察。大数据及其带来的国家信息安全问题已渗透到了经济、政治、文化、社会、生态以及军事、外交等各个领域，将传统安全和非传统安全融为一体，成为关涉国家政治安全、经济发展运行、社会和谐稳定的重大战略问题，呈现出难以预测管控的潜在渗透型特征，带来了信息安全前所未有的风险与威胁。美国梭镜门事件就是一个十分典型的案例:正是在大数据和云计算的跨域延伸的大背景下，美国建立起了基于各种传感技术与大数据技术的网络监控系统，通过海量计算对世界各国甚至对联合国形成了监控，这种居高临下的信息霸权使世界各国信息安全乃至全球信息安全面临着全新的挑战。