这一篇应该是比较容易引起争议的，大家现在乐于说看见（visibility ）的力量，如何看到却是一个尚在探索中的问题。数据是看到的基础条件，但是和真正的看见还有巨大的差距。我们需要看到什么？什么样的方法使我们真正看到？
安全分析和事件响应
网络空间的战斗和现实世界有很大的相似性，因此往往可以进行借鉴。美国空军有一套系统理论，有非常的价值，值得深入思考并借鉴，它就是OODA周期模型：
观察（Observe）：实时了解我们网络中发生的事件。这里面包括传统的被动检测方式：各种已知检测工具的报警，或者来自第三方的通报（如：用户或者国家部门）。但我们知道这是远远不够的，还需要采用更积极的检测方式。即由事件响应团队基于已知行为模式、情报甚至于某种灵感，积极地去主动发现入侵事件。这种方式有一个很炫的名字叫做狩猎。
定位（Orient）：在这里我们要根据相关的环境信息和其他情报，对以下问题进行分析：这是一个真实的攻击吗？是否成功？是否损害了其它资产？攻击者还进行了哪些活动？
决策（Decision）：即确定应该做什么。这里面包括了缓解、清除、恢复，同时也可能包括选择请求第三方支持甚至于反击。而反击往往涉及到私自执法带来的风险，并且容易出错伤及无辜，一般情况下不是好的选择。
行动（Action）：能够根据决策，快速展开相应活动。
OODA模型相较传统的事件响应六步曲（参见下图），突出了定位和决策的过程，在现今攻击技术越来越高超、过程越来越复杂的形势下，无疑是必要的：针对发现的事件，我们采取怎样的行动，需要有足够的信息和充分的考量。
在整个模型中，观察（对应下文狩猎部分）、定位与决策（对应下文事件响应）这三个阶段就是属于安全分析的范畴，也是我们下面要讨论的内容，附带地也将提出个人看法，关于大数据分析平台支撑安全分析活动所需关键要素。
狩猎（hunting）
近两年狩猎的概念在国际上比较流行，被认为是发现未知威胁比较有效的方式。如何做到在信息安全领域的狩猎，也是和威胁情报一样热门的话题。
和数据收集阶段一样，狩猎中也需要“以威胁为中心”的意识。我们需要了解现今攻击者的行为模式，需要开发有关潜在攻击者的情报（无论是自身研究或者第三方提供），同时狩猎团队也需要评估内部项目和资源，以确定哪些是最宝贵的，并假设攻击者要攻陷这些资源为前提进行追捕。
单纯地依赖这个原则，也许并不能让你真正拥有“visibility”的能力，我们还需要接受更多的挑战，包括传统基于攻击特征的思维方式必须改变，建立新的思维方式是成功的基础。
1、从线索出发，而不是指标或签名：安全分析，注重相关性，然后再考虑确定性，这背后有其深层的原因。误报和漏报是一对不可完全调和的矛盾，虽然在个别方面存在例外（基于漏洞的签名往往准确率较高，同时也可以对抗很多逃逸措施，是检测从IDS时代走向IPS的关键技术前提）。在发现未知的旅途中，如果直接考虑确定性证据，会错失很多机会。
因此在狩猎的场景之下，安全分析员需要的是线索，线索只能代表相关性，而不是
确定性，安全分析的过程需要将一连串的线索穿起来，由点及面进而逼近真相。举个例子：超长会话连接很难确定是攻击但和CnC往往有关联，一些分析人员就会选择它作为起点的线索。如果从这点出发、更多的线索出现了，连接的域名是最近新注册的，并且访问量很少，还有就是流量在80端口却不是标准的HTTP协议等，随着不断的发现，确定性在增加，最终通过进一步的方式我们可以确认攻击行为。
2、换个角度看问题：找寻攻击相关的行为模式，可以变换多个角度，无需一直从最直接的方面着手。例如在CnC检测上，我们可以采用威胁情报或者远控工具的流量特征这样直接的方法，但也可以考虑排查之前数据中没有出现过的新域名，或者某些域名对应IP快速变化的情况，甚至可以采用机器学习的方式来发现那些不一样的域名，这些都可能是有效的方法，可以在不同情况下分别或组合使用。
3、白名单及行为基线：它们都是先定义什么是正常，由此来判断什么是不好的。业界某些厂商倡导的白环境或者软件白名单，都是这个思想的一种具体实践。在采用这个方法建立基线时，还是需要从威胁的角度出发，这样检测灵敏度较高并且发现异常后的指向性也较好。例如针对整体流量突变的监控，和专门对ARP流量（内部的ARP攻击有关）或 DNS 流量（防火墙一般不禁止，是数据外泄的通道之一）分别进行监控，有着完全不同的效果。
4、统计概率：过去在讨论利用基线的方式发现异常时，经常被提出的问题是：“如果学习期间，恶意行为正在发生，学习的基线价值何在呢？”。这里面我们如果了解一些统计概率方面的知识，就知道可以利用均值和标准差这种方式来解决问题。统计概率知识在安全分析中的作用很大，尤其是在机器学习和安全分析结合时。这部分不是我擅长的专业领域，不再多说。还想一提的是，概率知识有时和人的直觉往往有冲突，所以为了正确的分析判断，需要了解基本的概率知识。有一个小题目，大家可以进行自测一下：某种流感测试方法，如果已患此流感，那么测试结果为阳性的概率为95%，问测试阳性者患病概率是多少。估计没有掌握贝叶斯方法的人，很难回答出正确的答案。也许通过这个问题，会让没有接触过此方面知识的人，感受到其必要性。
水无常式，法无定则，在信息安全过程中狩猎也是如此，这里只是稍微做了一些介绍，也许已经给大家一种印象：狩猎是一项充满挑战、极具难度的活动。这种认识无疑是正确的，幸运的是有了安全分析产品的存在，使其难度有了大幅的降低，在本文最后部分会介绍这方面的信息。
事件响应
事件响应不是新鲜事物，很早就存在了，但这并不意味着这方面的知识与技能已被正确掌握。即使在被动响应为主的时代，因为缺乏必要的安全分析，难以对事件进行定位并确定正确的响应活动，从而很多时候无法对已发现的攻击做到干净彻底地清除，更不要说进一步完善防御措施了。下面介绍一个我比较认同的、行动前的分析过程[1]：
1、确认是否为误报：这是需要首先回答的问题。在这个行业，还不知道有什么办法可以消失误报，同时保证没有漏报。既然误报总是存在，并且在某些情况下可能比例还是比较高的，我们需要尽快的区分误报和真实的报警。报警相关的上下文信息、PCAP包等信息对识别误报非常有用。
2、确认攻击是否奏效：很多攻击尝试都可能失败，特别是一些自动化工具，它们不区分攻击目标的OS、软件类型和版本等。此类报警数量往往会很多，以至于有些分析师会倾向于检测攻击链的下一步。但是有些时候我们无法完全避免，例如针对driven-by下载或者水坑攻击的报警，分析师是需要了解浏览器是否真的访问、下载了恶意代码。这时他们需要结合上一阶段相似的上下文等信息来进行判断。
3、确定是否损害了其它资产：如果确认攻击成功，那么必须划定事件的影响范围，即建立受影响资产清单，其中包括组织IT空间的任何事物：计算机、网络设备、用户账号、电子邮件地址、文件或者目录等任何攻击者希望攻击、控制或窃取的IT资产。例如你发现攻击者可能从失陷的设备获得了一份用户名和密码的名单，我们就需要找到可能影响的主机，建立清单，进行排查。此资产清单是一个不断完善、变化的，在分析过程中可能有不断的删除或添加。
4、确定攻击者的其它活动：在调查分析中，我们需要回答的不仅是去了哪儿，还需要了解何时做了何事。如果发现的是攻击后期的报警，那么这点就更为重要，我们需要了解从第一次漏洞利用尝试开始和攻击相关的所有警报，了解我们被渗入的脆弱点，确认失陷的资产。步骤3、4往往是交互进行的。
5、确定如何应对这种攻击：事件响应策略是个非常大的话题，因为没有一个标准可以适合所有的情况，不同类型的事件需要不同的响应计划。即使一个管理良好的应急中心有一批提前准备好的应急响应计划，但事到临头往往还是要进行调整，这时采用模块化的方法也许是一个好的选择。从资深的IR人员了解到的信息，这个过程需要高度的技巧和经验，也许可以考虑找一个有这方面经验的顾问来帮助、指导。
这部分就是OODA周期中的定位、决策的过程了，如果不考虑狩猎这种积极的检测方式，它差不多就是安全分析师的全部工作了。
安全分析平台
很大程度上，一个组织检测和响应安全事件的能力取决于其工具的质量，一个好的安全分析平台有可能数十倍或百倍提高分析师的效率，但遗憾的是，业界满足其需要的产品还非常少，Splunk和Palantir是我看到比较完善的产品。
今年RSA大会上也有更多这方面的厂商出现，但它们还是更多从某一场景的需求开始做起，距离完整的分析平台尚有一段距离。关于一个好的分析平台需具备的关键特性，在此我提出一些个人看法，欢迎大家来拍砖。
首先需要说明，这里不想涉及底层架构相关的问题，大数据如何存储、备份、索引、计算；如何保证架构的弹性扩展；如何处理非结构化数据等等，这些业界有很多架构设计，流行的如HDP、ELK，也有一些比较小众，但具备自身特定的优势的方案，这里不再多讲。
重点从业务层面提出满足分析师需要的关键特性。
1、集成相对丰富的分析模型：狩猎需要基于已知攻击行为模式去查找线索，如果作为一个分析平台可以默认集成这样的模型，那么对于分析师来说，入门的成本将会极大的降低。如果模型足够丰富，则会超过一些资深分析师所掌握的技能，这无疑会成为平台最大的价值点。
2、提供接口供用户自定义：这和前两天阿里安全峰会上道哥提到非常一致，相信总会有人比我们聪明，因此我们需要给用户空间，让他在自己的使用中，可以继续丰富这些模型，或者能够形成更适合行业特点的分析方式，这就需要以开放的心态，和用户一起来共同完善分析能力。
3、集成威胁情报功能：作为以威胁为中心的产品，这是应有之义。考虑到现今提供威胁情报的厂商，其关键性数据重叠性不高（参考DBIR 2015[2]），就要求分析平台可以集中多个来源的情报数据，较好的支持OpenIOC、STIX等标准。
4、利用数据挖掘降低人的工作量：数据挖掘可以帮助完成一部分人的工作，特别是
当分析平台可以自动化识别很多线索的时候，那么数据挖掘就可以根据线索的特定组合判定一个事件，这是我看到它可以提供的一个重要价值点。根据弓峰敏博士去年ISC大会的演讲以及Cyphort的产品介绍推测，他们利用数据挖掘主要完成的也是这方面的工作。
这里特别想提出一个问题：数据挖掘的局限性在哪儿？Palantir给出了自己的答案，可以作为一个参考[3]。他们认为某些情况下数据挖掘能做到的只是将一个非常庞大的数据集缩小到一个较小而有意义的集合，让人来分析，因为以下情况机器算法并不适用：
The data comes from many disparate sources
The data is incomplete and inconsistent
You’re looking for someone or something that doesn’t want to be found, and that can adapt to avoid detection.
5、针对工作流程，提供满足场景需要的设计：在安全分析过程中涉及到诸多的场景，不同种类线索的观察分析，事件的确认、影响范围及关联攻击的分析等等。是否能够支持分析师的工作方式，满足不同场景下对数据呈现、分享、交互的要求，也是必须考量的内容。
6、可视化：可视化和数据驱动的分析是一对孪生兄弟，难以割裂，但现今很多可视化的尝试无疑是难以让人信服，这部分我将放到下一篇文章中专门讨论。
小结
我们在这里讨论安全分析的主要活动，狩猎以及后续的事件定位及决策，发现狩猎活动和传统检测理念有很大的区别，同时也了解到安全分析需要一个好的分析平台工具，才能使工作更有效、快速。
分析篇是应该是一个巨大的话题，这里只能是浅尝则止，希望这里的话题能够起到抛砖引玉的作用，有更多相关讨论这方面的文字出现。
2018年度大数据时代的互联网信息安全 1.我们经常从网站上下载文件、软件，为了确保系统安全，以下哪个处理措施最正确。（B ）（单选题2分） A.直接打开或使用 B.先查杀病毒，再使用 C.习惯于下载完成自动安装 D.下载之后先做操作系统备份，如有异常恢复系统 2.使用微信时可能存在安全隐患的行为是?（A ）（单选题2分） A.允许“回复陌生人自动添加为朋友” B.取消“允许陌生人查看10张照片”功能 C.设置微信独立帐号和密码，不共用其他帐号和密码 D.安装防病毒软件，从官方网站下载正版微信 3.日常上网过程中，下列选项，存在安全风险的行为是?（B ）（单选题2分） A.将电脑开机密码设置成复杂的15位强密码 B.安装盗版的操作系统 C.在QQ聊天过程中不点击任何不明链接 D.避免在不同网站使用相同的用户名和口令 4.我国计算机信息系统实行（B ）保护。（单选题2分） A.主任值班制 B.安全等级 C.责任制 D.专职人员资格 5.重要数据要及时进行（C ），以防出现意外情况导致数据丢失。（单选题2分） A.杀毒 B.加密 C.备份 D.格式化 6.小强接到电话，对方称他的快递没有及时领取，请联系XXXX电话，小强拨打该电话后提供自己的私人信息后，对方告知小强并没有快递。过了一个月之后，小强的多个账号都无法登录。在这个事件当中，请问小强最有可能遇到了什么情况?（B ）（单选题2分） A.快递信息错误而已，小强网站账号丢失与快递这件事情无关 B.小强遭到了社会工程学诈骗，得到小强的信息从而反推出各种网站的账号密码 C.小强遭到了电话诈骗，想欺骗小强财产 D.小强的多个网站账号使用了弱口令，所以被盗。 7.没有自拍，也没有视频聊天，但电脑摄像头的灯总是亮着，这是什么原因（A ）（单选题2分） A.可能中了木马，正在被黑客偷窥 B.电脑坏了 C.本来就该亮着 D.摄像头坏了 8.刘同学喜欢玩网络游戏。某天他正玩游戏，突然弹出一个窗口，提示：特大优惠!1元可购买10000元游戏币!点击链接后，在此网站输入银行卡账号和密码，网上支付后发现自己银行卡里的钱都没了。结合本实例，对发生问题的原因描述正确的是?（C ）（单选题2分）A.电脑被植入木马
网络空间安全态势感知与大数据分析平台建设方案 网络空间安全态势感知与大数据分析平台建立在大数据基础架构的基础上，涉及 大数据 智能建模平台建设、业务能力与关键应用的建设、网络安全数据采集和后期的 运营支持服务。 1.1 网络空间 态势感知系统 系统建设 平台按系统功能可分为两大部分：日常威胁感知和战时指挥调度应急处置。 日常感知部分包括大数据安全分析模块、安全态势感知呈现模块、等保管理模块 和通报 预警模块等。该部分面向业务工作人员提供相应的安全态势感知和通报预警功 能，及时感知发生的安全事件，并根据安全事件的危害程度启用不同的处置机制。 战时处置部分提供从平时网络态势监测到战时突发应急、指挥调度的快速转换能 力，统 筹指挥安全专家、技术支持单位、被监管单位以及各个职能部门，进行协同高 效的应急处置和安全保障，同时为哈密各单位提升网络安全防御能力进行流程管理， 定期组织攻防演练。 1.1.1 安全监测子系统 安全监测子系统实时监测哈密全市网络安全情况，及时发现国际敌对势力、黑客 组织等不法分子的攻击活动、攻击手段和攻击目的，全面监测哈密全市重保单位信息 系统和网络，实现对安全漏洞、威胁隐患、高级威胁攻击的发现和识别，并为通报处 置和侦查调查等业务子系统提供强有力的数据支撑。 安全监测子系统有六类安全威胁监测的能力： 一类是网站云监测，发现网站可用性的监测、网站漏洞、网站挂马、网站篡改 （黑链 / 暗链）、钓鱼网站、和访问异常等安全事件 第二类是众测漏洞平台的漏洞发现能力，目前 360 补天漏洞众测平台注册有 多白帽子，他们提交的漏洞会定期同步到态势感知平台，加强平台漏洞发现的能力。 第三类是对流量的检测，把重保单位的流量、城域网流量、电子政务外网流量、 IDC 机房流量等流量采集上来后进行检测，发现 webshell 等攻击利用事件。 第四类把流量日志存在大数据的平台里，与云端 IOC 威胁情报进行比对，发现 等高级威胁告警。 第五类是把安全专家的分析和挖掘能力在平台落地，写成脚本，与流量日志比 对，把流量的历史、各种因素都关联起来，发现深度的威胁。 第六类是基于机器学习模型和安全运营专家，把已经发现告警进行深层次的挖掘 分析和关联，发现更深层次的安全威胁 1、网站安全数据监测：采用云监测、互联网漏洞众测平台及云多点探测等技术， 实现对重点网站安全性与可用性的监测，及时发现网站漏洞、网站挂马、网站篡改 （黑链 / 暗链）、钓鱼网站、众测漏洞和访问异常等安全事件。 4万 APT
大数据平台技术要求 1.技术构架需求 采用平台化策略，全面建立先进、安全、可靠、灵活、方便扩展、便于部署、操作简单、易于维护、互联互通、信息共享的软件。 技术构架的基本要求： ?采用多层体系结构，应用软件系统具有相对的独立性，不依赖任何特定的操作系统、特定的数据库系统、特定的中间件应用服务器和特定的硬 件环境，便于系统今后的在不同的系统平台、不同的硬件环境下安装、 部署、升级移植，保证系统具有一定的可伸缩性和可扩展性。 ?实现B（浏览器）/A（应用服务器）/D（数据库服务器）应用模式。 ?采用平台化和构件化技术，实现系统能够根据需要方便地进行扩展。2. 功能指标需求 2.1基础平台 本项目的基础平台包括：元数据管理平台、数据交换平台、应用支撑平台。按照SOA的体系架构，实现对我校数据资源中心的服务化、构件化、定制化管理。 2.1.1元数据管理平台 根据我校的业务需求，制定统一的技术元数据和业务元数据标准，覆盖多种来源统计数据采集、加工、清洗、加载、多维生成、分析利用、发布、归档等各个环节，建立相应的管理维护机制，梳理并加载各种元数据。 具体实施内容包括： ●根据业务特点，制定元数据标准，要满足元数据在口径、分类等方面的 历史变化。 ●支持对元数据的管理，包括：定义、添加、删除、查询和修改等操作，
支持对派生元数据的管理，如派生指标、代码重新组合等，对元数据管 理实行权限控制。 ●通过元数据，实现对各类业务数据的统一管理和利用，包括： ?基础数据管理：建立各类业务数据与元数据的映射关系，实现统一的 数据查询、处理、报表管理。 ?ETL：通过元数据获取ETL规则的描述信息，包括字段映射、数据转 换、数据转换、数据清洗、数据加载规则以及错误处理等。 ?数据仓库：利用元数据实现对数据仓库结构的描述，包括仓库模式、 视图、维、层次结构维度描述、多维查询的描述、立方体（CUBE）的 结构等。 ●元数据版本控制及追溯、操作日志管理。 2.1.2数据交换平台 结合元数据管理模块并完成二次开发，构建统一的数据交换平台。实现统计数据从一套表采集平台，通过数据抽取、清洗和转换等操作，最终加载到数据仓库中，完成整个数据交换过程的配置、管理和监控功能。 具体要求包括： ●支持多种数据格式的数据交换，如关系型数据库：MS-SQLServer、MYSQL、 Oracle、DB2等；文件格式：DBF、Excel、Txt、Cvs等。 ●支持数据交换规则的描述，包括字段映射、数据转换、数据转换、数据 清洗、数据加载规则以及错误处理等。 ●支持数据交换任务的发布与执行监控，如任务的执行计划制定、定期执 行、人工执行、结果反馈、异常监控。 ●支持增量抽取的处理方式，增量加载的处理方式； ●支持元数据的管理，能提供动态的影响分析，能与前端报表系统结合， 分析报表到业务系统的血缘分析关系； ●具有灵活的可编程性、模块化的设计能力，数据处理流程，客户自定义 脚本和函数等具备可重用性； ●支持断点续传及异常数据审核、回滚等交换机制。
大数据分析的六大工具介绍 2016年12月 一、概述 来自传感器、购买交易记录、网络日志等的大量数据，通常是万亿或EB的大小，如此庞大的数据，寻找一个合适处理工具非常必要，今天我们为大家分学在大数据处理分析过程中六大最好用的工具。 我们的数据来自各个方面，在面对庞大而复杂的大数据，选择一个合适的处理工具显得很有必要，工欲善其事，必须利其器，一个好的工具不仅可以使我们的工作事半功倍，也可以让我们在竞争日益激烈的云计算时代，挖掘大数据价值，及时调整战略方向。 大数据是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设il?的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源:传感器、气候信息、公开的信息、如杂志、报纸、文章。大数据产生的其他例子包括购买交易记录、网络日志、病历、事监控、视频和图像档案、及大型电子商务。大数据分析是在研究大量的数据的过程中寻找模式, 相关性和其他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。 二.第一种工具:Hadoop Hadoop是一个能够对大量数据进行分布式处理的软件框架。但是Hadoop是 以一种可黑、高效、可伸缩的方式进行处理的。Hadoop是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop还是可伸缩的，能够处理PB级数据。此外，Hadoop依赖于社区服务器，因此它的成本比较低，任何人都可以使用。
Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地 在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下儿个优点: ,高可黑性。Hadoop按位存储和处理数据的能力值得人们信赖。，高扩展性。Hadoop是 在可用的计?算机集簇间分配数据并完成讣算任务 的，这些集簇可以方便地扩展到数以千计的节点中。 ，高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动 态平衡，因此处理速度非常快。 ，高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败 的任务重新分配。 ,Hadoop带有用Java语言编写的框架，因此运行在Linux生产平台上是非 常理想的。Hadoop上的应用程序也可以使用其他语言编写，比如C++。 第二种工具:HPCC HPCC, High Performance Computing and Communications（高性能计?算与通信）的缩写° 1993年，山美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项 U：高性能计算与通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项U ,其U的是通过加强研究与开发解决一批重要的科学与技术挑战 问题。HPCC是美国实施信息高速公路而上实施的计?划，该计划的实施将耗资百亿 美元，其主要U标要达到:开发可扩展的计算系统及相关软件，以支持太位级网络 传输性能，开发千兆比特网络技术，扩展研究和教育机构及网络连接能力。
浅谈大数据时代的客户数据安全与隐私保护如何运用好“大数据”这把双刃剑 数据如同一把双刃剑，在带来便利的同时也带来了很多安全隐患。数据对于互联网服务提供者而言具备了更多的商业价值，但数据的分析与应用将愈加复杂，也更难以管理，个人隐私无处遁形。回顾2014年，全球各地用户信息安全事件频出: 2014年3月22日“携程网”出现安全支付日志漏洞，导致大规模用户信息如姓名、身份证号、银行卡类别、银行卡卡号、银行卡CVV等信息泄露。 2014年5月13日，小米论坛用户数据库泄露，涉及约800万使用小米手机、MIUI系统等小米产品的用户，泄露的数据中带有大量用户资料，可被用来访问“小米云服务”并获取更多的私密信息，甚至可通过同步获得通信录、短信、照片、定位、锁定手机及删除信息等。 2014年12月2日乌云漏洞平台公开了一个导致“智联招聘网”86万用户简历信息泄露的漏洞。黑客可通过该漏洞获取包含用户姓名、婚姻状况、出生日期、出生日期、户籍地址、身份证号、手机号等各种详细的信息。 2014年12月25日，12306网站用户数据信息发生大规模泄露。 2014年8月苹果“iCloud服务”被黑客攻破，造成数百家喻户晓的名人私密照片被盗。 …… 这些信息安全事件让人们开始感受到“数据”原来与我们的生活接触如此紧密，数据泄露可以对个人的生活质量造成极大的威胁。大数据时代，如何构建信
息安全体系，保护用户隐私，是企业未来发展过程中必须面对的问题。安全技术水平的提高、法律法规的完善、以及企业和个人用户正视数据的运用的意识缺一不可。 数据安全技术是保护数据安全的主要措施 在大数据的存储，传输环节对数据进行各种加密技术的处理，是解决信息泄露的主要措施。对关键数据进行加密后，即使数据被泄漏，数据的盗取者也无法从中获得任何有价值的信息。尽管对于大数据的加密动作可能会牺牲一部分系统性能，但是与不加密所面临的风险相比，运算性能的损失是值得的。这实际上是企业管理和风险管理间的协调，重要的是企业要有将信息安全放在第一位的理念。 目前数据加密保护技术主要包括：数据发布匿名保护、社交网络匿名保护、数据水印等几种。此外，除了对数据进行加密处理以外，也有许多可以运用在数据的使用过程，以及发生数据泄露之后的相关保护技术。这些技术可以有效地降低数据安全事故带来的损失。 1、数据发布匿名保护技术 数据发布匿名保护技术是对大数据中结构化数据实现隐私保护的核心关键与基本技术手段。能够很好地解决静态、一次发布的数据隐私保护问题。 2、社交网络匿名保护技术 社交网络匿名保护技术包括两部分：一是用户标识与属性的匿名，在数据发布时隐藏用户的标志与属性信息;二是用户间关系的匿名，在数据发布时隐藏用户之间的关系。 3、数据水印技术
Solution 解决方案 大数据平台安全解决方案 防止数据窃取和泄露确保数据合规使用避免数据孤岛产生 方案价值 大数据平台安全解决方案为大数据平台提供完善的数据安全 防护体系，保护核心数据资产不受侵害，同时保障平台的大数据能被安全合规的共享和使用。 数据安全防护体系以至安盾?智能安全平台为核心进行建设。智能安全平台支持三权分立、安全分区、数据流转、报警预警和审计追溯等五种安全策略，以及嵌入式防火墙、访问控制、安全接入协议等三道安全防线，保证安全体系在系统安 全接入、安全运维、数据流转、数据使用、数据导出脱敏、用户管理、用户行为审计追溯等方面的建设，保障大数据平台安全高效运行。 智能安全平台提供安全云桌面，保证数据不落地的访问方式， 并可根据需求提供高性能计算资源和图形处理资源，并支持“N+M”高可靠性架构，保证云桌面的稳定运行，为平台用户提供安全高效的数据使用环境。 提供数据不落地的访问方式以及完善的文档审批和流转功能 提供五种安全策略和三道安全防线提供严格的用户权限管理和强大的用户行为审计和追溯功能 提供高性能、高可靠稳定运行的大数据使用环境 方案亮点 如欲了解有关志翔科技至安盾? ZS-ISP、至明? ZS-ISA安全探针产品的更多信息，请联系您的志翔科技销售代表，或访问官方网站：https://www.doczj.com/doc/e616872675.html, 更多信息 志翔科技是国内创新型的大数据安全企业，致力于为政企客户提供核心数据保护和业务风险管控两个方向的产品及服务。志翔科技打破传统固定访问边界，以数据为新的安全中心，为企业构筑兼具事前感知、发现，事中阻断，事后溯源，并不断分析与迭代的安全闭环，解决云计算时代的“大安全”挑战。志翔科技是2017年IDC中国大数据安全创新者，2018年安全牛中国网络安全50强企业。2019年，志翔云安全产品入选Gartner《云工作负载保护平台市场指南》。 关于志翔科技 北京志翔科技股份有限公司https://www.doczj.com/doc/e616872675.html, 电话： 010- 82319123邮箱：contact@https://www.doczj.com/doc/e616872675.html, 北京市海淀区学院路35号世宁大厦1101 邮编：100191 扫码关注志翔
数据分析处理需求分类 1 事务型处理 在我们实际生活中,事务型数据处理需求非常常见,例如：淘宝网站交易系统、1２306网站火车票交易系统、超市ＰOＳ系统等都属于事务型数据处理系统。这类系统数据处理特点包括以下几点: 一就是事务处理型操作都就是细粒度操作,每次事务处理涉及数据量都很小。 二就是计算相对简单，一般只有少数几步操作组成，比如修改某行得某列; 三就是事务型处理操作涉及数据得增、删、改、查,对事务完整性与数据一致性要求非常高。 四就是事务性操作都就是实时交互式操作,至少能在几秒内执行完成； 五就是基于以上特点,索引就是支撑事务型处理一个非常重要得技术. 在数据量与并发交易量不大情况下,一般依托单机版关系型数据库,例如OＲＡＣLＥ、MＹSQL、SQＬSERVER,再加数据复制（DataGurａd、RＭAＮ、ＭｙSQＬ数据复制等)等高可用措施即可满足业务需求。 在数据量与并发交易量增加情况下，一般可以采用ORＡLＣＥRAC集群方式或者就是通过硬件升级（采用小型机、大型机等，如银行系统、运营商计费系统、证卷系统)来支撑. 事务型操作在淘宝、1230６等互联网企业中,由于数据量大、访问并发量高，必然采用分布式技术来应对,这样就带来了分布式事务处理问题，而分布式事务处理很难做到高效，因此一般采用根据业务应用特点来开发专用得系统来解决本问题。
２数据统计分析 数据统计主要就是被各类企业通过分析自己得销售记录等企业日常得运营数据,以辅助企业管理层来进行运营决策。典型得使用场景有:周报表、月报表等固定时间提供给领导得各类统计报表;市场营销部门,通过各种维度组合进行统计分析,以制定相应得营销策略等． 数据统计分析特点包括以下几点: 一就是数据统计一般涉及大量数据得聚合运算，每次统计涉及数据量会比较大。二就是数据统计分析计算相对复杂，例如会涉及大量goｕpbｙ、子查询、嵌套查询、窗口函数、聚合函数、排序等；有些复杂统计可能需要编写ＳQＬ脚本才能实现． 三就是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外,目前越来越多得用户希望能做做到交互式实时统计； 传统得数据统计分析主要采用基于ＭＰP并行数据库得数据仓库技术.主要采用维度模型,通过预计算等方法，把数据整理成适合统计分析得结构来实现高性能得数据统计分析，以支持可以通过下钻与上卷操作,实现各种维度组合以及各种粒度得统计分析。 另外目前在数据统计分析领域,为了满足交互式统计分析需求，基于内存计算得数据库仓库系统也成为一个发展趋势,例如SAP得HANA平台。 3 数据挖掘 数据挖掘主要就是根据商业目标，采用数据挖掘算法自动从海量数据中发现隐含在海量数据中得规律与知识。
大数据对信息安全带来的技术和挑战 周恩来政府管理学院政治学与行政学宋梓林1312756 1.大数据时代 最早提出“大数据”时代已经到来的机构是全球知名咨询公司麦肯锡。麦肯锡在研究报告中指出，数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素；而人们对于直面大数据对信息安全的挑战。 对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。 从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘（SaaS），但它必须依托云计算的分布式处理、分布式数据库（PaaS）和云存储、虚拟化技术（IaaS）。 大数据可分成大数据技术、大数据工程、大数据科学和大数据应用等领域。目前人们谈论最多的是大数据技术和大数据应用。工程和科学问题尚未被重视。大数据工程指大数据的规划建设运营管理的系统工程；大数据科学关注大数据网络发展和运营过程中发现和验证大数据的规律及其与自然和社会活动之间的关系。 物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。有些例子包括网络日志，RFID，传感器网络，社会网络，社会数据（由于数据革命的社会），互联网文本和文件,互联网搜索索引,呼叫详细记录，天文学，大气科学，基因组学，生物地球化学，生物，和其他复杂或跨学科的科研，军事侦察，医疗记录,摄影档案馆,视频档案和大规模的电子商务。 随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。《著云台》的分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。 大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。 2.大数据技术给信息安全带来的技术支持 信息安全是指信息系统（包括硬件、软件、数据、人、物理环境及其基础设施）受到保护，不受偶然的或者恶意的原因而遭到破坏、更改、泄露，系统连续可靠正常地运行，信息服务不中断，最终实现业务连续性。信息安全主要包括以下五方面的内容，即需保证信息的保密性、真实性、完整性、未授权拷贝和所寄生系统的安全性。 信息作为一种资源，它的普遍性、共享性、增值性、可处理性和多效用性，使其对于人类具有特别重要的意义。信息安全的实质就是要保护信息系统或信息网络中的信息资源免受各种类型的威胁、干扰和破坏，即保证信息的安全性。根据国际标准化组织的定义，信息安全性的含义主要是指信息的完整性、可用性、保密性和可靠性。信息安全是任何国家、政府、部门、行业都必须十分重视的问题，是一个不容忽视的国家安全战略。但是，对于不同的部门和行业来说，其对信息安全的要求和重点却是有区别的。 信息安全其根本目的就是使内部信息不受内部、外部、自然等因素的威胁。为保障信息
大数据平台系统项目 安全保障 安全是系统正常运行的保证。根据本项目的业务特点和需要，以及现有的网络安全状况，建立一个合理、实用、先进、可靠、综合、统一的安全保障体系，确保信息安全和业务系统的正常运行。 一、规章制度建设 1.1机房管理制度 为保证系统每天24小时，全年365天不间断运行，加强防火、防盗、防病毒等安全意识，应该制定严格的机房管理制度，以下列出常见的机房管理方面的十条规定： （1）路由器、交换机和服务器以及通信设备是网络的关键设备，须放置计算机机房内，不得自行配置或更换，更不能挪作它用。 （2）要求上机工作人员严格执行机房的有关规定，严格遵守操作规程，严禁违章作业。 （3）要求上机工作人员，都必须严格遵守机房的安全、防火制度，严禁烟火。不准在机房内吸烟。严禁将照相机、摄像机和易燃、易爆物品带入机房。 机房工作人员要掌握防火技能，定期检查消防设施是否正常。出现异常情况应立即报警，切断电源，用灭火设备扑救。
（4）要求外来人员必须经有关部门批准，才能进入放置服务器的机房，一般人员无故不得在机房长时间逗留。 （5）要求机房值班人坚守工作岗位，不得擅离职守；下班时，值班人员要对所有计算机的电源进行细致的检查，该关的要切断电源，并检查门窗是否关好。 （6）双休日、节假日，要有专人检查网络运行情况，如发现问题及时解决，并做好记录处理，解决不了的及时报告。 （7）机房内所有设备、仪器、仪表等物品和软件、资料要妥善保管，向外移（带）设备及物品，需有主管领导的批示或经机房工作负责人批准。 制定数据管理制度。对数据实施严格的安全与保密管理，防止系统数据的非法生成、变更、泄露、丢失及破坏。当班人员应在数据库的系统认证、系统授权、系统完整性、补丁和修正程序方面实时修改。 （8）网管人员应做好网络安全工作，服务器的各种帐号严格保密。监控网络上的数据流，从中检测出攻击的行为并给予响应和处理。统一管理计算机及其相关设备，完整保存计算机及其相关设备的驱动程序、保修卡及重要随机文件，做好操作系统的补丁修正工作。 （9）保持机房卫生，值班人员应及时组织清扫。 （10）保护机房肃静，严禁在机房内游艺或进行非业务活动。
网络空间安全态势感知与大数据分析平台建设方案 网络空间安全态势感知与大数据分析平台建立在大数据基础架构的基础上，涉及大数据智能建模平台建设、业务能力与关键应用的建设、网络安全数据采集和后期的运营支持服务。 1.1网络空间态势感知系统系统建设 平台按系统功能可分为两大部分：日常威胁感知和战时指挥调度应急处置。 日常感知部分包括大数据安全分析模块、安全态势感知呈现模块、等保管理模块和通报预警模块等。该部分面向业务工作人员提供相应的安全态势感知和通报预警功能，及时感知发生的安全事件，并根据安全事件的危害程度启用不同的处置机制。 战时处置部分提供从平时网络态势监测到战时突发应急、指挥调度的快速转换能力，统筹指挥安全专家、技术支持单位、被监管单位以及各个职能部门，进行协同高效的应急处置和安全保障，同时为哈密各单位提升网络安全防御能力进行流程管理，定期组织攻防演练。 1.1.1安全监测子系统 安全监测子系统实时监测哈密全市网络安全情况，及时发现国际敌对势力、黑客组织等不法分子的攻击活动、攻击手段和攻击目的，全面监测哈密全市重保单位信息系统和网络，实现对安全漏洞、威胁隐患、高级威胁攻击的发现和识别，并为通报处置和侦查调查等业务子系统提供强有力的数据支撑。 安全监测子系统有六类安全威胁监测的能力： 一类是云监测，发现可用性的监测、漏洞、挂马、篡改（黑链/暗链）、钓鱼、和访问异常等安全事件 第二类是众测漏洞平台的漏洞发现能力，目前360补天漏洞众测平台注册有4万多白帽子，他们提交的漏洞会定期同步到态势感知平台，加强平台漏洞发现的能力。 第三类是对流量的检测，把重保单位的流量、城域网流量、电子政务外网流量、IDC 机房流量等流量采集上来后进行检测，发现webshell等攻击利用事件。 第四类把流量日志存在大数据的平台里，与云端IOC威胁情报进行比对，发现APT 等高级威胁告警。 第五类是把安全专家的分析和挖掘能力在平台落地，写成脚本，与流量日志比对，把流量的历史、各种因素都关联起来，发现深度的威胁。 第六类是基于机器学习模型和安全运营专家，把已经发现告警进行深层次的挖掘分析和关联，发现更深层次的安全威胁。
大数据时代数据分析与信息安全 目前，中国已进入大数据时代，科学的大数据管理对于我国实现网络强国目标具有重要意义。本文基于目前全球数据发展的推动作用，结合中国大数据时代的具体特点，分析、探讨大数据时代背景下的信息安全特点，并作简要讨论。 标签：大数据；信息安全；数据分析 大数据是社会科学技术发展和工业化的融合，目前随着全球化进程的加剧，数据信息的增加，其发展规模和速度都发生了巨大变化。全球化的大数据融合，必然会引起各国对信息安全的高度重视，尤其是与其他国家相连接和互动的国际信息。这些信息不仅会影响我国的外交、经济、军事、政治和文化，更会给我国的信息安全管理工作带来巨大挑战。本文通过分析大数据时代的发展趋势，着重探索其特点和安全要求。 一、大数据时代的发展趋势 近年来，相关业界和学术界提出了大数据的讨论，大数据时代已经到来。大数据给学术界带来了新的思路，且颠覆了很多传统的行业模式，并为之带来了新的发展变化。据预测，大数据将成为企业、政府、研究、教育、医疗和其他行业的新挑战。大数据的核心技术是对信息的存储和传输进行整理分析，要求做到数据实时处理、真实有效。相比于传统信息的挖掘和应用，大数据更具优势，打破了传统数据源的局限性，给全世界的商业模式带来了新的机遇和挑战，其潜在的价值也将带来新的市场空间。与此同时，无处不在的数据，也对信息安全提出了新的标准和要求。与大数据技术相关的产业链将迎来一个新的发展时期，美国在20世纪90年代就提出了“信息高速公路”项目和技术，此外，日本、英国、澳大利亚和其他国家都已出台了战略举措和相应的大数据技术。 大数据属于数据集，其特点是种类多、容量大、应用方便、存取方便、发展速度快，大数据的科学管理方法已成为新一代的重要信息技术。在大数据背景下逐渐形成的万物互联的发展趋势促进了全球经济的发展。国际经济新格局的发展趋于网络化、智能化，数据共享日益方便，因此互联网信息安全也进入大数据时代。发达国家相继出台与大数据相关的政策，使大数据成为经济发展和转型的新动力，并且给国家带来新的发展机遇。2014年中国正式提出行动数据大计划，将发展大数据作为未来发展的重要战略目标。在大数据时代，我国的信息安全管理工作也将迎来新的发展机遇和挑战，政府和各行业间的信息资源，将通过整合、共享、相互渗透，实现数据间的有效连接，由此将会带来信息安全保证的挑战，促使信息安全管理变得更加全面，使人们不得不树立新的信息安全管理意识。 二、数据分析现状及发展 大数据的价值不可估量，并且被誉为“未来石油”。企业通过海量的数据信息挖掘，从中发现商机、明确客户需求，从而准确锁定目标客户。大数据产业具有
大数据平台技术要求 1. 技术构架需求 采用平台化策略，全面建立先进、安全、可靠、灵活、方便扩展、便于部署、操作简单、易于维护、互联互通、信息共享的软件。 技术构架的基本要求： 采用多层体系结构，应用软件系统具有相对的独立性，不依赖任何特定的操作系统、特定的数据库系统、特定的中间件应用服务器和特定的硬 件环境，便于系统今后的在不同的系统平台、不同的硬件环境下安装、 部署、升级移植，保证系统具有一定的可伸缩性和可扩展性。 实现B（浏览器）/A（应用服务器）/D（数据库服务器）应用模式。 采用平台化和构件化技术，实现系统能够根据需要方便地进行扩展。2. 功能指标需求 2.1基础平台 本项目的基础平台包括：元数据管理平台、数据交换平台、应用支撑平台。按照SOA的体系架构，实现对我校数据资源中心的服务化、构件化、定制化管理。 2.1.1元数据管理平台 根据我校的业务需求，制定统一的技术元数据和业务元数据标准，覆盖多种来源统计数据采集、加工、清洗、加载、多维生成、分析利用、发布、归档等各个环节，建立相应的管理维护机制，梳理并加载各种元数据。 具体实施内容包括： ●根据业务特点，制定元数据标准，要满足元数据在口径、分类等方面的 历史变化。 ●支持对元数据的管理，包括：定义、添加、删除、查询和修改等操作，
支持对派生元数据的管理，如派生指标、代码重新组合等，对元数据管 理实行权限控制。 ●通过元数据，实现对各类业务数据的统一管理和利用，包括： ?基础数据管理：建立各类业务数据与元数据的映射关系，实现统一 的数据查询、处理、报表管理。 ?ETL：通过元数据获取ETL规则的描述信息，包括字段映射、数据转 换、数据转换、数据清洗、数据加载规则以及错误处理等。 ?数据仓库：利用元数据实现对数据仓库结构的描述，包括仓库模式、 视图、维、层次结构维度描述、多维查询的描述、立方体（CUBE） 的结构等。 ●元数据版本控制及追溯、操作日志管理。 2.1.2数据交换平台 结合元数据管理模块并完成二次开发，构建统一的数据交换平台。实现统计数据从一套表采集平台，通过数据抽取、清洗和转换等操作，最终加载到数据仓库中，完成整个数据交换过程的配置、管理和监控功能。 具体要求包括： ●支持多种数据格式的数据交换，如关系型数据库：MS-SQLServer、MYSQL、 Oracle、DB2等；文件格式：DBF、Excel、Txt、Cvs等。 ●支持数据交换规则的描述，包括字段映射、数据转换、数据转换、数据 清洗、数据加载规则以及错误处理等。 ●支持数据交换任务的发布与执行监控，如任务的执行计划制定、定期执 行、人工执行、结果反馈、异常监控。 ●支持增量抽取的处理方式，增量加载的处理方式； ●支持元数据的管理，能提供动态的影响分析，能与前端报表系统结合， 分析报表到业务系统的血缘分析关系； ●具有灵活的可编程性、模块化的设计能力，数据处理流程，客户自定义 脚本和函数等具备可重用性； ●支持断点续传及异常数据审核、回滚等交换机制。
大数据可视化分析平台 一、背景与目标 基于邳州市电子政务建设的基础支撑环境，以基础信息资源库（人口库、法人库、宏观经济、地理库）为基础，建设融合业务展示系统，提供综合信息查询展示、信息简报呈现、数据分析、数据开放等资源服务应用。实现市府领导及相关委办的融合数据资源视角，实现数据信息资源融合服务与创新服务，通过系统达到及时了解本市发展的综合情况，及时掌握发展动态，为政策拟定提供依据。 充分运用云计算、大数据等信息技术，建设融合分析平台、展示平台，整合现有数据资源，结合政务大数据的分析能力与业务编排展示能力，以人口、法人、地理，人口与地理，法人与地理，实现基础展示与分析，融合公安、交通、工业、教育、旅游等重点行业的数据综合分析，为城市管理、产业升级、民生保障提供有效支撑。 二、政务大数据平台 1、数据采集和交换需求：通过对各个委办局的指定业务数据进行汇聚，将分散的数据进行物理集中和整合管理，为实现对数据的分析提供数据支撑。将为跨机构的各类业务系统之间的业务协同，提供统一和集中的数据交互共享服务。包括数据交换、共享和ETL等功能。 2、海量数据存储管理需求：大数据平台从各个委办局的业务系统里抽取的数据量巨大，数据类型繁杂，数据需要持久化的存储和访问。不论是结构化数据、半结构化数据，还是非结构化数据，经过数据存储引擎进行建模后，持久化保存在存储系统上。存储系统要具备高可靠性、快速查询能力。
3、数据计算分析需求：包括海量数据的离线计算能力、高效即席数据查询需求和低时延的实时计算能力。随着数据量的不断增加，需要数据平台具备线性扩展能力和强大的分析能力，支撑不断增长的数据量，满足未来政务各类业务工作的发展需要，确保业务系统的不间断且有效地工作。 4、数据关联集中需求：对集中存储在数据管理平台的数据，通过正确的技术手段将这些离散的数据进行数据关联，即：通过分析数据间的业务关系，建立关键数据之间的关联关系，将离散的数据串联起来形成能表达更多含义信息集合，以形成基础库、业务库、知识库等数据集。 5、应用开发需求：依靠集中数据集，快速开发创新应用，支撑实际分析业务需要。 6、大数据分析挖掘需求：通过对海量的政务业务大数据进行分析与挖掘，辅助政务决策，提供资源配置分析优化等辅助决策功能，促进民生的发展。
【背景链接】 随着全球范围内大数据产业的全面推进，公民隐私及个人信息保护问题也日益凸显，传统个人信息保护框架在大数据时代遭遇严峻冲击，如何寻求个人信息的合理及有效保护成为各国普遍面临的难题。 一段时间以来，个人信息安全备受关注。数据显示，截至2015年底，中国网民规模达到6.88亿，在网活跃智能设备数量接近9亿。伴随移动互联网应用向经济社会生活方方面面的渗透，海量的个人身份信息、生活信息、金融信息乃至生物信息，都会散布于无处不在的网络之中。根据中国互联网协会发布的《中国网民权益保护调查报告(2015)》，63.4%的网民通话记录、网上购物记录等网上活动信息遭泄露;78.2%的网民个人身份信息曾被泄露，包括姓名、家庭住址、身份证号及工作单位等。 尽管舆论对于相关问题的关注度不断加大，互联网用户个人信息保护意识也有所增强，但个人防范始终跟不上技术演进，正如央视315晚会曝光的那样，用户在公共场合连接一个wifi都面临个人信息被窃取的风险。 刚出生的婴儿躺在保育箱内，旁边的贴纸上，“姓名”、“年龄”、“诊断病情”、“入院日期”等信息一览无余。2016年7月，安徽大量新生儿的住院视频，出现在了一家商业视频网站上，引发网络热议。(7月12日《新京报》) 【综合分析】 [泄露原因] 一是在市场需求和利益驱动下，一些不法分子打起了获取、兜售公民个人信息的歪主意。 二是一些网络、电话销售、保险、贷款等公司的从业人员，把自己掌握的“个人信息资源”，卖给了不法分子。 三是个人在浏览、登录网站，点击中奖信息、随便安装来路不明的软件等，不慎泄露了自己的信息。 [大数据时代个人信息保护的新挑战] 大数据时代，个人信息保护面临前所未有的新挑战。 首先，随着移动互联网的普及和智能穿戴等物联网设备的应用，个人信息的收集日益密集和隐蔽. 第二，多重来源的个人信息进行比对累积，能够形成完整的个人画像和实时追踪，使人们无处遁形. 第三，大数据技术能通过特定算法从既有信息中挖掘出新结论，不仅增加敏感信息暴露的风险，还可能用于影响个人权益的决策，如评估个人信用状况等.
这一篇应该是比较容易引起争议的，大家现在乐于说看见（visibility ）的力量，如何看到却是一个尚在探索中的问题。数据是看到的基础条件，但是和真正的看见还有巨大的差距。我们需要看到什么？什么样的方法使我们真正看到？ 安全分析和事件响应 网络空间的战斗和现实世界有很大的相似性，因此往往可以进行借鉴。美国空军有一套系统理论，有非常的价值，值得深入思考并借鉴，它就是OODA周期模型： 观察（Observe）：实时了解我们网络中发生的事件。这里面包括传统的被动检测方式：各种已知检测工具的报警，或者来自第三方的通报（如：用户或者国家部门）。但我们知道这是远远不够的，还需要采用更积极的检测方式。即由事件响应团队基于已知行为模式、情报甚至于某种灵感，积极地去主动发现入侵事件。这种方式有一个很炫的名字叫做狩猎。 定位（Orient）：在这里我们要根据相关的环境信息和其他情报，对以下问题进行分析：这是一个真实的攻击吗？是否成功？是否损害了其它资产？攻击者还进行了哪些活动？ 决策（Decision）：即确定应该做什么。这里面包括了缓解、清除、恢复，同时也可能包括选择请求第三方支持甚至于反击。而反击往往涉及到私自执法带来的风险，并且容易出错伤及无辜，一般情况下不是好的选择。 行动（Action）：能够根据决策，快速展开相应活动。 OODA模型相较传统的事件响应六步曲（参见下图），突出了定位和决策的过程，在现今攻击技术越来越高超、过程越来越复杂的形势下，无疑是必要的：针对发现的事件，我们采取怎样的行动，需要有足够的信息和充分的考量。 在整个模型中，观察（对应下文狩猎部分）、定位与决策（对应下文事件响应）这三个阶段就是属于安全分析的范畴，也是我们下面要讨论的内容，附带地也将提出个人看法，关于大数据分析平台支撑安全分析活动所需关键要素。
大数据处理平台及可视化架构设计说明书 版本：1.0 变更记录
目录 1 1. 文档介绍 (3) 1.1文档目的 (3) 1.2文档范围 (3) 1.3读者对象 (3) 1.4参考文献 (3) 1.5术语与缩写解释 (3) 2系统概述 (4) 3设计约束 (5) 4设计策略 (6) 5系统总体结构 (7) 5.1大数据集成分析平台系统架构设计 (7) 5.2可视化平台系统架构设计 (11) 6其它 (14) 6.1数据库设计 (14) 6.2系统管理 (14) 6.3日志管理 (14)
1 1. 文档介绍 1.1 文档目的 设计大数据集成分析平台，主要功能是多种数据库及文件数据；访问；采集；解析，清洗，ETL，同时可以编写模型支持后台统计分析算法。 设计数据可视化平台，应用于大数据的可视化和互动操作。 为此，根据“先进实用、稳定可靠”的原则设计本大数据处理平台及可视化平台。 1.2 文档范围 大数据的处理，包括ETL、分析、可视化、使用。 1.3 读者对象 管理人员、开发人员 1.4 参考文献 1.5 术语与缩写解释
2 系统概述 大数据集成分析平台,分为9个层次，主要功能是对多种数据库及网页等数据进行访采集、解析，清洗，整合、ETL，同时编写模型支持后台统计分析算法，提供可信的数据。 设计数据可视化平台 ,分为3个层次，在大数据集成分析平台的基础上实现大实现数据的可视化和互动操作。
3 设计约束 1.系统必须遵循国家软件开发的标准。 2.系统用java开发，采用开源的中间件。 3.系统必须稳定可靠，性能高，满足每天千万次的访问。 4.保证数据的成功抽取、转换、分析，实现高可信和高可用。
大数据时代面临的信息安全问题分析 王小君 （深圳信息职业技术学院，广东深圳518172） 摘要：互联网的普及以及相关科技的发展进步，各类信息在便捷快速的环境下交换，进而形成极为复杂的信息网。在大数据时代，信息被有效利用的同时，也产生了信息安全问题。原有的信息安全保护机制已经不能满足大数据时代技术更新换代的要求，人们的生活生产活动的信息安全受到一定的威胁和挑战。为此，文章就大数据时代面临的信息安全问题进行了探讨，并提出了几点看法和建议。 关键词：大数据；信息安全；互联网 中图分类号：TP309文献标识码：A文章编号：1673-1131（2016）10-0161-02 0引言 互联网的普及以及各种科技产品的推陈出新，数据、信息呈现每天爆发增长的趋势，而数据、信息的爆发似乎已经成为人们生活生产的活动中习以为常的事情。人们通过手机、电脑等各种终端和客户端享受着信息交换带来的好处，最为显著的好处就是带来了巨大的经济效益。通过手机、电脑等产生的网络传输、互动网络社交等都在产生大量的数据，依据相关统计，光是中国产生的数据信息在2013年已经超过了0.8ZB（相当于8亿TB），并且预计到2020年中国产生的数据总流量达到2013年数据量的10倍以上，超过8.5ZB[1]。 在大数据时代，数据包含了四大特征：数据量大、类型繁多、价值密度低、速度快实效高。当前，社会数据得到广泛的应用，通过手机或电脑等网络相关设备，随时都可以看到网络日志、音频、视频、图片等[2]。而当数据信息量达到一定的规模和程度，数据管理和处理的难度加大，数据信息安全也存在一定的风险。信息安全风险包括个人信息、企业信息以及国家信息的泄露风险，因此在大数据时代做好数据信息的管理与安全防范非常重要。1大数据时代信息安全面临的问题 在大数据时代，信息量庞大，在利用和交换信息的过程中还应当重视保护信息安全。信息传输与交换也日益频繁，大数据时代面临的信息安全问题也日益凸显。 1.1隐私泄漏问题 在人们的日常生活生产当中，涉及到的信息多种多样，包括自己的相关信息也包括别人的信息。总而言之，日常生活生产使用信息是不可避免的。在大数据时代背景下，信息能够更加快捷方便地交换传输，提高人们生活工作的效率[3]。但大量的数据信息汇集，用户的信息隐私等泄漏的风险也在加大。例如，用户通过微信、QQ、微博等社交平台晒自己的生活日常，以及网上购物，收发邮件等都会涉及到个人信息以及个人隐私，如手机号码、姓名、住址、照片等等，这些信息不仅会被他人的掌握，也被网络运营商掌握。通过我们的网上足迹，可以查到我们的很多的信息和隐私。以网上购物为例，新浪微博和阿里巴巴公司合作后，淘宝用户浏览的相关商品以及购物的习惯等会被记录下来，当与之关联的账户登录新浪微博时，数据库会经过特定算法推算后，精确地推荐该用户应该感兴趣的商品信息[4]。网络服务渐趋“人性化”，但与此同时也 监控系统的安装场所一般较为嘈杂，共现矩阵的抗干扰性强，再加上纹理不变的特征，通过共现矩阵来提取关键帧的特征值，能够保证特征值的准确性。例如，在银行营业厅，客户在ATM机办理取款业务，由于营业厅人员众多，环境混乱，通过监控系统采集客户的面貌特征，并通过建立共现矩阵来提取其中的关键帧特征值，能够保存取款人的准确信息，以便出现问题提供有效取证。 在消费者办理IC卡时，一般通过设置密码、输入指纹、确定身份证号等方式进行一一匹配。而密码、指纹和身份证号均是能够准确确认客户的唯一性信息，也属于免疫系统特征值的一种。在现实生活中，如果消费者在进入楼宇门厅时，大部分都需要输入密码，或者按压指纹，只有信息正确，也就是免疫系统特征值与数据库中信息能够吻合，才能够顺利打开门厅，进入楼内，大大提高了门禁系统的安全性。 3结语 本文以视频监控系统在IC卡消费中的应用为研究对象，对IC卡消费过程中，监控系统如何传输图像和信息数据，对大量数据进行分类存储，并根据其中特定唯一的特征值，与视频信息进行匹配，使得客户在搜索查询视频信息时，能够快速准确地得到有效信息。另一方面，通过监控视频系统的技术提高，也增强了IC卡消费时的安全性，为使用IC卡消费人群的进一步扩大提供了技术保障。 参考文献： [1]刘俊,谭建军,邵长高.基于Flex的WebGIS框架设计与实 现[J].计算机工程,2010,36(10):242-244. [2]汪林林,胡德华,王佐成,等.基于Flex的RIAWebGIS研究 与实现[J].计算机应用,2008,28(12):3257-3260. [3]尤亮.基于流媒体技术的在线视频教学系统的设计与实现 [D].厦门:厦门大学,2008. [4]章毓晋基于内容的视觉信息检索[M].北京:科学出版社, 2003. [5]付信际,杨汝良,岳海霞.一种新的灰度共现矩阵特征提取 算法[J].测试技术学报,2005,19(3):310-314. [6]严柏军,郑链,王克勇.基于亮度差和纹理的货车类型的识 别[J].计算机工程,2003,29(1):41-42+78. [7]徐春鸽.人工免疫系统研究及其在数据聚类中的应用[D]. 广州:华南师范大学,2007. [8]刘韬,王耀才,王致杰.一种基于人工免疫系统的聚类算法 [J].计算机工程与应用,2004,40(19) :182-184. １６１