大数据安全分析(分析篇)
- 格式:doc
- 大小:83.50 KB
- 文档页数:6
第1篇一、引言随着互联网技术的飞速发展,聊天软件已经成为人们日常生活中不可或缺的一部分。
从微信、QQ到抖音、陌陌,各种聊天软件层出不穷,极大地丰富了人们的社交生活。
然而,随着聊天软件用户数量的激增,如何有效管理和利用这些大数据资源,成为了企业和研究机构关注的焦点。
本报告通过对聊天软件的大数据分析,旨在揭示用户行为特点、社交关系网络、内容传播规律等,为聊天软件的开发、运营和监管提供有益的参考。
二、数据来源与处理1. 数据来源本报告所使用的数据主要来源于以下几个渠道:(1)聊天软件官方公开的数据报告;(2)第三方数据服务平台提供的数据;(3)公开的网络论坛、社区等平台上的用户反馈和评论。
2. 数据处理(1)数据清洗:对原始数据进行筛选、去重、补全等操作,确保数据的准确性和完整性;(2)数据整合:将不同来源的数据进行整合,形成一个统一的数据集;(3)数据预处理:对数据进行标准化、归一化等处理,为后续分析提供便利。
三、用户行为分析1. 用户规模与增长根据聊天软件官方数据报告,我国聊天软件用户规模已超过10亿,其中微信、QQ等主流聊天软件的用户数量均在数亿级别。
从用户增长趋势来看,聊天软件市场仍处于快速发展阶段。
2. 用户活跃度通过分析用户活跃度,可以发现以下特点:(1)用户活跃时间:大部分用户集中在晚上和周末时段,其中晚上20:00-22:00为活跃高峰期;(2)用户活跃频率:每天登录聊天软件的用户占比超过80%,其中每天登录次数超过5次的用户占比超过20%;(3)用户活跃场景:聊天软件已成为用户日常生活中不可或缺的一部分,用户在通勤、工作、休息等场景下均会使用聊天软件。
3. 用户画像通过对用户的基本信息、行为数据进行挖掘,可以构建用户画像,以下为部分用户画像特征:(1)性别比例:女性用户占比略高于男性用户;(2)年龄分布:以18-35岁年轻用户为主,占比超过60%;(3)地域分布:一线城市和二线城市用户占比超过70%;(4)职业分布:学生、白领等职业用户占比较高。
大数据的安全问题与解决方案随着互联网技术的不断发展和进步,大数据已经成为一种无所不在的趋势。
在这种趋势下,各种各样的应用场景和应用方式正在涌现,并且越来越多的企业开始关注和投入到大数据领域中。
然而,随着大数据的增长,大数据安全问题日益凸显,亟待解决。
一、大数据安全问题1.数据泄露大数据的好处是可以让我们收集更多的数据,并从中提取有用的信息。
然而,这些数据也会涉及到个人隐私,如果数据被泄露,会对个人隐私造成极大的损害。
尤其是在医疗领域的数据泄露更为严重,因为涉及到个人身体健康问题,一旦泄露将无法挽回。
除此之外,商业数据的泄露也会造成企业的商业机密被曝光,给企业带来巨大的经济损失。
2.数据质量问题大数据产生的数据量巨大且复杂,数据中可能存在错误的信息、重复的信息和不一致的信息,这种数据质量问题将导致数据分析的结果失真或无法发现真正的趋势和规律。
因此,在大数据分析过程中,必须要解决数据质量问题。
3.访问控制问题大数据通常需要多个人参与数据分析,因此需要针对不同的用户进行访问控制,但是,访问控制问题也可能导致数据泄露问题,同时也可能导致数据被篡改或删除的情况。
针对此类问题,需要实现完善的访问控制机制来保证数据安全。
4.高可靠性问题大数据通常分布在多个系统和多个存储介质中,如果某个系统或存储介质出现故障,将导致数据丢失或数据不可用,从而影响数据的分析和应用。
因此,在大数据存储和分析过程中,应该建立高可靠性的系统和存储介质,来保证数据的安全性和可用性。
二、大数据安全的解决方案1.数据加密数据加密是一种有效的大数据安全解决方案。
在数据加密的过程中,对于敏感数据,可以采用加密算法,使数据在传输和存储过程中得到了保护。
而对于特别重要的数据,可以采用端到端的加密策略,确保数据只能被授权的用户所访问。
2.访问控制机制访问控制机制是确保大数据安全的根本手段。
企业需要实现完善的访问控制机制,以确保只有经过授权的人员才能够访问和操作数据。
车辆工程技术74机械电子道路交通安全管理工作的进行非常的重要,它涉及到很多方面的内容,我们应用大数据技术能够有效提高管理的效率,使得各项工作得到合理的安排,建立道路交通安全管理系统,对其中各个环节的工作进行有效的处理,大数据为我们提供了很多的方便,还能准确的处理各种问题,我们需要重点处理其中各项问题,从而实现有效的发展。
1 大数据在道路交通安全管理中的应用构思1.1 大数据在道路交通指挥中的应用利用大数据技术来进行道路交通的指挥工作,这样能够有效的推动相关工作的进行,通过建立指挥系统来对道路交通各个方面的内容进行有效的管理,从而准确快速的解决问题。
我们在构建指挥中枢系统的过程中,需要对各种数据进行汇总和整理,再进行反馈,大数据平台重要就是对各种处理进行搜集和分析,然后得出相关的结果,我们设定一定的标准,分析结果出来之后它能自己进行对比处理,然后显示出相关的信息,如果没有达到标准就会发出预警信息,提示人们道路交通安全出现了状况,需要进行相关的处理。
这种方式能够有效的减少人员的浪费,快速准确的定位到出现问题的地方,还能对驾驶车辆的情况还有人员的信息进行调查,这样能够及时的处理问题。
在道路交通指挥方面,它的效果是非常好的,通过大数据来构建完整的指挥平台,能对各项数据进行有效的整理,交警部门还有媒体机构都能对道路交通的情况进行详细的了解,及时的播报相关的内容,保证信息的时效性,这样能够实现高效的过力,从而使得车辆能够有效的避免拥堵路段和存在危险的地点。
大数据技术能够更好的进行道路交通安全的指挥工作,对于其中的各项内容都能进行有效的处理和分析,提高人们处理问题的效率,保证人们能够畅通通行,这样就能实现更好的发展。
1.2 大数据在建设道路交通安全管理信息中心中的应用大数据在建设道路交通安全管理信息中心中也有重要的应用,它能够为城市道路交通安全管理提供信息相关的信息,并且建立相关的平台来方便人们进行查询,这样能够快速的找到相关的信息,从而进行有效的处理,同时大数据技术还能计算出道路中的道路交通信息量,这样能够为人们提供可靠的参考数据,从而对相关的信息进行汇总和反馈,这样就能得出可靠有效的信息,这对于道路交通安全管理工作起到了重要的作用。
第1篇一、引言随着信息技术的飞速发展,大数据已成为当今社会的一个重要特征。
大数据分析作为一种新兴的技术手段,被广泛应用于各个领域,如金融、医疗、教育、交通等。
本报告旨在对大数据分析进行综合评估,分析其优势、挑战以及未来发展趋势,为相关企业和机构提供决策参考。
二、大数据分析的定义与特点1. 定义大数据分析是指利用先进的数据处理技术和算法,对海量数据进行挖掘、分析和解读,从而发现有价值的信息和知识的过程。
2. 特点(1)数据量大:大数据分析处理的数据规模巨大,通常达到PB级别。
(2)数据多样性:数据类型丰富,包括结构化数据、半结构化数据和非结构化数据。
(3)数据价值密度低:在大量数据中,有价值的信息往往占比很小。
(4)实时性:大数据分析需要实时处理数据,以满足快速决策的需求。
三、大数据分析的优势1. 提高决策效率通过对海量数据的分析,企业可以快速发现市场趋势、客户需求,从而提高决策效率。
2. 降低运营成本大数据分析可以帮助企业优化资源配置,降低运营成本。
3. 提升客户满意度通过分析客户数据,企业可以更好地了解客户需求,提供个性化的服务,提升客户满意度。
4. 创新商业模式大数据分析可以为企业带来新的商业模式,如精准营销、智能推荐等。
四、大数据分析的挑战1. 数据质量数据质量是大数据分析的基础,数据不准确、不完整、不一致等问题都会影响分析结果。
2. 技术挑战大数据分析需要处理海量数据,对计算能力、存储能力、算法等方面提出了很高的要求。
3. 法律法规大数据分析涉及到个人隐私、数据安全等问题,需要遵守相关法律法规。
4. 人才短缺大数据分析需要专业人才,但目前市场上相关人才较为短缺。
五、大数据分析的应用案例1. 金融领域金融机构利用大数据分析进行风险评估、欺诈检测、客户关系管理等。
2. 医疗领域医疗机构利用大数据分析进行疾病预测、药物研发、健康管理等。
3. 交通领域交通管理部门利用大数据分析进行交通流量预测、路况监测、智能调度等。
第1篇一、引言随着我国经济的快速发展和城市化进程的加快,水库作为重要的水资源调控设施,在防洪、灌溉、供水、发电等方面发挥着至关重要的作用。
水库的运行状态直接关系到周边生态环境和人民群众的生命财产安全。
为了更好地管理和利用水库资源,提高水库运行效率,近年来,大数据技术在水库管理中的应用越来越广泛。
本报告通过对水库大数据的收集、处理、分析和应用,旨在为水库管理提供科学依据和决策支持。
二、水库大数据概述1. 数据来源水库大数据主要来源于以下几个方面:(1)水文监测数据:包括水位、流量、降雨量、蒸发量等。
(2)气象数据:包括气温、湿度、风向、风速等。
(3)地质数据:包括地质构造、土壤类型、岩性等。
(4)社会经济数据:包括人口、产业、农业、水资源利用等。
2. 数据类型水库大数据类型丰富,主要包括:(1)结构化数据:如水文监测数据、气象数据等。
(2)半结构化数据:如社会经济数据等。
(3)非结构化数据:如遥感影像、视频监控等。
三、水库大数据分析方法1. 数据预处理(1)数据清洗:去除异常值、重复值和缺失值。
(2)数据集成:将不同来源、不同格式的数据整合到统一的数据平台。
(3)数据转换:将数据转换为适合分析的形式。
2. 数据分析(1)统计分析:对水库运行数据进行描述性统计、趋势分析、相关性分析等。
(2)时间序列分析:分析水库水位、流量等时间序列数据的变化规律。
(3)空间分析:分析水库及周边地区的空间分布特征。
(4)机器学习:利用机器学习算法对水库运行状态进行预测。
四、水库大数据应用1. 防洪减灾通过对水库水位、流量、降雨量等数据的分析,可以预测洪水发生的时间和规模,为防洪决策提供依据。
2. 灌溉调度利用水库大数据分析,优化灌溉调度方案,提高灌溉效率,保障农业生产。
3. 供水保障分析水库供水能力,预测供水需求,为供水调度提供科学依据。
4. 发电调度根据水库水位、流量等数据,优化发电调度方案,提高发电效率。
5. 水资源管理通过对水库水资源数据的分析,评估水资源利用状况,为水资源管理提供决策支持。
第1篇一、引言随着信息技术的飞速发展,大数据已经成为现代社会不可或缺的一部分。
大数据分析作为一门新兴的交叉学科,涵盖了计算机科学、统计学、数学等多个领域,旨在从海量数据中提取有价值的信息和知识。
本报告将对大数据分析专业进行详细的介绍,包括其发展背景、核心内容、应用领域以及未来发展趋势。
二、大数据分析的发展背景1. 数据爆炸时代21世纪是信息爆炸的时代,人类社会正从信息时代迈向数据时代。
随着物联网、移动互联网、云计算等技术的广泛应用,数据量呈指数级增长。
据统计,全球数据量每两年就会翻一番,预计到2020年,全球数据量将达到40ZB。
2. 传统数据分析方法的局限性传统的数据分析方法主要依赖于统计软件和人工分析,难以应对海量数据的处理和分析。
随着数据量的不断增长,传统方法在处理速度、准确性、效率等方面逐渐暴露出不足。
3. 大数据分析技术的兴起为了解决传统数据分析方法的局限性,大数据分析技术应运而生。
大数据分析利用计算机科学、统计学、数学等领域的知识,通过数据挖掘、机器学习、深度学习等方法,从海量数据中提取有价值的信息和知识。
三、大数据分析的核心内容1. 数据采集与预处理数据采集是大数据分析的基础,包括从各种数据源获取原始数据。
数据预处理是对采集到的数据进行清洗、转换、整合等操作,以提高数据质量和分析效率。
2. 数据存储与管理随着数据量的不断增长,数据存储与管理成为大数据分析的关键问题。
目前,分布式存储系统如Hadoop、Spark等成为主流,能够满足海量数据的存储和计算需求。
3. 数据挖掘与统计分析数据挖掘是从海量数据中发现有价值的信息和知识的过程。
统计分析是对数据进行描述、推断和预测的方法,包括回归分析、聚类分析、关联规则挖掘等。
4. 机器学习与深度学习机器学习和深度学习是大数据分析的核心技术之一。
机器学习通过算法让计算机从数据中学习,自动提取特征和规律。
深度学习则是一种更高级的机器学习方法,能够模拟人脑神经网络,实现更复杂的模式识别和预测。
中国大数据安全指数分析报告一大数据安全指数:总体情况本报告使用由安全制度、安全产业、安全能力、安全生态4项一级指标、12项二级指标、14项三级指标构成的大数据安全指数评价体系,全面评估地方大数据安全政策、法规支撑能力,信息安全收入与网络安全能力,漏洞侦察与应用加固能力,以及安全风险态势感知、新基建竞争力、安全设备能力等,通过国家官方统计数据、互联网大数据、权威研究机构发布的行业数据等完成数据收集,运用无量纲化、指标权重赋值、加权平均分析等方法,对全国31个省、自治区、直辖市的大数据安全情况进行评价,进而得出测评结果。
(一)各地区大数据安全指数呈阶梯发展特征根据测评结果,2020年,北京、广东、浙江等地区大数据安全指数处于领先水平,其中北京大数据安全指数得分最高,为69.62,遥遥领先,在安全产业、安全能力和安全生态等方面表现突出,显示出强大的综合安全发展水平(见表1)。
31个地区的大数据安全指数分为四个梯队:第一梯队大数据安全指数得分区间为32.53~69.62,包括北京、广东、浙江、上海、江苏5个地区;第二梯队大数据安全指数得分区间为22.72~29.96,包括贵州、山东、湖北、四川、重庆、辽宁、天津、福建等8个地区;第三梯队大数据安全指数得分区间为15.27~21.27,包括河北、安徽、陕西、广西等8个地区;第四梯队大数据安全指数得分区间为7.42~14.42,包括江西、黑龙江、吉林等10个地区。
可以看出,各地区大数据安全指数的阶梯发展特征明显。
|Excel下载表1 2020年31个地区大数据安全指数评价结果(二)东部地区大数据安全发展领先全国分区域来看,东部10个地区中有8个地区大数据安全指数得分高于平均值,整体发展处于领先水平;中部地区大数据安全指数得分只有湖北高于平均值,但整体得分均衡,潜力较大;在西部地区中,仅有贵州、四川、重庆3个地区大数据安全指数得分高于平均值,贵州表现突出,排名第6,领衔西部地区大数据安全发展,四川、重庆进入前10;东北地区只有辽宁大数据安全指数得分高于平均值。
第1篇一、报告概述随着城市化进程的加快和经济的快速发展,消防安全问题日益突出。
为提高消防安全管理水平,预防和减少火灾事故的发生,本报告通过对消防安全大数据的收集、整理和分析,旨在揭示消防安全现状、趋势及存在的问题,为相关部门制定消防安全政策提供数据支持。
二、数据来源与处理1. 数据来源:- 各级消防部门的火灾事故统计报表- 消防安全检查记录- 社会公众消防安全意识调查数据- 消防设施设备运行数据- 消防安全教育培训数据2. 数据处理:- 对原始数据进行清洗,剔除无效和错误数据- 对数据进行分类整理,建立数据仓库- 运用统计学和数据分析方法,对数据进行挖掘和建模三、消防安全现状分析1. 火灾事故发生情况:- 近年来,火灾事故呈上升趋势,尤其在高层建筑、地下空间和人员密集场所火灾事故频发。
- 火灾事故发生的主要原因包括电气故障、用火不慎、易燃易爆物品管理等。
2. 消防安全检查情况:- 消防安全检查覆盖率逐年提高,但仍存在部分单位未按要求进行消防设施设备维护保养的问题。
- 检查发现的主要问题包括消防设施设备损坏、疏散通道堵塞、消防安全管理制度不健全等。
3. 消防安全意识调查:- 公众消防安全意识普遍提高,但仍有部分人群对消防安全知识掌握不足。
- 调查发现,公众对火灾逃生、灭火器使用等知识的掌握程度有待提高。
四、消防安全趋势分析1. 火灾事故发生趋势:- 随着城市化进程的加快,火灾事故发生的风险将进一步提高。
- 高层建筑、地下空间等复杂场所火灾事故发生率将上升。
2. 消防安全管理趋势:- 消防安全管理将更加重视科技手段的应用,如大数据分析、人工智能等。
- 消防安全教育培训将更加注重实效性,提高公众消防安全意识。
五、存在问题及对策1. 存在问题:- 消防安全基础设施建设滞后,部分老旧小区、农村地区消防设施不完善。
- 公众消防安全意识薄弱,火灾事故预防和应对能力不足。
- 消防安全管理体制不健全,部分单位消防安全责任落实不到位。
大数据分析中的数据安全与隐私保护技术介绍随着大数据时代的到来,数据安全与隐私保护成为了大数据分析领域的重要问题。
大数据分析能够为企业、政府和个人带来巨大的商业价值和社会效益,但同时也带来了数据泄露和隐私侵犯的风险。
因此,如何保障大数据分析过程中的数据安全与隐私保护,成为了当前亟待解决的问题。
一、数据安全技术介绍数据安全是指保护数据免受未经授权的访问、使用、泄露、破坏或篡改的能力。
在大数据分析中,数据安全技术主要包括数据加密、身份认证、访问控制等方面。
首先,数据加密是保障数据安全的重要手段。
通过对数据进行加密处理,可以有效防止数据在传输和存储过程中被窃取或篡改。
常见的数据加密算法包括AES、DES、RSA等,这些算法能够对数据进行高强度的加密,保障数据的安全性。
其次,身份认证技术也是数据安全的重要组成部分。
在大数据分析中,用户的身份认证是保障数据安全的第一道防线。
常见的身份认证技术包括密码认证、生物特征识别、智能卡等。
这些技术可以有效确认用户的身份,防止未经授权的用户访问数据系统。
此外,访问控制技术也是保障数据安全的关键。
通过访问控制技术,可以对用户的访问权限进行精细化管理,确保用户只能够访问其具有权限的数据。
常见的访问控制技术包括ACL(访问控制列表)、RBAC(基于角色的访问控制)、ABAC (基于属性的访问控制)等,这些技术可以有效控制用户对数据的访问权限,保障数据的安全性。
二、隐私保护技术介绍隐私保护是指保护个人敏感信息不被未经授权的访问、使用和泄露的技术与方法。
在大数据分析中,隐私保护技术主要包括数据匿名化、隐私保护计算、差分隐私等方面。
首先,数据匿名化是保护个人隐私的重要手段。
通过对个人敏感信息进行匿名化处理,可以使得数据中的个人身份信息无法被单独识别出来,从而保护了个人隐私。
常见的数据匿名化技术包括k-匿名、l-多样性、t-一致性等,这些技术可以有效保护数据中的个人隐私。
其次,隐私保护计算技术也是保护个人隐私的关键。
随着互联网的普及和技术的发展,网络安全问题变得日益突出。
随之而来的,是大量的网络安全数据。
如何对这些大数据进行有效的分析,成为了网络安全领域的一个重要课题。
本文将探讨如何进行网络安全大数据分析。
一、网络安全大数据的特点网络安全大数据具有以下几个特点:1. 数据量大。
随着互联网的发展,网络安全数据量呈指数级增长。
包括日志数据、流量数据、攻击数据等,数据量庞大。
2. 多样性。
网络安全数据来源多样,包括设备、系统、应用等,数据类型多样。
3. 实时性。
网络安全数据需要及时响应,对实时性要求较高。
4. 复杂性。
网络安全数据包含多种攻击手段和威胁类型,具有较高的复杂性。
二、网络安全大数据分析的挑战网络安全大数据分析面临以下几个挑战:1. 数据清洗和预处理。
网络安全数据量大且多样,需要对数据进行清洗和预处理,以便进行后续分析。
2. 数据存储和管理。
网络安全数据需要进行长期存储和管理,对数据存储和管理提出了挑战。
3. 数据分析技术。
网络安全大数据分析需要运用多种数据分析技术,包括机器学习、数据挖掘等。
4. 安全性和隐私保护。
网络安全大数据涉及到用户隐私和机密信息,对数据的安全性和隐私保护要求较高。
三、网络安全大数据分析的方法针对上述挑战,可以采用以下方法进行网络安全大数据分析:1. 数据采集和清洗。
通过采用数据抽样、过滤等方法,对网络安全数据进行清洗和预处理,去除无关数据,提高数据质量。
2. 数据存储和管理。
采用分布式存储、云存储等技术,对网络安全数据进行存储和管理,实现数据的长期存储和快速检索。
3. 数据分析技术。
运用机器学习、数据挖掘等技术,对网络安全大数据进行分析,发现潜在威胁和攻击行为。
4. 安全性和隐私保护。
采用数据加密、访问控制等技术,保障网络安全大数据的安全性和隐私保护。
四、网络安全大数据分析的应用网络安全大数据分析可以应用于以下几个方面:1. 威胁检测。
通过对网络安全大数据进行分析,及时发现并应对各类网络威胁和攻击行为。
这一篇应该是比较容易引起争议的,大家现在乐于说看见(visibility )的力量,如何看到却是一个尚在探索中的问题。
数据是看到的基础条件,但是和真正的看见还有巨大的差距。
我们需要看到什么?什么样的方法使我们真正看到?安全分析和事件响应网络空间的战斗和现实世界有很大的相似性,因此往往可以进行借鉴。
美国空军有一套系统理论,有非常的价值,值得深入思考并借鉴,它就是OODA周期模型:观察(Observe):实时了解我们网络中发生的事件。
这里面包括传统的被动检测方式:各种已知检测工具的报警,或者来自第三方的通报(如:用户或者国家部门)。
但我们知道这是远远不够的,还需要采用更积极的检测方式。
即由事件响应团队基于已知行为模式、情报甚至于某种灵感,积极地去主动发现入侵事件。
这种方式有一个很炫的名字叫做狩猎。
定位(Orient):在这里我们要根据相关的环境信息和其他情报,对以下问题进行分析:这是一个真实的攻击吗?是否成功?是否损害了其它资产?攻击者还进行了哪些活动?决策(Decision):即确定应该做什么。
这里面包括了缓解、清除、恢复,同时也可能包括选择请求第三方支持甚至于反击。
而反击往往涉及到私自执法带来的风险,并且容易出错伤及无辜,一般情况下不是好的选择。
行动(Action):能够根据决策,快速展开相应活动。
OODA模型相较传统的事件响应六步曲(参见下图),突出了定位和决策的过程,在现今攻击技术越来越高超、过程越来越复杂的形势下,无疑是必要的:针对发现的事件,我们采取怎样的行动,需要有足够的信息和充分的考量。
在整个模型中,观察(对应下文狩猎部分)、定位与决策(对应下文事件响应)这三个阶段就是属于安全分析的范畴,也是我们下面要讨论的内容,附带地也将提出个人看法,关于大数据分析平台支撑安全分析活动所需关键要素。
狩猎(hunting)近两年狩猎的概念在国际上比较流行,被认为是发现未知威胁比较有效的方式。
如何做到在信息安全领域的狩猎,也是和威胁情报一样热门的话题。
和数据收集阶段一样,狩猎中也需要“以威胁为中心”的意识。
我们需要了解现今攻击者的行为模式,需要开发有关潜在攻击者的情报(无论是自身研究或者第三方提供),同时狩猎团队也需要评估内部项目和资源,以确定哪些是最宝贵的,并假设攻击者要攻陷这些资源为前提进行追捕。
单纯地依赖这个原则,也许并不能让你真正拥有“visibility”的能力,我们还需要接受更多的挑战,包括传统基于攻击特征的思维方式必须改变,建立新的思维方式是成功的基础。
1、从线索出发,而不是指标或签名:安全分析,注重相关性,然后再考虑确定性,这背后有其深层的原因。
误报和漏报是一对不可完全调和的矛盾,虽然在个别方面存在例外(基于漏洞的签名往往准确率较高,同时也可以对抗很多逃逸措施,是检测从IDS时代走向IPS的关键技术前提)。
在发现未知的旅途中,如果直接考虑确定性证据,会错失很多机会。
因此在狩猎的场景之下,安全分析员需要的是线索,线索只能代表相关性,而不是确定性,安全分析的过程需要将一连串的线索穿起来,由点及面进而逼近真相。
举个例子:超长会话连接很难确定是攻击但和CnC往往有关联,一些分析人员就会选择它作为起点的线索。
如果从这点出发、更多的线索出现了,连接的域名是最近新注册的,并且访问量很少,还有就是流量在80端口却不是标准的HTTP协议等,随着不断的发现,确定性在增加,最终通过进一步的方式我们可以确认攻击行为。
2、换个角度看问题:找寻攻击相关的行为模式,可以变换多个角度,无需一直从最直接的方面着手。
例如在CnC检测上,我们可以采用威胁情报或者远控工具的流量特征这样直接的方法,但也可以考虑排查之前数据中没有出现过的新域名,或者某些域名对应IP快速变化的情况,甚至可以采用机器学习的方式来发现那些不一样的域名,这些都可能是有效的方法,可以在不同情况下分别或组合使用。
3、白名单及行为基线:它们都是先定义什么是正常,由此来判断什么是不好的。
业界某些厂商倡导的白环境或者软件白名单,都是这个思想的一种具体实践。
在采用这个方法建立基线时,还是需要从威胁的角度出发,这样检测灵敏度较高并且发现异常后的指向性也较好。
例如针对整体流量突变的监控,和专门对ARP流量(内部的ARP攻击有关)或 DNS 流量(防火墙一般不禁止,是数据外泄的通道之一)分别进行监控,有着完全不同的效果。
4、统计概率:过去在讨论利用基线的方式发现异常时,经常被提出的问题是:“如果学习期间,恶意行为正在发生,学习的基线价值何在呢?”。
这里面我们如果了解一些统计概率方面的知识,就知道可以利用均值和标准差这种方式来解决问题。
统计概率知识在安全分析中的作用很大,尤其是在机器学习和安全分析结合时。
这部分不是我擅长的专业领域,不再多说。
还想一提的是,概率知识有时和人的直觉往往有冲突,所以为了正确的分析判断,需要了解基本的概率知识。
有一个小题目,大家可以进行自测一下:某种流感测试方法,如果已患此流感,那么测试结果为阳性的概率为95%,问测试阳性者患病概率是多少。
估计没有掌握贝叶斯方法的人,很难回答出正确的答案。
也许通过这个问题,会让没有接触过此方面知识的人,感受到其必要性。
水无常式,法无定则,在信息安全过程中狩猎也是如此,这里只是稍微做了一些介绍,也许已经给大家一种印象:狩猎是一项充满挑战、极具难度的活动。
这种认识无疑是正确的,幸运的是有了安全分析产品的存在,使其难度有了大幅的降低,在本文最后部分会介绍这方面的信息。
事件响应事件响应不是新鲜事物,很早就存在了,但这并不意味着这方面的知识与技能已被正确掌握。
即使在被动响应为主的时代,因为缺乏必要的安全分析,难以对事件进行定位并确定正确的响应活动,从而很多时候无法对已发现的攻击做到干净彻底地清除,更不要说进一步完善防御措施了。
下面介绍一个我比较认同的、行动前的分析过程[1]:1、确认是否为误报:这是需要首先回答的问题。
在这个行业,还不知道有什么办法可以消失误报,同时保证没有漏报。
既然误报总是存在,并且在某些情况下可能比例还是比较高的,我们需要尽快的区分误报和真实的报警。
报警相关的上下文信息、PCAP包等信息对识别误报非常有用。
2、确认攻击是否奏效:很多攻击尝试都可能失败,特别是一些自动化工具,它们不区分攻击目标的OS、软件类型和版本等。
此类报警数量往往会很多,以至于有些分析师会倾向于检测攻击链的下一步。
但是有些时候我们无法完全避免,例如针对driven-by下载或者水坑攻击的报警,分析师是需要了解浏览器是否真的访问、下载了恶意代码。
这时他们需要结合上一阶段相似的上下文等信息来进行判断。
3、确定是否损害了其它资产:如果确认攻击成功,那么必须划定事件的影响范围,即建立受影响资产清单,其中包括组织IT空间的任何事物:计算机、网络设备、用户账号、电子邮件地址、文件或者目录等任何攻击者希望攻击、控制或窃取的IT资产。
例如你发现攻击者可能从失陷的设备获得了一份用户名和密码的名单,我们就需要找到可能影响的主机,建立清单,进行排查。
此资产清单是一个不断完善、变化的,在分析过程中可能有不断的删除或添加。
4、确定攻击者的其它活动:在调查分析中,我们需要回答的不仅是去了哪儿,还需要了解何时做了何事。
如果发现的是攻击后期的报警,那么这点就更为重要,我们需要了解从第一次漏洞利用尝试开始和攻击相关的所有警报,了解我们被渗入的脆弱点,确认失陷的资产。
步骤3、4往往是交互进行的。
5、确定如何应对这种攻击:事件响应策略是个非常大的话题,因为没有一个标准可以适合所有的情况,不同类型的事件需要不同的响应计划。
即使一个管理良好的应急中心有一批提前准备好的应急响应计划,但事到临头往往还是要进行调整,这时采用模块化的方法也许是一个好的选择。
从资深的IR人员了解到的信息,这个过程需要高度的技巧和经验,也许可以考虑找一个有这方面经验的顾问来帮助、指导。
这部分就是OODA周期中的定位、决策的过程了,如果不考虑狩猎这种积极的检测方式,它差不多就是安全分析师的全部工作了。
安全分析平台很大程度上,一个组织检测和响应安全事件的能力取决于其工具的质量,一个好的安全分析平台有可能数十倍或百倍提高分析师的效率,但遗憾的是,业界满足其需要的产品还非常少,Splunk和Palantir是我看到比较完善的产品。
今年RSA大会上也有更多这方面的厂商出现,但它们还是更多从某一场景的需求开始做起,距离完整的分析平台尚有一段距离。
关于一个好的分析平台需具备的关键特性,在此我提出一些个人看法,欢迎大家来拍砖。
首先需要说明,这里不想涉及底层架构相关的问题,大数据如何存储、备份、索引、计算;如何保证架构的弹性扩展;如何处理非结构化数据等等,这些业界有很多架构设计,流行的如HDP、ELK,也有一些比较小众,但具备自身特定的优势的方案,这里不再多讲。
重点从业务层面提出满足分析师需要的关键特性。
1、集成相对丰富的分析模型:狩猎需要基于已知攻击行为模式去查找线索,如果作为一个分析平台可以默认集成这样的模型,那么对于分析师来说,入门的成本将会极大的降低。
如果模型足够丰富,则会超过一些资深分析师所掌握的技能,这无疑会成为平台最大的价值点。
2、提供接口供用户自定义:这和前两天阿里安全峰会上道哥提到非常一致,相信总会有人比我们聪明,因此我们需要给用户空间,让他在自己的使用中,可以继续丰富这些模型,或者能够形成更适合行业特点的分析方式,这就需要以开放的心态,和用户一起来共同完善分析能力。
3、集成威胁情报功能:作为以威胁为中心的产品,这是应有之义。
考虑到现今提供威胁情报的厂商,其关键性数据重叠性不高(参考DBIR 2015[2]),就要求分析平台可以集中多个来源的情报数据,较好的支持OpenIOC、STIX等标准。
4、利用数据挖掘降低人的工作量:数据挖掘可以帮助完成一部分人的工作,特别是当分析平台可以自动化识别很多线索的时候,那么数据挖掘就可以根据线索的特定组合判定一个事件,这是我看到它可以提供的一个重要价值点。
根据弓峰敏博士去年ISC大会的演讲以及Cyphort的产品介绍推测,他们利用数据挖掘主要完成的也是这方面的工作。
这里特别想提出一个问题:数据挖掘的局限性在哪儿?Palantir给出了自己的答案,可以作为一个参考[3]。
他们认为某些情况下数据挖掘能做到的只是将一个非常庞大的数据集缩小到一个较小而有意义的集合,让人来分析,因为以下情况机器算法并不适用:The data comes from many disparate sourcesThe data is incomplete and inconsistentYou’re looking for someone or something that doesn’t want to be found, and that can adapt to avoid detection.5、针对工作流程,提供满足场景需要的设计:在安全分析过程中涉及到诸多的场景,不同种类线索的观察分析,事件的确认、影响范围及关联攻击的分析等等。