基于关联规则的网络故障告警相关性分析
- 格式:pdf
- 大小:247.56 KB
- 文档页数:3
告警关联规则一、引言在信息安全领域中,告警是一种非常重要的安全监测手段。
通过告警可以及时发现系统中的安全事件和异常行为,帮助管理员及时采取措施保护系统安全。
然而,随着网络攻击手段的不断演变和复杂化,单独依靠单个告警往往难以全面把握系统的安全状况。
因此,告警关联规则的引入成为提高告警效能的一种重要方式。
二、告警关联规则的定义告警关联规则是指通过分析不同告警之间的关联关系,建立规则来识别和预测潜在的攻击行为。
告警关联规则可以通过对告警数据进行分析,发现其中蕴含的隐藏信息,进而实现对系统安全状况的全面把控。
三、告警关联规则的应用1. 发现潜在攻击路径告警关联规则可以通过分析不同告警之间的关联关系,找出攻击者可能采取的攻击路径。
例如,当多个告警出现在同一时间段内,且涉及到相同的网络节点或系统组件时,可能存在横向渗透或纵向升级的攻击行为。
2. 提高告警准确性通过告警关联规则,可以将看似孤立的告警进行关联,进一步筛选出真正具有威胁性的告警。
例如,当系统中出现多个登录失败的告警,并且这些告警均来自同一IP地址,可能存在暴力破解攻击的风险。
3. 实现自动化响应告警关联规则可以帮助建立自动化响应机制,将告警与相应的安全策略进行关联。
当系统中出现符合关联规则的告警时,可以自动触发相应的安全措施,如封禁IP地址、禁止特定操作等,从而提高系统的自动化防御能力。
四、告警关联规则的建立方法1. 数据预处理在建立告警关联规则之前,需要对告警数据进行预处理,包括去重、归一化、标准化等操作,以保证数据的准确性和一致性。
2. 关联规则的挖掘通过关联规则挖掘算法,可以从预处理后的告警数据中发现潜在的关联关系。
常用的关联规则挖掘算法包括Apriori算法、FP-Growth 算法等。
3. 规则评估和筛选通过对挖掘出的关联规则进行评估和筛选,可以排除无关的规则,保留具有较高置信度和支持度的关联规则。
同时,还可以通过对历史数据的验证,进一步验证规则的有效性和可行性。
中国移动技术规范文档编号:中国移动PTN故障智能辅助定位功能需求规范书文档版本:Version 1.0版权声明:版权归中国移动通信集团公司所有,未经中国移动通信集团公司书面许可,任何单位或个人不得以任何形式全部或部分使用和传播本技术规范。
发布日期:2020年10月发布单位:中国移动通信集团公司前言本技术规范根据中国移动PTN网络维护效能提升管理需求而制定,随着网络管理需求的不断深化,本技术规范的相关内容将会修改和完善。
本技术规范的解释权属于中国移动通信集团公司。
本技术规范由中国移动通信集团公司提出并归口。
本技术规范起草单位:中国移动通信集团公司网络部本技术规范主要起草人:集团公司:邓春胜、邓宇省公司:党志俊、娄文科、田志坚、黄垣森、杨彬、张剑、夏志超、李勇、梁静海、张跃明、彭鹏目录前言 (2)目录 (3)1.概述 (4)2. 术语、定义和缩略语 (4)2.1术语和定义 (4)2.2缩略语 (4)3.功能需求 (5)3.1告警相关性分析 (5)3.1.1告警根源性分析 (5)3.1.2告警相关性原则 (6)3.2业务相关性分析 (6)3.3故障辅助分析及定位 (6)3.3.1用户界面 (7)3.3.2故障定位手段 (7)3.3.3故障定位结果 (8)1.概述研究各种典型场景下PTN网络故障诊断定位方法,包括业务故障、光缆故障、设备故障、时钟故障、DCN故障、业务性能劣化等,开发出故障智能辅助定位工具,实现一键式故障智能诊断及故障原因智能输出,并给出常见故障处理建议,提高运维人员现场维护效率及能力。
该辅助定位功能具备以下模块:―告警相关性分析―业务相关性分析―故障智能分析和定位2. 术语、定义和缩略语2.1 术语和定义下列术语和定义适用于本技术规范:网元管理系统Element Management System简称EMS,由设备供应商提供,是为了管理一个或多个传送网网元所使用的软硬件系统。
网元管理系统管理由单一设备供应商提供的网元。
网络告警关联分析及标准化夏海涛 高 峰1 概述网络规模的不断扩展、多业务网络的逐渐融合和新业务的加速引入给电信网络管理及维护工作带来了极大的挑战。
在故障管理领域,一个重要而迫切的管理需求是对网络中产生的大量告警进行关联分析。
事实上,“告警关联分析”代表了未来一类综合性的网络管理功能,网络管理的需求不仅体现在对网络上各种管理数据的采集、设置、存储和呈现这一基本面,更多的管理活动将集中在对原始管理数据的“二次加工”上,即:通过综合性的管理分析功能深入发掘管理数据间的联系,支持面向全网范围或更高的业务层次的管理应用。
告警关联分析主要应用于故障定位的维护任务场景,它的基本思路是在网络产生的大量告警中通过对不同告警的关联来有效地识别对故障的产生具有主要影响作用的告警(称为根源告警),而由根源告警派生出的对故障影响较小的告警(称为结果告警)经过特定的告警操作(如:抑制、压缩或延迟等)不再实时地呈现给网络维护人员,使他们能集中处理故障的根源告警,尽快地定位故障。
在现阶段,告警关联分析已经逐渐上升为电信运营商日常网络维护工作的重点。
国外的一份对主流电信运营商的调查显示[1]:网络中过量告警的处理,特别是如何通过告警关联分析的手段帮助网络维护人员提高故障定位的效率和准确性,在网络维护工作所面临的几大挑战中占据了非常突出的位置。
在这一课题范围内开展行之有效的标准化工作,促进电信运营商和设备厂商的持续协作也势在必行。
本文的内容分为两个部分。
第2、3节着重介绍了解决告警关联分析问题的主要技术和电信级解决方案面临的挑战,第4节从网络管理标准化的角度详细阐述了国内外电信行业标准化组织面向第三代移动通信UMTS网络所开展的告警关联分析标准研究工作,并结合已进行的标准化工作探讨这一领域问题的标准化技术路线。
2 告警关联分析技术从原则上说,告警关联的知识可以从具有丰富运维经验的网络维护人员或11系统工程师获得,但是这个过程非常繁琐,而且通过人工途径获得的告警关联知识在不同的应用环境可能存在差异,无法满足网络维护的整体需要。
利用告警关联分析技术实现网络故障定位摘要电信网络的规模和复杂程度越来越大,每时每刻,网络上都会发生很多各种各样的故障,每个故障都会导致系统发出一个或多个告警通知网络运行维护人员,面对这些海量的告警数据,必须快速定位故障来源,本文主要研究利用告警关联分析技术实现快速故障定位,更好更快的处理解决故障,提升电信服务的品质。
关键词告警关联:关联规则:集中告警1引言电信运营公司为了降低企业的运营成本,提高服务质量,以谋求企业的竞争优势,必须有效地管理好自己的网络,使网络安全,稳定、高效地运行。
但是,随着电信网规模的不断扩大,电信设备、网络结构复杂度的不断提高以及网络带宽的迅速增长,电信网产生的告警数量也不断增多,使得对网络的实时监控和故障管理变得更加困难,面对故障处理反应迟钝,对于问题的处理往往都是采用被动响应式的管理模式,其主要特征是:一般是客户觉察到业务故障,相电信的业务部门投诉和告警(这时往往发生故障有一段时间),业务部门通知后台运行维护部门被动地采取诊断措施。
直到最后故障的解决。
其显著的特点是,由于故障发生到采取恢复措施之间的时间差,导致业务中断的时间较长,效率相对低,对于客户的SLA服务水平不够。
这就必须要有,机制和系统能够接受到海量告警后,及时进行告警关联分析,以最快的速度定位故障。
通信设备作为统一的整体,各个部分相互协作实现各项功能,设备某一部分出现问题影响到功能的实现时,设备中其他相关部分也不能很好的完成预定功能,这些相关部分就会各自发出相关告警,这些告警虽然发生在不同网无之上,发生时间也有一定的先后顺序,但实际上表述的是同一个故障源引发的故障,表达了相同或者相近的意思,因此可以合并成一条或几条,以便于维护人员从浩如烟海的告警中迅速分析出故障发生原因,快速定位故障和解决故障,这就是告警的关联分析技术。
2故障与告警2.1故障与告警的基本关系首先要说明的是故障和告警不是同一会事情,告警是一个事件的通知。
中国移动技术规范文档编号:中国移动PTN故障智能辅助定位功能需求规范书文档版本:Version 1.0版权声明:版权归中国移动通信集团公司所有,未经中国移动通信集团公司书面许可,任何单位或个人不得以任何形式全部或部分使用和传播本技术规范。
发布日期:2019年10月发布单位:中国移动通信集团公司本技术规范根据中国移动PTN网络维护效能提升管理需求而制定,随着网络管理需求的不断深化,本技术规范的相关内容将会修改和完善。
本技术规范的解释权属于中国移动通信集团公司。
本技术规范由中国移动通信集团公司提出并归口。
本技术规范起早单位:中国移动通信集团公司网络部本技术规范主要起草人:集团公司:邓春胜、邓宇省公司:党志俊、娄文科、田志坚、黄垣森、杨彬、张剑、夏志超、李勇、梁静海、张跃明、彭鹏刖言 (2)目录 (3)1•概述 (4)2.术语、定义和缩略语 (4)2.1术语和定义 (4)2.2缩略语 (4)3.功能需求 (5)3.1 告警相关性分析 (5)3.1.1告警根源性分析 (5)3.1.2告警相关性原则 (6)3.2业务相关性分析 (6)3.3故障辅助分析及定位 (6)3.3.1用户界面 (7)3.3.2故障定位手段 (7)3.3.3故障定位结果 (8)1 •概述研究各种典型场景下PTN网络故障诊断定位方法,包括业务故障、光缆故障、设备故障、时钟故障、DCN故障、业务性能劣化等,开发出故障智能辅助定位工具,实现一键式故障智能诊断及故障原因智能输出,并给出常见故障处理建议,提高运维人员现场维护效率及能力。
该辅助定位功能具备以下模块:—告警相关性分析—业务相关性分析—故障智能分析和定位2.术语、定义和缩略语2.1术语和定义下列术语和定义适用于本技术规范:网元管理系统Element Management System简称EMS,由设备供应商提供,是为了管理一个或多个传送网网元所使用的软硬件系统。
网元管理系统管理由单一设备供应商提供的网元。
Telecom Power Technology电力技术应用 2023年12月25日第40卷第24期75 Telecom Power TechnologyDec. 25, 2023, Vol.40 No.24魏 雷:电力智能调度通信系统设计及告警信息分析展智能调度控制服务平台和对接语音引擎平台,实现智能化的调度业务[5]。
据此设计的电力调度通信系统组网架构不仅可以有效保障现网设备的可靠性,而且在确保现有投资的基础上,依托平滑演进的方式实现新业务的拓展应用,完成对电力调度通信系统的智能改造。
整体的组网架构设计如图1所示。
智能控制服务平台IP网络防火墙IP网络智能调度台智能调度台OMS调度坐席OMS调度坐席OMS业务系统语音中继网关程控交换系统语音引擎平台(TTS、ASR)图1 电力智能调度通信系统组网架构基于组网架构建立的电力智能调度通信系统采用的是松耦合设计,主要包括智能调度平台与智能控制服务平台2个核心模块[6]。
系统最上层为业务层,拥有虚拟调度员和智能调度台2个主要业务模块。
系统中间层为服务层,是整个系统的核心。
在智能控制服务平台基础上,它借助中继网关实现现有程控交换系统的接入,在确保业务能力的同时,为调度业务系统提供联动能力。
系统最下层为支撑层,主要是语言引擎平台,能够为智能控制服务平台提供语音转换的技术支持。
整个系统框架如图2所示。
呼叫统计模糊查询智能分区录音查询智能广播语音拨号转人工业务登记业务查询通信录服务业务接口调度后台语音转文字文字转语音注册管理IVP服务ASR引擎TIS引擎呼入弹窗一键呼入智能广播录音查询通信录呼入统计智能调度台程控交换系统虚拟调度员智能控制服务平台SIP 服务业务服务调度业务软件语言引擎平台中继网关防火墙图2 电力智能调度通信系统框架2.2 智能调度台依托IP 网络注册,可实现智能调度台和智能控制服务平台两者之间的关联,为电力调度工作提供辅助,主要包括呼叫统计、模糊查询、语音拨号以及智能分区等功能。
基于告警相关性的网络故障管理系统研究王钧玉【摘要】传统网络故障管理系统过于依赖专家知识,无法应对网络复杂性与多变形问题,为此,提出构建基于告警相关性的网络故障管理系统,并对系统功能实现等进行研究.模拟证明该网络故障管理系统能够降低告警实例,为故障定位处理提供便利,具备较好的研究价值.【期刊名称】《湖南税务高等专科学校学报》【年(卷),期】2016(029)004【总页数】3页(P54-56)【关键词】告警相关性;故障管理系统;设计与分析【作者】王钧玉【作者单位】河南省三门峡职业技术学院,河南三门峡472000【正文语种】中文【中图分类】TN711.5网络故障管理涵盖的内容十分广泛,包括告警数据采集、告警相关性分析、故障诊断与定位、故障修复等。
因网络连接着众多的设备及系统,在很多情况下,单一网络故障问题的出现,可能会诱发其他故障告警,而大量告警问题的出现,势必会为寻找告警根源带来困难,还会增加网络管理系统运行成本[1]。
为此,需要研究告警相关性分析技术,实现告警合并或转化,为网络故障定位提供便利。
传统相关性研究越发难以满足网络发展的实际,为此,提出引入人工智能技术进行网络故障诊断。
当前,国内外提出了较多的告警相关性分析技术[2],本研究以基于规则引擎的相关性分析为基础,重点对告警相关性网络故障管理系统设计与功能实现等进行研究。
(一)规则引擎技术分析基于规则引擎的网络故障管理系统,其功能实现的基本原理为:针对多变业务规则提取与表示并在系统之外执行处理,本质上是选择规则引擎来代替业务逻辑,并以程序代码的方式固定于系统业务逻辑层,而被代替的业务逻辑则会在应用程序之外的规则库中进行存储。
借助图形化规则管理工具可以进行规则库内部资源管理,具体管理形式包括定制规则、部署规则、修改规则与删除规则等[3]。
以Rete算法为规则引擎技术核心算法。
从结构上来看,规则引擎可以包括以下几个部分:其一,存放规则的规则库;其二,包含匹配算法的推理机;其三,存放被引擎引用反映问题域当前状态的数据对象集合。
高维空间网络告警智能关联分析方法匡立伟;赵良;杨韬;张贺【摘要】网络告警关联分析是通信网络运维的关键,传统基于专家规则的关联分析方法效果较差,基于人工智能技术实现网络告警精准关联是当前研究热点.针对网络告警字段复杂、数据量大、智能化程度弱三大特点,提出高维空间网络告警智能关联分析方法,基于人工智能技术从大规模告警数据中准确提取衍生告警与根源告警的关联规则,准确定位故障发生点.分析了智能关联分析方法的应用场景,对网络告警智能关联分析发展趋势进行展望.【期刊名称】《邮电设计技术》【年(卷),期】2018(000)012【总页数】5页(P12-16)【关键词】网络告警关联分析;人工智能技术;高维空间模型;张量模型【作者】匡立伟;赵良;杨韬;张贺【作者单位】烽火通信科技股份有限公司,湖北武汉430073;中国联通网络技术研究院,北京100048;中国联通江苏分公司,江苏南京210029;中国联通网络技术研究院,北京100048【正文语种】中文【中图分类】TP1810 引言随着通信网络持续发展和演进,网络设备不断增多、网络规模日趋复杂,网络中的软硬件时刻产生海量网络告警,这些网络告警数据大、告警字段复杂。
为了保证通信网络的正常运维,要求实时完成告警关联分析,从海量衍生告警中提取根源告警,压缩或过滤重复告警、衍生告警和不重要的告警,准确定位故障隐患点,从而保障网络健康运行,为用户提供高质量通信业务。
传统网络告警监控和处理依靠人工专家完成,基于告警监控获取当前活动的告警信息,然后通知维护人员查看可能的故障点,汇报相应的检测结果。
人工方式能够在一定程度上发现和处理故障,但人工方式一般是通过排查可疑故障点的处理模式,不仅消耗了大量的人力物力,增加网络的运营维护成本,并且处理过程非常耗时,在发生大量故障告警时难以满足告警处理的实时性要求。
另外,采用人工处理的方式很有可能会忽略某些关键告警而导致整个故障不能及时得到解决,极大影响通信网络的质量。
基于Apriori和Gri算法的我国网民网络活动关联规则分析关键词:网络活动;关联规则;Apriori算法;Gri算法引言2022年1月,中国互联网络信息中心(CNNIC)在第39次《中国互联网络发展状况统计报告》中指出,截至2022年12月,中国网民规模达7.31亿,相当于欧洲人口总量,互联网普及率达到53.2%,比全球平均水平高出了3.1个百分点,超过亚洲平均水平7.6个百分点。
从上网时长来看,中国网民的人均周上网时长为26.4小时,网络已深入到我国国民的生活中,网络活动也已成为日常生活中的重要组成部分。
网络活动日益丰富,网络活动间必然存在某些联动关系,并且网民特征与网络活动也存在着某种关联,了解这些关联可以帮助互联网企业在激烈的市场竞争中获得有利地位,可以更好地满足网民的上网需求。
随着信息化时代的发展,网民网络活动引起了国内外学者的关注,对网络数据的挖掘与研究成为了一个热点问题。
Yu等、Li等、Ríos等通过收集在Web日志数据运用关联规则对网民的网络活动进行了分析,发掘网民的用户特征,从而不断完善网站的结构和提高用户的客户体验[1~3]。
Liao等、Najafabadi等通过使用关联规则挖掘来有效地处理海量数据,在关联规则中捕获每个事务的多个购买,从而获取多个购买行为的用户之间的相似的兴趣模式[4~5]。
缪红保等通过对用户网络流量进行协议投影而获得其行为模式和特征[6]。
付关友等基于心理学的角度,用线性回归模型来描述用户浏览行为与关注度之间的相关性[7]。
王实等挖掘Web访问页面之间用户访问的关联度规则,对Web站点的结构进行调整和优化[8]。
高琳琪采用模糊相似度分析用户偏好结构与新闻结构的相似性,建立模型提供个性化新闻推荐服务,进行精细化的市场定位[9]。
国内外学者从不同角度对网民网络活动间问题进行了分析,并将获得规律运用至商业领域。
本文则通过1337份调查问卷,基于关联规则挖掘的Apriori算法以及Gri算法两种算法,进一步探寻网民网络活动之间,以及网民特征与网络活动之间的关联规则模型。
基于态势感知和网络杀伤链的电网报警关联分析
熊旭;程光;张玉健;郭靓;张付存
【期刊名称】《工业信息安全》
【年(卷),期】2022()2
【摘要】随着我国电力网络规模的扩大,电力网络安全隐患日益突出。
为解决电网中存在的网络安全问题,本文提出了一种用于在电力网络环境中寻找网络杀伤链及挖掘关联规则的方法。
该方法首先基于生成树模式构建能用于描述网络攻击生命周期的网络杀伤链,然后采用OPTICS算法和并行FP-Growth算法消除原始报警中的冗余信息,进而挖掘出网络报警关联规则。
最后,我们设计了一个链规则分析模块,用来准确生成能够进一步预测网络攻击的关联规则。
为了证明所提出方法的有效性和准确性,我们通过在某电力公司部署的全场景态势感知平台上采集的报警日志进行实验与分析,结果证明本文提出的方法能够有效发现报警日志中的网络杀伤链和关联规则。
与此同时,我们在测试数据集中评估了这些关联规则,发现它们都有较高的性能。
【总页数】12页(P13-24)
【作者】熊旭;程光;张玉健;郭靓;张付存
【作者单位】东南大学网络空间安全学院;东南大学江苏省泛在网络安全工程研究中心;网络通信与安全紫金山实验室;南京南瑞信息通信科技股份有限公司
【正文语种】中文
【中图分类】TP3
【相关文献】
1.基于APT攻击链的网络安全态势感知
2.网络态势感知中的报警记录觉察研究
3.基于态势感知技术的智能电网网络态势评估模型及感知预测研究
4.基于反向传播算法的网络安全态势信息识别
——评《网络安全态势感知》5.基于深度神经网络和内外部因素的大电网安全态势感知研究
因版权原因,仅展示原文概要,查看原文内容请购买。