基于开源信息平台的威胁情报挖掘综述

网络安全威胁情报的搜集和分析引言网络安全威胁情报的搜集和分析是网络安全领域中至关重要的一项工作。

随着网络攻击手段的不断演进和网络威胁的增长，及时获取并分析网络安全威胁情报能够帮助组织及时识别和应对潜在的网络威胁。

本文将介绍网络安全威胁情报的搜集和分析过程，并探讨其重要性。

网络安全威胁情报的搜集网络安全威胁情报的搜集是指从各种渠道和来源获取与网络威胁相关的信息和数据。

搜集网络安全威胁情报的方法多种多样，包括但不限于以下几种：开源情报搜集开源情报是指从公开可获取的信息源中搜集网络安全威胁情报。

这些开源情报源包括网络安全报告、漏洞公告、黑客论坛、安全博客等。

通过订阅和监控这些信息源，可以及时获得最新的威胁情报并及时采取相应措施。

军事和政府情报军事和政府情报机构通常会搜集和分析网络安全威胁情报，并将其与其他情报进行关联和分析。

这些机构拥有先进的情报收集和分析能力，可以提供有关国家级和全球性网络威胁的情报信息。

安全厂商和研究机构报告安全厂商和研究机构定期发布网络安全威胁报告，并提供相关的威胁情报数据。

这些报告通常包括最新的攻击趋势、攻击技术和漏洞等信息，对于了解当今的网络威胁非常有帮助。

信息共享和合作平台网络安全威胁情报共享平台提供了一个平台，让组织和安全团队可以共享和交流有关网络威胁的情报信息。

通过参与这些平台，组织可以获取来自全球各地的威胁情报，并与其他组织进行交流和合作。

网络安全威胁情报的分析网络安全威胁情报的分析是将搜集到的威胁情报进行处理、关联和分析的过程。

通过对威胁情报的分析，可以了解来自不同渠道的威胁信息，并识别出潜在的安全风险。

下面将介绍一些常见的网络安全威胁情报分析方法：情报关联和归类将搜集到的威胁情报进行关联和归类，可以帮助组织了解整个网络威胁的大局，并识别出具有相似特征的威胁。

通过归类和关联威胁情报，可以更好地抵御未知的网络威胁。

攻击趋势分析通过对历史的威胁情报进行分析，可以识别出攻击趋势和模式。

基于数据挖掘的威胁情报预警技术研究随着互联网的飞速发展，网络空间已经成为人们每天都会接触的一个重要环节。

而在网络空间中，威胁情报预警技术的重要性愈加凸显。

如今，数据挖掘技术为威胁情报预警技术提供了新的思路。

一、威胁情报预警技术的意义在现代社会中，网络攻击的频率与恶意程度愈发增强，网络的安全性也变得越来越重要。

威胁情报预警技术的本质就是从大量的信息中挖掘有效的信息，及早发现和预警潜在的威胁。

这不仅可以保护网络安全，也可以维护国家安全和社会的稳定。

现如今，威胁情报预警技术主要分为人工智能和数据挖掘两类。

而其中，数据挖掘技术的应用范围更广，同时也是目前人们关注的研究重点之一。

二、数据挖掘在威胁情报预警中的应用数据挖掘是指从庞大的数据中提取和发现有意义的模式和信息的过程。

它利用各种计算机技术和算法来分析大量的数据，从而挖掘出潜藏在信息中的有价值的信息和知识。

同时，数据挖掘也可以帮助我们从海量的网络数据中找到潜藏的威胁信息。

数据挖掘在威胁情报预警中的应用主要可以分为以下几个方面：1. 威胁情报的收集和分析：数据挖掘技术可以帮助情报人员迅速发现威胁情报来源，从而更好地为国家和企业提供威胁情报。

2. 恶意攻击检测：通过对网络流量的分析和数据挖掘技术的应用，可以检测出网站中可能存在的恶意攻击，及时发现和处理这些问题。

3. 恶意软件检测：数据挖掘技术可以帮助检测那些隐藏在计算机系统中的恶意软件，从而保护系统安全。

4. 用户行为分析：通过分析用户在网站中的行为，可以挖掘出潜在的威胁并及时处理。

以上几个方面都是数据挖掘技术在威胁情报预警中的应用，而这些应用的出现也为威胁情报预警提供了新的思路和保障。

三、数据挖掘在威胁情报预警中存在的问题和挑战尽管数据挖掘技术在威胁情报预警中应用广泛，但是还是存在一些问题和挑战。

首先，数据挖掘技术的发展对算法的创新依然非常依赖，挖掘出有价值的信息需要运用各种算法的优势，并且需要相应的大量运算和处理时间。

网络安全威胁情报收集与分析随着互联网技术的发展，网络安全问题日益突出，各种威胁和攻击时有发生。

为了保护个人隐私和企业信息安全，网络安全威胁情报收集与分析变得越来越重要。

本文将讨论网络安全威胁情报的收集和分析方法，以提供有效的防护策略。

一、网络安全威胁情报的意义网络安全威胁情报是指利用各种技术手段，对网络中可能存在的威胁进行主动探测、收集和分析的过程。

它可以帮助我们了解当前的网络安全态势，及时掌握威胁情报，以便采取相应的防御措施。

通过有效的威胁情报收集和分析，我们可以提前预警，防止潜在风险带来的损失和影响。

二、网络安全威胁情报的收集方式1. 开源情报收集（Open Source Intelligence, OSINT）：通过利用开放的网络资源，如社交媒体、论坛等，搜集公开发布的信息。

这些信息对于分析威胁行为和战术至关重要。

2. 主动威胁情报收集（Active Threat Intelligence, APTI）：通过利用专门的软件工具和技术手段，主动探测和收集网络中的威胁情报。

例如，黑客攻击监测、僵尸网络追踪等。

3. 从黑客论坛和地下黑市中收集情报：黑客论坛和地下黑市是黑客交流和交易的场所，通过搜集这些平台上的信息，可以了解黑客的攻击手法和网络犯罪组织的动态。

4. 与合作伙伴和行业协会共享情报：与其他企业和机构建立合作伙伴关系，共享网络威胁情报和民间安全组织的分析结果，以便形成更完整的情报画像。

三、网络安全威胁情报的分析方法1. 威胁情报搜集与过滤：收集到的海量情报需要经过过滤和筛选，保留具有实际价值的信息。

可以利用自动化工具辅助实现这一过程。

2. 情报关联和推理：根据收集到的情报数据，分析师需要将各个信息片段进行关联和建模，以便发现隐藏的威胁行动路径和攻击者意图。

3. 情报可视化：通过可视化工具和技术，将收集到的情报以图表、地图等形式展示，以便更直观地理解和分析威胁情报。

4. 威胁预警和响应：根据威胁情报的分析结果，及时发出预警并采取相应的安全措施，提高网络安全防御的能力。

威胁情报收集与情报分析在当今数字化高速发展的时代，网络安全威胁日益复杂且多样化。

威胁情报收集与情报分析成为了企业和组织保护自身信息资产、维护网络安全的关键环节。

威胁情报收集，简单来说，就是从各种来源获取与潜在威胁相关的信息。

这些来源可谓五花八门，包括但不限于公共资源，如网络论坛、社交媒体、开源情报平台；也有一些需要付费获取的专业情报服务提供商；还有企业内部自身的网络监测系统、安全设备产生的日志等。

公共资源虽然获取成本低，但信息的准确性和可靠性可能参差不齐。

网络论坛上的一些帖子可能是未经证实的猜测，社交媒体上的消息也可能存在夸大或误导。

然而，通过对大量此类信息的筛选和整合，有时也能发现一些有价值的线索。

专业情报服务提供商则通常能够提供更为准确、深入和及时的威胁情报。

他们拥有专业的团队和技术手段，对各种威胁进行跟踪和分析。

但这往往需要企业投入一定的资金。

企业内部的网络监测系统和安全设备日志则是最直接反映企业自身网络状况的数据源。

通过对这些日志的分析，可以了解到是否有异常的访问行为、是否存在潜在的漏洞利用尝试等。

在收集威胁情报时，还需要注重信息的多样性。

不同类型的威胁情报能够相互补充和验证，从而形成更全面、准确的威胁视图。

例如，从技术层面了解到的恶意软件特征，结合社会工程学方面的信息，如钓鱼邮件的常见手法，能够更有效地防范和应对威胁。

收集到大量的威胁情报只是第一步，如何对这些情报进行有效的分析才是关键。

情报分析首先要对收集到的原始数据进行整理和筛选。

去除那些明显无效或重复的信息，将有价值的情报提取出来。

这就像是从一堆沙子中筛选出金子，需要耐心和敏锐的洞察力。

然后，要对筛选后的情报进行关联和整合。

将不同来源、不同类型的情报相互关联起来，形成一个完整的威胁场景。

比如，通过分析多个用户账户的异常登录行为，结合同一时间段内网络流量的异常变化，可能就能发现一次有组织的网络攻击企图。

在分析过程中，还需要运用各种技术手段和工具。

基于数据挖掘技术的网络空间威胁情报分析研究近年来，随着网络空间的快速发展，网络威胁和攻击也日益增多，给网络安全带来了巨大的挑战。

其中，网络空间的威胁情报分析是网络安全的重要组成部分，而数据挖掘技术正是实现网络空间威胁情报分析的关键技术之一。

数据挖掘技术是一种从海量数据中自动发现隐藏在其中规律和模式的技术。

在网络空间威胁情报分析中，数据挖掘技术主要应用在大规模数据收集、数据预处理、特征提取、模式识别等方面。

下面，将从这几个方面来探讨基于数据挖掘技术的网络空间威胁情报分析。

一、大规模数据收集网络空间威胁情报分析的第一步是收集大量的网络数据，包括网络流量数据、网络日志数据、主机事件数据、恶意代码数据等。

在数据挖掘技术的帮助下，可以使用网络抓包、网络镜像等技术快速自动化地获取数据，并对数据进行分类、筛选和清洗。

同时，利用机器学习算法，可以对过程进行自动化，缩短分析过程的时间，提高数据收集的效率。

二、数据预处理对于收集到的原始数据，需要进行数据预处理，以消除数据噪声、增强数据质量、提高数据的可信度。

数据预处理的具体步骤包括数据清洗、缺失值处理、异常值检测和数据归一化等。

数据挖掘技术可以借助数据可视化技术，对数据进行图像化展示，便于用户直观地检查数据质量和数据处理的效果。

三、特征提取特征提取是指从大量的数据中提取出关键特征，作为后续分析的基础。

在网络空间威胁情报分析中，需要提取网络流量的特征、主机事件的特征、恶意代码的特征等。

其中，网络流量特征可以包括数据包大小、IP 地址、协议类型、端口号等，主机事件特征可以包括登录时间、登录用户、进程信息等，恶意代码特征可以包括病毒名称、恶意行为等。

通过数据挖掘技术，可以自动化地从海量网络流量和主机事件数据中提取出这些特征，并把它们以特定的表格或图表的形式表现出来。

四、模式识别模式识别是数据挖掘技术的核心，它主要是识别已知或未知的攻击模式，从而准确地定位网络威胁。

模式识别可以分为两种类型：有监督学习和无监督学习。

信息安全威胁情报的来源与分析信息安全威胁情报（Threat Intelligence）是指通过对威胁情报的收集、分析和整理，以便预测和应对信息安全威胁的活动。

不同来源的威胁情报能够为组织提供关键的安全信息，帮助其识别潜在的攻击者、威胁行为以及漏洞，从而有效地保护信息资产。

本文将重点探讨信息安全威胁情报的主要来源和分析方法。

一、信息安全威胁情报的主要来源1. 官方机构与组织：包括国内外的政府机构、军事组织、执法机关、专业安全机构等。

官方机构与组织通过对各类事件和攻击的调查和分析，提供了大量的威胁情报。

例如，美国国家安全局（NSA）发布的“漏洞利用数据库（Vulnerability Equities Process）”，以及各国的威胁情报共享组织。

2. 学术界与研究机构：信息安全领域的学者和研究机构通过各种研究和实验，生成了大量有价值的威胁情报。

学术界通常会发布相关的研究论文，提供新的安全漏洞和攻击方法的分析，并向社区共享这些信息。

3. 安全供应商与威胁情报机构：如先进持续威胁（APT）集团、黑客组织追踪团队等，这些机构通过对实际攻击行为的观察和分析，获取了大量的威胁情报。

安全厂商根据收集到的情报信息，提供威胁报告、黑客追踪、恶意代码检测等服务。

4. 开源情报与社区共享：许多信息安全从业者和爱好者通过公开的论坛、技术社区、情报共享平台等形式，共享他们的研究成果和威胁情报，这些信息对于信息安全社区来说具有重要价值。

5. 攻击者及其行为：积极的威胁情报收集方式包括渗透测试、入侵检测与阻止系统（IDS/IPS）、网络监控等手段。

通过对攻击者的行为进行观察和分析，可以了解其攻击技术、手段和目标，形成有效的威胁情报。

二、信息安全威胁情报的分析方法1. 技术分析：对收集到的威胁情报进行技术解剖，分析攻击者使用的工具、技术以及攻击的方式。

这有助于揭示攻击者的意图和所以来，为组织提供精准的安全建议和对策。

2. 可视化分析：通过可视化手段对威胁情报进行分析，包括构建攻击拓扑图、入侵模式图、漏洞演进图等。

第3期2024年2月无线互联科技Wireless Internet Science and TechnologyNo.3February,2024作者简介:叶帅辰(1994 ),男,工程师,博士;研究方向:网络安全,电气系统控制及可靠性㊂社交媒体中开源网络威胁情报挖掘技术分析叶帅辰(中国信息通信研究院安全研究所,北京100191)摘要:威胁情报是网络安全防御的重要信息资源,其准确性㊁时效性直接决定了系统对于外来未知威胁的感知发现能力㊂目前,除威胁情报自生产及商业购买外,从社交媒体(如网络安全博客㊁技术论坛㊁安全报告发布平台等)中直接提取挖掘开源情报的方式因具有高时效㊁低成本等特点,受到了业界的广泛关注㊂文章结合近年来代表性研究梳理归纳了从社交媒体中采集及提取挖掘开源网络威胁情报的主要技术,并分析了相应的优缺点及适用场景,可为情报提取模型选择及优化设计提供参考㊂关键词:社交媒体;网络安全;开源情报;采集挖掘中图分类号:TP391.1㊀㊀文献标志码:A0㊀引言㊀㊀随着互联网通信的大范围普及,网络空间已延伸至社会生产的各个领域,与此相伴的是针对网络上组织或个人的攻击破坏事件层出不穷㊂尤其在当今大国博弈的背景下,有组织㊁有目的的国家级新型网络攻击日趋频繁,以高级持续性威胁(Advanced Persistent Threat,APT)㊁0day 漏洞利用为代表的网络威胁充分利用电子邮件㊁移动应用程序等途径对重要生产资料进行渗透窃取㊂目前,常规的网络安全防御手段是在防御对象系统的网络空间边缘部署入侵检测系统㊁全流量探针㊁防火墙等防御设备[1],发现并阻断带有特定五元组信息或报文特征的攻击流量,这种方法虽然可以在一定程度上感知网络威胁,但是其防御能力很大程度上取决于安全防御设备中内置的威胁情报规则准确与否㊂虽然除常规防御手段外,还可以通过对捕获的流量进行行为特征分析来挖掘新型威胁的攻击线索,但是这样会消耗大量运营成本,且多作为事后复盘分析手段,无法做到事前防御㊂因此,能够及时㊁准确㊁全面地获取最新网络威胁情报并将其配置在边缘防御设备中,仍然是目前对抗新型网络攻击的最有效手段㊂本文通过对近年代表性文章中开源网络威胁情报提取挖掘技术进行归纳分析,明确了威胁情报的常用标准化规范及主要提取来源,梳理了最新的情报采集及提取方法,并从准确率㊁提取速度㊁普适性3个方面分析了各方法的特点及适用场景,为网络安全运营人员选择使用或改善优化相关方法时提供参考㊂1㊀网络威胁情报标准化㊀㊀为满足跨组织㊁跨地域㊁跨行业㊁跨平台的威胁情报交互共享,催生了网络威胁情报的标准化需求㊂目前,常见的威胁情报标准已超过20种,其中应用比较广泛的包括美国MITRE 公司提出的STIX 标准㊁TAXII 标准,Mandiant 公司的openIOC 标准,国际互联网工程任务组的MILE 标准,以及国内于2018年提出的GB /T 36643 2018标准㊂STIX 初代版本STX1.0于2013年提出,是一种基于可扩展标记语言的表述形式,其包含8个威胁信息构件(即8个情报要素):可观测信息㊁攻击特征㊁安全事件㊁攻击行为㊁威胁来源㊁攻击目的㊁技战术㊁应对方法㊂随后MITRE 公司在2017年提出的STX2.0版本中,又对8个构件中的技战术㊁威胁来源和攻击目标进行了扩充和细化,达到了12个要素,并重新以解析手段更为丰富的JSON语言进行表述[2]㊂TAXII是一种威胁情报传输标准,其最初是为用户间共享STIX格式情报而制定的,旨在保证情报共享过程中的机密性㊁完整性㊂其包括3种传输模式:单一信息源的消息订阅分发模式㊁中心化资料库的信息消费模式㊁点对点群组共享模式㊂除STIX格式外,该标准也广泛适用于其他标准格式的威胁情报共享传输㊂国内GB/T36643 2018标准全称为‘信息安全技术网络安全威胁信息格式规范“,该标准定义了网络安全威胁信息模型的3个表述维度:对象域㊁方法域和事件域,以及不同域内的8个威胁信息描述组件㊂其中,对象域包含威胁主体㊁攻击目的2个组件,方法域包含攻击方法㊁应对措施2个组件,事件域包含攻击活动㊁安全事件㊁攻击指标㊁可观测数据4个组件㊂该标准为国内各网络安全威胁信息供应方和需求方之间进行威胁情报生成和共享提供规范㊂2㊀网络威胁情报主要来源㊀㊀威胁情报的标准化定义使不同组织㊁地域间的网络威胁信息共享及协同防御成为可能,但从何处能够源源不断地获取最新的威胁情报却无统一标准,因此尽可能大量㊁快速㊁准确地获取情报便成了评价一个组织情报收集能力的重要指标㊂目前,主要的网络威胁情报来源分为内部来源和外部来源两类,内部来源主要是指组织或单位通过对其自有网络资产的主机日志㊁网络出口所部署安全设备采集的流量日志及安全告警日志等进行聚合分析,并经过与主机㊁系统㊁网络设备运行状态㊁行为特征进行长时间的观察比对,形成的基于攻击危害的情报信息㊂但这种情报输出方式的应用受限于以下3个方面:(1)多数组织或单位不具备在各网络节点大规模部署安全设备的能力,导致原始数据来源范围有限,影响情报输出的准确性;(2)部署在各网络节点的安全设备需要基于已有情报规则才会触发生成相应的告警日志,想要满足此条件必须先行导入大量的原始情报,同时通过该方式生产情报又与已有情报关联紧密,因此价值有限;(3)该方式输出情报是以长期对攻击所产生危害的观察为依据的,因此在使用时难免会造成一定的网络风险㊂而外部来源主要是指从开源媒体中提取挖掘,常见的媒体情报源主要包括技术博客(如fireeye㊁kaspersky㊁Talo㊁symantec等)㊁社交网站(如Twitter㊁Freebuf等)㊁新闻网站㊁公共报告,甚至是深网地下论坛等,这种方式不仅具有较低的采集成本,且时效性㊁普适性更好,因此,相比于内部生产方式,其在业界的应用更为广泛,同时也是本文讨论的重点㊂3㊀基于社交媒体的开源威胁情报采集及提取技术㊀㊀在确定情报源后,如何从海量开源媒体中更高效㊁完整㊁准确地采集及提取网络威胁情报,一直受到业界及学术界的高度关注,本文检索了近10年中外学者在主流安全期刊㊁学术会议㊁学位论文上发表的文献,统计情况如图1所示㊂可以看出,针对相关主题的研究热度一直呈上升趋势,但从数量上看中文数据库相关研究与国外数据库相比仍存在一定差距㊂3.1㊀开源威胁情报采集㊀㊀威胁情报采集是威胁情报全生命周期管理中的基础环节,其采集数量与质量直接关系到后续识别提取效率以及输出情报价值㊂采集开源威胁情报一般利用网络爬虫,并结合语句识别㊁话题检测等技术对多源媒体(如技术博客㊁黑客论坛等)中的特定内容信息进行捕获留存㊂近年来,随着Web攻防技术的不断完善,开源社交网络的反爬取机制也在加强,因此常规的网络爬虫很难快速大量获取网站中的高价值原始情报㊂针对此问题,徐留杰等[3]列举了当下较为常见的反爬取策略并给出了具体的应对措施,如:对于设置了Headers信息检测的网站,可在爬虫中预置Headers 各个参数真实值;对于具备用户行为检测机制的网站,可采用设置多个代理IP并预留访问时间间隔的方式等,同时利用所提出方法对端侧邮件系统中的开源情报订阅信息进行采集提取及标准化处理㊂虽然表网中能够获取数量可观的开源情报,不过相比于深网,其获取的威胁情报准确性和时效性都较差,想要构建高质量的威胁情报管理体系,深网同样是一个不可忽视的情报获取源[4-5]㊂不过和表网不同的是,深网各个站点间没有形成互联互通的网状架构,更多是以散点状形式呈现的,在对深网中的情报进行采集之前需要广泛搜集站点信息[6]㊂因此,黄莉峥等[4]提出利用人工搜集近期活跃的深网市场和地下论坛链接,之后再对各站点逐一进行内容爬取的方法来提取初始情报,不过这种方式在大规模应用场景下及时性和效率都有待提高㊂在此基础上,Vlachos等[7]提出了一种双层爬虫架构,第一层为Hidden Wiki爬虫,其负责爬取深网的.onion URL地址,并基于网页的HTML架构留存站点目录层级,以 24位标识码(id),实体类型(Entity-type),网站名称(Name),网站链接(URL),网站状态(State),目录(Category),子目录(Subcategory),爬取时间(Time UTC) 的形式将爬取的站点信息落盘至.csv文件;第二层为ACHE爬虫,其将上一层爬取的.csv文件作为输入,利用代理服务器连接Tor 网络,对网页各目录层级内容进行自动爬取,并将爬取后的初始情报信息写入JSON文件㊂图1㊀近10年开源网络威胁情报采集及提取主题文献发表趋势知网数据库检索关键词: 开源 and{ 网威胁情报采集 or 网络威胁情报提取 or 网络威胁情报挖掘 };Engineering Village数据库检索关键词: Open Access and Cyber Threat Intelligence and{ Crawl or Extract or Collect }㊀㊀除上述研究中所用静态爬虫方法外,Zhang等[8]结合文本语义检测技术开发了能够对开源威胁情报进行迭代采集的动态爬虫iMCircle,其通过爬虫引擎㊁信息预处理㊁情报检测㊁新情报源提取4个模块,实现对威胁情报的自动化循环采集,相关结果表明,整合了语义检测的动态爬虫相比于静态爬虫具有更高的采集效率及准确性㊂3.2㊀开源威胁情报提取㊀㊀通过上述研究中的静态或动态爬虫技术从社交网络获取非结构化开源威胁情报文本后,需进一步利用信息提取技术,输出具有分析价值的标准化或非标准化威胁情报㊂该过程涉及处理海量原始数据集,手工方法效率低下,因此多采用人工智能方法作为主要提取手段㊂目前,常见的威胁情报提取识别方法基于其依赖的技术不同主要分为两大类:基于自然语言处理的提取技术和基于神经网络的提取技术㊂相关研究在对这两类方法细分衍生的基础上,又整合各类人工智能算法形成了适用不同场景需求的组合式提取识别技术㊂3.2.1㊀基于自然语言处理的提取理技术㊀㊀自然语言处理技术(Natural Language Processing,NLP)的基本原理是通过对只有人类能够理解的自然语言进行编码,将其转化为计算机能够理解和输出的语言形式,从而实现利用机器代替人工对从社交媒体中采集的原始威胁情报关键信息进行提取㊁识别㊁摘录㊂Feng等[9]针对物联网设备中的漏洞威胁,通过开发自动化爬虫工具,从社交网络上收集下载开源漏洞报告,利用NPL技术分析报告语义,提取漏洞类型㊁漏洞位置㊁软硬件名称㊁版本号等信息,摘录形成结构化威胁情报㊂在使用中,该方法收集了7514个漏洞报告,提取出其中披露的12286个物联网设备漏洞,人工核对结果表明该方法的识别准确率可达到94%㊂Zhu等[10]使用Stanford NPL方法对14155篇工业报告及技术文章中收录的24654个威胁情报进行提取,并基于不同攻击阶段设置4个标签:载荷投递(Baiting)㊁利用与开发(Exploitation)㊁木马植入(Installation)㊁命令与控制(Command and Control)对所提取的威胁情报进行分类㊂相关实验结果表明,该方法对威胁情报提取准确率达到了91.9%,对威胁情报攻击阶段信息认定准确率也可达到78.2%㊂在此基础上,Ghaith等[11]引入了利用基于语义学的信息检索方法(Information Retrieval,IR)对传统NLP进行优化㊂该方法可从非结构化报告中提取攻击技战术㊁杀伤链等威胁情报关键字,并按照不同的威胁情报标准(如STIX等)进行结构化输出㊂结果表明,该方法相比于传统NLP具有更高的检索准确性㊂进一步地,该团队在Ghaith等[12]中同样对传统NLP 进行了改进,将熵和互信息(Entropy and Mutual Information,EMI)度量引入网络安全领域,对采集的开源威胁情报按照危害等级进行筛选,滤除低危情报,支撑安全防御快速决策,大大提高了情报提取输出效率㊂为使NLP方法能够更加智能化地解析提取来自深网或暗网的隐蔽情报信息,Varsha等[13]引入了Google BERT训练模型㊂该模型具有两层训练任务:第一层为Masked LM,即在句子中随机遮盖一部分单词,训练模型通过上下文信息推测该单词;第二层为Next Sentence Prediction,通过对下一句进行预测,训练模型理解深层语义㊂因此,该模型有效避免了传统Word2Vec或Doc2Vec语言编译模型对于多义词的混淆㊂结果表明Google BERT+NLP方法能够高效地从深网粗情报中提取黑客ID㊁使用工具㊁软件信息㊁组织信息等要素㊂3.2.2㊀基于神经网络的提取技术㊀㊀利用神经网络(Neural Network,NN)提取威胁情报的核心是通过大量原始数据集对所构建的网络模型开展长期训练,进而利用该模型对待分析原始文本形成的数据矩阵中关键短语向量进行定位㊁筛选㊁整合,从而实现原始信息到结构化威胁情报的端对端提取㊂Zhou等[14]提出了一种带有双向长短期记忆(Long Short Term Memory,LSTM)模块的人工神经网络(Artificial Neural Network,ANN)㊂该网络为常规的输入层-计算层-输出层3层架构,可提取网络安全报告长句子中的低频威胁情报㊂该方法的优势是能够在仅通过少量数据集训练的条件下,便可达到90%以上的情报提取准确率㊂然而,Long等[15]在应用该ANN方法后发现其容易在提取过程中混淆疑似威胁情报,于是在此基础上引入多头自注意力模块和语境特征分析模块,并同时利用中英文数据集对该模型进行训练,结果表明,相比于Zhou等[14]中的方法,该方法对于英文安全报告中威胁情报的提取准确性可提升至93%以上,对于中文安全报告中威胁情报的提取准确率也可达到82.9%㊂除ANN外,卷积神经网络(Convolutional Neural Network,CNN)也是应用较为广泛的威胁情报提取方法,Kim[16]最先将CNN应用于文本识别领域,其证实了仅带有一层卷积计算层的CNN仍具有良好的文字信息提取效果㊂基于此,Xun等[17]提出了一种带有两层卷积的CNN模型㊂其能够更加精细化地从网络安全文献中识别威胁情报文本特征㊂在使用相同数据集开展训练的条件下,该双层CNN的威胁情报提取准确性相比于传统单层CNN结构提高了4%㊂Zhao等[18]在常规CNN的基础上,首次整合了威胁情报领域识别模块,其除能够提取威胁情报外,还能根据情报特征对其潜在影响领域(如物联网㊁金融㊁教育㊁政府部门等)进行推断并打标签㊂该方法从2002至2018年共118000篇网络安全报告中提取了超过一百万条情报信息,经验证情报提取准确率高达94%,针对威胁情报的所属领域认定准确率也达到了84%㊂进一步地,里斯本大学团队的Dionisio等[19]提出了一种5层CNN架构,除包含常规的输入层㊁嵌入层㊁卷积层和输出层外,在卷积层和输出层之间插入了池化层,目的是降低模型的过拟合程度并减少计算量,作者通过该方法对社交媒体Twitter中的网络威胁信息进行了结构化情报提取,并在使用相同数据集的条件下与另外8种情报提取方法进行了比对,结果验证了该方法的优越性能㊂3.2.3㊀其他混合型提取技术㊀㊀受益于人工智能理论的发展,大量研究将支持向量机(Support Vector Machine,SVM)㊁狄利克雷分配(Latent Dirichlet Allocation,LDA)㊁机器学习(Machine Learning,ML)等算法融入传统NLP或NN方法中,形成了多种功能特点各异的混合型威胁情报提取方法㊂Wang等[20]通过引入注意力机制(Attention Mechanism, AM)和强化学习模块(Reinforcement Learning,RL)形成了能够减轻标注数据噪声的分段式卷积神经网络结构,并利用Google BERT模型对其进行训练,结果表明在对同一情报源进行提取时,所提出方法准确率相比于常规CNN增加了15%以上㊂Deliu等[21]提出了一种基于支持向量机和狄利克雷分配的二级威胁情报提取模型,该模型通过第一层的支持向量机先对从黑客论坛爬取的无关主题帖子进行剔除,再利用第二层的狄利克雷分配对具有相同特征的威胁情报(如凭证泄露㊁代理服务器㊁逃逸攻击等)进行快速聚类,通过对百万量级黑客论坛帖子中情报信息进行提取,验证了该模型的快速性和准确性㊂为解决开源威胁情报中存在的中英文表述混杂难以识别等问题,王瀛等[22]提出了基于一种融合迭代膨胀卷积神经网络与双向门控循环单元深度学习模型的文本威胁信息实体识别方法,并引入人工规则词典进行输出矫正,在与其他深度学习方法,如双向长短期记忆网络模型,进行比对后证明该方法能够在最小化信息损失的同时,对文本特征具有更全面的提取识别效果㊂除提出新的情报提取方法外,部分研究致力于对已有提取方法进行性能比较,以确定不同方法的最佳适用场景㊂Gasmi等[23]针对情报提取过程中用于文本关系特征识别的长短期记忆(LSTM)模型3种常见架构:序列树结构(Sequences and Tree Structures, STS)㊁最短依赖路径结构(Shortest Dependency Paths, SDP)㊁最近共同父节点二叉树结构(Least Common Ancestor Sub Tree,LCA)进行了多方面能力(识别率㊁准确性等)比对,作者利用相同数据集对不同结构进行训练后发现,同一模型的提取准确性和对于不同文本形式的适应性呈近似负相关㊂Deliu等[24]将基于人工智能理论的支持向量机㊁卷积神经网络和基于图论的决策树模型进行比对,结果表明基于人工智能理论的方法相比于传统数学模型方法需要的训练时间的确更短,不过提取准确度方面却没有明显区别,同时SVM方法所需训练时间虽然相比于使用范围更广的CNN方法略长,但在部分场景下具有更小的计算量以及更快的提取速度㊂4　结语㊀㊀本文聚焦于开源网络威胁情报提取挖掘技术,从近年代表性工作中梳理了开源社交媒体的情报提取常用手段,简要分析了各提取方法的技术特点及优势,针对各方法的适用性㊁速度㊁准确率等评价指标,可初步归纳如下结论㊂(1)威胁情报提取的准确率和速度呈近似负相关㊂以NN方法为例,想要提高模型针对各类媒体中情报提取的准确性,必然需要在模型中引入多层卷积结构或降噪模块,而在使用相同训练数据量对模型进行训练的前提下,额外的功能单元必然会增加整体计算量,减慢单个情报提取的速度㊂(2)威胁情报提取速度和文本类型适用性呈近似负相关㊂与上一结论的情况类似,若要所构建的提取模型对不同结构㊁不同语种的开源媒体都具有很好的兼容性,那么必然要增加模型的判断逻辑单元和适应性功能模块,从而提升了提取复杂度,降低提取效率㊂此外,虽未有研究直接表明,但可以推断威胁情报提取模型的文本类型适用性和提取准确性应该也为负相关,因不同模型的设计都是为满足特定语言㊁特定媒体形式的快速准确提取需求,难免会一定程度上牺牲针对其他文本类型的提取性能㊂参考文献[1]叶帅辰,卢泓宇,周成胜.网络安全防护设备应用研究[J].信息与电脑(理论版),2022(17):213-216.[2]石志鑫,马瑜汝,张悦,等.威胁情报相关标准综述[J].信息安全研究,2019(7):560-569.[3]徐留杰,翟江涛,杨康,等.一种多源网络安全威胁情报采集与封装技术[J].网络安全技术与应用,2018(10):23-26.[4]黄莉峥,刘嘉勇,郑荣锋,等.一种基于暗网的威胁情报主动获取框架[J].信息安全研究,2020(2): 131-138.[5]NUNES E,DIAB A,GUNN A,et al.Darknet and deepnet mining for proactive cybersecurity threat intelligence[C].Tucson:2016IEEE Conference on Intelligence and Security Informatics(ISI),2016. [6]张永超.暗网资源挖掘的关键技术研究[D].西安:西安电子科技大学,2013.[7]VLACHOS V,STAMATIOU Y,TZAMALIS P,et al.The SAINT observatory subsystem:an open-source intelligence tool for uncovering cybersecurity threats[J]. International Journal of Information Security,2022 (21):1091-1106.[8]ZHANG P,YA J,LIU T,et al.iMCircle: automatic mining of indicators of compromise from the Web[C].Barcelona:2019IEEE Symposium on Computers and Communications(ISCC),2019. [9]FENG X,LIAO X,WANG X,et al.Understanding and securing device vulnerabilities through automated bug report analysis[C].Santa Clara:The28th USENIX Conference on Security Symposium,2019. [10]ZHU Z,DUMITRAS T.ChainSmith:automatically learning the semantics of malicious campaigns by mining threat intelligence reports[C].London:2018IEEE European Symposium on Security and Privacy,2018.[11]GHAITH H,EHAB A,MOHIUDDIN A,et al. TTPDrill:automatic and accurate extraction of threat actions from unstructured text of CTI sources[C]. Orlando:33rd Annual Computer Security Applications Conference,2017.[12]GHAITH H,XI N,BILL ing entropy and mutual information to extract threat actions from cyber threat intelligence[C].Miami:2018IEEE International Conference on Intelligence and Security Informatics,2018.[13]VARSHA V,MAHALAKSHMI S,SENTHILKU-MAR K B.Extraction of actionable threat intelligence from Dark Web data[C].Chengdu:2023International Conference on Control,Communication and Computing,2023.[14]ZHOU S,LONG Z,TAN L,et al.Automatic identification of indicators of compromise using neural-based sequence labelling[C].Hongkong:Proceedings of the32nd Pacific Asia Conference on Language, Information and Computation,2018.[15]LONG Z,TAN L,ZHOU S,et al.Collecting indicators of compromise from unstructured text of cybersecurity articles using neural-based sequence labelling[C].Budapest:2019International Joint Conference on Neural Networks,2019. [16]KIM Y.Convolutional neural networks for sentence classification[C].Doha:Conference on Empirical Methods in Natural Language Processing,2014. [17]XUN S,LI X,GAO Y.AITI:an automatic identification model of threat intelligence based on convolutional neural network[C].Xiamen:Proceedings of the20204th International Conference on Innovation in Artificial Intelligence,2020.[18]ZHAO J,YAN Q,LI J,et al.TIMiner: automatically extracting and analyzing categorized cyber threat intelligence from social data[J].Computers& Security,2020(95):1-14.[19]DIONISIO N,ALVES F,FERREIRA P,et al. Cyberthreat detection from twitter using deep neural networks[C].Budapest:2019International Joint Conference on Neural Networks,2019. [20]WANG X,CHEN R,SONG B,et al.A method for extracting unstructured threat intelligence based on dictionary template and reinforcement learning[C]. Dalian:2021IEEE24th International Conference on Computer Supported Cooperative Work in Design,2021.[21]DELIU I,LEICHTER C,FRANKE K.Collecting cyber threat intelligence from hacker forums via a two-stage,hybrid process using support vector machines and Latent Dirichlet Allocation[C].Seattle:2018IEEE International Conference on Big Data,2018. [22]王瀛,王泽浩,李红,等.基于深度学习的威胁情报领域命名实体识别[J].东北大学学报(自然科学版),2023(1):33-39.[23]GASMI H,LAVAL J,BOURAS rmation extraction of cybersecurity concepts:an lstm approach [J].Applied Sciences,2019(9):1-15. [24]DELIU I,LEICHTER C,FRANKE K.Extracting Cyber threat intelligence from hacker forums:support vector machines versus convolutional neural networks [C].Boston:2017IEEE International Conference on Big Data,2017.(编辑㊀王永超)Analysis of open source cyber threat intelligence mining technology from social mediaYe ShuaichenSecurity Research Institute China Academy of Information and Communications TechnologyBeijing100191 ChinaAbstract Threat intelligence TI is an important information resource for network security defense.The accuracy and timeliness of TI directly determine the perceive and discover ability to external unknown threats for a network defense system.In addition to the self-production and purchase of TI the method of extracting open source TI from social media such as network security blogs technical forums security report publishing platforms etc.has been widely concerned because of its characteristics of high time-efficient and low cost.Based on the representative research in recent years this paper summarizes main technologies of collecting and mining open source network TI from social media and analyzes their applicable scenarios which can provide references for the selection and optimization design of intelligence extraction model.Key words social media network security open source threat intelligence collection and mining。

国内外开源情报研究综述随着信息时代的到来，开源情报研究在学术、政府和社会各个领域中变得越来越重要。

开源情报是指通过公开渠道获取的、未经加工整理的、非保密性信息。

本文将对国内外开源情报研究进行综述，介绍其发展趋势和现状，以及在不同领域中的应用。

开源情报的收集与整理开源情报的收集方法多种多样，包括互联网搜索、社交媒体监测、公开数据库查询等。

这些方法各有优劣，例如互联网搜索具有信息量大、实时性高的优点，但同时也存在准确度不高等问题。

社交媒体监测可以实时监测到公众的舆情，但同时也可能被虚假信息所误导。

公开数据库查询则具有数据可靠性高的优点，但信息量相对较小。

在整理开源情报方面，研究者多采用数据挖掘和文本分析等技术。

这些技术可以帮助研究者从大量杂乱无章的信息中提取有用的数据和观点。

同时，也有研究者开始尝试利用人工智能和机器学习等技术提高开源情报的质量和效率。

例如，利用自然语言处理技术自动提取文本中的关键信息，或者利用深度学习技术对图像进行自动识别和处理等。

开源情报的应用开源情报在学术领域有着广泛的应用，可以帮助研究者了解学科前沿、跟踪研究动态、发现研究空白等。

例如，科研人员可以利用开源情报分析某一领域的热点话题，或者评估某项研究成果的影响力。

开源情报在政府部门和社会组织中也得到了广泛应用。

政府部门可以利用开源情报了解社会动态、监测舆情，从而制定更加合理的政策。

社会组织则可以利用开源情报进行公益宣传、推动社会进步等。

然而，开源情报的应用也存在一些问题和局限性。

由于信息来源的多样性，开源情报的质量往往难以保证，可能存在虚假信息或遗漏的情况。

由于信息的分散性，对开源情报的整合和利用也面临着较大的挑战。

由于涉及隐私和安全等问题，开源情报的获取和分享也可能受到法律和道德的约束。

结论与展望开源情报研究是一项重要的工作，它为社会提供了更多、更准确的信息。

然而，现有的研究还存在一些不足之处，例如信息质量、整合难度和隐私问题等。

信息安全威胁情报的收集与分析方法信息安全在当前社会中扮演着极其重要的角色。

随着科技的进步和信息技术的广泛应用，信息安全威胁也日益增多。

为了保护企业和个人的信息安全，收集和分析威胁情报变得至关重要。

本文将探讨信息安全威胁情报的收集与分析方法，并介绍一些相关工具和技术。

一、信息安全威胁情报收集方法1. 主动威胁情报收集主动威胁情报收集是指通过主动搜索和探测，了解威胁的来源和性质。

以下是一些常用的主动威胁情报收集方法：（1）开源情报（OSINT）：利用公开的信息源，如新闻报道、社交媒体、论坛等，收集与威胁相关的信息。

（2）漏洞情报收集：跟踪漏洞信息，了解已知漏洞的利用情况，并及时采取安全措施。

（3）蜜罐技术：通过设置虚拟的诱饵系统，引诱黑客攻击，从而收集威胁情报。

2. 暗网威胁情报收集暗网是指被隐藏的网络空间，其中包含大量非法和恶意活动。

为了收集暗网中的威胁情报，可以采取以下方法：（1）暗网搜索引擎：使用一些特定的搜索引擎，如Tor网络中的"Grams"和"Ahmia"，来搜索和收集暗网上的信息。

（2）暗网社区监测：定期参与暗网中的论坛和社区，了解黑客、犯罪组织等恶意行为者的动态。

（3）非结构化数据分析：通过对暗网上的非结构化数据进行分析，发现隐藏的威胁情报。

二、信息安全威胁情报分析方法1. 数据挖掘技术数据挖掘技术是一种从大量数据中自动发现模式的方法，可以用于信息安全威胁情报的分析。

以下是几种常用的数据挖掘技术：（1）关联规则挖掘：通过发现不同数据项之间的关联性，发现潜在的威胁模式。

（2）聚类分析：将相似的威胁样本聚类在一起，识别出新的威胁类型。

（3）分类器构建：利用已有威胁样本的特征，构建分类模型，从而对新的威胁进行分类。

2. 情报共享与合作信息安全威胁情报的分析需要海量的数据和领域专家的知识。

因此，情报共享与合作是非常重要的。

以下是几种情报共享与合作的方法：（1）行业合作组织：加入行业合作组织，与其他组织共享信息，共同应对威胁。

网络安全威胁情报的收集与分析方法研究概述：随着互联网的普及和发展，网络安全威胁日益严重。

针对这一问题，网络安全威胁情报的收集与分析方法研究成为了一项重要的任务。

本文将探讨网络安全威胁情报收集与分析的方法，包括威胁情报的来源、收集、分析和利用，帮助企业和组织提高网络安全防护水平。

一、威胁情报的来源网络安全威胁情报的收集依赖于广泛而多样的信息来源。

以下是一些常见的威胁情报来源：1. 安全厂商和服务提供商：像知名的安全公司、网络安全服务提供商会定期发布威胁情报报告和安全公告，提供有价值的信息用于威胁情报分析。

2. 开放源情报：开放源情报是指来自社区、组织、安全研究团体等开放资源的情报数据。

这些数据包括开放漏洞数据库、黑客论坛、邮件列表以及安全相关的数据集。

3. 政府和法律机构：政府和执法机构在网络安全领域积累了丰富的经验和信息，提供网络威胁情报以帮助民众和企业提高网络安全防御能力。

4. 内部数据和事件日志：企业和组织的内部网络数据和事件日志是获取威胁情报的重要来源，通过分析内部行为和事件可以发现异常活动并预测潜在的威胁。

二、威胁情报的收集收集威胁情报的过程需要有系统化的方法和工具。

以下是一些常见的收集威胁情报的方法：1. 主动情报收集：主动情报收集是指主动搜索和监测威胁情报的方法。

这包括定期关注安全厂商和服务提供商的报告和公告、订阅开放源情报、监测社交媒体等。

2. 自愿型情报共享：企业和组织可以主动参与情报共享和合作的机制，例如通过参与安全社区、开源项目、贡献漏洞信息等来获取情报数据。

3. 外包情报收集：企业和组织可以委托第三方机构进行威胁情报收集工作，从而获得更全面和深入的情报数据。

三、威胁情报的分析威胁情报分析是将收集到的威胁情报进行处理和解读的过程。

以下是一些常见的威胁情报分析方法：1. 技术分析：技术分析是指对威胁情报中涉及的恶意代码、攻击工具、漏洞等进行技术分析，了解其攻击原理、行为特征和潜在威胁，从而为防御措施提供依据。