应用层协议识别技术研究

协议识别与解析原理一、引言在计算机网络通信中，协议是指计算机之间进行数据交换和通信的规则集合。

协议的识别与解析是网络安全与网络管理中重要的技术之一，它可以帮助网络管理员分析和监控网络通信，以保障网络的安全性和稳定性。

本文将介绍协议识别与解析的原理及相关技术。

二、协议识别的原理协议识别是指通过分析网络数据包的特征和内容，判断其所使用的协议类型。

协议识别的主要原理是通过检测数据包的特征字段或协议特有的数据结构，来识别协议类型。

常见的协议识别方法有以下几种：1. 端口号识别：每个协议通常都会使用特定的端口号进行通信，在数据包中可以通过检测端口号来判断所使用的协议类型。

例如，HTTP协议通常使用80端口，HTTPS协议使用443端口。

2. 协议报文识别：不同协议的数据包在网络中传输时，往往会有特定的报文格式。

通过分析数据包的报文结构，可以判断其所属的协议类型。

例如，HTTP协议的报文格式为"请求行+首部+实体主体"，SMTP协议的报文格式为"命令行+首部+实体主体"。

3. 协议特征识别：不同协议在数据包中会留下特定的特征，通过识别这些特征可以判断其所属的协议类型。

例如，HTTP协议的特征包括"GET"、"POST"等请求方法，SMTP协议的特征包括"HELO"、"MAIL FROM"等命令。

三、协议解析的原理协议解析是指对识别出的协议进行解析和分析，以获取协议中的详细信息。

协议解析的主要原理是根据协议规范和协议报文格式，对数据包进行解析和解码。

常见的协议解析方法有以下几种：1. 字节流解析：将数据包视为字节流，按照协议规范解析字节流中的数据，提取出协议中的各个字段和参数。

例如，在HTTP协议中，可以通过解析数据包的字节流，提取出请求方法、URL、首部字段等信息。

2. 正则表达式解析：使用正则表达式来匹配和提取协议报文中的特定模式或字段。

网络安全中的拦截技术及其实际效果随着互联网的发展，网络安全问题日益凸显，各种恶意软件、黑客攻击、网络诈骗等问题层出不穷，给网络安全带来严峻挑战。

为了保障信息的安全，各个国家和企业采取了多种方法进行网络安全防护，其中拦截技术是一种常用的手段。

本文将从拦截技术的定义、分类和实际效果三个方面进行探讨。

一、拦截技术的定义拦截技术是指利用软硬件或网络设备，在传输、接收或处理网络数据的过程中，对其中包含的特定数据、信息或流量进行识别、拦截和过滤。

一般来说，拦截技术主要用于保护网络安全、限制网络访问、监管网络内容等方面。

拦截技术的实现原理可以通过网络协议分析、流量过滤、协议屏蔽等多种方式实现。

其中，网络协议分析是指对数据包的各个层级进行解析和分类，识别其中的特定信息；流量过滤是指在网络传输过程中，根据一定的规则对数据包进行过滤和筛选；协议屏蔽是指识别并屏蔽特定的网络协议及其相关数据流量，达到限制网络访问、保护计算机安全的目的。

二、拦截技术的分类在实际应用中，拦截技术可以根据其具体功能和应用场景进行分类。

下面列举几种常见的拦截技术分类。

1、URL过滤URL过滤是一种常用的拦截技术，主要用于限制网络访问，防止用户访问包含有害或不良信息的网站。

URL过滤技术主要通过对访问的URL进行分析和筛选，采用黑白名单的方式进行控制。

黑名单列表中包括一些危险的网站地址，当用户尝试访问这些网站时，就会被迫停止访问；白名单列表中包括一些安全的网站地址，用户只能访问这些列表中的地址。

2、应用层协议过滤应用层协议过滤技术主要是基于协议屏蔽实现的，它可以识别并阻止特定的协议类型和相关数据流量，在保护计算机免受恶意攻击的同时，可以限制网络访问。

应用层协议过滤技术可以识别常见的协议类型，如HTTP、SMTP、FTP等，并通过限制这些协议的流量来实现拦截。

3、流量过滤流量过滤是指根据数据包的源IP地址、目的IP地址、源端口号、目的端口号等多种信息对数据流量进行筛选和过滤的技术。

CAN应用层协议详解之DeviceNet协议DeviceNet是基于CAN总线技术并符合全球工业标准的开放型通信网络。

定位于工业控制的设备级网络，不仅降低了系统的复杂性，还减少了设备通信的电缆硬件接线，提高系统可靠性，降低安装、维护成本，是分布式控制系统的理想解决方案。

DeviceNet规范定义了一个网络通信标准，以便组成工业控制系统的各个设备之间可以进行数据通信。

DeviceNet规范除了提供ISO模型的应用层定义之外，还定义了部分物理层和数据链路层。

规范中不仅对DeviceNet节点的物理连接也作了规定，连接器、电缆类型、长度以及与通信相关的指示器、开关、相关的室内铭牌都作了详细规定。

1．DeviceNet基本概念DeviceNet是建立在CAN协议基础之上，沿用了CAN协议所规定的物理层和数据链路层，并补充了不同的报文格式、总线访问仲裁规则及故障检测和隔离方法。

DeviceNet的功能和特点如表1所示。

表1 DeviceNet特点DeviceNet的应用层协议则采用的是通用工业协议（CIP）。

CIP是一个在高层面上严格面向对象的协议。

每个CIP对象具有属性（数据），服务（命令），连接和行为（属性值与服务间的关系），其主要功能有两个：一是面向连接的通信；二是定义了标准的工业应用对象。

下文详细介绍通信部分。

CIP通信最重要的特点是它用不同的方式传输不同类型的报文，根据报文质量要求将需要发送的报文分为：显式报文和隐式报文。

CIP另一个重要特点是通信基于连接的。

因此DeviceNet网络上任意两个节点通信之前必须建立起连接，且连接是可以动态建立和撤销。

请注意这里的连接是逻辑上的关系，而非物理层的连接。

DeviceNet支持两种类型的连接：显式信息连接和I/O连接。

显式信息连接是点对点的连接方式，报文接收方必须对接到的报文做出相应的响应，通常这类报文对时间要求不高，主要用于上传/下载程序、修改设备参数、趋势分析和诊断等。

基于DPI的应用层协议解析基于DPI（Deep Packet Inspection，深度数据包检测）的应用层协议解析是指通过深度分析网络流量数据包的内容，识别和解析传输协议的过程。

DPI能够深入到网络数据包的应用层，并且通过解析数据包的负载来识别不同的应用层协议。

这种技术被广泛应用于网络安全、网络优化和数据监控等领域。

本文将介绍基于DPI的应用层协议解析的原理、方法和应用。

一、基于DPI的应用层协议解析原理基于DPI的应用层协议解析是通过深度分析网络数据包，提取和解析数据包负载中的字节流，进而识别和解析传输协议的一种技术。

它可以识别和解析常见的Web协议（如HTTP、HTTPS）、FTP、SMTP、POP3、DNS、IMAP等应用层协议。

DPI技术可以通过以下几个步骤来实现应用层协议解析：1.数据包捕获：通过网络设备（如路由器、交换机）或专门的捕获设备（如网络监控器）捕获网络数据包。

2.数据包过滤：根据预设规则或特定的过滤条件，对捕获的数据包进行过滤，筛选出需要分析的数据包。

3.数据包重组：将网络数据包中的分片数据包重新组装成完整的数据包。

4.数据包解析：对重组后的数据包进行解析，提取数据包的头部信息和负载数据。

5.应用层协议识别：通过解析数据包的负载，提取特定的特征信息，并与预设的规则或特征进行匹配，识别出应用层协议。

6.协议解析：对识别出的协议进行进一步的解析，提取协议的参数、字段和状态信息。

二、基于DPI的应用层协议解析方法1.签名匹配：通过预设规则或特定的特征，将应用层协议的特征信息与数据包负载进行匹配，从而识别出应用层协议。

通常使用的是字符串匹配、正则表达式匹配等方法。

2.流量统计：通过统计数据包的流量特征，如数据包长度、频率、传输速率等指标，来推测和识别出应用层协议。

例如，HTTP协议通常使用明文传输，数据包长度较小；而视频流协议通常具有较大的数据包长度和较高的传输速率。

3.机器学习：通过构建机器学习模型，对数据包进行训练和分类，实现应用层协议的自动识别和解析。

128Internet Security 互联网+安全在“互联网+”技术应用推广的背景下，以HTTP、TCP/IP 为代表的各类应用协议被广泛应用于计算机网络应用层中，这不仅增加了应用层遭受恶意代码、病毒等攻击的概率，同时也对系统防火墙的安全防护性能提出了更高要求。

然而传统防火墙多采用集成结构设计，流量数据包解析的范围受限，流量检测、过滤等处理负载明显增大，增加防火墙故障发生概率，会诱发网络通信中断、信息丢失及提高泄密风险。

基于此，为满足面向企业级网络结构的防火墙部署需求，建立一种适应虚拟化环境的分布式应用防火墙部署方案是亟待解决的问题。

一、研究基础（一）应用防火墙与DPI 技术应用防火墙是一种部署在计算机网络Web 应用层的防火墙，其作用是解决传统部署在网络出口的防火墙基于IP 数据包的源/目的地址、源/目的端口建立过滤机制，无法对应用层进行安全防护的技术难题[1]。

为了解决这一问题，应用防火墙采用深度包检测技术（DPI）对网络流量进行检测分析，并通过捕捉网络数据包的包头、载荷，判断网络数据流量是否存在恶意垃圾邮件、病毒攻击、恶意代码等攻击行为。

同时，利用DPI 技术建立对报文的深度分析，按由下至上的顺序将数据分析范围由数据链路帧头、网络层包头、传输层包头扩展至应用层，判定数据流量的类型及其承载的内容等[2]。

（二）SDN 技术与OpenFlow 协议SDN 技术是一种基于软件系统的可编程网络架构，该技术将原交换机、路由器的处理逻辑分离设计，利用统一软件系统实现对数据转发、路由控制功能的集中控制，从而满足网络规模扩展与业务结构调整需求[3]。

基于SDN 的网络架构由数据层、控制层、业务层三个层级组成。

在数据层设有多个网络设备，利用OpenFlow 关于SDN 技术的分布式应用防火墙研究实现网络数据传输功能。

在控制层部署SDN 控制器与NOS 操作系统，经API 接口与业务层建立连接，实现业务应用功能[4]。

DPI在移动分组域中的应用与展望文章从移动分组域网络流量管控和移动应用发展的需求出发，对DPI技术进行了简介，分析了在移动分组域中实现流量管控和内容计费的技术方案，描述了DPI在流量管控上的应用和在内容计费上的应用方式，阐述了将来的运营模式，并对综合DPI的未来发展进行了展望。

1 前言当前，随着移动网络的大规模部署、3G网络的逐步成型和智能终端用户的不断激增，网络拥塞、带宽承载不均匀、网络设备能力不足等情况屡次出现。

因此，如何对移动网络中的流量进行引导与管理，成为一个重要的话题。

面对挑战，业界找到了曾经在宽带互联网上广泛应用的DPI技术，尝试解决上述问题。

DPI具有深度分析能力，能够较好地识别网络上的流量类别、应用层上的应用种类，因此，被逐步应用到移动分组域中。

对于DPI的应用，Cisco的Gadekar曾经有过详细的描述。

他认为，按照应用程度，DPI的部署分为三个阶段：第一阶段是“网络应用分析”，该阶段运营商可以对网络有更深入的了解，以旁路模式部署DPI，无需串接，可以部署在全局；第二个阶段DPI部署在网络边缘，在汇聚设备后面，例如BRAS，作用是全局流量优化和流量管理，通过提高互动性应用的优先级、降低“带宽杀手”的优先级；第三个阶段，DPI解决方案一般都会跟AAA服务器、策略服务器、计费系统紧密集成，用以实现按业务内容、按用户使用情况计费，实现运营商动态定制业务的最终目标。

这段文字详实描述了目前DPI在移动分组域上的应用过程与应用状况。

一般地，移动分组域网络（以CDMA2000为例）由多套PDSN，AAA/AN-AAA，HA/CCG等设备组成。

其中PDSN是数据业务的接入点，AAA/AN-AAA 是用户认证、授权与计费系统，HA/CCG是内容计费网关。

考虑部署DPI所应取得的效果，目前一般流量管控功能部署在P D S N上，内容计费部署在H A/C C G 上。

其中流量管控是管道智能化的一个重要手段。

5G网络下基于DPI识别应用保障研究摘要： DPI技术与5G专网的结合可以更好地为行业客户提供安全、可靠、可验证的定制化网络服务，本文以基站DPI技术实现各种业务QOS精准保障。

介绍了基站DPI保障的原理及不同业务下保障的效果，关键字：DPI；广义QOS；KQI感知保障1、引言随着5G用户的增长和业务发展，各种应用应运而生，其业务应用的感知体验越发重要。

传统的无线侧无有效的KQI感知评估指标，如何在无线侧针对不同业务特性进行差异化保障，需要依赖大数据平台分析，但跨域协同存在一定困难。

基于以上痛点，我们设计了基于基站DPI (Deep Packet Inspection 深度报文检测)功能应用方案。

2、基站DPI功能识别及广义QOS保障2.1 基站DPI技术原理DPI技术是一种基于应用层的流量检测和控制技术，当IP (Internet Protocol) 数据包、TCP或UDP数据流通过基于DPI技术的带宽管理系统时，该系统通过深入读取IP包载荷的内容来对OSI七层协议中的应用层信息进行重组，从而得到整个应用程序的内容，然后按照系统定义的管理策略对流量进行整形。

DPI功能在基站中以DPI容器的方式运行，用户面将数据包转发到DPI识别模块后，DPI根据内置特征库匹配，将识别结果通过识别后数据接口发送到用户面，用户面根据识别结果进行后续相关处理。

2.2 基站DPI业务识别和智能保障方案当前基站DPI识别应用主要分为基于DPI识别的广义QOS保障和基站视频质量上报:基于DPI识别的广义QOS保障是对于基站DPI识别的业务映射导广义QOS并进行相应的调度保障，提升业务感知，目前针对主流视频、主流扫码业务、主流游戏完成验证，可正常应用并实现业务保障。

业务数据通过DPI精确识别后打上业务标签，将需保障业务映射到广义QOS的TYPE接口上，后续业务进行广义QOS控制业务速率和优先级保证。

相比于传统的广义QOS保障，基于DPI识别配置方便且可以实现更为精准的保障。

Panabit流控管理配置手册(核心代号shang，V8.05)北京三棱镜软件工作室2008.06目录目 录 (2)前言 (3)0. 系统检查 (4)0.1 确认系统时间 (4)0.2 查看数据网卡驱动类型 (4)0.3 查看CPU启用个数 (5)0.4 查看软件许可信息 (5)0.5 配置与测试网桥 (5)0.6 修改口令 (5)1．网络配置 (6)1.1 管理接口 (6)1.2 数据接口 (7)2．对象管理 (8)2.1 自定义协议 (8)2.2 IP群组 (9)2.3 自定义协议组 (9)3．流量管理 (11)3.1 网桥带宽 (11)3.2 内网IP统计 (12)3.3 数据通道 (12)3.4 策略组 (13)3.5 策略调度 (19)4．监控统计 (22)4.1 分桥统计 (22)4.2 网络接口 (32)4.3 应用协议 (32)5．系统维护 (34)附录 (35)P2P下载控制 (35)迅雷、超级旋风控制示例 (35)Panabit应用协议样本抓包方法 (37)前言感谢您使用Panabit流控产品！Panabit应用层流量管理产品，是在互联网P2P(Peer-to-Peer)应用广泛流行的背景下，诞生的新一代应用层QOS产品。

Panabit流控是真正一款应用层级流控产品，基于连接过程和协议特征识别，对于加密协议采用主动探测引擎，经过一套完整的识别流程，准确识别应用，精确定位具体的软件客户端，把应用可视化提高到一个新的阶段。

Panabit流控系统能帮助宽带运营网管实时了解网络应用层流量状态及应用概况，进行流量管理，提高网络运行效率。

流控产品，是一个典型的服务型产品，需要根据互联网应用的变化，不断改进协议识别引擎和更新协议特征库，才能保证流控的效果。

应用层协议识别的重点和难点是P2P应用，P2P流控是应用层流控的核心；互联网不断有新增加的应用，已有的应用为了逃避流控设备监管，采用技术对抗方法，伪装和变换协议特征，甚至整个趋势向加密方向发展，这使得流控产品的技术要跟踪、适应或超越这些变化，才能为用户提供良好的服务。