中国移动数据流量DPI识别能力规范.
- 格式:doc
- 大小:1.12 MB
- 文档页数:25
中国移动技术规范中国移动技术规范文档编号:中国移动PTN资源自动分析优化功能需求规范书文档版本:Version 1.0版权声明:版权归中国移动通信集团公司所有,未经中国移动通信集团公司书面许可,任何单位或个人不得以任何形式全部或部分使用和传播本技术规范。
发布日期:2020年4月发布单位:中国移动通信集团公司前言本技术规范根据中国移动PTN网络维护效能提升管理需求而制定,随着网络管理需求的不断深化,本技术规范的相关内容将会修改和完善。
本技术规范的解释权属于中国移动通信集团公司。
本技术规范由中国移动通信集团公司提出并归口。
本技术规范起草单位:中国移动通信集团公司网络部本技术规范主要起草人:集团公司:邓春胜、邓宇省公司:田志坚、黄垣森、杨彬、张剑、夏志超、李勇、娄文科、梁静海、张跃明、彭鹏、党志俊目录PTN资源自动分析优化功能需求规范书.................... 错误!未定义书签。
前言........................................................................... 错误!未定义书签。
目录........................................................................... 错误!未定义书签。
一、PTN资源分析优化概述 ...................................... 错误!未定义书签。
二、功能需求说明 ..................................................... 错误!未定义书签。
2.1 ............................................................................. 物理资源分析错误!未定义书签。
2.2逻辑资源分析 .................................................... 错误!未定义书签。
1.zebra项目介绍与分析1.1.zebra概述1.1.1.zebra是什么如图所示,电信运营商的用户通过连接到互联网中的各种网络设备访问一个网站时,其访问信息会通过基站在网络中传递,基站可以收集所有用户的访问日志数据zebra是对电信运营商收集的用户上网数据进行分析的一个应用程序。
通过分析得到的结果可以展现不同小区的上网详情。
注:zebra本意为斑马,命名类似hadoop的方式,好记并无特殊含义!1.1.2.整体项目演示如图所示,按天统计应用大类的某个指标,点击某个大类时能看到这个大类中的各个小类的详情。
统计多个小区对同一个网站的访问情况,单击某个小区时可以查看某个小区的不同时间段内的详情可以通过zookeeper监控整体集群的健康状况。
1.1.3.zebra项目需求分析➢来源数据格式如图所示,运营商基站收集的用户上网日志中一行有很多字段,可能是用户某次短信发送,也可能是用户某次的通话,也可能是http访问或者app内通讯(比如:QQ好友之间聊天)等等。
因为我们只需要分析所有的http访问,所以我们需要得到不同小区的上网详情只需要处理下列字段就可以了。
➢需要分析的列这是我们需要处理的每行数据中的字段,通过对这些数据的处理,我们可以得到不同小区的上网详情数据。
具体来说,就是把一段时间内的同一个小区内访问同一网站、同一个ip的访问累计起来,就可以得到某小区内的某网站的访问详情。
➢业务字典➢需要展现的结果如图所示,需要根据计算,得到不同小区的上网能力,具体包括:应用的欢迎程度、网站表现、小区上网能力和小区上网喜好。
通过点击某个大类下的小类的详情。
1.2.zebra整体分析1.2.1.zebra整体流程如下图所示,用户通过网络设备访问达内才高网站,通过电信运营商的基站被记录成日志的形式,日志数据由运营商收集,并以单位时间形成一个文件的形式存放到本地硬盘上。
通过zebra对数据进行分析处理,将处理后的结果放置到关系型数据库中,通过web图形化的方式展示不同小区的上网详情!1.2.2.zebra整体思路设计➢单机处理方式这种方式会将数据的读取(即从本机的硬盘读取到本机的内存的过程)和运算以及数据持久化都集中在一台机器上。
中国移动通信企业标准中国移动 I D C /I S P 信息安全管理系统接口规范I n t e r f a c e S t a n d a r d o f I n f o r m a t i o n S e c u r i t y M a n a g e m e n t S y s t e m f o r I n t e r n e t D a t a C e n t e r /I n t e r n e t S e r v i c e P r o v i d e r 版本号:0.1.0中国移动通信集团公司 发布QB-╳╳-╳╳╳-╳╳╳╳╳╳╳╳-╳╳-╳╳发布 ╳╳╳╳-╳╳-╳╳实施目录前言 .............................................................................................................................................. I I1 范围 (1)2 规范性引用文件 (1)3 术语、定义和缩略语 (1)4 业务概述 (2)5 系统架构 (2)6 接口流程 (6)6.1 通信方式 (6)6.2管理指令处理流程 (6)6.3查询流程 (7)6.4数据上报、下发流程 (8)7 接口定义方法 (11)7.1idc_command()方法 (11)7.2idc_commandack()方法 (15)7.3file_load方法 (17)7.4SDTP方法 (19)8 数据代码表 (21)8.1登记备案属性代码表 (21)8.2接入方式代码表 (21)8.3单位属性代码表 (21)8.4证件类型代码表 (22)8.5机房性质代码表 (22)8.6代理类型代码表 (22)8.7服务内容代码表 (23)8.8监测规则及过滤规则代码表 (24)8.9违法违规情况表 (24)9 接口要求 (25)9.1控制平台与SMMS接口 (25)9.2控制平台与网站备案管理系统接口 (25)9.3网站备案管理系统与IDC运营管理平台接口 (34)9.4控制平台与省端执行系统接口 (40)9.5控制平台与上网日志留存系统接口 (51)9.6省端执行系统与上网日志留存系统接口 (54)9.7省端执行系统内部接口 (55)10 编制历史 (55)前言本标准规定了中国移动IDC/ISP信息安全管理系统的接口规范,用于指导中国移动IDC/ISP信息安全管理系统建设。
中国移动直放站设备网管接口技术规范1. 引言本文档旨在规范中国移动直放站设备的网管接口技术要求,以确保设备的正常运行和统一管理。
网管接口是直放站设备连接到网络管理系统的关键接口,通过该接口,网络管理系统可以监控、配置和管理直放站设备。
2. 接口功能直放站设备网管接口主要具备以下功能:•物理链路建立与维护:通过该接口与网络管理系统建立物理链路,并保持链路的稳定和可靠性。
•数据通信:支持直放站设备与网络管理系统之间的数据通信,实现监控、配置和管理功能。
•配置管理:通过网管接口,网络管理系统可以下发配置指令到直放站设备,实现参数配置和功能管理。
•告警上报:直放站设备通过网管接口将设备状态、告警信息等上报给网络管理系统,以便及时处理和维护设备。
•远程维护:通过网管接口,网络管理系统可以远程监控和维护直放站设备,提高设备的可用性和运维效率。
3. 接口规范3.1 接口类型直放站设备网管接口采用以太网接口,符合IEEE 802.3标准。
3.2 接口连接直放站设备网管接口与网络管理系统之间的物理连接采用双绞线连接,连接方式为RJ45接口。
3.3 接口速率直放站设备网管接口支持自适应速率,自动识别连接速率,最大支持1000 Mbps。
3.4 接口协议直放站设备网管接口采用标准的TCP/IP协议栈,支持TCP和UDP协议。
3.5 接口安全性为保证接口的安全性,直放站设备网管接口应支持以下安全机制:•访问控制:通过用户名和密码认证,仅有授权的用户可以接入网管接口。
•加密通信:支持SSL/TLS协议,保障数据在传输过程中的安全性。
•防火墙:支持对网管接口的流量进行访问控制和过滤,防止未授权的访问。
4. 接口功能描述4.1 物理链路建立与维护为保证网管接口的稳定运行,直放站设备应具备以下功能:•支持自动协商接口速率和双工模式。
•支持链路状态检测和链路断开告警机制。
•支持链路重连机制,能够自动重新建立连接。
4.2 数据通信直放站设备与网络管理系统之间的数据通信遵循以下规范:•网络管理系统可以发送命令请求到直放站设备,并获取设备的响应信息。
中国移动通信技术标准QB-╳╳-╳╳╳-╳╳╳╳L T E信令与互联网指标规范L T E & I n t e r n e t P e r f o r m a n c e I n d i c a t o r S y s t e mB a s e d o n S i g n a l i n g M o n i t o r i n g版本号:2.3.0╳╳╳╳-╳╳-╳╳发布╳╳╳╳-╳╳-╳╳实施中国移动通信集团公司网络部发布目录1范围 (1)2规范性引用文件 (1)3术语、定义和缩略语 (1)4LTE信令采集指标 (2)4.1基于单接口信令指标 (2)4.2基础承载指标 (2)4.2.1TCP上行重传率 (2)4.2.2TCP下行重传率 (3)4.2.3TCP上行乱序率 (3)4.2.4TCP下行乱序率 (4)4.2.5TCP上行流量 (4)4.2.6TCP下行流量 (5)4.2.7UDP上行流量 (5)4.2.8UDP下行流量 (6)4.3面向业务指标 (6)4.3.1CSFB分析指标 (6)4.3.2V oLTE分析指标 (20)4.3.3面向大类业务分析指标 ........................................................... 错误!未定义书签。
4.3.4面向子类业务分析指标 ........................................................... 错误!未定义书签。
5编制历史 (64)前言本规范对中国移动LTE网络基于信令采集的性能指标进行定义,是部署LTE网络信令软采、硬采平台和应用开发需要遵从的技术文件。
本规范包括两类指标:基于单接口信令指标和面向业务指标。
本标准由中移号文件印发。
本标准由中国移动通信集团公司网络部提出。
本标准起草单位:中国移动通信集团公司网络部、中国移动通信集团江苏公司、中国移动通信集团浙江公司、中国移动通信集团设计院有限公司、中国移动通信有限公司研究院本标准主要起草人:程佳鸣、周泉、赵恒、张斌、方波、徐晶、王砚、王西点、王磊、沈骜、程楠、赵文娟、杨晓、祖国英、孙强、惠敏、赵继洲、黄振宁1范围本规范定义了LTE的信令采集指标,涉及“Uu、X2、S1-MME、S1-U、S11、S6a、SGs、Gn-C、Gm、Mw、Mg、ISC、Sv、Cx、Dx、Sh、Dh、Rx、Gx”接口,供中国移动内部使用;适用于网络质量评估及网络优化工作。
中国移动通信企业标准QB-╳╳-╳╳╳-╳╳╳╳中国移动上网日志留存系统三期规范-L T E采集解析设备规范(软采分册)E q u i p m e n t S p e c i f i c a t i o n f o r C h i n a M o b i l eN e t l o g S y s t e m(S i g n a l C o l l e c t i o n f o r L T E P a r t)版本号:1.0.0╳╳╳╳-╳╳-╳╳发布╳╳╳╳-╳╳-╳╳实施中国移动通信集团公司发布目录1 范围 (1)2 规范性引用文件 (1)3 术语、定义和缩略语 (1)3.1 术语、定义 (2)3.2 缩略语 (2)4 设备在网络中的位置 (3)5 功能要求 (3)5.1 采集设备接入、输出要求 (3)5.2 采集解析功能要求 (4)5.3 数据采集解析设备 (4)5.4 数据处理功能要求 (4)5.5 数据存储功能要求 (4)5.6 数据输出功能 (5)6 性能指标和可靠性要求 (5)6.1 可靠性 (5)6.2 安全性 (6)6.3 性能要求 (6)6.4 完整性和准确性要求 (7)6.5 时延要求 (7)6.6 软件要求 (7)6.7 硬件要求 (8)6.8 可扩展要求 (8)6.9 部署要求 (8)6.10 处理容量要求 (8)6.11 容灾能力要求 (8)7 接口要求 (9)7.1 设备输入接口 (9)7.2 设备输出接口 (10)8 时间同步要求 (10)9 网管要求 (11)9.1 配置管理 (11)9.2 查询设备信息 (12)9.3 查询设备状态 (13)9.3.1 设备负荷 (14)9.4 设备状态管理 (14)9.4.1 故障管理 (14)9.4.2 心跳信号 (15)9.5 性能管理 (15)9.6 安全管理 (15)10 操作维护要求 (16)10.1 可管理性 (16)10.2 可维护性 (16)11 网络安全要求 (16)12 编制历史 (17)附件一业务分类 (17)前言本标准对中国移动上网日志留存系统三期中的数据采集层设备提出要求,是中国移动上网日志留存系统建设需要遵从的技术文件。
网络治“堵”之道:大唐移动DPI解决方案从堵车说起堵车,现已成为全国各大城市的交通顽疾。
以北京为例,机动车保有量的直线上升,在上下班高峰时段,数量惊人的“车流”涌上各条街道,交通主干道瞬间水泄不通。
同时,由于交通指示系统设计的合理性与有效性欠佳,对机动车车流的引导不能及时有效。
导致2010年9月17号北京145条道路塞车!10月11号再次严重塞车!首都因此被冠以“首堵”的称号!堵车成为萦绕在北京居民生活中的一大难题,从社会的角度来说,造成了资源的极大浪费。
图1:这场景你是否似曾相识?“治堵妙招”——大唐移动DPI解决方案伴随信息量的爆炸式增长,交通堵塞的顽疾开始在的网络中显现。
近年来,网络新业务层出不穷,有对等网络(Peer-to-Peer,简称P2P)、VoIP、流媒体、Web TV、音视频聊天、互动在线游戏和虚拟现实等。
这些新业务的普及为运营商吸纳了大量的客户资源,同时也对网络的底层流量模型和上层应用模式产生了很大的冲击,带来带宽管理、内容计费、信息安全、舆论管控等一系列新的问题。
尤其是P2P、VoIP、流媒体等业务,由于当前P2P业务的流量已占互联网数据流量的50%-70%,如果再加上流媒体等业务,新业务的数据流量已是相当巨大,这打破了以往“高带宽、低负载”的IP网络QoS提供模式,在很大程度上加重了网络拥塞,引起了网络信息交通堵塞,降低了网络性能,劣化了网络服务质量,妨碍了正常的网络业务的开展和关键应用的普及。
同时,P2P的广泛使用也给网络的信息安全监测管理带来了极大的挑战。
由于P2P流量的带宽吞噬特性,简单的网络升级扩容无法满足运营商数据流量增长需要,加上网络设备缺乏有效的技术监管手段,不能实现对P2P/WEB TV等新兴业务的感知和识别,导致网络运营商对网络的运行情况无法有效管理。
图2:网络“堵车”传统的网络运维管理,往往通过设备网管实现对网元级的管理,后来发展至网络级管理,可以对上层的简单应用进行管控,而这些应用级管控技术大多采用简单网络管理协议SNMP或者基于端口的流量识别进行分析和管理。
{售后服务}中国移动统设备技术规范信令采集解析服务器接QB-╳╳-╳╳╳-╳╳╳╳版本号:2.0.9目录1范围22规范性引用文件23术语、定义和缩略语34接口在网络中的位置45LTE接口XDR数据构成方式55.1.XDR编号与上报要求56Uu接口XDR数据结构56.1.公共信息56.2.Uu接口信息66.3.Uu接口Keyword1字段定义96.4.Uu接口事件流程开始/结束标识97X2接口XDR数据结构107.1.公共信息107.2.X2接口信息107.3.X2接口事件流程开始/结束标识128UE_MRXDR数据结构138.1.公共信息139Cell_MRXDR数据结构159.1.公共信息159.2.Cell_MR信息1510S1-MME接口XDR数据结构1610.1.公共信息1610.2.S1-MME接口信息1610.3.S1-MME接口Keyword1字段定义2110.4.S1-MME接口Keyword2字段定义2210.5.S1-MME接口事件流程开始/结束标识22 11S1-U接口XDR数据结构2212S6a接口XDR数据结构2312.1.公共信息2312.2.S6a接口信息2313S10、S11接口XDR数据结构2413.1.公共信息2413.2.S10、S11接口信息2414S5/S8-C接口XDR数据结构2714.1.公共信息2714.2.S5/S8-C接口信息2715SGs接口XDR数据结构2915.1.公共信息2916Gn-C接口XDR数据结构3116.1.公共信息3116.2.Gn-C接口信息3117基于XDR的原始码流上报3317.1.原始码流上报功能3317.2.基于XDR上报原始码流的格式3317.3.按帧封装的原始码流要求34 17.3.1.通用包头格式3417.3.2.专用包头格式3517.3.3.原始数据3518接口协议3518.1.SDTP协议概述3518.2.消息类型3618.3.消息结构3618.4.连接管理流程3718.5.连接管理消息3918.5.1.版本协商verNego3918.5.1.1.请求3918.5.1.2.应答3918.5.2.链路认证linkAuth3918.5.2.1.请求3918.5.2.2.应答4018.5.3.链路检测linkCheck4018.5.3.1.请求4018.5.3.2.应答4018.5.4.链路数据发送校验linkDataCheck4018.5.4.1.请求4118.5.4.2.应答4118.5.5.链路释放linkRel4118.5.5.1.请求4118.5.5.2.应答4218.6.数据传输消息4218.6.1.XDR数据传输notifyXDRData4218.6.1.1.请求4218.6.1.2.应答4218.6.2.XDR对应原始码流传输XDRRawDataSend42 18.6.2.1.请求4218.6.2.2.应答4319编制历史43附录A:Uu/X2接口XDR事件流程和关键信令点44 附录B:S1-MME接口XDR事件流程和关键信令点44前言本规范对中国移动网内使用的深度包检测(DPI)设备的功能和性能提出要求,是部署统一DPI设备需要遵从的技术文件。
中国移动通信企业标准
QB-╳╳-╳╳╳-╳╳╳╳
中国移动数据流量D P I识别能
力规范
版本号:2.6.0
╳╳╳╳-╳╳-╳╳发布╳╳╳╳-╳╳-╳╳实施中国移动通信集团公司发布
目录
前言2
1.DPI设备业务识别能力要求 (1)
1.1业务大类分类要求 (1)
1.2子业务识别能力要求 (1)
1.3业务行为精细化识别能力要求 (1)
2.DPI设备协议识别能力要求 (1)
3.DPI设备识别规则要求 (1)
4.DPI设备识别准确性要求 (1)
附录A数据流量业务大类分类 (2)
附录B DPI设备子业务识别能力要求 (3)
附录C DPI设备业务行为精细化识别能力要求 (3)
附录D DPI设备协议识别能力要求 (21)
前言
本规范对DPI设备业务和协议识别能力及分类方法提出要求,是中国移动核心网Gn接口DPI设备需要遵从的技术文件。
1.DPI设备业务识别能力要求
1.1业务大类分类要求
DPI设备识别数据流量业务大类分类应遵循附件A所示分类框架。
1.2子业务识别能力要求
DPI设备应遵循附录B所示的子业务分类和识别能力要求。
DPI设备对子业务的识别和归类应遵循精确性原则,保证匹配到的子业务最贴合流量特征,并保证同一数据流仅识别为一个子业务。
对于客户端或网站产生的外链流量,如无法区分其来源,则这部分流量不算在该业务产生的流量之中。
1.3业务行为精细化识别能力要求
对于重点热点业务,DPI设备应能在基础流量识别的基础上,实现对业务内部细分功能和行为产生流量的精细化识别。
现阶段DPI设备精细化识别能力要求参见附录C。
2.DPI设备协议识别能力要求
DPI设备应遵循附录D所示的协议识别能力要求。
DPI设备应能根据端口号和报文格式识别协议,具体可参考相应的国际标准。
3.DPI设备识别规则要求
DPI设备根据自有识别规则库进行业务识别,同时也应支持指定的统一识别规则库。
自由识别规则库应确保提供不逊于指定的统一识别规则库的识别准确性和识别范围。
设备应能够在上述两类识别规则库之间进行切换。
4.DPI设备识别准确性要求
DPI设备对上述具体业务、行为和协议的相关指标的识别结果需在一定的误差范围内。
当采用指定的统一识别规则库时,要求DPI设备识别出的上、下行流
量指标结果与真实值相比偏差小于±1%;其他情况下要求DPI设备识别出的上、下行流量指标结果与真实值相比偏差小于±5%。
DPI设备对业务流量的统计维度应与现网计费系统保持一致,通常为用户实际发送和接收的报文的三层及以上部分。
DPI设备应能通过系统升级、知识库更新等方式保证其具备最新的识别能力,设备对自身识别能力的升级和更新不应改变设备软硬件大版本号,且应在线实时完成而无需中断业务。
当新业务、行为出现或目标跟踪业务出现新版本时,DPI设备应能在1周之内具备新业务或新版本的识别能力。
附录A 数据流量业务大类分类
附录B DPI设备子业务识别能力要求
附录C DPI设备业务行为精细化识别能力要求
附录D DPI设备协议识别能力要求。