中国电信2015年移动互联网业务感知质量评价细则
（试行稿）
1综述
随着4G移动互联网络的快速发展，移动互联网络的业务指标评价体系也将成为网络运营的重要环节。集团公司根据对移动互联网络主要业务的特点，建立了移动互联网业务感知的评价体系，通过移动互联网业务感知测试APP(以下简称测试APP)从用户终端侧采集业务感知相关信息，统一上传到集团服务器，由集团公司做统一的分析和评价。
2集团和省公司分工
集团主要负责根据测试APP采集到的数据进行分析和评估，包括：
1)负责评价工作的整体组织和实施工作；
2)完成评价实施细则的制定；
3)按照评价细则对各省市的移动互联网业务感知质量进行评价；
4)按照评价细则，每月筛选出各省市的质差区域，并将质差区域
列表下发各省市；
省公司主要负责的内容包括：
1)负责测试APP的部署和推广安装工作，提升测试APP到达率；
2)针对集团提供的省内质差区域列表，进行详细分析、排查和优
化，减少质差区域数量，提升业务感知质量。
3移动互联网业务感知评价指标
2015年集团公司将对在3/4G网络下使用的网页浏览类业务、视频业务两类业务三个KQI指标进行评价。三个KQI指标分别为网页首包时延、页面打开时延和视频下载速率，各KQI指标详细定义如下：
3.1网页浏览类业务KQI指标
3.1.1网页首包时延
●指标定义
用户发起浏览请求到收到目标服务器响应第一个http 200 ok报文之间所经历的时长，单位为ms。
●计算公式
网页首包时延=终端收到目标服务器响应的第一个http 200 ok时间点-终端向网页发起连接请求的时间点。
3.1.2页面打开时延
●指标定义
用户发起浏览请求到终端向服务器端发送[FIN.ACk]消息之间所经历的时长，单位为ms。页面打开时延反映了用户从访问开始到首页下载完成需要的时间。
补充说明：该指标的结束时间点并不是所有网元资源下载及浏览器加载并渲染完成的时间点。
●计算公式
页面打开时延=终端向服务器端发送[FIN.ACk]消息的时间点-终端向网页发起连接请求的时间点。
3.2视频类业务KQI指标：视频下载速率
指标定义
用户发起视频播放请求后的10s内，每500ms记录一次该阶段的下载速率，并统计出整个阶段的视频下载的平均速率作为视频下载速率指标，单位为kbps。
计算公式
视频下载速率=发起视频播放请求后的10s内的下载流量/10s。
请求的视频文件大小大约在10M左右。对于网络状况较好的情况下，如果不到10s就已经下载完成，应只统计下载期间的速率。4指标获取方式
通过安装在用户移动终端上的测试APP对移动互联网网页浏览类业务和视频类业务的感知数据进行采集，集采的结果直接上传到集团集中的服务器，由集团统计分析系统进行统一的分析和展示。
1）测试APP工作模式：
（1）业务测试模式：由用户在终端上手动发起测试，测试结果上传集团服务器。
（2）业务监测模式：用户无需单独发起测试，由测试APP对用户终端访问网页浏览和视频业务质量进行自动监测，
并将监测结果上传集团服务器。
2）测试APP的版本：
（1）公众版：测试结果按照集团格式要求统一上传到集团的业务感知分析系统。
（2）专业版：对公众版测试APP输入授权码升级为专业版，具备业务感知KQI指标测试及诊断测试能力。
（3）插件版：将监测功能内置到其他测试APP（例如欢go、流量800、省公司自有APP等）中，具备业务感知KQI
指标采集能力。
3）测试终端部署范围：应涵盖省内所有地市
5业务评价方式
5.1移动互联网业务感知质量优良率
●指标定义
移动互联网业务感知质量优良率（以下简称优良率）用于衡量被评价区域内用户使用网页浏览和视频业务时业务感知质量达到优秀和良好的整体比例。
●计算方法
以月为统计时间周期，以载扇为颗粒额度，先计算出每个载扇网页浏览业务、视频业务的优良率，加权计算出该载扇的优良率，最后再将所有载扇的优良率做算术平均得到总的优良率。
设：各省总的优良率为K，首包时延优良率为K1，网页打开时延优良率K2，视频下载速率优良率为K3，网页浏览业务优良率为Kw，视频业务优良率为Kv，测试优良次数为M，发起测试总次数为N。（M1和N1表示首包时延优良次数和首包时延总测试次数，同理M2、M3、N2和N3）载扇i（i=1、2、…s）用c_i表示，作为指标的下标使用，如：N1c_i表示载扇c_i发起网页测试的次数，M1c_i表
示载扇c_i 网页首包时延优良的次数，K1c_i 表示载扇c_i 下的网页首包时延优良率，N2c_i 、M2c_i 、K2c_i 、N3c_i 、M3c_i 、K3c_i 表示的意思以此类推。省内采集到发起测试的载扇数目设为s ，网页首包时延采集到载扇总数为s1，网页打开时延采集到载扇总数为s2（由于网页首包时延和网优打开时延是在同一次测试中采集的，所以s1=s2），视频下载速率采集到载扇总数为s3。(为排除偶然因素的影响，统计周期内，测试样本数小于等于2次时的载扇不参与对应KQI 指标优良率的计算)
1) 计算本月各载扇内三个KQI 指标的优良率计算公式为:
___11*100%1c i c i c i
M K N =
___22*100%2c i c i c i M K N =
___33*100%3c i c i c i
M K N =
2) 计算本月各载扇内网页浏览业务质量优良率Kw 及视频业务
的质量优良率Kv ： Kw c_i =0.6*K1c_i +0.4*K2c_i Kv c_i =K3c_i
3) 分别对网页浏览业务和视频业务统计本月本省内所有扇区优
良率的平均值，公式为：1
_1
1
s c i
i Kw
Kw s ==
∑，3
_1
3
s c i
i Kv
Kv s ==
∑
4) 按照一定的权重对两类业务的优良率进行加权，计算本月省内
总的质量优良率，公式为：0.7*0.3*K Kw Kv =+
其中网页浏览及视频业务对应权重暂定按照70%和30%来统计计算。
通过以上四步，可以计算出各省/区/市移动互联网业务感知质量优良率。
● 计分方法
该指标达到基准值(80%)时得20分，每低于基准值1个百分点扣1分，最多扣10分;每高于基准值(80%)1个百分点加0.5分，最多加5分。
5.2 测试APP 到达率
● 指标定义
以季度为参考时间单位，计算本季度内使用测试APP 的用户数量占到所有含有数据套餐的出账用户的比例。
● 计算方法
设：测试APP 数量到达率为L ，本季度内使用测试APP 的用户数为X ，本季度内含有数据套餐的出账用户数为Y ，则计算公式为：
*100%X
L Y
数据源说明：
1) 使用测试APP 的用户数：从集团公司移动互联网业务感知测
试APP 统计分析系统中以测试APP 所采集的终端IMEI 值为单位，统计出使用测试APP 的用户数；
2) 含有数据套餐的出账用户：每季度从集团市场部提取。 ● 计分方法
测试APP数量到达率，基准门限为3‰，基准分为1分；低于3‰时，每低于基准限万分之一则在基准分的基础上减0.04分，最低得0分；达到6‰时得1.1分；达到9‰时，得1.2分；达到12‰时，得1.3分。
5.3质差区域解决率
业务感知指标评价的目的是为了发现质差，指导各省持续开展优化网络，提升体用体验。故定义质差解决率指标，作为各省公司网络优化质差解决的评价指标。
指标定义
质差解决率为当前月解决上月质差区域的数量与上月质差区域总数量的比例。
质差区域以载扇为单位进行统计，一个载扇算作一个区域。按照如下过程计算质差解决率。
1）筛选出质差区域
设：首包时延质差率为Q1，页面打开时延质差率为Q2，视频下载速率质差率为Q3，网页浏览业务质差率Qw，视频业务质差率为Qv，测试为质差次数为P，发起测试总次数为N。（P1和N1表示首包时延质差次数和首包时延总测试次数，同理P2、P3、N2和N3）。载扇i（i=1、2、…）用c_i表示，作为指标的下标使用，如：Q1c_i 表示载扇c_i下的首包时延质差率，同理对P1c_i和N1c_i，s_i表示载扇c_i为质差区域，S表示质差区域的集合即S={s_i,s_j,s_k,…}(为排除偶然因素的影响，统计周期内，测试样本数小于等于2次时的载扇
不参与对应KQI 指标优良率的计算)
则三个KQI 指标质差率计算公式为：
%100*111___i c i c i c N P Q =
，%100*122___i c i c i c N P Q =和%100*122___i
c i
c i c N P Q =； 针对网页浏览业务和视频业务分别计算该载扇对应的质差率：
Qw c_i =0.6*Q1c_i +0.4*Q2c_i Qv c_i =Q3c_i
针对网页浏览业务和视频下载业务分别筛选质差区域： 当Qw c_i >20%时，则c_i 载扇对应的区域即为网页浏览业务质差区域；同理，当Qv c_i >20%时，则c_i 载扇对应的区域即为视频业务质差区域。
2）计算出质差区域解决率
令S t 表示本月质差区域的集合，|S t |为本月质差区域的个数，S t+1
表示下月质差区域的集合，则S t ∩S t+1表示本月和下月都是质差区域的集合，那么质差解决率Q 为：
1(||||)
*100%||
t t t t S S S Q S +-=
该公式表示，质差解决率等于本月质差区域在下月得到解决的个数比上本月质差区域的个数的比例。
计分方法
质差区域解决率，基本门限为85%，基准得分为1分；低于85%时，每降低一个百分点，降低0.03分，最低得0分；达到90%时，得1.1分；达到95%时，得1.2分。
6评价时段选取
6.1质量优良率评价时段
2015年移动互联网业务感知质量优良率评价时段为2015年11月及12月，按月评价，共评价两次。
6.2测试APP到达率评价时段
2015年移动互联网业务感知测试APP到达率评价时段为2015年第4季度，以2015年12月底的数据作为评价依据。
6.3质差区域解决率评价时段
2015年移动互联网业务感知质差区域解决率评价时段为2015年12月。集团公司会在2015年11月底或者12初向各省下发11月份质差区域列表信息，各省公司在12月份以此列表为基础开展优化整治，集团公司在12月底会再次筛选出12月份的质差列表，根据5.3章节的计算步骤计算出12月份的质差区域解决率。
3月21日修订
优良率统计算法（下述公式中如果某业务项没有值则按照0计算，3G、4G浏览首包时延的劣质门限分别定为900ms和500ms,其他门限保持不变）
1.以小区为单位，区分3G小区和4G小区，根据劣质门限分别统计小区的首包时延优良率、页面打开时延优良率、视频下载速率优良率，计算公式为
单小区首包时延优良率=首包时延优良样本数/首包时延总样本数
单小区页面打开时延优良率=页面打开时延优良样本数/页面打开时延总样本数
单小区视频下载速率优良率=视频下载速率优良样本数/视频下载速率总样本数
2.有效小区定义：
浏览业务：测试样本大于等于16
视频业务：测试样本大于等于6
3.根据上述3个指标优良率率分别计算单小区的3G或者4G业务优良率：
3G单小区浏览类业务优良率=0.3*3G首包时延优良率+0.7*3G页面打开时延优良率、
3G单小区视频业务优良率=3G视频下载速率优良率
4G单小区浏览类业务优良率=0.3*4G首包时延优良率+0.7*4G页面打开时延优良率、
4G单小区视频业务优良率=4G视频下载速率优良率
4.根据业务优良率计算全省业务优良率（3G浏览业务优良率、3G视频业务优良率、4G浏览业务优良率、4G视频业务优良率），计算公式为：
全省3G浏览业务优良率=各3G有效小区浏览业务优良率之和/发生浏览业务的3G有效小区数之和
全省3G视频业务优良率=各3G有效小区视频业务优良率之和/发生视频业务的3G有效小区数之和
全省4G浏览业务优良率=各4G有效小区浏览业务优良率之和/发生浏览业务的4G有效小区数之和
全省4G视频业务优良率=各4G有效小区视频业务优良率之和/发生视频业务的4G有效小区数之和
5.计算本月本省3G综合优良率和4G综合优良率，计算公式为：
3G综合优良率=0.6*全省3G浏览业务优良率+0.4*全省3G视频业务优良率
4G综合优良率=0.6*全省4G浏览业务优良率+0.4*全省4G视频业务优良率
6.计算本月本省总的优良率，计算公式为：
省总优良率=0.7*4G综合优良率+0.3*3G综合优良率
7.输出统计报表，报表字段为：
省、总优良率、3G综合优良率、4G综合优良率、3G浏览业务优良率、3G视频业务优良率、4G浏览业务优良率、4G视频业务优良率
样本数据剔除规则：（下述公式中如果某项没有值则按照0计算）
1.没有小区信息的测试样本，包括浏览业务和视频业务，剔除不参与计算
2.测试状态为失败的浏览业务测试样本剔除，不参与计算；首包或者页面打开时延为空的，不删除，由于无法判断，直接判断为优良点；
3.峰值速率为0或平均速率为0的视频业务测试样本剔除，不参与计算
4.1X和电信WALN的数据剔除，不参与计算
5.如果一条数据存在重复（重复指的是同一个IMEI号，同一时间，指标相同的数据），数据剔除重复的数据，保留一条，不参与计算
6.小区参数不全的剔除（仅针对小区参数，其他参数不关注），不参与统计，TAC-ENBID-CI/SID-NID-BID，参与计算的小区信息只需要满足这三个数参数的值都为大于等于0的时候计为有效小区
7.4G样本中TAC大于65535的测试样本剔除，不参与计算
8.视频业务中总流量3G低于0.3MB，4G低于1.5MB的样本不参与计算
9.视频类的腾讯视频的所有样本不参与计算；
附录A：两类业务三个KQI指标在3/4G网络下优劣门限表
备注：
1、优于优秀门限判定为优秀，优秀比率仅作参考，不作为评
价用。
2、优于劣质门限判定为优良，优良比率用于评价质量优良率。
3、差于劣质门限判定为质差，质差比率用于质差区域的筛选。附录B：质差区域劣质比例判定门限
以载扇为单位，按照网页浏览及视频业务分别筛选质差区域，当质差比率大于20%时，该载扇所在区域判定为质差区域。
附录C：业务感知质量测评目标网站
网页浏览类业务评价目标网站暂定如下：（集团公司会根据业务发展情况对目标网站做更新）
视频类业务评标目标网站暂定如下：（集团公司会根据业务发展情况对目标网站做更新）
附录D：页面打开时延计算图示
终端用户使用浏览业务的基本过程为：
1.用户点击访问某个网页
2.如终端未分配空口资源，需要终端与基站之间建立空口连接
3. 如终端未缓存DNS 信息，进行DNS 查询，查询完成后，发起TCP 建立请求
4. 终端操作系统与服务器建立完成TCP 三次握手后，终端发送第一个Get 请求
报文
5. 服务器响应Get 请求报文，向终端下发第一个页面的数据，第一个页面的下
载会包含多个数据报文的下发，第一个报文的格式可能是压缩的。 6. 某些服务器会进行重定向操作。
基本流程图如下：
Smart Phone
WEB Server
DNS
D S 延
eNodeB
空延（一）首包时延：终端接收到第一个Http/1.1 200 OK 报文响应的时间值- 终端发起访问请求时间。
（二）页面打开时延：终端发送FIN ，ACK 的时间值- 终端发起访问请求的时间。
附录E：集团联系人
姜松
电话：010-******** 133********
邮件:jiangsong@https://www.doczj.com/doc/0c786022.html,