《2013 信息通信网技术业务发展研讨会》论文集数据可视化技术于网络优化的研究与应用范 楠 王 登 潘海滨 李海东 陈 光 宫 亭 张 帆中国移动北京公司网络优化中心 100007【摘要】数据可视化技术作为大数据中重要的一环，可以从大量数据 中获取知识，提高洞察力进而产生价值。
本文通过阐述数据可视化技 术在网络优化工作中的研究、方案和实际应用案例，论证其可行性和 实施意义，令网络优化工作轻松感受到“数据之美” 。
【关键词】大数据 数据可视化 网络优化一、引言随着大数据时代的来临，分布式处理、数据挖掘、流计算技术逐步成熟和普及， 大数据的理念逐渐由移动互联网、应用型企业向运营商等传统企业延展。
大数据简单 来讲，就是通过强大且廉价的云计算能力和存储能力，利用广义的数据挖掘技术，将 数据价值最大化，其有三个特点：数据量巨大，数据种类繁多，实时性要求高。
图 1 大数据演进作为拥有数亿用户海量信息和行为模式的通信运营商，具备天然的优势，已经不 再满足于仅仅对数据进行管理，而希望能对数据进行有效的分析，从大量数据中获取·593·《2013 信息通信网技术业务发展研讨会》论文集知识提高洞察力。
网络是通信企业的生命线，网络质量的呵护、用户感知的提升都与 网络优化工作息息相关。
伴随着 3G、4G 和 WLAN 网络的建设和数据业务的快速发展， 四网协同优化和流量经营乃是迫在眉睫。
面对着这几张庞大的网络，以及数千万用户 每天产生的上亿条信令、数千万话单、数百万话务统计，网络优化工程师常常迷失在 数据的海洋中，用 “数据海量、知识贫瘠”基本可以概括。
工程师们同时面临着数据 整合展现能力弱、分析工具欠缺、工具能力受限等问题。
而作为大数据分析中重要的一类技术，数据可视化（Data Visualization）是直观展 示和表达数据的工具，经常用以阐述事物重点特征和潜在关联。
这项技术其实数年甚 至数十年前就开始在各类分析中扮演必不可少的角色，一直发展得不温不火，但是近 年来随着大数据格局清晰化而高速发展，各种前沿技术层出不穷。
其对于网络优化涉 及的维护、监控、优化分析等工作都有积极的推动作用。
二、技术方案目前网络优化数据主体仍然是包括数据库、文件等标准接口在内的结构化数据， 针对这些数据我们使用 ETL 过程进行加载。
而针对海量数据和非结构化数据，我们使 用大数据方式加载入分布式存储中，然后使用各类引擎和前端可视化工具进行分析和 展现。
同时通过外部系统接口进行数据的分享和流转。
（一）实现方案图 2 数据可视化技术方案图 2 技术架构中包含了诸多分层、引擎和可视化工具。
以下对其中主要分层和工·594·《2013 信息通信网技术业务发展研讨会》论文集具的技术特点简介如下： 1、数据层和服务层 数据层涉及的配置灵活性和数据质量可控性与前端可视化体验密不可分，采集模 块和多维数据集模型均使用图形化设计界面，无需编写代码，通过拖拽和配置向导， 可快速全功能支持各类数据自动采集和各种维度度量配置。
服务层的技术核心在于配置化和流程化。
针对数据层共享、开放出来的数据，服 务层负责实现业务分析逻辑、流程和规则配置以及单点搜索等服务。
服务层提供的接 口不限于 Web Service、WCF、Json 等，实现方式如 WPF、Workflow 等，使用常规编程 语言 Java、.Net 均可。
2、呈现层 呈现层包括 5 大类可视化工具，其特点如下。
传统分析工具，以微软公司 Office 系列产品最为典型。
其内置的统计分析和可视 化功能能够满足基本需求，但对于稍大型数据量支持欠佳。
近来传统厂商也在可视化 方面投入了巨大成本，如 Excel 2013 新增的 PowerView 功能大大增强了自助分析能力。
通用可视化工具，包括单机和在线等多种开源或商业软件，如近来较为流行的 TableAu、Spotfire 等产品。
其能够连接各种类型数据库和数据仓库，通过拖拽方式，几 分钟就能生成意义明确的图表、泡泡图、仪表盘和报告。
其特点是速度极快，通过特 色的数据引擎，支持反复切换透视直到找到有助于分析的组合。
通过在网络优化的实 际应用发现，此类工具确实比较容易掌握。
其在线版本需要评估其安全性酌情使用。
综合呈现工具， 主要包括各类门户软件和综合仪表盘类呈现， 如微软公司 Sharepoint 产品。
其在各类商业智能平台中较为多见，将各类图表包括折线图、直方图、饼图、 表格、仪表、时间轴等可视化元素综合在一起，以支持关联和钻取的方式提供呈现， 大可把握全局，小可查看细节。
数据挖掘工具， 以 IBM 公司 SPSS 系列产品最为典型。
这些工具内置了强大的运算、 统计和数据挖掘能力，也能够针对海量数据进行可视化。
但入门难度较高，往往需要 专业的统计学背景知识。
专题可视化工具，包括社交分析、专业 GIS、可视化编程等多种专题分析和展现工 具，主要针对特定的分析专题酌情使用。
形式多种多样，下文有部分阐述。
·595·《2013 信息通信网技术业务发展研讨会》论文集以上工具各有侧重，往往要按需组合发挥其最大价值。
（二）典型可视化案例 以下列举数据可视化技术在网络优化工作中若干应用，其中包含多项专题分析。
这些案例和分析方法在网优工作中已广泛使用，其中一些为网优中心自主研发，另一 些借助了业内开源和商业软件。
无法逐一罗列，还有更多创新性思路期待共同研究。
1、通用可视化 新颖的轻量级可视化工具可支持以类似多维分析操作方式，轻松、方便的进行数 据可视化、规律分析和数据挖掘，以图形、数字、线条粗细或文本的大小表示不同信 息进而挖掘数据的价值。
图 3 通用可视化软件界面图 3 为使用可视化软件连接到各类数据源后，左侧列出各种维度和度量（亦支持 计算） ，右侧为行、列、筛选等区域。
通过将维度和度量拖拽到对应区域或颜色、形状、 大小等属性区域，并选择对应可视化展现方式（一般至少包括折线、直方、饼图、表 格等） ，可快速获取可视化结果。
并支持钻取、跳转、明细查询以随时调整和优化分析 思路。
2、综合仪表盘 可视化展现中，综合仪表盘是一个乍看简单，实际上非常有意义的功能，它能以 图形代替数字，以操作代替统计。
统计中有很多指标并不常用，例如图 4 中 Iu 口拥塞 率为 2%，大家并不清楚高低，而可视化可根据指导标准，通过颜色、箭头、色域、形·596·《2013 信息通信网技术业务发展研讨会》论文集状这种直观的方式进行呈现，可以很容易的看出指标的当前状态和变化趋势，为优化 提供更好的决策支撑。
图 4 综合仪表盘3、数据挖掘 通过特定类型的图表，可以将数据挖掘晦涩难懂的结论以直观的方式展现，比如 关系图就能直观反映事物间的关联关系。
图 5 中反映了各类业务发生的相关性，常用 于购物篮分析模型，可以看出 A 业务用户同时使用 B 业务的概率较大相关性强，而 B 业务用户中会有很大比例使用 C 业务等规律，并有明细数据支撑。
图 5 数据业务相关性图4、专题可视化 针对不同分析命题，需要各种可视化专题进行支撑，此处列举一些常用分析。
·597·《2013 信息通信网技术业务发展研讨会》论文集1）分解树以树状结构展现事物的从属关系并以顺序反映其比重。
图 6 中各类数据业 务在全网及各时间段中流量占的比重和位置， 可以流量或者其他指定度量进行倒序排列并 标识其占比，在实际的分析工具中可钻取任意单项到任意维度，分析思路十分灵活。
图 6 业务分解树2）树形图每个节点可以有零个或多个子节点，每个节点都显示为一个矩形，大小 和着色根据指定的值。
尺寸和颜色的值相对于图中的所有其他节点，可以指定同时显 示多少个级别，并选择性地显示更深层次的方式。
图 7 用尺寸和颜色反映出各手机品 牌下具体型号的用户数和户均流量，可以一目了然发现明星机、落伍终端等。
图 7 终端品牌型号分析树形图3）传统的标签云一般反映用于反映关键字的潮流热度，这种方式近来用于对传统 图表难以展现的大量数据进行展现。
标签云的颜色、大小甚至字体都可用于体现不同 度量。
图 8 以颜色代表终端品牌的户均流量或流量增幅，而大小代表存量或增量用户 数，对于当前网络终端情况可以快速概览。
·598·《2013 信息通信网技术业务发展研讨会》论文集图 8 终端品牌标签云4）常规的 Mapinfo、Arcgis 等工具有较多应用，此处不再列举。
近年来有多种软件 支持 3D 方式的地图展现以及播放型分析，图 9 中以热图和 3D 柱状图的方式对流量增 幅较大的区域进行可视化动态呈现，能够一目了然的获取数据业务热点和价值洼地。
图 9 流量增幅 3D 分析5） 数据链接图使用可视化工具设计出监控或管理的视图， 并将各元素与数据源 （包 括 Excel 文件、关系数据库、多维数据源、门户列表等）相连接，根据自定义设置的条 件添加颜色、图标、符号或者数据条，可以单击查看也可发布至平台在 Web 界面实时 自动或手动刷新查看图表和相关数据。
图 10 将员工优化工作信息的数据库连接至图表， 将其处理的网元数量、工单、告警数量和工作进度一并在展现在 Web 界面上，并可以 随时手工刷新或自动刷新。
让管理层对员工工作一目了然有效控制。
原有的管理方式 无法量化和及时更新，新颖的可视化方式员工进行绩效管理和合理的督促激励机制用 于管理工作十分有益。
·599·《2013 信息通信网技术业务发展研讨会》论文集图 10 优化工作进度三、效果评估此方案为网络优化大数据分析工作提供了完备的可视化分析能力，已应用在包括 春运期间用户行为分析、数据业务特征分析、终端分析等大量案例中，为提升工作深 度、效率做出了很大贡献。
可视化技术十分适合于流量经营、四网协同分析等新颖和 前沿分析项目，且适合于各类大数据量的分析和数据挖掘。
这些工具推广应用以来， 得到了专业人员的广泛应用和一线优化人员广泛认同、支持，大幅降低了分析门槛， 直观展现洞察。
通过数据可视化技术的应用，数据分析效率大幅提升，整体需求完成时长缩短了 30%以上，一般数据展现需求无需依赖第三方软件厂商，网优工程师能够自助完成。
以 数据业务相关性分析为例，使用先进可视化分析工具仅用了两周的分析时间和极少的 人力投入，远远优于传统与咨询公司立项合作分析方式，单此一项至少能节省数十万 投资。
四、小结通过数据可视化技术在网络优化工作的落地应用，能够帮助网络优化工程师精确·600·《2013 信息通信网技术业务发展研讨会》论文集监控和预警网络质量、洞察用户感知、挖掘用户行为和业务相关性、制定优化策略， 大力推动四网协同优化和流量经营的大数据分析水平，进而提升整体信息化技术水平， 实现数据全息可视以支撑决策。
