基于TMF规范的主机资源分配工具的设计实现
- 格式：pdf
- 大小：2.37 MB
- 文档页数：4
doi: 10.3969/j.issn. 1000-1247.2019.05.016
基于TMF规范的主机资源分酉己工具的设计实现牛军任仲涛蔡丰龙中国联合网络通信有限公司软件研究院
n 通过使用人工智能技术，并参考TMF关于资源管理域的设计规范，结合系统的现状，针对云平台资源分配不 合理、利用率不高的问题，设计并实现一个基于TMF规范的资源分配工具。该工具将人工智能技术应用到实 际生产工作中，将AI算法与资源分配需求相结合，解决了云平台资源分配不合理的问题，减少了冗余资源，
提高了平台实际资源利用率，为平台上的租户合理地分配资源
。
| TMF TAM人工智能资源分配
□ TMF理论研究
1.1 TAM框架
TAM(应用程序框架)提供了一个通用的应用架构参考. 注重应用，用来描述通信服务提供商生态系统的种种复杂系 统，建立了业务流程框架和信息框架，为实际可部署的潜在可
用应用程序提供了桥梁。
TAM包含横向
7个域(市场域
、产品
域、客户域、服务域、资源管理域、合作伙伴域、企业域)和 纵向5个过程(战略、运营支撑、开通、保障、计费)，纵向过
程组是从企业经营过程中所需职能或过程的维度来阐述的；横
向域是从企业经营过程所涉及的角色或要素的角度来阐述的。 通过纵横两个维度交叉定义电信行业应该具备的功®和系统。
1.2 TAM框架中的资源管理域
TAM框架对电信运营商在资源管理上的问题提出了规范 和建议，该规范包含但不仅限于云平台的资源管理，还包含 了人力资源、网络号码、基站等企业经营过程中所涉及的资 源。
资源管理域包含资源生命周期管理
、资源库存管理、
资
源订单管理、资源域管理、资源过程管理(工作流/集成)、
凭证管理、资源性能管理、故障管理、资源测试管理、
人力
资源管理、网络号码管理、使用管理
、位置管理
、
资源能力
协调、资源目录管理等模块。从企业经营过程中所涉及的
资源域角度来阐述企业战略、
基础设施&产品过程及运营过
程，提供了一个通用的应用架构参考，建立了业务流程框架
和信息框架，给实际可部署的潜在应用程序提供了桥梁
。
目基于TMF规范的资源分配工具
在TAM框架的资源管理域中.对资源生命周期管理进行 了系统性描述，包括：战略规划、功能规范、策略规划、资源 规范、实施计划、自动化规划设计、设备和仓库库存管理、资 源配置管理。在资源配置管理部分对于资源配置进行了如下规范性阐 述：资源配置管理应用负责管理和跟踪资源的配置，通常在 联合环境中工作，它们依赖于其他应用程序来获取数据，包 括资源调试、资源配置日志、资源配置管理、资源配置验证 和资源拓扑验证，具体描述如下。(1) 资源调试管理资源的调试过程并确保资源运行状态被配置。(2) 资源配比验证验证资源的配置信息，确保资源配置与规划的配置相 匹配。(3) 资源配置恃理配置并管理数据库与资源。(4) 资源配置II占记录资源配置并更改历史记录。(5) 资源拓扑验证拓扑验证程序与库存管理应用程序一起工作，确保其数 据库中反映的拓扑结构与库存管理系统中的拓扑结构同步。资源分配工具正是参照该规范(映射关系如图1所 示)，针对平台资源利用率不高的现状，设计并实现了一种 工具，解决在不同环境下，为不用应用、不同组件分配资源 时不合理的问题，减少了冗余资源，提高了平台资源利用 率。该工具创新性地结合了AI算法，针对不同场景、不同应 用组件进行针对性训练，生成对应模型，具有较好的鲁棒性 和准确性
。
www.ttm.comcn 61»运营2.1资源分配工具
根据盖特纳和麦肯锡前几年的调研数据，全球的服务器利 用率并不高，只有6%〜12%。即使通过虚拟化技术优化，利用 率还是只有7%-17%;这正是传统运维和粗放的资源使用模式 带来的最大问题。资源分配工具的目的正是解决这个问题。资源分配的原理是运用机器学习的方式，即通过对历史 数据进行收集与训练，生成“模型”。在面对新的情况时， 将需要预测的数据输入对应的模型，模型会提供相应的判 断。例如，对某种消息中间件进行资源分配，首先，应获取 该消息中间件的历史数据，包括中间件吞吐量、消息大小、 批量大小、应用并发数、分区个数、CPU、内存、磁盘等数 据，将这些数据作为历史数据；其次，对历史样本数据进行 抽取，把要预估的资源数据作为输出值、影响预估的子项作 为输入值，选择适合的算法，对抽取完成的样本进行训练， 生成模型。最后，当要对新建的消息中间件集群进行资源分 配时，只需要输入对应参数，即可获取预估分配的资源值。资源分配工具支持多种获取样本数据的途径，例如：文 本文件、流式输入等，通过对样本数据进行建模、训练，得到 与之匹配的模型。当需要对资源进行预估时，只需要调用训练 好的模型就可以完成预估工作。当然，进行预估的模型准确率 需要在80%以上，预估的场景需与训练的场景保持一致。通过资源分配工具，业务人员不用关心具体的算法，只 需要使用本工具提供的操作页面就可以一次完成从训练到预 测的AI训练预测流程。2.2资源分配工具的数据流向AI资源分配工具数据流向主要由两部分组成，-部分是 训练的数据流向，另一部分是预测的数据流向。对于训练部分，数据的来源包括流式数据和文本数据， 这部分由接入层的样本接入模块统一接入，传递至数据处理 模块进行统一抽取、清洗、加工。处理后的数据交由模型训 练模块进行训练，训练完成后的模型数据存储在分布式文件 系统中，任务描述信息存储在数据库中。对于预测部分，数据的来源是用户的预测数据，在用户图1 TMF规范与资源分配工具的映射关系选取对应的模型后，将数据输入到匹配的模型即可得到预测 的结果，预测结果在Web展示，并存储在数据库中。
资源分
配工具的数据流向如图2所示
。
2.3资源分配工具的架构
资源分配工具提供两种交互方式：
Web页面和
restAPI,
对于一般用户，通过Web页面即可完成从模型训练到资源分 配的全流程，并且可以查看历史训练结果及管理训练模型；
对于需要二次开发的用户，可以通过rest接口调用资源分配 的功能模块，进行满足个性化需求的二次开发。资源评估工
具由4层组成：数据层（Data）、服务层（Service）、
接口层
（API ）
、
Web展示层（Web ）,如图3所示
。
数据层：负责处理样本输入信息、存储任务信息、存储
样本标记信息、
管理模型文件。
服务层：
由数据驱动模块、数据处理模块、算法模块、
资源分配模块组成。⑴数据驱动模块DAO：封装了Data层常见的数据操作
接口，包含样本数据操作接口、任务数据操作接口
、标记信
息操作接口、模型管理操作接口。⑵数据处理模块：提供对样本数据的抽取、清洗、
加
载功能。⑶算法模块：提供常见的几种机器学习算法封装。
⑷资源分配模块：基于原子接口封装，完成
API层的具
体业务逻辑，包含新建训练、新建预测、选择模型、查看预
测结果、查看历史训练、资源使用画像等接口。
接口层：
提供API能力，包括
AI能力接口和Web管理的
操作接口。Web层：系龌供的Web服务，通过^务界面，用户可以
进行查询、
分析、样本库管理、
模型训练等操作
。
在Service层的数据处理模块，主要负责处理海量样本接
入数据，包括文本文件、流式数据，这部分主要由Spark集群负 责完成。对于文本文件
，Spark支持读取指定路径下的批量文
件；对于流式数据，
Spark支持Steaming的方式，从消息中间件
获取流式数据。采用Spdrk集群降低了开发成本
，同时在数据量
较大的情况下，分布式计算框架是处理海量数据的最优选择
。
Service层的算法模块提供了线性回归、岭回归、
随机森
林、XGBOOST.孤异森林、ARIMA、统计判别算法、指数
移动平均算法、多项式算法等常见的几种算法的封装，下面以
其中较有代表的随机森林和XGBOOST算法为例进行介绍
。
（1）
随机森林算法
随机森林属于集成学习中的Bagging （
套袋）算法
。随
机森林算法是将很多不同的决策树结合起来做决策的一种集 成学习方式。顾名思义，是用随机的方式建立一个森林，森
62 TELECOMMUNICATIONSTECHNOLOGY/2(
n
9 • 5
