ETL培训
- 格式：docx
- 大小：23.26 KB
- 文档页数：10
ETL培训
市场运营监控
1、BI business internet
2、一个体系、两个定位、四个工具
一个体系：市场运营监控体系
两个定位：市场监控、决策支持
四个工具：市场监控-->分析诊断-->决策支持-->效果跟踪
市场运营监控体系包括市场监控、分析诊断、决策支持、效果跟踪四个功能模块，形成发现问题、定位问题、解决方法到跟踪落实的管理闭环。
市场监控：利用系统预警，趋势分析、地市排名等监控手段，对收入、竞争、客户、业务量、G3 业务等5大类共40个重要指标进行监控
分析诊断：地市评估和专题分析
决策支持：竞争情报和应对措施
3、系统架构
数据层、分析层、展现层
分析层：地图采用黑色预警、脑图一般为常用报表红色预警，可重复使用、图标尽可生成结论也可自己添加
4、常用图表
趋势图、柱形图、饼图、雷达图、
一经
1、一经上传处理流程
接口文件到达--ETL数据处理--一经接口导出--一经接口生成--一经接口校验文件生成--是否重点监控接口--是--指标检查--指标检查是否通过--否--核查原因并处理--一经接口上传
2、数据处理模块
数据导出模块tranexport--数据生成模块transmittal--准确性检查模块checkrule--校验文件生成模块builcheckfile--FTP上传接口模块--FTP下载校验报告模块--校验报告分析模块tranverify--一级系统数据采集模块--MIS数据生成模块--MIS数据上传模块
3、GIF.TYJ_EXPORT_TAST和GIF.TYJ_JOB_DEF中的JOB_ID的差异和相似点。
差异：GIF.TYJ_EXPORT_TAST的JOB_ID是tranexport执行时依据的作业号，GIF.TYJ_JOB_DEF 的JOB_ID是定义数据源表和目标表中的作业所依据的作业号
相似：JOB_ID的编号规则相同，前面加0表示月接口
4、一经配置表gif.tyj_so_relation定义的内容及其作用
定义了数据源表的作业号，字段，目标表的作业号，字段以及数据源表与目标表之间的转换关系
5、调度里面封作业可以操作表CTL.JOB_DEF或者CTL.STATUS_IND
数据质量管理
1、日常运维监控平台采用B/S架构与后台生产环境进行数据交互，登陆界面http://192.168.2.89:9080/mon/login.htm
2、作业运行监控
出错作业监控
重跑脚本监控：正在运行和运行失败的脚本，定时刷新
一经日（月）接口：未完成的所有一经接口的处理状态和集团公司返回的校验文件通过情况。重点日（月）需求：重点日需求列表展现每日没有运行成功的重点作业，重点月需求列出当月截至当日还未完成的重点作业
超长作业监控：对超长运行作业单独进行监控，在该页面下，可以看到超长作业的作业号，作业名称，开始运行时间、运行时长等参数情况
接口监控情况
日/月接口到达情况监控、接口到达情况跟进、日/月接口数据质量监控、新清单监控
系统性能监控 主机/数据库监控、进程、文件系统、目录、日（月）指标监控、故障处理流程、作业优先级调整作业启停、作业运行状态查询
关键业务指标管理：对市场部、数业、集客各业务线条关键指标进行变更管理
3、日常数据质量监控
日常监控制度化：每日监控，在每天12:00进行汇总
通知内容规范化：数据质量领导短信内容包括报表路径，指标时间，问题原因分类，预计解决时间；经分公告内容包括问题描述，问题原因，公告时间；运维问题通报包括数据源影响分析，重传接口通知，重跑脚本报告，申告处理情况
问题处理责任化：数据源质量问题管理流程经分程序问题走缺陷、改进报告处理流程，申告子流程
4、指标监控
指标出数及时性监控--指标波动监控--指标间平衡规则检查
5、故障分类及处理要求
故障分为调度作业故障和手工登记故障，其中调度系统产生的故障根据作业号可以分为以11打头的ETL过程故障，非11打头数据仓库类故障以及2打头的一经类作业故障。相应的处理负责人是：运作部、数据质量组和一经小组。
作业故障处理的时限要求是24小时，需提缺陷改进升级和数据源问题联系开发商处理的除外，其中出错作业监控中“一经相关”或“重点出错作业”窗口中的作业故障要优先处理，填写处理方法如果关联缺陷改进报告的需要填写缺陷改进报告编号
6、常用表
基于实时清单文件的骨干表
用户日通话信息表EDS.TW_USRCALL_DAY_YYYYMM
每天对21个地市清单信息汇总，不分号码
用户月通话信息表EDS.TW_USRCALL_MO_AAYYYYMM
每月分别对21个地市清单信息汇总，号码级
用户消费层次资料表JFEDS.TW_USR_CNSM_RNK_AA 每月对月通话信息表和销帐日志表费用汇总，号码级
通信用户标识CALLUSR_IND,考核用户标识VAL2_USR_IND
日累计通信量与话费表TO_DUR_FEE_DAY_YYYYMM
每天统计号码的累计费用和折算话费以供后续统计每天的通信用户数和考核用户数
最新通信用户情况表ODS.TO_CMNCT_USR
每天根据清单表取得新号码或者更新已有号码的状态
合作服务方日通话信息表EDS.TW_CMPTCALL_DAY_AAYYYYMM
每天根据清单表的对方号码取新号码
合作服务方最新用户资料表ODS.TO_CMPT_USR
每天根据合作服务方日通话信息表取得新号码或更新已有号码的状态
用户小区信息月汇总表EDS.TW_CELL_USE_MO_AAYYYYMM
每月对清单按位置代码、小区代码进行汇总，号码级
用户新业务使用情况日统计表EDS.TW_USR_NBUSE_DAY_AAYYYYMM
每天对清单表中增值业务记录做号码级汇总
NEW_BUSI_CD区分各种数据业务类型
其它重要表
客户帐单ODS.TO_BASS_CUST_BILL_MO_AA
数据来源于区域BOSS、ORACLE时销和OCE时销
BILL_ACCT_CD:费项编码，有REF.TR_BILL_ACCT对应
用户表ODS.TO_BASS_USR和TO_IUSR
用户状态USR_STS_CD和IUSR_TYP_CD分别对应于维表REF.TR_USR_STS和REF.TR_IUSR_TYP 其中TO_IUSR分别来源于SCP,OCS和BOSS
用户月表EDS.TW_BASS_USR_MO和TW_IUSR
其中TW_BASS_USR_MO源于月初的BOSS用户资料月全量
TW_IUSR来源于月末最后一日的TO_IUSR快照表 注：三户模型改造方案
集团业务子系统
历史集团用户资料表EDS.TW_BASS_GUSR_MO_YYYYMM
根据产品维表限制为集团产品类型，非个人产品类型
USR_NBR：用户号码，对应于集团产品号码
标准化产品数据表EDS.TW_CORP_STDPRDCT
USR_VALID_IND：集团用户有效标识
成员到达数据来源于EDS.TW_CORP_PRDCT_MEMBER_YYYYMM
收入数据含两部分：标准化产品的帐单收入以及集团产品的成员收入
行业应用数据表EDS.TW_CORP_INDAPPLY_DATA
数据来源于清单
常用的调度表
CTL.JOB_PARAM_DEF 作业参数定义表
CTL.JOB_INST_1 作业运行记录表
INST_STATUS=0代表出错, 1是完成, 2是正在运行
CTL.TA_ETL_ERR_LOG 记录装载情况表
PROCESS_STEP：1代表清洗，2代表转换，3代表装载
SOUR_RECORD：源文件记录数
SUCCE_RECORD：成功记录数
FAIL_RECORD：失败记录数，与对应数据源目录下的.rej文件对应，错误原因在.exp文件中有描述
CTL.JOB_INST_PARAM 实例化的作业参数,与参数定义表对应，通过INST_ID与CTL.JOB_INST_1关联
CTL.TA_ETL_DS_DEF 数据源定义表
/etl1_cx/etl/dssprog/checkpoint
Job_event.dat：作业事件，记录已完成的作业依赖
Job_queue.dat：作业队列，记录正在等待系统分配资源作业
Showref工具 基础
1、广东移动经分系统分为横6纵5共11个层次，分别是前端展现层、服务层、
应用层、数据集市层、中心数据仓库层、可信任数据源层、安全控制和管理、
数据交换、数据质量管理、元数据管理和维护管理
主体数据仓库采用DB2，数据集市采用Oracle，数据挖掘采用Teradata
2、MOU:Minute of Usage,平均用户通话分钟数
ARPU:Average revenue per User,每用户平均收入
3、DW DataWarehouse的缩写，即数据仓库。
ETL Extract Transform Load的缩写，描述一个过程，是构建数据仓库系统非常核心的过程。
ODS 表模式，ORIGINAL DATA STORAGE，存储粒度较细的初级数据。
EDS 表模式，ENTERPRISE DATA STORAGE，存储经过一定转换和汇总的数据。
DM 表模式，DATA MARKET存储用于实际分析的粒度很粗的汇总数据。
STAGE 表模式，临时表（区别于数据库自身的临时表）。
REF 表模式，Reference的缩写，参考表—即维表。
SNAP 表模式，快照表
BIDW数据库
主要存储后台的数据（ODS,EDS,DM，STAGE等模式）。
DBCTL数据库
主要存储调度配置数据（CTL模式），前台数据（EIS模式）
市场业务
1、口径
1、中高端客户定义：
当月ARPU不低于120元(优惠后的包含信息费的账单收入），且
