东电ETL流程整理
项目名称：财务公司产品
时间：2016/1/6
作者：佟佰健
1.需求分析
整理ETL流程熟悉业务流程2.ETL流程梳理
2.1 总体流程
开始
业务模块ods抽取
财务模块ods抽取
核心系统开机前后时间记
录
执行sql脚本用于清除时间记录表中的非最大时间1若etl时间大于核心开机时间则不操作2若etl时间小于等于核心开机时间则更新DW_OPENTIME_NOTES表中，供dw层和dm层进行增量插入数据
根据核心开关机时间进行
日频度时间维表的更新
根据核心开关机时间进行
月频度时间维表的更新
各模块DW层工作调度
DM层工作调度视图更新
2.1.1 ODS 模块
2.1.2时间记录表更新
≧ <
2.1.3 时间频度表更新
业务库中相关的业务模块所需表
加载到ODS 层中
业务库中财务模块所需表
加载到ODS 层中
取
ODSUSER.ODS_FS_SETT_OFFI 中最大的核心开关机时间
核心开关机时间和etl 时间进行比对
更新时间记录表 不操作
从时间记录表中取出最大开
关机时间
传入存储过程生成时间维
度表
2.1.4 DW 层数据抽取
财务和业务和资金相关表从
ods层抽取
加载到dw层
2.1.5 维表更新
根据不同规则从dw层抽取
数据
加载到dm层中生成公共维
度表
基准利率银行利率客户信息内部机构汇率授信类型信用等级投资业务详细类型
信贷余额分析集市 信贷发生额分析集市 发放贷款收益分析集市 贷款状态分析 贷款目标完成情况
结售汇基础集市
结售汇分析集市
2.1.6 dm 层业务转换
企业存款基础集市
企业存款余额分析集市 企业存款发生额分析集市 银行存款基础集市
银行存款余额分析集市 银行存款余额发生额分析集
调用东方水电 清除不符合条件的数据
信贷基础集市
投资同业分析集市
投资同业基础集市
同业业务基础集市
同业业务分析集市
资金主体 利率敏感性分析
结算分析基础集市
结算账户分析
银行账户基础集市 结算企业账户分析 结算分析集市
管理信贷监控分析
结算交易监控 资金变动分析 资金分析
授信基础表
授信总额情况表
评级定量指标表
授信指标表
3.1 DM业务部分转换3.1.1 企业存款基础集市
3.1.2 企业分析集市（余额发生额）
3.1.3 银行存款基础集市
3.1.4 银行余额分析集市
2.4 报表展示界面
2.4.1 报表
