当前位置：文档之家 › ETL开发指南(DataStage_EE)V2.0

ETL开发指南(DataStage_EE)V2.0

  • 格式：doc
  • 大小：4.08 MB
  • 文档页数：63

DataStage Enterprise

Edition

开发指南v2.0

DataStage EE开发指南

目 录

目 录 .................................................................................................................................................. I

1. 引言 ..................................................................................................................................................... 1

1.1 编写目的 ....................................................................................................................................... 1

1.2 帮助使用 ....................................................................................................................................... 1

2. 产品概述 ............................................................................................................................................. 2

3. 常规应用 ............................................................................................................................................. 3

3.1 常用组件使用方法 ....................................................................................................................... 3

3.1.1 Sequential file .......................................................................................................................... 3

3.1.2 Annotation ............................................................................................................................... 7

3.1.3 Change Capture Stage ............................................................................................................. 8

3.1.4 Copy Stage ............................................................................................................................ 10

3.1.5 Filter Stage ............................................................................................................................ 11

3.1.6 Funnel Stage .......................................................................................................................... 12

3.1.7 Tansformer Stage .................................................................................................................. 13

3.1.8 Sort Stage .............................................................................................................................. 14

3.1.9 LookUp Stage ........................................................................................................................ 15

3.1.10 Join Stage ............................................................................................................................ 16

3.1.11 LookUp Stage 和 Join Stage的区别 ................................................................................. 17

3.1.12 Merge Stage ........................................................................................................................ 18

3.1.13 Modify Stage ....................................................................................................................... 19

3.1.14 Data Set Stage ..................................................................................................................... 20

3.1.15 File Set Stage ....................................................................................................................... 22

3.1.16 Lookup File Set Stage ......................................................................................................... 23

3.1.17 Oracle Enterprise Stage ....................................................................................................... 26

3.1.18 Aggregator Stage ................................................................................................................. 28

3.1.19 Remove Duplicates Stage .................................................................................................... 30

3.1.20 Compress Stage ................................................................................................................... 31

3.1.21 Expand Stage ....................................................................................................................... 32

3.1.22 Difference Stage .................................................................................................................. 33

3.1.23 Compare Stage .................................................................................................................... 36

3.1.24 Switch Stage ........................................................................................................................ 37

3.1.25 Column Import Stage .......................................................................................................... 39

合集下载

ETL设计开发规范文档

ETL设计开发规范文档

ETL设计开发规范⽂档

ETL设计说明书错误！未找到引⽤源。

⽬录1.概述 (5)

2.ETL开发策略 (7)

3.ETL系统架构设计 (8)

3.1ETL整体框架 (8)

3.2ETL系统逻辑架构 (8)

3.2.1ETL系统的备份和恢复 (9)

4.ETL应⽤框架设计 (10)

4.1ETL应⽤架构逻辑图 (10)

4.2ETL模式 (11)

4.3数据抽取(Extract)和数据变换(Convert) (11)

4.3.1数据抽取（Extract） (11)

4.3.2数据变换（Convert） (11)

4.3.3数据分割（Split） (12)

4.4数据转换(Transform) (12)

4.4.1字段合并与拆分 (12)

4.4.2赋缺省值 (12)

4.4.3数据排序（Sort） (12)

4.4.4数据翻译(Lookup) (12)

4.4.5数据合并(Merge) (12)

4.4.6数据聚合(Aggregate) (13)

4.4.7⽂件⽐较(File Compare) (13)

4.4.8其他复杂计算 (13)

4.5数据加载(Load) (13)

4.5.1Pre-Load (13)

4.5.2Load (13)

4.5.3Post-Load (14)

4.6ETL进程和进程调度 (14)

4.7管理功能（Management Interface） (14)

4.8初始数据、历史数据和⽇常数据ETL (15)

5.开发规范 (16)

5.1中间⽂件 (16)

5.2临时⽂件 (16)5.3BAPI参数⽂件 (17)

5.4ETL程序 (17)

5.4.1DataStage Project命名 (17)

5.4.2DataStage中Job命名 (17)

5.4.3DataStage中Stage命名 (18)

5.4.4DataStage中Link命名 (19)

5.4.5DataStage中Routine命名 (19)

5.4.6DataStage产⽣的Abap程序命名 (19)

ETL-开发规范

ETL-开发规范

ETL-开发规范

0

ETL开发规范

2009年2月

[键入文字]

文档控制

版本 文件准备人 修改内容 准备日期 审核 ETL-开发规范

1 目 录

1 前言 .......................................................................................................................................... 2

1.1 读者对象 ........................................................................................................................................ 2

1.2 编写目的 ........................................................................................................................................ 2

2 ETL简介.................................................................................................................................. 2

3 开发ETL需要的背景知识 ..................................................................................................... 3

4 常用SQL知识介绍 ................................................................................................................. 3

ETL项目整体开发流程

ETL项目整体开发流程

ETL项目整体流程

1. 准备阶段

1) 业务需求分析：《需求分析报告》，《业务规则》

2) 熟悉数据模型，根据需求和数据模型定义映射关系-《ETL映射文档》

3) 分析数据源质量，针对数据源中有问题的数据制定数据抽取规则：《数据源数据质量分析报告》，《脏数据处理规则》

4) ETL准备阶段评审

2. 开发阶段

1) ETL概要设计，确定ETL技术框架：《ETL概要设计说明书》，《ETL开发计划》

2) ETL概要设计评审

3) ETL详细设计：《初始装载策略》，《全量数据抽取策略》，《增量数据加载策略》，《异常数据处理规范》

4) ETL详细设计评审

5) ETL实现

3. 测试阶段

1) 测试各个功能模块：《单元功能测试》

2) ETL整体的逻辑和数据准确性测试：《ETL过程测试报告》，《ETL数据质量测试报告》

3) 测试阶段评审

4. 优化阶段 1) 从数据中转区到目标区，从代码优化，package优化到数据库参数调优，从ETL逻辑优化到技术架构优化：《ETL优化建议报告》

2) 优化阶段评审

5. 上线，参加集成测试和完善

ETL使用手册

ETL使用手册

反洗钱系统

1

ETL使用手册

2007年11月8日 反洗钱系统

2

ETL使用手册

第一章 配置文件结构

//根标签

//在目标数据库中创建数据表,纪录importDefinition标签重新启动的次数,如果存在表明会抛错.

//接收参数定义

//默认JDBC连接

//执行SQL语句

//定义包含

//包含多个标签文件

//日志开头要显示的信息

//简单表复制

//导入定义

//确保字段数据唯一

//导入任务定义的JDBC连接

反洗钱系统

3

//直接对应转换列

//自定义转换规则

//转换规则

//将变量值 赋给目标字段 必须属性override="true"

//将当前用户赋给目标字段

//将当前时间赋给目标字段

//导入外键关系（必须存在对应关系）

//将固定值（常量）赋给目标字段

//通过计数器表向目标字段自动增量生成数据（例如：自动加1）

//定义目标表

反洗钱系统

4

第二章 标签说明

ETL配置文件的根标签。

属性 默认范围 描述 参数

logMode and 定义默认的日志模式包括："normal"， "none" ，"full". 系统默认"normal". -m