下载文档原格式
DataStage技术介绍目录1.绪论错误!未指定书签。
1.1先进的开发和维护错误!未指定书签。
1.2完整的开发环境错误!未指定书签。
1.3企业级实施和管理错误!未指定书签。
1.4高扩展的体系架构错误!未指定书签。
2.附录B：DataStage企业版内嵌的扩展Stage错误!未指定书签。
3.附录C：扩展连接错误!未指定书签。
1.绪论DataStage企业版是AscentialSoftware公司所有企业整合系列产品中关键产品。
企业版支持大容量数据的收集、整合和转换，数据从简单结构到很复杂的结构。
基于高可扩展性的软件架购，企业版使得企业能够通过高性能来解决大部分业务问题，并行处理大容量数据。
强大的企业元数据管理能力使得可以在数据整合生命周期中在所有工具中共享和使用工具。
DataStage企业版发布了四个核心功能来成功实施企业数据整合：先进的开发和维护；完整的开发环境；企业级实施和管理；高扩展的体系架构；端对端的企业级元数据管理。
1.1先进的开发和维护DataStage企业版提供了全面的功能去最优化用户在建立、升级和管理数据整合架构时的速度、灵活性和效率。
DataStage企业版增强的功能减少了学习的周期、简单化了管理和优化了开发资源的使用，减少了数据整合应用的开发和维护周期。
结果，DataStage企业版使得企业能够花更少的时间开发他们的整合应用，更多的时间是不断的从中受益。
DataStage企业版使用了Client-server架构，如下所示。
图一、DataState企业版Client-Server架构用户通过各个客户端工具访问DataStage企业版的开发、配置和维护功能。
这些工具包括：Designer：用来建立和编辑DataStage作业和表的定义。
Designer中的“JobSequencer”控制作业的执行，其他作业成功完成（或失败，等）的条件。
Administrator：用来执行管理任务，如建立DataStage用户、建立和删除工程并且建立清洗标准。
DATASTAGE——一DATASTAGE经验积累一、JOB的分类与作用1、Server JOB:最为常用的Job类型，Job可以组合使用，Server Job是Job的最小单位。
原文档：If you have the Web Services pack installed an additional check box, Web Service Enabled, appears. Select it to indicate the job can be made available as a web service.2、Parallel JOB:3、Mainframe JOB:运行于大型机的JOB。
4、JOB Sequences:Job Sequence主要用于Job间的协作工作控制，如各Job的实行流程，出错处理，文件监控等。
二、jobstatus的用法jobstatus-jobstatus waits for the job to complete, then returns an exit code derived from the job status.命令格式为：dsjob –run[ –mode [ NORMAL | RESET | VALIDATE ] ][ –param name=value ][ –warn n ][ –rows n ][ –wait ][ –stop ][ –jobstatus][–userstatus][-local]project job三、判断NULL值 实例STAGE ：JOIN STAGE设置：LEFT JOIN左输入语句：SELECT * FROM PMP_Insured_Amount右输入语句：SELECT COL_ID,TAB_NAME,WORK_DATE,REF_COLUMN1 AS UNIQUE_ID_IN_SRC_SYS,REF_COLUMN2,ROW_ID,HASHCODE AS B_HASHCODE,ANCHOR_ID,PARTITION_KEY,IS_DUPLICATED,'A' AS MARK --用以判断结果集右边是否为空FROM ETL_FOR_INC_TMP2SQL语句：SELECT A.*,B.*FROM PMP_Insured_Amount ALEFT JOIN ETL_FRO_INC_TMP2 BON A.UNIQUE_ID_IN_SRC_SYS = B.UNIQUE_ID_IN_SRC_SYS 功能：判断来自A表的所有记录，哪些能够B表关联，哪些不能与B表关联。
数据仓库中的数据来自于多种业务数据源，这些数据源可能来自不同的硬件平台，使用不同的操作系统，数据模型也相差很远，因而数据以不同的方式存在于数据库中。
如何获取并向数据仓库中加载这些数据量大，种类多的数据，已成为建立数据仓库所面临的一个关键问题。
针对目前系统的数据来源复杂，而且分析应用尚未成型的现状，强烈推荐使用专业的数据抽取、转换和装载工具--DataStage数据仓库：Data Warehouse,简写DW或DWH.是决策支持系统和联机分析数据源的结构化数据环境。
数据仓库研究和解决从数据库中获取信息的问题。
数据仓库的特征在于面向主题、集成性、稳定、和时变性。
数据源：整个系统的数据源泉，数据仓库的基础。
数据的存储与管理：是整个数据仓库系统的核心。
数据仓库数据库:是整个数据仓库的核心，是数据存放的地方和提供对数据检索的支持。
6101,7111,7115,4111,5107,3141DataStage是IBM开发的，是一套专门针对多种操作数据源的数据抽取，转换，和维护过程进行简化和自动化，并将其输入数据集市或数据仓库目标数据源的集成工具。
3 安装于初始化？reject 方式是什么？Continue,Output,Fail(后面有)Inputs、Outputs Stage 怎么添加自动化数据库连接Sequential File 中的View Data？View Data 不了?参数配置Save，Load分别什么作用，区别？Table 的格指什么？？Lookup Stage???，怎么匹配？？？？？？？Modify Stage怎么修改的表结构？2012-4-26Administrator的使用，如建立清洗标准？ViewData中value值是从数据库查询出来？DB2 Stage中#$SRC_INSTANCE#,#是临时表？什么意思？TestDemo is being accessed by another user?锁表已解决（有文档）：两种方式Copy Stage的作用？仅仅是交换字段输出怎么保存文件？自动保存2012-4-27DataStage Director中：Permission denied ?将多个字段相同的数据文件合并为一个单独的文件输出 ???输入的相同的字段合并输出到一个字段 ???2012-4-28Transformer 字段的转换是将字段名和数据类型都转换？？？？？Administrator：用来执行管理任务，如建立DataStage用户，建立和删除工程并且建立清洗标准。
Datastage应用开发1 Datastage 简介Datastage包含四大部件：Administrator、Manager、Designer、Director。
1．用DataStage Administrator 新建或者删除项目，设置项目的公共属性，比如权限。
2．用DataStage Designer 连接到指定的项目上进行Job的设计；3．用DataStage Director 负责job的运行，监控等。
例如设置设计好的job的调度时间。
4．用DataStage Manager 进行Job的备份等job的管理工作。
2 设计一个JOB示例2.1 环境准备目标：将源表中数据调度到目标表中去。
1 数据库：posuser/posuser@WHORADB , ip: 192.168.100.882 源表：a_test_from3 目标表：a_test_to两者表结构一样，代码参考：create table A_TEST_FROM(ID INTEGER not null,CR_SHOP_NO CHAR(15),SHOP_NAME VARCHAR2(80),SHOP_TEL CHAR(20),YEAR_INCOME NUMBER(16,2),SHOP_CLOSE_DATE DATE,SHOP_OPEN_DATE DATE)；alter table A_TEST_FROMadd constraint TEST primary key (ID)；4. 示例数据：insert into A_TEST_FROM (ID, CR_SHOP_NO, SHOP_NAME, SHOP_TEL, YEAR_INCOME, SHOP_CLOSE_DATE, SHOP_OPEN_DATE)values (24402, '105420580990038', '宜昌市云集门诊部', '82714596 ', 1000, to_date('01-05-2008', 'dd-mm-yyyy'), to_date('01-06-2008', 'dd-mm-yyyy'));insert into A_TEST_FROM (ID, CR_SHOP_NO, SHOP_NAME, SHOP_TEL, YEAR_INCOME, SHOP_CLOSE_DATE, SHOP_OPEN_DATE)values (24403, '105420559982198', '于志良', '82714596 ', 2000, to_date('02-05-2008', 'dd-mm-yyyy'), to_date('02-06-2008', 'dd-mm-yyyy'));insert into A_TEST_FROM (ID, CR_SHOP_NO, SHOP_NAME, SHOP_TEL, YEAR_INCOME, SHOP_CLOSE_DATE, SHOP_OPEN_DATE)values (24404, '105420556410012', '阳光儿童广场', '82714596 ', 3000, to_date('03-05-2008', 'dd-mm-yyyy'), to_date('03-06-2008', 'dd-mm-yyyy'));insert into A_TEST_FROM (ID, CR_SHOP_NO, SHOP_NAME, SHOP_TEL, YEAR_INCOME, SHOP_CLOSE_DATE, SHOP_OPEN_DATE)values (24405, '105420580620033', '秭归县医疗中心', '82714596 ', 4000, to_date('04-05-2008', 'dd-mm-yyyy'), to_date('04-06-2008', 'dd-mm-yyyy'));insert into A_TEST_FROM (ID, CR_SHOP_NO, SHOP_NAME, SHOP_TEL, YEAR_INCOME, SHOP_CLOSE_DATE, SHOP_OPEN_DATE)values (24406, '105420559120063', '同德医药零售北门连锁店', '82714596 ', 5000, to_date('05-05-2008', 'dd-mm-yyyy'), to_date('05-06-2008', 'dd-mm-yyyy'));2.2 打开Designer任务：打开datastage designer，连接datastage服务器1．双击桌面datastage designer图标。
4.1.1DataStage的优化策略4.1.1.1 充分利用并行处理功能（有效度：★★★★★）数据仓库系统的数据源大都以几个交易系统为基础，结合了多个应用系统和外部的数据源，银行业中涉及到电话银行、手机银行、自动取款、银行卡等多种业务，包括了总账、分户账、账户明细等各个层面的数据，数据量非常大。
DataStage具有专有的并行处理组件和良好的并行处理能力。
为了提高数据处理效率，充分利用系统资源，在数据处理的设计方案中可充分利用ETL并行数据处理功能。
系统数据处理流程中采用的并行处理方式主要包括以下两种：(1) 分析数据处理流程没有依赖关系的数据处理可以并行执行。
数据仓库系统的数据模型是一个有机的整体，但在数据处理过程中并不是完全互相依赖、密不可分的，对于没有前驱后继关系的数据处理模块可以并行执行。
通过分析与设计，理清数据处理流程中的数据处理模块及它们之间的依赖关系，发现数据处理结构的特点，然后不同分支上的数据处理模块可并行执行。
(2) 拆分源文件使同一数据源中不同特点的数据可以并行处理。
在同一数据源文件中，经常存在着不同特点的数据，需要按照不同的规则进在同一数据源文件中，经常存在着不同特点的数据，需要按照不同的规则进行匹配和处理。
当面对大量数据时，这种处理往往非常耗时，甚至不能在用户接受的时间内完成。
在此情况下，使用外部程序对文件拆分，将不同特点的数据拆分到不同的文件中，这样后续的数据处理面对的是多个没有依赖关系的数据源，这些数据处理也是可以并行执行的。
如银行分户帐余额积数文件，可将其拆分为贷款户、定期户、往来户、表外户、财务户和内部户，每种帐户的数据处理规则单一，且面对的源数据量大大减小，从而缩短了整个分户帐数据处理的时间。
4.1.1.2 调整源数据在磁盘上的分布（有效度：★★★★★）由于数据的读写对磁盘的I/O依赖比较强，我们尽量将不同的数据分配到不同的文件系统，这些文件系统被mount到不同的磁盘上，如增量文件、全量文件、Scratch 目录、Datasets目录，以及目标文件的存放。
Datastage实现拉链算法2010-04-23 15:16Datastage实现拉链算法环境：Red Hat Linux AS 4 + Oracle DB 10g + Datastage EE 7.5.2首先，还是先了解一下数据仓库中提到的拉链表。
拉链表是针对数据仓库设计中表存储数据的方式而定义的，顾名思义，所谓拉链，就是记录历史。
记录一个事物从开始，一直到当前状态的所有变化的信息。
拉链表的好处就是避免按每一天存储所有记录造成的海量存储问题,同时也是处理缓慢变化维的一种常见方式。
如下设计了一个拉链表t_chain，必然包含的字段有标识字段(NAME),开始日期，结束日期，信息变更字段(STAT)。
（NAME）（START_DATE）（END_DT）（STAT）client1 19000101 19070831 H在家client1 19070901 19130831 A小学client1 19130901 19160831 B初中client1 19160901 19190831 C高中client1 19190901 19230831 D大学client1 19230901 19601230 E公司client1 19601231 29991231 H退休在家假设客户的状态数据每天是一个全量表t_all，那么哪些数据需要关注呢？第一类，t_all中有，而t_chain中没有的数据，例如，以上所示client2出现了；第二类，t_all和t_chain中都有，但是信息变更了，例如，以上所示client1退休后被返聘又开始工作了；第三类，t_all中没有，而t_chain中有，例如，client去世了，或者某客户从系统中注销了。
如果采用SQL完成拉链表，参见/bbs/archiver/tid-23239.html现在我们用datastage来实现拉链算法：Datastage中的Change Capture Stage能够帮助我们来实现拉链算法。
南海农信社ODS 南海ODS项目DataStage技术文档文档信息批复信息文件控制目录1.引言 (1)1.1编写目的 (1)1.2背景 (1)1.3参考资料 (1)1.4术语定义及说明 (1)2.Data Stage概述 (1)1.5Asciential 企业版数据集成平台架构 (2)1.6DS7.5.2企业版CS结构 (2)3.DataStage各部件介绍 (3)1.7Administrator (3)1.7.1总体说明 (3)1.7.2主要功能 (3)1.7.3功能详解 (3)1.7.4经验总结 (6)1.8Manager (8)1.8.1总体说明 (8)1.8.2主要功能 (9)1.8.3功能详解 (9)1.8.4经验总结 (10)1.9Designer (11)1.9.1总体说明 (11)1.9.2概念解释 (11)1.9.3主要功能 (11)1.9.4功能详解 (11)1.9.5例子 (11)1.9.6经验总结 (13)1.10Director (13)1.10.1总体说明 (13)1.10.2主要功能 (13)1.10.3功能详解 (14)1.10.4经验总结 (16)4.Datastage基础 (16)1.11数据类型 (16)1.12变量 (17)1.12.1总体说明 (17)1.12.2例子 (17)1.12.3经验总结 (19)1.13字符集编码 (19)1.14Job的类型 (20)1.15Stage 类型 (21)1.16Routine (49)1.16.1Server Routine (49)1.16.2Parrallel Routine (51)5.DataStage企业版的核心技术 (53)1.17扩展性和底层 (53)1.18数据处理方式 (53)1.18.1传统的批处理 (53)1.18.2管道多处理 (54)1.18.3数据分区 (54)1.18.4管道多处理和数据分区结合 (54)1.19数据分区详解 (55)1.19.1数据分区和数据聚合关系 (55)1.19.2数据重分区 (55)1.19.3数据分区方法 (56)1.20服务器的参数配置 (56)1.20.1物理架构 (56)1.20.2配置文件 (57)1.20.3经验总结 (58)1.21缓存机制 (58)6.性能调优 (59)1.22总体说明 (59)1.23调试的方法 (59)1.24经验总结 (60)1.24.1Transformer Stage使用说明 (60)1.24.2文件读写 (60)1.24.3磁盘I/O (60)1.24.4内存限制 (60)1.24.5并行度 (60)1.24.6并行调度测试 (61)1.24.7数据排序 (61)1.24.8表结构的简化 (61)1.24.9VARCHAR的定义 (61)1.24.10类型的转换 (61)1.24.11环境变量的设置 (62)1.24.12NULL值的处理 (62)7.作业调度 (62)1.24.13Sequence job调度 (62)1.24.14Job control调度 (64)8.问题集合 (65)1.25输出字段变多了 (65)1.26加载数据时，索引出错 (65)1.27数据加载到Oracle出错 (65)1.28文本数据导入出错 (65)1.29不可见字符导致出错 (65)1.30日期转换出错 (65)1.31全角空格引起的问题 (66)1.32字段中混合中英文字符“、[]”等，不能写入数据库 (66)1.33NULL值导入出错 (66)1.34使用封装Stage出错 (66)1. 引言1.1编写目的为DataStage开发者提供一个全面的技术资料学习和参考，对于初学者，提供了一些基础的知识，对于有一定经验的技术人员，也可以在本文档中找到一些高级的技术参考，更多情况下是给出大体的指引或思路，更多的技术细节资料还需要进行一步查阅官方文档。
Datastage介绍及示例1 Datastage 简介Datastage包含四大部件：Administrator、Manager、Designer、Director。
1．用DataStage Administrator 新建或者删除项目，设置项目的公共属性，比如权限。
2．用DataStage Designer 连接到指定的项目上进行Job的设计；3．用DataStage Director 负责job的运行，监控等。
例如设置设计好的job的调度时间。
4．用DataStage Manager 进行Job的备份等job的管理工作。
2 设计一个JOB示例2.1 环境准备目标：将源表中数据调度到目标表中去。
1 数据库：posuser/posuser@WHORADB , ip: 192.168.100.882 源表：a_test_from3 目标表：a_test_to两者表结构一样，代码参考：create table A_TEST_FROM(ID INTEGER not null,CR_SHOP_NO CHAR(15),SHOP_NAME VARCHAR2(80),SHOP_TEL CHAR(20),YEAR_INCOME NUMBER(16,2),SHOP_CLOSE_DATE DATE,SHOP_OPEN_DATE DATE)；alter table A_TEST_FROMadd constraint TEST primary key (ID)；4. 示例数据：insert into A_TEST_FROM (ID, CR_SHOP_NO, SHOP_NAME, SHOP_TEL, YEAR_INCOME, SHOP_CLOSE_DATE, SHOP_OPEN_DATE)values (24402, '105420580990038', '宜昌市云集门诊部', '82714596 ', 1000, to_date('01-05-2008', 'dd-mm-yyyy'), to_date('01-06-2008', 'dd-mm-yyyy'));insert into A_TEST_FROM (ID, CR_SHOP_NO, SHOP_NAME, SHOP_TEL, YEAR_INCOME, SHOP_CLOSE_DATE, SHOP_OPEN_DATE)values (24403, '105420559982198', '于志良', '82714596 ', 2000, to_date('02-05-2008', 'dd-mm-yyyy'), to_date('02-06-2008', 'dd-mm-yyyy'));insert into A_TEST_FROM (ID, CR_SHOP_NO, SHOP_NAME, SHOP_TEL, YEAR_INCOME, SHOP_CLOSE_DATE, SHOP_OPEN_DATE)values (24404, '105420556410012', '阳光儿童广场', '82714596 ', 3000, to_date('03-05-2008', 'dd-mm-yyyy'), to_date('03-06-2008', 'dd-mm-yyyy'));insert into A_TEST_FROM (ID, CR_SHOP_NO, SHOP_NAME, SHOP_TEL, YEAR_INCOME, SHOP_CLOSE_DATE, SHOP_OPEN_DATE)values (24405, '105420580620033', '秭归县医疗中心', '82714596 ', 4000, to_date('04-05-2008', 'dd-mm-yyyy'), to_date('04-06-2008', 'dd-mm-yyyy'));insert into A_TEST_FROM (ID, CR_SHOP_NO, SHOP_NAME, SHOP_TEL, YEAR_INCOME, SHOP_CLOSE_DATE, SHOP_OPEN_DATE)values (24406, '105420559120063', '同德医药零售北门连锁店', '82714596 ', 5000, to_date('05-05-2008', 'dd-mm-yyyy'), to_date('05-06-2008', 'dd-mm-yyyy'));2.2 打开Designer任务：打开datastage designer，连接datastage服务器1．双击桌面datastage designer图标。
DataStage技术介绍目录1.绪论 (2)1.1先进的开发和维护 (4)1.2完整的开发环境 (5)1.3企业级实施和管理 (9)1.4高扩展的体系架构 (12)2.附录B：DataStage企业版内嵌的扩展Stage (14)3.附录C：扩展连接 (19)1.绪论DataStage企业版是Ascential Software公司所有企业整合系列产品中关键产品。
企业版支持大容量数据的收集、整合和转换，数据从简单结构到很复杂的结构。
基于高可扩展性的软件架购，企业版使得企业能够通过高性能来解决大部分业务问题，并行处理大容量数据。
强大的企业元数据管理能力使得可以在数据整合生命周期中在所有工具中共享和使用工具。
DataStage企业版发布了四个核心功能来成功实施企业数据整合：先进的开发和维护；完整的开发环境；企业级实施和管理；高扩展的体系架构；端对端的企业级元数据管理。
1.1先进的开发和维护DataStage企业版提供了全面的功能去最优化用户在建立、升级和管理数据整合架构时的速度、灵活性和效率。
DataStage企业版增强的功能减少了学习的周期、简单化了管理和优化了开发资源的使用，减少了数据整合应用的开发和维护周期。
结果，DataStage企业版使得企业能够花更少的时间开发他们的整合应用，更多的时间是不断的从中受益。
DataStage企业版使用了Client-server架构，如下所示。
图一、DataState企业版Client-Server架构用户通过各个客户端工具访问DataStage企业版的开发、配置和维护功能。
这些工具包括：Designer：用来建立和编辑DataStage作业和表的定义。
Designer中的“Job Sequencer”控制作业的执行，其他作业成功完成（或失败，等）的条件。
Administrator：用来执行管理任务，如建立DataStage用户、建立和删除工程并且建立清洗标准。
Manager：用来编辑管理用户工程的DataStage资料库。
Director：用来验证、时序安排、运行和监测企业版作业。
如图一所示，DataSage企业版的服务器组件运行在一系列的流行服务器上，如Unix、Windows等。
1.2完整的开发环境用户使用DataStage企业版的Designer组件建立企业版数据整合应用。
企业版设计是基于数据流的概念。
数据流使得用户非常容易建立和理解应用。
用户在一个强大的图形化调色板上通过一系列的功能组件（Stage）标示数据集合的流程来构建一个数据整合应用。
一个完整的数据流图（DataStage作业），从一个永久存储的数据源开始，并且执行一系列的增值转换和其他处理操作，最后加载数据到一个永久的存储。
但是，企业版Designer开始使用户可以灵活从任何地方可以建立作业：从上到下、从下到上、从中间开始。
一个完整的企业版数据流图如图二所示。
图二、DataStage企业版数据流图示在建立一个企业版数据流图表时，通过一系列的处理步骤对庞大的数据集合构架顺序流。
用户不需要担心如何在多处理器计算机上运行该应用。
企业版对数据整合应用工作流的顺序描述和在生产环境中应用的并行执行做了一个清晰的区分。
企业版处理数据集(data set)。
数据集就是对通过数据流程的记录的收集。
一个数据集可以是屋里放置在磁盘上，也可以是虚拟放置在内存中。
数据在数据流中的Stage中移动使用的是虚拟的数据集，这样可以大大提高性能；分区（在后面介绍）是在Stage的属性中设置的。
企业版提供了多个内嵌的Stage来执行通用的数据整合任务，如Sort、Merge、join、filter、Transform和Aggregate。
更完整的内嵌Stage列表参考本文档的Appendix A。
每个企业版Stage是一个完整的功能组件，已经在多处理器系统中高吞吐量和高性能并行执行过。
这些Stage根除了为通常的数据处理应用进行编码的需要。
用户可以在企业版Designer GUI中找到这些内嵌的Stage。
用户可以使用Stage的下拉菜单来这只Stage的参数。
企业版Aggregator Stage的编辑器如下所示。
图三、企业版编辑Aggregator Stage图标和Stage编辑器例子企业版Transformer Stage是一个强大和灵活的组件，允许用户对input link输入的数据进行转换。
并且将数据传到另一个活动的Stage或者将数据写到目标数据或文件。
Transformer编辑器（如下所示）使得用户可以在input link和output link间简单建立mapping，并且可以使用BASIC等语言建立任意转换。
这些转换可以并行执行来提高吞吐量和性能。
企业版提供了超过100个内嵌的功能，另外可以用C或C++编写的route在转换中使用和进行互操作。
图四、企业版Transformer Stage图标和Stage编辑器例子DataStage企业版内嵌的Stage包括高性能访问（加载和读）关系型数据库的强大组件，包括并行的关系型数据库。
例如，企业版的Oracle Stage提供了一个访问Oracle表的高性能并行接口。
Oracle Stage支持Load和Upsert写方式和支持表和查询的读方式。
企业版也可以利用DB2强大的数据库分区特性和Teradata的高性能、并行数据加载和导出。
另外，DataStage企业版提供了一些Stage可以使得SAS用户在大容量数据上执行SAS。
Parallel SAS Data Set Stage通过SAS Stage的连接从一个并行的SAS数据集中读取和写入数据。
通过利用并行硬件执行平台和并行关系型数据库，这些SAS Stage 能够将大大增强需要进行处理和分析大数据量的SAS的吞吐量和性能。
企业版的内嵌扩展Stage提供了数据整合应用中80％到90％的最常用的逻辑需要。
另外，企业版提供了许多机制用来建立自定义的Stage：⏹Wrapped－－允许并行执行一个顺序程序。
⏹Build――允许自动并行执行自定义Stage的C语言表达式。
Custom提供了完整的C＋＋API，来开发复杂和扩展的Stage。
基于组件架构和扩展内嵌组件类库的DataStage企业版消除了对传统编码方式的需要，最大化了组件的重复使用。
对于可扩展的数据整合应用来说，企业版开放的和可扩展的架构使得整合第三方软件工具和已存在的程序更加容易。
Stage和作业的单独分区，包括每一个Stage的联合分区、元数据（表定义）和Transformer转换定义，可以在共享容器(Share Container)中被其他用户重复使用。
共享容器允许用户提高产品性和在用户和工程间共享。
作业模板(Job Template)进一步提升了效率。
用户能够比以前更快地启用已定义好的模板。
同时，标准化的模板也提供给用户一个高效的起始点。
智能帮助提供建造从简单到复杂的作业。
用户通过一系列的询问，智能帮助可以象魔术师一样输出一个DataStage企业版作业或作业序列。
他们使用元数据智能提示用户答案和输出最后的结果。
Ascential载入一些智能助手，一个建立纬度缓慢变化(Slow Changing Dimension)的星型架构(Star Schema)的数据库（类型1、2、3支持）。
1.3企业级实施和管理许多大的公司都有他们自己在复杂生产环境下的配置、时间序列、监测和管理应用的标准。
DataStage企业版提供了灵活功能来迎合这些需要。
首先，DataStage提供了一个图形化的作业顺序器(Job Sequencer)，允许用户定义作业执行的序列。
设计一个作业序列就象设计一个作业。
用户在DataStage中设计作业序列。
从工具条增加一个Activities（相对于Stage），并且通过Trigger进行连接用以定义控制流。
每个activity都有属性，可以在trigger表达式中测试并且传到序列前面的其他的activity中。
Activity也可以有参数，可以用来支持job参数或routine参数。
Job序列可以有自己的属性和参数，这些属性和参数可以顺序传到activity中。
序列也可以包括控制信息，例如，序列中job的成功或失败影响活动的走向。
一旦job序列被定义完成，可以在任何提供的接口（下面做详细的介绍）中建立时间顺序和执行。
图五、DataStage Job序列例子其次，企业版提供了Director和Manager的图形化功能。
象前面说过的，manager是用来管理工程的，包括导入和导出组件，用来将应用配置到产品。
Director用来建立时序，执行和监测job（或job序列）。
另外，企业版提供了command－line、API和web services用来对应用进行配置、执行、监测和管理。
Job能够使用所有的工具进行开始、停止和监测。
可以提供所有的工具查看Job监测的详细内容－包括Director。
企业版返回的信息包括每个并行分区的记录条数、CPU使用率、开始/结束时间等。
所有的这些都是在单独的stage级别。
这个命令行接口是：dsjob–report<project><job>[<report type>]report type=BASIC,DETAIL,XML可通过XML schema和XML style sheets对正在运行的job进行不同角度的查看。
就算job已经完成，这些信息仍然是可用的。
这就是operational meta data。
Command line和web service接口通过文本或XML方式返回出这些operational meta data。
对于国际数据的需要，DataStage企业版可以处理和管理multi-byte的数据结构。
客户端相应（如属性设置和表定义）可以使用用户本地的语言。
用户可以根据国际校正规则建立客户化的排序规则。
1.4高扩展的体系架构建立在高扩展软件架构上的企业版提供了高级别的吞吐量和性能。
象前面所描述的，用户可以使用企业版的Designer工具建立简单的顺序数据流图表。
当构架出顺序的数据流图表，用户不用担心底层的硬件架构和处理器的数量。
一个专门的配置文件可以定义这些底层多处理器计算环境中的资源（处理器、内存、磁盘）。
这个配置可以在顺序数据流图表和应用的并行执行之间建立一个清晰的分离。
这样就可以很简单开发扩展的数据整合系统并且并行执行（如图六所示）。
DataStage企业版可在管道并行和分区并行的机制下执行，这样可以获得高吞吐量和性能：⏹数据管道(Data Pipelining)意味着应用可以从源系统拉入数据并且在数据流图表中定义的顺序处理功能间移动。
