下载文档原格式
Datastage学习总结Datastage学习总结1Datastage介绍1.1产品概述DataStage企业版是Ascential Software公司所有企业整合系列产品中关键产品。
企业版⽀持⼤容量数据的收集、整合和转换，数据从简单结构到很复杂的结构。
基于⾼可扩展性的软件架购，企业版使得企业能够通过⾼性能来解决⼤部分业务问题，并⾏处理⼤容量数据。
强⼤的企业元数据管理能⼒使得可以在数据整合⽣命周期中在所有⼯具中共享和使⽤⼯具。
DataStage企业版发布了四个核⼼功能来成功实施企业数据整合：1)先进的开发和简单化的维护；2)企业级别的开发、监测和管理；3)在吞吐量和性能⽅⾯提供了⽆限制的⾼扩展的体系架构；4)端对端的企业级元数据管理。
DataStage企业版提供了全⾯的功能去最优化⽤户在建⽴、升级和管理数据整合架构时的速度、灵活性和效率。
DataStage企业版增强的功能减少了学习的周期、简单化了管理和优化了开发资源的使⽤，减少了数据整合应⽤的开发和维护周期。
结果，DataStage企业版使得企业能够花更少的时间开发他们的整合应⽤，更多的时间是不断的从中受益。
1.2基础架构1.3客户档介绍⽤户通过各个客户端⼯具访问DataStage企业版的开发、配置和维护功能。
这些⼯具包括：Designer：⽤来建⽴和编辑DataStage作业和表的定义。
Designer 中的“Job Sequencer”控制作业的执⾏，其他作业成功完成（或失败，等）的条件。
Administrator：⽤来执⾏管理任务，如建⽴DataStage⽤户、建⽴和删除⼯程并且建⽴清洗标准。
Manager：⽤来编辑管理⽤户⼯程的DataStage资料库。
Director：⽤来验证、时序安排、运⾏和监测企业版作业。
2⽇常操作2.1登录客户端2.1.1登录Datastage Administrator 客户机点击图标选择需要登录的服务器，输⼊⽤户名，密码登录进去后点击项⽬，可进⾏项⽬增加，删除，设置项⽬属性2.1.2登录Datastage Designer客户机点击图标选择需要登录的域，输⼊⽤户名，密码，选择需要登录的项⽬登录成功：2.1.3登录Datastage Director客户机点击图标选择需要登录的域，输⼊⽤户名，密码，选择需要登录的项⽬登录成功：2.2启停服务端以dsadm⽤户进⼊，执⾏以下命令：1) Server启动命令：$HOMEDIR/uv–admin -start注意：启动前,需要查看端⼝是否被释放,通过‘netstat–afinet |grep ds’查看，如果有连接，则需要等待操作系统⾃动释放后在启动服务。
DataStage官方培训教程10DataStage是一个ETL工具，它提供了广泛的数据连接选项以及数据转换和清理功能，以帮助企业完成数据仓库构建和管理。
由于数据驱动的世界越来越重要，数据管理和ETL应用程序的需求也变得越来越迫切。
DataStage官方培训教程10涵盖了DataStage常见的任务和操作，为学习DataStage用户提供了完整的指导。
在本文中，我们将对DataStage官方培训教程10进行分析和实践，以帮助读者更好地了解和掌握DataStage。
DataStage官方培训教程10的结构和内容DataStage官方培训教程10是一本基于DataStage 11.7版本的官方培训教材。
该教材共包含15个单元，分为4个部分。
第一部分介绍了DataStage概述和安装过程，包括DataStage架构、组件、工作流程等。
第二部分介绍了DataStage的数据源定义、数据移动和数据变换。
第三部分主要介绍了DataStage的错误处理和调试，包括日志、报告、来源和目标检查等。
第四部分介绍了高级主题，如DataStage管理、性能调整、共享资源和集成JDBC驱动程序等。
DataStage官方培训教程10的学习方法和技巧DataStage官方培训教程10是一本详细的教材，需要耐心和时间来学习。
以下是一些学习方法和技巧，可以帮助读者更好地掌握DataStage。
1.按照教材结构进行学习按照各个部分和单元的结构进行学习，以便逐步深入理解每个主题。
特别是，在学习前两部分时需要仔细阅读和理解数据源定义、数据移动和数据变换的概念和操作指南，掌握其重要性和影响关系。
2.完整地跟随实例进行演示教材中提供了许多实例来示范DataStage的各个方面，读者可以用自己的DataStage环境进行实操，加深对DataStage的理解和熟练度。
值得注意的是，在学习高级主题时需要一定的实践经验和技能，否则可能会花费更多的时间和精力。
经验总结_DataStage本资料仅供内部使用！经验总结_DataStage2010年09月29日目录1.D A TA S TAGE怎么调用存储过程 (2)2.D A TA S TAGE调度设计 (3)1. DataStage怎么调用存储过程1）打开Desinger2）拉入DB2 Connector控件3）填写参数4）在“Insert statement”属性中输入：call DCDW.SP_ODS2DW_DIRECTOR 5）总体情况如下图：6）编译1）新建“序列作业”2）加入Job Activity控件3）编辑Job Activity控件内容4）调度时间的设置3. DataStage8.5作业日志入库1)原理：新建一个Before/After subroutine，名为RoutineJobInfo，每个JOB运行完后执行一个这个routine，用于将每个job执行完后的相关日志信息写到一个文件里，然后通过一个shell程序runjobinfo将每个job运行的日志信息写入数据表LOG_DATASTAGE中。
每天通过检查LOG_DA TASTAGE表中每个job的状态信息来检查job是否运行失败。
2)步骤第一步，打开Designer 客户机，进入如下界面，找到左边的Routines目录第二步第三步RoutineJobInfo_code.txt 第四步第五步输入参数0;/dcdata/etl/runjobinfo/，在/dcdata/etl/runjobinfo/目录下产生每个JOB运行后的日志信息，文件名为job名称.txt。
3)建立日志表(DCDW.LOG_DATASTAGE)4)Shell程序etl_runjobinfo.sh读取/dcdata/etl/runjobinfo/下产生的每个JOB日志信息，产生JOB运行清单jobfilename.tmp记录运行job名称，将相关信息插入DCDW.LOG_DATASTAGE表。
DATESTAGE 使用实用指南1.DataStage官方文档学习笔记1.1通过右键添加link鼠标右键点击起始stage，按住右键移动鼠标到目标stage。
还有一种方法就是把鼠标放在起始stage的边缘等到变为一个小圆圈里面有一个叉的时候拖动鼠标到目标stage。
1.2DataStage中默认和隐式类型转换时注意的问题当从源向目标映射数据时，如果类型不一致，对于有些类型我们需要在modify或transfomer stage中通过函数进行转换，对于有些系统会自动完成类型转换，在类型转换过程中，注意以下几点：1 在变长到固定长度字符串的默认转换中，parallel jobs用null（ASCII 0）字符来填充剩余长度。
联系到前面做的一个parallel job，当目标是变长时（当时源也是变长，但是好像源的精度要小些），但是字符串实际的长度没有指定的变长那么长的话，系统会自动用空格（ASCII 20）来填充（具体在哪个stage 填充的不知），而且环境变量APT_STRING_PADCHAR的默认值也是空格（ASCII 20）。
2 通过环境变量APT_STRING_PADCHAR可以改变默认的填充字符null（ASCII 0）。
注：联系上面两点，感觉文档讲的与实际不符，难道我们项目的administrator改变了该环境变量的默认值？3 有个PadString 函数可以用来用指定的字符来填充一个变长的字符串到指定的长度。
这个函数的参数不能使固定长度字符串，如果是固定长度的先转化为变长。
1.3Copy Stage作为占位符在job开发中，当你暂时不知道该使用哪个stage时，可以使用copy stage作为占位符，注意不要把Force 属性设为True，在不把Force设为True时，复制将在运行时进行优化。
使用Schema file来指定meta data1 可以通过列定义和schema file两种方式来指定meta data，值得注意的一点是Note that, if you usea schema file, you should ensure that runtime column propagation is turned on. Otherwise the column definitions specified in the stage editor will always override any schema file.即，如果想通过schema file来指定meta data，必须勾上runtime column propagation，否则总是使用列定义来作为meta data。
Datastage介绍及示例1 Datastage 简介Datastage包含四大部件：Administrator、Manager、Designer、Director。
1．用DataStage Administrator 新建或者删除项目，设置项目的公共属性，比如权限。
2．用DataStage Designer 连接到指定的项目上进行Job的设计；3．用DataStage Director 负责job的运行，监控等。
例如设置设计好的job的调度时间。
4．用DataStage Manager 进行Job的备份等job的管理工作。
2 设计一个JOB示例2.1 环境准备目标：将源表中数据调度到目标表中去。
1 数据库：posuser/posuser@WHORADB , ip: 192.168.100.882 源表：a_test_from3 目标表：a_test_to两者表结构一样，代码参考：create table A_TEST_FROM(ID INTEGER not null,CR_SHOP_NO CHAR(15),SHOP_NAME VARCHAR2(80),SHOP_TEL CHAR(20),YEAR_INCOME NUMBER(16,2),SHOP_CLOSE_DATE DATE,SHOP_OPEN_DATE DATE)；alter table A_TEST_FROMadd constraint TEST primary key (ID)；4. 示例数据：insert into A_TEST_FROM (ID, CR_SHOP_NO, SHOP_NAME, SHOP_TEL, YEAR_INCOME, SHOP_CLOSE_DATE, SHOP_OPEN_DATE)values (24402, '105420580990038', '宜昌市云集门诊部', '82714596 ', 1000, to_date('01-05-2008', 'dd-mm-yyyy'), to_date('01-06-2008', 'dd-mm-yyyy'));insert into A_TEST_FROM (ID, CR_SHOP_NO, SHOP_NAME, SHOP_TEL, YEAR_INCOME, SHOP_CLOSE_DATE, SHOP_OPEN_DATE)values (24403, '105420559982198', '于志良', '82714596 ', 2000, to_date('02-05-2008', 'dd-mm-yyyy'), to_date('02-06-2008', 'dd-mm-yyyy'));insert into A_TEST_FROM (ID, CR_SHOP_NO, SHOP_NAME, SHOP_TEL, YEAR_INCOME, SHOP_CLOSE_DATE, SHOP_OPEN_DATE)values (24404, '105420556410012', '阳光儿童广场', '82714596 ', 3000, to_date('03-05-2008', 'dd-mm-yyyy'), to_date('03-06-2008', 'dd-mm-yyyy'));insert into A_TEST_FROM (ID, CR_SHOP_NO, SHOP_NAME, SHOP_TEL, YEAR_INCOME, SHOP_CLOSE_DATE, SHOP_OPEN_DATE)values (24405, '105420580620033', '秭归县医疗中心', '82714596 ', 4000, to_date('04-05-2008', 'dd-mm-yyyy'), to_date('04-06-2008', 'dd-mm-yyyy'));insert into A_TEST_FROM (ID, CR_SHOP_NO, SHOP_NAME, SHOP_TEL, YEAR_INCOME, SHOP_CLOSE_DATE, SHOP_OPEN_DATE)values (24406, '105420559120063', '同德医药零售北门连锁店', '82714596 ', 5000, to_date('05-05-2008', 'dd-mm-yyyy'), to_date('05-06-2008', 'dd-mm-yyyy'));2.2 打开Designer任务：打开datastage designer，连接datastage服务器1．双击桌面datastage designer图标。
1、【第一章】datastage简介与工作原理1、简介数据中心（数据仓库）中的数据来自于多种业务数据源，这些数据源可能是不同硬件平台上，使用不同的操作系统，数据模型也相差很远，因而数据以不同的方式存在不同的数据库中。
如何获取并向数据中心（数据仓库）加载这些数据量大、种类多的数据，已成为建立数据中心（数据仓库）所面临的一个关键问题。
针对目前系统的数据来源复杂，而且分析应用尚未成型的现状，专业的数据抽取、转换和装载工具DataStage是最好的选择。
Websphere DataStage 是一套专门对多种操作数据源的数据抽取、转换和维护过程进行简化和自动化，并将其输入数据集市或数据中心（数据仓库）目标数据库的集成工具。
DataStage 能够处理多种数据源的数据，包括主机系统的大型数据库、开放系统上的关系数据库和普通的文件系统等，以下列出它所能处理的主要数据源：大型主机系统数据库：IMS,DB2,ADABAS,VSAM 等开放系统的关系数据库：Informix,Oracle,Sybase,DB2,Microsoft SQL Server等ERP 系统：SAP/R3,PeopleSoft系统等，普通文件和复杂文件系统，FTP 文件系统，XML等IIS,Netscape,Apache等Web服务器系统Outlook等Email系统。
DataStage 可以从多个不同的业务系统中，从多个平台的数据源中抽取数据，完成转换和清洗，装载到各种系统里面。
其中每步都可以在图形化工具里完成，同样可以灵活的被外部系统调度，提供专门的设计工具来设计转换规则和清洗规则等，实现了增量抽取、任务调度等多种复杂而实用的功能。
其中简单的数据转换可以通过在界面上拖拉操作和调用一些DataStage 预定义转换函数来实现，复杂转换可以通过编写脚本或结合其他语言的扩展来实现，并且DataStage 提供调试环境，可以极大提高开发和调试抽取、转换程序的效率。
1. DataStage(ETL工具)要求：5用户数2.技术要求ETL过程必须有图形化的开发、管理和监控界面；ETL处理过程支持各种字符集的转换；ETL处理过程具有完整的日志管理功能、完善的数据审计功能。
并且有相关的监控预警机制，保证ETL正常进行，不影响数据源系统和经营分析系统的正常工作；ETL处理过程可以定义外部数据记录的错误限制，如发现最多1000条错误数据记录时停止进行处理，同时将发生错误的数据记录加到相应的错误表中； 支持多种操作系统平台，如UNIX、Windows NT/2000/2003、Linux等；支持Oracle、DB2、Sybase、SQL Server等业界主流数据库软件平台；采用高性能的数据抽取接口，比如：专用数据库驱动接口、JDBC、ODBC接口等；数据转换模块可进行二次开发，并通过对内嵌脚本语言、存储过程、插件及外部程序的支持来处理复杂的处理，提供调试、跟踪功能；丰富的数据加载功能：可以利用关系型数据库引擎私有的装载功能(native load)进行数据装载；ETL工具必须支持一定的数据转换功能，支持ETL过程中数据转换环节执行顺序、支持的数据平滑化、规范化、聚类等转换操作；ETL工具必须提供自动文档生成功能；ETL工具作业开发支持过程驱动方法和自顶向下的设计，提供设计模板；ETL工具提供灵活的作业开发的参数支持；ETL处理过程必须包括有统一调度、监控和管理的功能。
具有元数据提取和存储的功能，通过元数据管理实现数据冲突分析、血统分析功能。
具有基于Web上的系统管理、作业调度和元数据展现。
ETL工具处理过程应能够支持并行（集群）处理，并能支持多服务器组成网格进行并行处理。
3. 实施要求3.1实施计划投标方需要在标书中提出项目实施计划的草案，内容包括：1)投标方必须给出切实可行的项目实施时间进度表。
2)所有可交付的开发成果、服务及交付时间和方式。
3)可交付的开发成果及服务之间的依赖关系。
