Informatica PowerCenter 9 for Linux64 安装配置
- 格式:docx
- 大小:1.96 MB
- 文档页数:19
Informatica PowerCenter 参数和变量使用指南中国区唯一总代理神州数码(中国)有限公司2014年目录第一章参数和变量 (3)1、概述 (3)2、参数与变量存在的三种形式 (4)2.1系统级变量 (4)2.2 Mapping级参数与变量 (4)2.3 参数文件级参数与变量 (10)第二章参数文件格式 (12)1、标题格式和适用范围 (12)2、参数和变量类型 (13)3、实例 (13)第三章参数文件使用要点 (15)1、创建准则和使用注意事项 (15)2、PMCMD中使用参数文件 (17)第四章应用案例介绍 (18)1、定义M APPING的变量。
(18)2、在E XPRESSION组件中引用变量 (19)3、定义W ORKFLOW变量 (19)4、在E VENT W AIT组件中引用变量 (20)5、在S ESSION中引用变量 (21)6、在C OMMAND组件中引用变量 (22)7、参数文件定义 (22)8、S ESSION参数文件引用设置 (23)9、W ORKFLOW参数文件引用设置 (24)10、W ORKFLOW流程图 (24)第一章参数和变量1、概述参数和变量可以定义在工作流、工作集或会话中。
您可以使用WordPad 或Notepad 等文本编辑器来创建参数文件。
您在参数文件中列出参数或变量及其值。
参数文件可以包含以下类型的参数和变量:◆Integration Service变量◆Integration Service process变量◆Workflow变量◆Worklet变量◆Session参数◆Mapping参数和变量当您在工作流、工作集或会话中使用参数或变量时,PowerCenter Server将检查参数文件以确定参数或变量的开始值。
您可以使用参数文件来初始化工作流变量、工作集变量、映射参数和映射变量。
如果您不定义这些参数和变量的开始值,PowerCenter Server将在其它位置检查参数或变量的开始值。
Informatica PowerCenter 高可扩展性与高性能的企业数据集成标准确立企业数据集成标准Informatica® PowerCenter® 为具备高可扩展性与高性能的企业数据集成软件确立了标准。
PowerCenter 可使您的 IT 组织能够通过单一方式访问、转换和传输数据,无需任何手动编码。
该软件的高可扩展性能可以支持海量数据并满足企业对安全和性能的需求。
PowerCenter 可作为所有企业集成方案的数据集成基础,包括数据仓库、数据治理、数据迁移、面向服务的体系架构 (SOA)、B2B 数据交换以及主数据管理 (MDM)。
•在正确的时间提供正确信息,让业务部门拥有其所需的及时、相关和可信的数据与报告,以便制定更准确、更及时的业务决策 •经济高效地进行扩展,以满足增长的数据需求,节约硬件成本,并降低与数据停机相关的成本和风险 •让开发人员、分析师和管理员团队能够更快更好地协作,共享和重复利用工作成果,以加快项目的交付速度“在我们这一行,至关重要的是能够抢先取得竞争优势和研究项目的投资回报。
不断增长的竞争只会进一步强调这一点,让你更容易理解‘时间就是金钱’这句话的含义。
在此艰难的环境下,Informatica [PowerCenter ] 为进行日常报告助了一臂之力,从而保证我们的团队具备最优的响应度和效率。
”– Alain Afios ,数据处理主管 研发部门,AventisBBVA Compass 是一家金融机构,在世界各地拥有 748 间分行。
该银行必须有效地检测、调查和报告可疑的洗钱活动,以符合国家和国际法规、指令及最佳实践的要求。
同时,该银行也需要降低合规成本。
BBVA Compass 依赖于 PowerCenter 来集成 17 个跨企业的数据源,其中包括拥有不同格式、结构和延迟性的贷款、信用卡、账户及在线银行交易数据。
PowerCenter 提供了金融活动与客户风险的全面视图。
目录未找到目录项。
Informatica 数据整合分为三类数据集成,即下游集成、中游集成和上游集成下游集成:指数据仓库,显著特点是,从数据流的角度看,数据仓库的主体功能是所有应用系统的下游,所有数据都会流向数据仓库中游集成:指数据交换平台,特点是,任何平台和它的关系都是对等的,它是这个数据枢纽hub的中心点,用来支持所有系统之间数据的数据交换,用于解决数据集成毛团问题。
上游集成:指主数据平台,而且是交易型主数据平台。
用于管理企业核心数据的黄金记录,作为企业核心记录的黄金数据的标准平台。
Informatica 的四个客户端及作用:1,Repository Manager:用于管理Repository本身,如创建文件夹,导入/导出Mapping、Worlkfolw,版本管理,部署,Repository的清除。
2,Designer:用于导入ETL元数据,开发ETL程序。
在Power Center中ETL程序被叫做Mapping,即源到目标的映射。
3,Workflow Manager:用于对Mapping的进行数据源、数据目标、使用的字符集、调优及参数配置等,使Mapping能够运行。
此外,还提供了基本的调度和排程的能力。
4,Workflow Monitor:用于监控运行时的Workflow和session,监控ETL运行是否正常、执行效率及异常时的错误信息。
Power Center的开发过程:0,使用PowerCenter客户端连接域(Domian)和数据库服务器Repository Service;建立一个文件夹(Folder),用于开发学习;1,在客户端PowerCenter Designer中导入源表和目标表的结构定义;注:在Power Center Designer中导入的仅仅是表结构,与执行过程的表名无强相关2,在Designer中,创建Mapping(ETL流程)3,在Designer中,拖动源和目标,以及相应组件进入Mapping4,在Designer中,建立源和目标,以及相应组件之间的映射5,在Workflow Manager中提供相应的配置信息及参数6,通过Workflow Monitor客户端进行监控7,预览执行结果重要概念:Mapping:是一个程序,但它不直接可以执行Session:是一个Mapping的实例,指定相关的配置信息后,可以执行;Workflow:可以执行一个或者多个Session,对Session或者其他Task组件进行排程基础组件:1,Source:源文件数据源可以是数据库表,文本文件,XML文件,SAP等,应用系统、Hadoop,MQ等源文件常用方法:手工创建,通过数据库、文本文件、样例文件导入注意:理论上,源表结构定义继承了数据库中表的定义,但是实践中有可能导入后的数据类型发生变化,如表中varchar2,而导入后变为nvarchar2,从而引起Session执行异常。
Informatica元数据库2009-07-12 14:00Informatica所有的元数据信息均以数据库表的方式存到了元数据库中。
当然Infa本身工具提供了很多的人性化的功能,使我们在开发时可以很方便的进行操作,但人们的需求总是万变的,需要方便的取到自己需要的信息,那就需要我们对他的元数据库有很深的了解。
Informatica通过表和视图给我们提供着所有的信息,在此将通过一个系列的帖子,将大部分常见的,且非常有用的表及视图介绍一下。
基于这些东西,我们即可以根据不同的需求查出自己需要的数据,也可以开发一些辅助的Infa应用程序。
OPB_ATTR:INFORMATICA(Designer,Workflow等)设计时及服务器设置的所有属性项的名称,当前值及该属性项的简要说明例如:ATTR_NAME:Tracing LevelATTR_VALUE:2ATTR_COMMENT:Amount of detail in the session log用途:可以通过该表快速查看到设计或设置时碰到的一些属性项的用途与说明OPB_ATTR_CATEGORY:INFORMATICA各属性项的分类及说明例如:CATEGORY_NAME:Files and DirectoriesDESCRIPTION:Attributes related to file names and directory locations 用途:查看上表所提的属性项的几种分类及说明OPB_CFG_ATTR:WORKFLOW MANAGER中的各个Folder下的Session Configuration的配置数据,每个配置对应表中一组Config_Id相同的数据,一组配置数据共23条例如:ATTR_ID:221ATTR_VALUE:$PMBadFileDir用途:查看所有的SessionConfiguration的配置项及值,并方便的进行各个不同Folder间的配置异同比较OPB_CNX:WORKFLOW MANAGER中关于源、目标数据库连接的定义,包括Relational Connection,Queue Connection,Loader Connection等例如:OBJECT_NAME:Orace_SourceUSER_NAME:oralUSER_PASSWORD:`?53S{$+*$*[X]CONNECT_STRING:Oratest用途:查看在WorkFlow Manager中进行配置的所有连接及其配置数据OPB_CNX_ATTR:上表所记录的所有数据库连接的一些相关属性值,一种属性值一条数据。
Informatica使用说明(图解)唾沫星冲锋枪 2013-4-22目录前言 (3)第一篇环境搭建 (3)服务器 (3)准备 (3)安装 (3)配置 (17)客户端 (23)准备 (23)安装 (24)介绍 (28)第二篇开发应用 (28)Repository Manager (28)环境介绍 (28)配置目录 (31)Designer (33)环境介绍 (33)配数据源 (34)引入数据源 (36)引入数据目标表 (38)制作Mapping (40)WorkFlow Manager (43)制作session (43)配置服务器数据源 (44)配置session源 (46)配置session目标 (47)制作workflow (48)执行workflow (50)WorkFlow Monitor (50)第三篇监控维护 (51)基本信息查看 (51)运行时间查看 (51)Session日志查看 (52)Workflow日志查看 (52)结束语 (53)前言个人从事ETL方面工作多年,各种工具都有一定了解,POWERCENTER是较为优秀的产品之一。
POWERCENTER是C/S模式,客户端开发服务器运行,本文主要介绍POWERCENTER 基本使用部分,详细的各个组件使用可以查阅相关帮助文档。
第一篇环境搭建服务器准备因为INFORMATICA把配置信息和开发的ETL过程信息都保存在资料库里,所以要预先准备一个数据库资料库。
本文采用oracle做资料库,名称INFO用户INFO密码INFO,配置好数据库的监听。
安装找到软件SERVER目录下的install.bat运行。
POWERCENTER的授权文件是按数据库接口出售的,支持数据库越多价格越高。
这里请注意配置,之前准备好的数据库资料库。
安装完成后可以查看一下服务项里面是否正常。
安装补丁。
因机器不同选择相应的补丁版本,如64位server系统需要补丁。
Informatica PowerCenter Developer Platform开发配置手册编写: 冷鹏版本: 1.1状态:初稿日期:2008年5月29日该文档是基于Informatica PowerCenter Developer Platform SP3 for Win32的环境写的,主要介绍开发平台的安装配置步骤,针对开发调试中出现的错误信息提出解决办法。
版权信息:© Copyright DigitalChina 2008.本文档未经许可,任何单位及个人不得传播、涉露本文档信息,违者必究编写历史目录1介绍 (4)1.1背景 (4)2开发平台安装 (5)2.1安装准备 (5)2.2安装步骤 (5)2.3配置说明 (7)2.3.1 环境变量 (7)2.3.2 相关文件拷贝 (8)2.3.3 端口号配置 (8)2.3.4 样本脚本修改 (9)3样例介绍 (10)3.1JAVA应用程序样例 (11)3.2Web JSP应用样例 (14)4参考 (19)4.1示例参考 (19)4.2示例参考 (19)1 介绍1.1 背景由于有越来越多的神州数码用户需要将Informatica开发的应用部署到企业系统中,如将Informatica Client中的ETL任务调度、监控功能嵌入到企业系统应用平台中。
而目前向Informatica Service发送任务请求的途径有3种方式,一种是常用的Informatica Client方式,如PowerCenter Workflow Manager执行任务调度;一种是命令行方式,如通过PMCMD方式执行StartWorkflow;还有一种就是通过Developer Platform API接口方式来执行任务调用,可开发Java或C/C++接口内嵌到应用程序或Web平台上进行使用,这样可将ETL功能与企业原应用系统整合起来。
因此该文档是基于第3种方式,力求给这些用户在安装配置InformaticaPowerCenter Developer Platform时一些帮助,文档是基于Informatica PowerCenter DeveloperPlatform SP3 for Win32的环境写的,主要介绍开发平台的安装配置步骤、Load Manager Java API样例介绍,针对开发调试中出现的错误信息提出析疑。
—Informatica Powercenter安装、配置及简单使用文档文档控制变更记录3日期作者版本变更参考目录1概述 (1)1.1读者对象 (1)1.2参考文档 (1)2软件简介 (2)2.1概念 (2)2.2作用 (2)3安装准备 (4)3.1系统要求 (4)3.2数据库账户 (5)3.3注意事项 (5)4POWERCENTER安装 (6)4.1服务器端安装 (6)4.1.1运行安装向导 (6)4.1.2选择安装类型 (7)4.1.3选择License Key (8)4.1.4选择安装路径 (10)4.1.5设置https协议 (10)4.1.6域选择与配置 (13)4.1.7配置节点 (15)4.1.8选择System账户 (16)4.1.9安装成功 (16)4.2客户端安装 (18)4.2.1运行安装向导 (18)4.2.2选择安装类型 (19)4.2.3选择安装路径 (20)4.2.4安装成功 (22)4.3官方文档安装 .......................................................................................................... 错误!未定义书签。
4.3.1运行安装向导................................................................................................. 错误!未定义书签。
4.3.2选择安装路径................................................................................................. 错误!未定义书签。
4.3.3安装成功......................................................................................................... 错误!未定义书签。
Informatica PowerCenter 9.0.1安装与配置
本文档就如何在Linux64系统上安装配置Informatica PowerCenter9.0.1作简单的操作说明。
1环境准备
1.1操作系统需求
◆Informatica测试机IP:172.16.99.27
◆在安装Informatica之前,请先安装oracle数据库的客户端。
◆为Informatica建立一个操作系统用户user:infa group:dba pwd:infa
◆为infa用户预留8G内盘空间,系统tmp区预留2G空间
◆配置infa用户环境变量,确保可连通中所有涉及的数据源和目标
◆确保infa用户可以使用sqlplus命令访问oracle数据库或oracle目录
◆请保证端口6005不被占用,与数据库连接端口6006-6105(可更换端口,最少5个)◆Infa用户下的Ulimit –a的memory、file、data、nofiles请尽量放大(unlimited)
Root用户:
# ulimit –m unlimited
# ulimit –s unlimited
# ulimit –Ha
Time(seconds) unlimited
File(blocks) unlimited
Data(kbytes) unlimited
Stack(kbytes) unlimited
Memory(kbytes) unlimited
Coredump(blocks) unlimited
Nofiles(descriptors) unlimited
1.2数据库需求
♦Informatica需要一个数据库(Oracle、IBM DB2、MS Sql Server或Sybase ASE)作为保存其元数据的知识库,建立一个informatica专用的表空间(DB2要求缓冲池页大小至少32K),建议至少500M。
♦为infa用户预留4G硬盘空间,1G系统tmp区空间。
♦确保数据库字符集为中文字符集GBK。
♦提供该数据库的listener port,并确保数据服务正在侦听。
♦设置oracle数据库open_cursors值为1000;
SQL>show parameter open_cursors; ---显示参数值
SQL>alter system set open_cursors = 1000; ---修改参数值为1000 SQL>commit; ----提交
♦建库并建立两个数据库用户infa和infa_rep(infa管理域资料库,infa_rep管理资料库),具有dba权限。
♦配置环境变量,确保infa用户具有访问oracle目录权限,并可访问该数据库。
1.3数据源和目标需求
♦提供数据源和目标的用户名和密码,再次确认在infa系统用户下可以访问到数据源和目标。
1.4上传介质和license key文件
注意:请使用infa用户并请确保以二进制方式上传。
1.5配置Linux用户的环境变量
说明:在Linux用户环境变量中,主要是配置跟数据库相关的变量,可不指定PowerCenter 服务的路径信息。
下面是配置.profile的例子:
################Oracle############################
ORACLE_BASE=/app/oracle
ORACLE_HOME=$ORACLE_BASE/product/11.2.0/dbhome_1
NLS_LANG="SIMPLIFIED CHINESE"_CHINA.ZHS16GBK
TNS_ADMIN=$ORACLE_HOME/network/admin
TMPDIR=/tmp
TMP=/tmp
EDITOR=vi
LD_LIBRARY_PATH=$ORACLE_HOME/lib:$LD_LIBRARY_PATH
LANG=C
PATH=$PATH:$ORACLE_HOME/bin
export ORACLE_BASE ORACLE_HOME NLS_LANG TNS_ADMIN TMPDIR TMP EDITOR LD_LIBRARY_PATH LANG PATH
###以下Informatica的环境变量在产品安装完成后再设置###
INFA_CODEPAGENAME="MS936"
INFA_HOME=/app/infa/Informatica/9.0.1
INFA_DOMAINS_FILE=$INFA_HOME/domains.infa
LD_LIBRARY_PATH=$INFA_HOME/server/bin:$LD_LIBRARY_PATH
PATH=$PATH:$INFA_HOME/tomcat/bin
export INFA_HOME INFA_CODEPAGENAME INFA_DOMAINS_FILE PATH
2安装Informatica PowerCenter 9.0.1
运行install.sh命令开始安装
输入“Y”
选择1,表示新安装.
输入G, 进入图形安装模式.
选择第1项: install informatica 9.0.1 with HotFix 2.
选择License文件和安装目录/app/infa
开始安装….
创建Domain
创建数据库连接,
输入Oracle用户名/密码:infa_admin/infa_admin Oracle JDBC URL: 172.16.99.28:1521
Service name: orabi
Test Connection
配置Domain, 设置Domain用户名和密码为: Administrator/password
安装成功.
3配置Informatica PowerCenter 9.0.1
配置前确认infa用户环境变量已设置,并确在使用sqlplus可以访问oracle数据库然后重启Informatica PowerCenter 9.0.1:
/app/infa/Informatica/9.0.1/tomcat/bin/infaservice.sh startup
在IE中打开URL http://172.16.99.27:6005/adminconsole,
输入用户名和密码: Administrator/password
3.1创建存储资料库
选择操作->新建->PowerCenter存储库服务
输入存储库名称rep01_etlserver
Database Type:创建的资料库所在数据库的类型。
(Oracle,IBM DB2或者Microsoft SQL Server)
Username:创建资料库所用的数据库用户ID。
Password:创建资料库用到的数据库用户相应的密码。
Connection String:资料库所在数据库的Database Service name。
Code Page:资料库的字符集(建议与数据库的字符集要一致)。
如果是首次创建资料库,则选择创建新的内容。
如果之前备份过资料库,就创建一个空的资料库,然后再恢复资料库。
修改存储库属性 操作模式为: 普通。
如果不修改,则Integration Service创建不成功。
3.2创建Integration Service 选择操作->新建->PowerCenter集成服务
输入集成服务名称: IS01_etlserver
PowerCenter Repository Service:选择创建的Integration Service要关联的Repository Service。
Username:创建该Integration Service用的用户。
(默认的是Administrator)Password:创建Integration Service所用的用户相应的密码。
(Administrator 用户的密码是Administrator)。
Data Movement Mode:数据移动模式。
(通常选择Unicode)
选择Integration Service的字符集,此处的字符集要与操作系统的字符集一致。