超详细的六款主流ETL⼯具介绍及功能对⽐
概述
ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或⾏业应⽤来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握⼀种etl⼯具的使
⽤，必不可少。最近⽤kettle做数据处理⽐较多，所以也就介绍下这⽅⾯内容，这⾥先对⽐下⼏款主流的ETL⼯具。
1、DataPipeline
Data Pipeline是⼀家为企业⽤户提供数据基础架构服务的科技公司，DataPipeline数据质量平台整合了数据质量分析、质量校验、质量监控等多⽅⾯特性， 以保证数据质量的完整性、⼀
致性、准确性及唯⼀性，彻底解决数据孤岛和数据定义进化的问题。
2、Kettle
Kettle是⼀款国外开源的ETL⼯具，纯java编写，可以在Windows、Linux、Unix上运⾏，数据抽取⾼效稳定。Kettle 中⽂名称叫⽔壶，该项⽬的主程序员MATT 希望把各种数据放到⼀个
壶⾥，然后以⼀种指定的格式流出。
Kettle家族⽬前包括4个产品：Spoon、Pan、CHEF、Kitchen。
SPOON 允许你通过图形界⾯来设计ETL转换过程（Transformation）。
PAN 允许你批量运⾏由Spoon设计的ETL转换 (例如使⽤⼀个时间调度器)。Pan是⼀个后台执⾏的程序，没有图形界⾯。
CHEF 允许你创建任务（Job）。任务通过允许每个转换，任务，脚本等等，更有利于⾃动化更新数据仓库的复杂⼯作。任务通过允许每个转换，任务，脚本等等。任务将会被检查，看看
是否正确地运⾏了。
KITCHEN 允许你批量使⽤由Chef设计的任务 (例如使⽤⼀个时间调度器)。KITCHEN也是⼀个后台运⾏的程序。
3、Talend
Talend，是⼀家专业的开源集成软件公司，为企业提供开源的中间件解决⽅案，从⽽让企业能够在他们的应⽤，系统以及数据库中赢取更⼤的价值。在传统软件公司提供封闭、私有的解
INFA教学
1、岗位介绍（基于数据流动方向进行岗位介绍）
2、ETL介绍（处理流程，转换例子）
3、info介绍（功能介绍，组建介绍）
3、数据仓库介绍（上游数据源、层次、下游应用系统）
4、数据仓库项目介绍（结合农信银和哈尔滨银行项目进行介绍）
5、java项目介绍（项目流程）
1、 Informatica中，Update组件叫什么？更新机制？
2、 Informatica中，LookUp组件有哪几类？区别是什么？
3、 Informatica中，如何调用存储过程？
4、 Informatica中，工作流控制有哪些组件？
5、 Informatica优化方案？
ETL是什么？
ETL是数据抽取（Extract）、清洗（Cleaning）、转换（Transform）、装载（Load）的过程。是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。
INFA发展史：
Informatica，1993年创立于美国加利福尼亚州，并于1999年4月在纳斯达克上市。作为全球领先的独立企业数据集成软件提供商，Informatica 帮助世界各地的组织为其首要业务提供及时、相关和可信的数据，从而在当今全球信息经济中获得竞争优势。
借助Informatica全面、统一、开放且经济的数据集成平台，组织可以在改进数据质量的同时，访问、发现、清洗、集成并交付数据，以提高运营效率并降低运营成本。Informatica平台是一套完善的技术，可支持多项复杂的企业级数据集成计划，包括：企业数据集成、大数据、数据质量控制、主数据管理、B2B Data Exchange、应用程序信息生命周期管理、复杂事件处理、超级消息和云数据集成。
PowerCenter的优势：
（1）. 可视化界面，方便管理R。
（2）. 可视化界面，开发简单D。
（3）. 可视化界面，维护方便D、W。 （4）. 可视化界面，错误排查M。
Info Alchemy Corp. (北京代表处) 北京市朝阳区朝阳门外大街16号中国人寿大厦5楼环亚中心1号室 邮政编码：100020 传真：(8610)85251813 电话：
(8610)85251807 Informatica安装配置手册 David Jiang 1. 准备工作........................................................2 1.1. 安装环境.......................................................2 1.2. 数据库准备.....................................................2 2. Window下安装配置手册............................................3 2.1. 安装Informatica 的相关组件:..................................3 2.2. 创建知识库(Repository)........................................8 2.3. 创建目录(Folder).............................................11 2.4. Repository Server Administrator密码.........................12 2.5. Informatica Server 配置步骤..................................13 3. Informatica客户端工具简介......................................16 3.1. Designer....................................................17 3.2. Reposiotry Manager...........................................17 3.3. Repository Server Administration Console.....................18 3.4. Workflow Manager.............................................19 3.5. Workflow Monitor.............................................19
一、Suorce调优
1.文本文件：
-调优Line Sequential Buffer Length(1024)
2.关系型数据库：
-在Source Qualify优化SQL
-在源数据增加索引
-增加Database Network Packet size
-当DB与informatica在同一台机器上使用IPC协议
二、Target调优
1.目标为文本文件：
-调优Line Sequential Buffer Length(1024)
2.目标位关系型数据库
-删除目标索引和约束
-增加checkpoit interval
-使用Bulk Loading和External loading
-增加Database networkPacketsize
三、Mapping调优
>最少化转化组件
>减少不必要的link
>对Aggregator、Joiner、Rank、Lookup等组件，减少连接的input/output和output字段
>Single Pass：读一次数据，多处使用
>减少数据类型转换：数值的比较比字符串要快
>减少转换错误：使用session tracing terse
>组件调优：Lookup组件、Filter组件、Aggregator组件、Joiner组件调优、调优Sequence
Generator >调优表达式
>增加Partition
>调优Session参数
四、System调优
>增加network speed：本地速度一般是网络的5-20倍；文件拷贝到本地
>使用informatica Grid
>当只处理7-bit ASCII或EBCDIC数据时，选用ASCII data movement mode :只是用一个字节存储数据。
>减少Paging（虚拟内存）：在Unix系统下，使用processor binding将资源分配给informatica
