ETL工具优缺点对比分析(kettle和Informatica)

超详细的六款主流ETL⼯具介绍及功能对⽐概述ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或⾏业应⽤来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握⼀种etl⼯具的使⽤，必不可少。

最近⽤kettle做数据处理⽐较多，所以也就介绍下这⽅⾯内容，这⾥先对⽐下⼏款主流的ETL⼯具。

1、DataPipelineData Pipeline是⼀家为企业⽤户提供数据基础架构服务的科技公司，DataPipeline数据质量平台整合了数据质量分析、质量校验、质量监控等多⽅⾯特性，以保证数据质量的完整性、⼀致性、准确性及唯⼀性，彻底解决数据孤岛和数据定义进化的问题。

2、KettleKettle是⼀款国外开源的ETL⼯具，纯java编写，可以在Windows、Linux、Unix上运⾏，数据抽取⾼效稳定。

Kettle 中⽂名称叫⽔壶，该项⽬的主程序员MATT 希望把各种数据放到⼀个壶⾥，然后以⼀种指定的格式流出。

Kettle家族⽬前包括4个产品：Spoon、Pan、CHEF、Kitchen。

SPOON 允许你通过图形界⾯来设计ETL转换过程（Transformation）。

PAN 允许你批量运⾏由Spoon设计的ETL转换 (例如使⽤⼀个时间调度器)。

Pan是⼀个后台执⾏的程序，没有图形界⾯。

CHEF 允许你创建任务（Job）。

任务通过允许每个转换，任务，脚本等等，更有利于⾃动化更新数据仓库的复杂⼯作。

任务通过允许每个转换，任务，脚本等等。

任务将会被检查，看看是否正确地运⾏了。

KITCHEN 允许你批量使⽤由Chef设计的任务 (例如使⽤⼀个时间调度器)。

KITCHEN也是⼀个后台运⾏的程序。

3、TalendTalend，是⼀家专业的开源集成软件公司，为企业提供开源的中间件解决⽅案，从⽽让企业能够在他们的应⽤，系统以及数据库中赢取更⼤的价值。

在传统软件公司提供封闭、私有的解决⽅案的领域Talend系列软件以开源的形式进⾏开发。

国际三大主流ETL工具分析ETL（Extract, Transform, Load）是指将数据从源系统中抽取出来，进行转化（加工、清洗、整合等），然后加载到目标系统中。

在ETL工具的选择上，有许多可供选择的工具。

本文将对国际三大主流ETL工具（Informatica PowerCenter、IBM InfoSphere DataStage和Microsoft SQL Server Integration Services）进行分析。

1. Informatica PowerCenterInformatica PowerCenter是一种广泛应用的ETL工具，它提供了强大的数据集成和数据转换功能。

它具有以下特点：- 强大的数据集成能力：Informatica PowerCenter支持从各种数据源中提取数据，包括关系数据库、文件、Web服务等。

它提供了丰富的连接器和转换函数，可以方便地构建复杂的数据集成过程。

- 易于使用的用户界面：Informatica PowerCenter具有直观的用户界面，使用户可以轻松地构建、调试和管理ETL工作流程。

- 可扩展性和可靠性：Informatica PowerCenter是一个可扩展的平台，可以处理大规模数据集成任务。

它具有高度可靠的作业调度和容错机制，保证数据的准确性和一致性。

- 强大的数据转换能力：Informatica PowerCenter提供了丰富的转换操作和函数，可以进行数据清洗、规范化、分割、合并等操作。

它还支持复杂的业务逻辑和数据处理规则。

2. IBM InfoSphere DataStageIBM InfoSphere DataStage是IBM公司开发的一种ETL工具，它具有以下特点：- 广泛的数据集成能力：InfoSphere DataStage支持从多种数据源中提取数据，包括关系数据库、文件、Web服务等。

它提供了丰富的数据连接器和数据传输功能，可以轻松地完成数据集成任务。

ETL工具的应用与性能优化解析ETL是一种用于将数据从源系统提取、转换和加载到目标系统的数据集成工具，它在数据仓库、数据集市、商业智能和数据分析等领域中广泛使用。

随着数据量的不断增加和业务需求的不断变化，ETL工具的性能优化越来越受到重视。

本文将从ETL工具的应用和性能优化方面进行解析。

一、ETL工具的应用ETL工具在数据仓库、数据集市、商业智能和数据分析等领域中应用广泛，其主要作用包括：1. 数据提取：ETL工具可以从各种数据源中提取需要的数据，包括结构化数据（如关系型数据库）、半结构化数据（如XML文件）和非结构化数据（如文本文件）等。

2. 数据转换：ETL工具可以对提取的数据进行清洗、规范化、合并、转换、加工等处理，以满足目标系统的数据需求。

3. 数据加载：ETL工具可以将转换后的数据加载到目标系统中，包括数据仓库、数据集市、商业智能平台等。

数据加载也可以是增量加载、全量加载或增量+全量加载等方式。

4. 数据质量管理：ETL工具可以进行数据质量管理，包括数据校验、数据清洗、数据验证等，以保证数据的准确性和完整性。

二、ETL工具的性能优化ETL工具的性能优化是数据集成中的一个重要环节，它对数据集成的速度和准确性有着直接的影响。

ETL工具的性能优化主要包括以下几个方面：1. 数据读取优化ETL工具的性能优化首先需要考虑数据的读取方式，包括如何选择数据源、如何调整数据读取方式以及如何通过过滤条件和索引等手段提高效率。

在数据读取方面，可以采用多线程读取、分片读取、增量读取等方式，以提高读取效率。

2. 数据转换优化数据转换是ETL工具的核心功能之一，它需要对数据进行清洗、加工、规范化、合并等处理，因此需要选择合适的转换方式和算法以及优化转换过程中的性能瓶颈。

在数据转换方面，可以采用内存缓存、数据分片、多线程运行等方式，以提高转换效率。

3. 数据加载优化数据加载是ETL工具的最后一步，它需要将转换后的数据加载到目标系统中，包括数据仓库、数据集市、商业智能平台等。

三大主流ETL工具选型ETL(extract, transform and load) 产品乍看起来似乎并不起眼，单就此项技术本身而言，几乎也没什么特别深奥之处，但是在实际项目中，却常常在这个环节耗费太多的人力，而在后续的维护工作中，更是往往让人伤透脑筋。

之所以出现这种状况，恰恰与项目初期没有正确估计ETL工作、没有认真考虑其工具支撑有很大关系。

做ETL产品的选型，仍然需要从以前说的四点(即成本、人员经验、案例和技术支持) 来考量。

在此，主要列举三种主流ETL产品：Ascential公司的Datastage、Informatica公司的Powercenter、NCR Teradata公司的ETL Automation。

其中，ETL Automation相对其他两种有些特别之处，放在后面评述。

旗鼓相当：Datastage与Powercenter就Datastage和Powercenter而言，这两者目前占据了国内市场绝大部分的份额，在成本上看水平相当，虽然市面上还有诸如Business Objects公司的Data Integrator、Cognos公司的DecisionStream，但尚属星星之火，未成燎原之势。

谈Datastage和Powercenter，如果有人说这个就是比那个好，那听者就要小心一点了。

在这种情况下有两种可能：他或者是其中一个厂商的员工，或者就是在某个产品上有很多经验而在另一产品上经验缺乏的开发者。

为什么得出这一结论？一个很简单的事实是，从网络上大家对它们的讨论和争执来看，基本上是各有千秋，都有着相当数量的成功案例和实施高手。

确实，工具是死的，人才是活的。

在两大ETL工具技术的比对上，可以从对ETL流程的支持、对元数据的支持、对数据质量的支持、维护的方便性、定制开发功能的支持等方面考虑。

一个项目中，从数据源到最终目标表，多则上百个ETL过程，少则也有十几个。

这些过程之间的依赖关系、出错控制以及恢复的流程处理，都是工具需要重点考虑。

开源ETL工具比较，Kettle和Talend,都有什么优势和劣势？Talend这个工具之前还真没听说过。

搜索了下，可以借鉴下Pentaho Data Integration (Kettle)是Pentaho生态系统中默认的ETL工具。

通过非常直观的图形化编辑器（Spoon），您可以定义以XML格式储存的流程。

在Kettle运行过程中，这些流程会以不同的方法编译。

用到的工具包括命令行工具(Pan),小型服务器(Carte)，数据库存储库（repository）(Kitchen)或者直接使用IDE(Spoon)。

Talend Open Studio是 Talend 开发的ETL工具——Talend 是一家主营数据集成和数据管理解决方案的企业。

Talend 采用用户友好型，综合性很强的IDE（类似于Pentaho Kettle 的 Spoon）来设计不同的流程。

这些流程可以在IDE内部测试并编译成Java 代码。

您可以随时查看并编辑生成的Java代码，同时实现强大的控制力和灵活性。

两者都非常优秀，都属于用户友好型的交叉平台（基于Java的）工具。

它们的主要差异在于Kettle 将 ELT 流程编译为 XML 格式，然而Talend Open Studio 则生成 Java 代码。

易用性：Talend：有 GUI 图形界面但是以 Eclipse 的插件方式提供。

Kettle：有非常容易使用的 GUI，出现问题可以到社区咨询。

技术支持：Talend：主要在美国Kettle：在美国，欧洲（比利时，德国，法国，英国），亚洲（中国，日本，韩国）都可以找到相关技术支持人员。

部署：Talend：创建 java 或perl 文件，并通过操作系统调度工具来运行Kettle：可以使用 job 作业方式或操作系统调度，来执行一个转换文件或作业文件，也可以通过集群的方式在多台机器上部署。

速度：Talend：需要手工调整，对特定数据源有优化知识。

基于现在接触的ETL⼯具（datax和kettle）做个⼩总结现阶段需要做数据库同步⼯作，⽬前调研了两个⼯具datax和kettle⽬前虽然环境使⽤的是kettle+jenkins调度平台⽅案，但是多多少少会有⼀些不太令⼈满意的地⽅，但应该算是满⾜⼤部分需求了，先暂时这样实现这两者各有优缺点，基本的就不总结了。

现在说说⼀些关键点：基本⽅⾯：1.datax适合做数据同步⼯作；kettle适合数据清洗，转换⼯作⽬前成型的可视化界⾯，datax推荐datax web，kettle后期维护⽤的界⾯推荐jenkins/kettle-manager简单2.datax对于数据库压⼒⽐较⼩，全量读取速度优于kettle3.对于⼀些⽅案的可⾏性，⼩数据量的选择全量对⽐，10w数据量⼤概3s完成插⼊更新全量抽取过程，还是⽐较快的。

⼩数据量的情况下差别不⼤4.⽬前⽣产可⾏⽅案可以选择datax+datax web/kettle6.⽇志⽅案是对于⼤量数据的最优选择，mysql⽤maxwell抓取⽇志或者上边提供的⽅案，oracle⽤ogg，sqlserver⽬前不清楚需要再找7.保证kettle后期稳定的情况下⽤windows⾃带的定时任务或者Linux中⽤crontab，不过后续的jenkins完全能胜任贴上链接：wgetftp:///mirror/ftp5.gwdg.de/pub/opensuse/repositories/home:/matthewdva:/build:/EPEL:/el7/RHEL_7/x86_64/webkitgtk-2.4.9-1.el7.x86_64.rpmyum install webkitgtk-2.4.9-1.el7.x86_64.rpm9.docker部署mysql10.部署jenkins进⾏配置⽂件配置，在 etc/sysconfig/jenkins⾥改端⼝#修改jenkins镜像⽂件cd ~/.jenkins/updates⼀些⼩坑：mysql 8.0驱动jar包⽅⾯更换，导致不能⽤，需要注意驱动#所有命令找不到export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin#刷新环境变量：source /etc/profile#给脚本赋予权限：chmod +x ./data-integration/*.shdatax⽤的python版本要注意，2.6+版本和3.0+版本有语法差别（记得是括号问题）centos 7可以通过添加打印机⽅式避免开机总是⿊屏部署kettle和jenkins会存在⼀些坑#书写sh脚本时候在脚本⾥⾯添加source /etc/profile即可11.关于调度平台问题，⽬前如果想要放⼊docker容器⾥⾯然后再放⼊集群中有难度，使⽤某个服务上xxl-job调度，carte.sh⽅法还得提供个ip地址，或者xml⽂件，⽬前没想到怎么实现，⽬前可能⽅法可能是⽤docker库⾥的kettle镜像，⾃⼰⽣成⼀个，或者⾃⼰通过源码⽣成⼀个docker file⽂件，打包完成后再进⾏部署12.⽬前8.0版本和8.2版本有差异，⽣成的镜像⽂件再运⾏job⽂件可能存在问题，⽽docker库⾥⾯的8.3版本可以运⾏8.2版本13.如果是从接⼝获取数据的⽅式，并且接⼝调⽤频率有限制可以通过这种⽅式（中间加个等待时间）然后获取的也是系统时间和时间戳存放的时间中间数据量，这样可以变化的获取页数和对应的所有数据，针对接⼝返回404情况，可以获取唯⼀标识存放到临时表⾥，然后再遍历这个唯⼀标识去做⼆次请求，这样如果实时更细数据量不多的情况下，其实可以⽤先从临时表⾥获取对应的404对应的唯⼀标识，然后先看看原数据⾥⾯有没有，如果没有的话则会进⼊插⼊更新，虽然这个组件很慢，但是对于已经在前边进⾏排除了，只是进⾏更新对⽐，所以实质上数据量并不⼤进⾏全量⽐对⽅式也是可⾏的（⽬前⽅法只是针对⽬前做的东西，通⽤的其实还是⽇志的效果好，但是难度⼤⼀些，需要再研究）重点是这⼏个转换⽅案太蠢了，步骤过多影响速度，还好现在⽤时间戳，并⾏所有job只⽤37-45s左右，但是数据量⼀⼤就有问题了不适合做现在或者以后的最佳⽅案，所以只做思路参考14.其实清洗最优⽅案还是通过python去处理，或者使⽤data-web的⽅式，那个是在git上有源码，并且结合的正好是xxl-job调度平台，可以使⽤这个调度平台+整合数据的⽅案16.关于部署到阿⾥云服务器的上的问题，⼀定⼀定要添加安全组，不然会报错，并且CONVERT_TO_NULL是可以使⽤。

数据仓库中ETL工具的选型与使用随着企业信息化的深入发展，数据仓库在企业的日常运营中扮演着越来越重要的角色。

而在数据仓库建设中，ETL工具起着至关重要的作用。

本文将结合笔者多年的从业经验，深入探讨数据仓库中ETL工具的选型与使用，旨在为读者提供一些有用的参考。

一、ETL工具的概述首先，我们来了解一下ETL工具的概念。

ETL工具是指一类用于将不同来源的数据进行抽取（Extract）、转换（Transform）、加载（Load）等操作的软件。

在数据仓库中，ETL工具类似于“数据加工车间”，可以完成数据的清洗、整合、转换等多种工作。

目前市面上比较流行的ETL工具有很多，例如IBM DataStage、Informatica PowerCenter、Oracle Data Integrator等。

每个ETL工具都有其独特的特点及适用场景，选择一款合适的ETL工具非常关键。

二、ETL工具的选型在ETL工具的选型中，需要考虑以下几个方面：1. 企业规模及需求企业规模及需求是选择ETL工具的首要考虑因素。

对于规模较小的企业，可以选择一些开源的ETL工具，如Kettle和Talend Open Studio。

这些工具具有操作简便、易于掌握、可扩展性强等优点，适合小型企业以及需要快速实现数据仓库的项目。

而若企业具有大规模的数据仓库及数据流转需求，可以考虑一些成熟的商业ETL工具，如IBM DataStage、Informatica PowerCenter、Oracle Data Integrator等。

这些工具具有高度可靠性、高性能、强大的数据处理能力等优点，可以满足企业不断发展的需求。

2. 数据量及复杂度数据量及复杂度也是选择ETL工具的一个重要考虑因素。

对于数据量较小、简单的企业，可以选择一些基础的ETL工具，如Microsoft SQL Server Integration Services等。

这些工具主要用于数据提取、转换、加载等基础操作，适合数据量较小及较为简单的企业。

ETL工具点评(转)数据仓库的架构大体可以分为三部分：后台是数据存储和计算引擎，前端是数据展现分析的用户界面，还有一个重要的部分就是ETL。

ETL所完成的工作主要包括三方面：首先，在数据仓库和业务系统之间搭建起一座桥梁，确保新的业务数据源源不断地进入数据仓库；其次，用户的分析和应用也能反映出最新的业务动态，虽然ETL在数据仓库架构的三部分中技术含量并不算高，但其涉及到大量的业务逻辑和异构环境，因此在一般的数据仓库项目中ETL部分往往也是牵扯精力最多的；第三，如果从整体角度来看，ETL主要作用在于屏蔽了复杂的业务逻辑，从而为各种基于数据仓库的分析和应用提供了统一的数据接口，这也是构建数据仓库最重要的意义所在。

如何评价ETL工具正确选择ETL工具，可以从ETL对平台的支持、对数据源的支持、数据转换功能、管理和调度功能、集成和开放性、对元数据管理等功能出发，具体如下。

支持平台随着各种应用系统数据量的飞速增长和对业务可靠性等要求的不断提高，人们对数据抽取工具的要求往往是将几十、上百个GB的数据在有限的几个小时内完成抽取转换和装载工作，这种挑战势必要求抽取工具对高性能的硬件和主机提供更多支持。

因此，我们可以从数据抽取工具支持的平台，来判断它能否胜任企业的环境，目前主流的平台包括SUN Solaris、HP-UX、IBM AIX、AS/400、OS/390、Sco UNIX、Linux、Windows等。

支持数据源对数据源支持的重要性不言而喻，因此这个指标必须仔细地考量。

首先，我们需要对项目中可能会遇到的各种数据源有一个清晰的认识；其次对各种工具提供的数据源接口类型也要有深入了解，比如，针对同一种数据库，使用通用的接口（如ODBC/JDBC）还是原厂商自己的专用接口，数据抽取效率都会有很大差别，这直接影响到我们能不能在有限的时间内完成ETL任务。

这里，笔者列出一些常见的数据源供参考：DB2、Informix、Oracle、Sybase、SQL Server、Teredata、OleDB、SAS、Text、Excel、SAP、Peoplesoft、IMS、VSAM、QSAM on 390、FTP、XML、MessageQueue、Weblog等。

目录1. ETL知识 (3)1.1. ETL定义 (3)1.1.1. 定义 (3)1.1.2. 前提 (3)1.1.3. 原则 (3)1.2. 模式及比较 (4)1.3. ETL过程 (7)1.3.1. 总流程 (7)1.3.2. 数据抽取流程 (8)1.3.3. 数据清洗流程 (8)1.3.4. 数据转换流程 (10)1.3.5. 数据加载流程 (11)1.4. 问题分析 (12)1.4.1. 字符集问题 (12)1.4.2. 缓慢变化维处理 (14)1.4.3. 增量、实时同步的处理 (14)1.4.4. 断点续传 (15)1.5. ETL工具 (15)2. Kettle简介及使用 (16)2.1. 什么Kettle？ (16)2.2. 下载及安装Kettle (17)2.3. Kettle简单例子 (19)2.3.1. 启动Kettle (19)2.3.2. 创建transformation过程 (20)2.3.3. 创建job过程 (41)2.3.4. 命令行运行ktr和kjb (45)1.ETL知识1.1.ETL定义1.1.1.定义●定义：数据的抽取(Extract)、转换(Transform)、装载(Load)的过程。

●目标：数据优化。

以最小代价(包括对日常操作的影响和对技能的要求) 将针对日常业务操作的数据转化为针对数据仓库而存储的决策支持型数据。

1.1.2.前提●确定ETL范围通过对目标表信息的收集，确定ETL的范围●选择ETL工具考虑资金运行的平台、对源和目标的支持程度、可编程的灵活性、对源数据变化的监测、数据处理时间的控制、管理和调度功能、对异常情况的处理●确定解决方案抽取分析、变化数据的捕获、目标表的刷新策略、数据的转换及数据验证1.1.3.原则●应尽量利用数据中转区对运营数据进行预处理。

保证数据的安全性、集成与加载的高效性。

●ETL的过程应是主动“拉取”，而不是从内部“推送”，其可控性将大为增强。