kettle 解析

Spoon.bat修改

在set opt=*最后 "-Dfile.encoding=UTF-8",解决乱码问题

表输入

替换SQL语句中的变量:变量用 ‘?’ 表示

从步骤中插入数据:这个组件之前的流程名称

新建/编辑

Wizard(向导)

填写数据库连接名称(选择数据库连接类型和数据库访问类型)NEXT

端口号默认 NEXT

点击测试数据库连接

获取SQL查询语句

选择表或者视图,确定 也可以自定义SQL语句. 预览

查询

查询所需关键字:字段1为流入字段

查询返回的值:字段为数据库表字段,可以起个别名,类型不选可能导致跨库乱码

获取查询关键字:流入的所有字段

获取返回字段:所选数据库表所有字段 Switch/Case

Switch字段:流入的字段

Case值数据类型:视情况而定

Case值:此处为空时-转到-查询DEPT_CODE

默认目标步骤(default):自定义流程,如图 字段选择

移除:移除流入字段

元数据:修改元数据字段

选择和修改:

如果指定了移除和元数据就不能选择列映射

增加常量

添加一列到元数据流中

设置字段值

替换流字段的值 表输出

主选项默认

不是临时表的话,千万不要选中剪裁表,这个用于删除表中的数据

勾选’指定数据库字段’后才能操作’数据库字段面板’

提交记录数量:每次批处理的数量,一批对应一个事务

输入字段映射

不要随便点’猜一猜’

空操作

什么也不做

删除

查询所需的关键字:删除的条件

插入/更新

不推荐使用

比较流中和数据库表的值,不同则更新

编辑映射:同表输出

字符串替换

过滤两个或以上中文并设置为空串

去除重复记录

注意:去除的记录要排序,否则只去除连续的值

行扁平化

详解:

/Document/detail/tid/73025

Access输入

选择mdb格式文件,支持正则过滤 Kettle增量更新

/s/blog_6d35752501015dtm.html

Kettle使用范例

1. 错误处理

在转换步骤的过程中，当某个步骤发生错误时可能要进行额外的步骤处理。因此，在设置时就要求为步骤添加错误处理。以下面的流程为例：

该流程为将源表的数据同步到目标表中，在目标表中人为的设置某个字段的长度小于源表，让其能在处理过程中会报出异常。为了可视化处理结果，将同步的结果输出到XML文件中。

选中“Target Table”步骤，点击鼠标右键，然后选择“Define error handling…”菜单项，将会弹出设置对话框。

在“Target step”中选择后续处理步骤即可。在各个fieldname填上字段的名字，将会在结果集中多出相应的字段，以便后续步骤能读出相应的错误信息。例如界面上的“ErrorDesc”字段，将用于保存错误信息。

以上的数据处理流程处理结束之后，“Success XML Output”步骤生成的XML文件内容为所有同步成功的数据；“Error XML Output”步骤生成的XML文件内容为所有同步错误的数据。

2. 字典翻译

2.1. 单选字典翻译

单选字典翻译要使用到“Stream lookup/流查询”步骤，分别要从业务表和字典表中抽取出数据。

“Query AJXX”步骤负责从业务表中抽取出数据。

“Query AJLX Dictionary”步骤负责从字典表中抽取出字典数据。

“Transform AJLX”步骤负责翻译“ajlx”字段的字典值。

由于使用这种方式翻译单选字段时，要多查询一个字典表，因此最好控制字典表的数据量，以免影响性能。

2.2. 多选字典翻译

由于“Stream lookup”只能实现单值的数据查询，无法实现像多选字典这类多值的数据查询，因此“Stream lookup”步骤无法实现多选字典字段的翻译。

多选字典的翻译，只能通过采用调用存储过程的方式实现，这就要使用到“Call DB

Procedure”。

Kettle培训手册

Etl介绍

ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于

金融IT来说，经常会遇到大数据量的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少。 Kettle是一款国外开源的etl工具，纯java编写，绿色无需安装，数据抽取高

效稳定。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。

kettle部署运行

将kettle2.5.1文件夹拷贝到本地路径，例如D盘根目录。 双击运行kettle文件夹下的spoon.bat文件，出现kettle欢迎界面：

稍等几秒

选择没有资源库，打开kettle主界面

创建transformation，job

点击页面左上角的解并到本地路

径，例如保存到D:/etltest下，保存文件名为EtltestTrans，kettle默认transformation文件保存后后缀名为ktr

点击页面左上角的解并到本地路径，例如保

存到D:/etltest下，保存文件名为EtltestJob，kettle默认job文件保存后后缀名为kjb

创建数据库连接

在transformation页面下，点击左边的【Main Tree】，双击【DB连接】，进行数据库连接配置。

Connection name自命名连接名称 Connection type选择需要连接的数据库 Method of access选择连接类型 Server host name写入数据库服务器的ip地址 Database name写入数据库名 Port number写入端口号 Username写入用户名 Password写入密码

例如如下配置：

点击【test】，如果出现如下提示则说明配置成功

点击关闭，再点击确定保存数据库连接。 一个简单的ktr例子

Kettle简介：

Kettle是使用Java语言开发的一个开源ETL工具(Extract--Transform--Loading)，完成数据的抽取、转换、加载工作。Kettle的意思是“水壶”，把各种各样的数据倒进水壶中，经过转换、处理，以我们所需的格式输出对我们有价值的信息。

问题：为什么要用kettle？

需求：不同的数据库(同一种类型但实例不同的数据库，或者不同类型的数据库)之间、不同的数据存储形式(数据库、文本文件)之间需要协同工作，计算、处理、转换成我们需要的数据。

实际应用场景：对帐系统需要读取ATM的交易流水文件到Oracle数据库中并进行统计。

不使用kettle的情况：专门编写程序(Java或C)导入到数据库中，在Oracle中编写存储过程进行批量统计。

使用kettle的情况：通过“文本文件输入”step，指定分隔符，即可完成导入，无需编写程序；使用kettle中的各种对象可以完成统计功能，不需要编写存储过程。

两种情况对比：

情况一：需要编写专门的导入程序，不具备通用性。存储过程在不同类型的数据库中语法不同，也不具备通用性。但不需要掌握kettle。

情况二：不需要编写专门的导入程序，不同的文件格式只需要修改“文本文件输入”step中的对应参数即可。不需要针对不同的数据库编写不同版本的存储过程，只需要使用标准SQL就可以具备通用性。需要掌握kettle。

好处：跨数据库、跨平台，减少我们的工作量。

Kettle中有两种类型的对象，分别对应两种类型的文件。一种是Transformation(以后简称Trans)，即转换；一种是Job，即工作。Trans完成具体的任务，Job用于控制转换之间的执行顺序。

第一部分：与数据库打交道

1创建数据库连接

<1>新建一个Transformation，在“DB连接”下创建一个“数据库连接”，如下图所示：

<2>如果创建kettle不支持的数据库的连接，ConnectionType选择Generic database。