Kettle命令调用远程执行的作业
环境：机器A:192.168.0.233
机器B：192.168.0.237
kettle作业部署在机器A，在A上用命令行的形式启动作业（kitchen.bat /file:F\kettledemo\generate_row_job.kjb），作业中,选择子服务器的部分将在远程机器B上执行。具体步骤如下图：
1.新建一个转换。Generate_rows.ktr
2.新建一个job：generate_row_job_0，调用generate_rows.ktr。
2.1在新建的job中，右键单击子服务器，新建一个子服务器。
2.2在generate_rows_job_0 中，双击转换，选择远程服务器。
3.在远程机子上启动carte.bat 服务.
Carte.bat 192.168.0.237 9080（192.168.0.237为远程机子IP）
4.运行generate_rows_job_0 作业
用命令行方式运行
CD D:\ETL_Kettle\data-integration
Kitche.bat /file:F:kettledemo\generate_rows_job_0
KETTLE组件介绍与使用 4.1 Kettle使用 Kettle提供了资源库的方式来整合所有的工作，； 1）创建一个新的transformation，点击保存到本地路径，例如保存到D:/etltest下，保存文件名为Trans，kettle默认transformation文件保存后后缀名为ktr； 2）创建一个新的job，点击保存到本地路径，例如保存到D:/etltest下，保存文件名为Job，kettle默认job文件保存后后缀名为kjb； 4.2 组件树介绍 4.2.1Transformation 的主对象树和核心对象分别如下图：
Transformation中的节点介绍如下： Main Tree：菜单列出的是一个transformation中基本的属性，可以通过各个节点来查看。DB连接：显示当前transformation中的数据库连接，每一个transformation的数据库连接都需要单独配置。 Steps：一个transformation中应用到的环节列表 Hops：一个transformation中应用到的节点连接列表 核心对象菜单列出的是transformation中可以调用的环节列表，可以通过鼠标拖动的方式对环节进行添加： Input：输入环节 Output：输出环节 Lookup：查询环节 Transform：转化环节 Joins：连接环节 Scripting：脚本环节 4.2.2 Job 的主对象树和核心对象分别如下图： Main Tree菜单列出的是一个Job中基本的属性，可以通过各个节点来查看。 DB连接：显示当前Job中的数据库连接，每一个Job的数据库连接都需要单独配置。 Job entries/作业项目：一个Job中引用的环节列表 核心对象菜单列出的是Job中可以调用的环节列表，可以通过鼠标拖动的方式对环节进行添加。 每一个环节可以通过鼠标拖动来将环节添加到主窗口中。 并可通过shift+鼠标拖动，实现环节之间的连接。
Kettle开发使用手册 2017年4月
版本历史说明
1.Kettle介绍 1.1.什么是Kettle Kettle是纯Java编写的、免费开源的ETL工具，主要用于抽取(Extraction)、转换(Transformation)、和装载（Loading）数据。Kettle中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。在这种思想的设计下，Kettle广泛用于不同数据库之间的数据抽取，例如Mysql数据库的数据传到Oracle，Oracle数据库的数据传到Greenplum数据库。1.2.Kettle的安装 Kettle工具是不需要安装的，直接网上下载解压就可以运行了。不过它依赖于Java，需要本地有JDK环境，如果是安装4.2或5.4版本，JDK需要1.5以上的版本，推荐1.6或1.7的JDK。 运行Kettle直接双击里面的批处理文件spoon.bat就行了，如图1.1所示： 图1.1
2.Kettle脚本开发 2.1.建立资源库（repository仓库） Repository仓库是用来存储所有kettle文件的文件系统，由于数据交换平台服务器管理kettle文件也是用Repository仓库，因此我们这边本地的kettle 开发环境也是要用到该资源库。建立资源库的方式是工具 --> 资源库- -> 连接资源库，这时候弹出一个窗口，我们点击右上角的“+”号，跟着点击下面的kettle file repository选项，按确定，如图2.1所示： 图2.1 跟着在右上角选择一个目录，建议在kettle路径下新建repository文件夹，再选择这个文件夹作为根目录，名称和描述可以任意写，如图2.2所示： 图2.2 建完后会kettle工具会自动连接到repository资源库，每次打开kettle 也会弹出一个窗口让你先连接到资源库。在连接到资源库的情况下打开文件就是
Kettle开发使用手册2017年4月
版本历史说明
1.Kettle介绍 1.1.什么是Kettle Kettle是纯Java编写的、免费开源的ETL工具，主要用于抽取(Extraction)、转换(Transformation)、和装载（Loading）数据。Kettle中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。在这种思想的设计下，Kettle广泛用于不同数据库之间的数据抽取，例如Mysql数据库的数据传到Oracle，Oracle数据库的数据传到Greenplum数据库。1.2.Kettle的安装 Kettle工具是不需要安装的，直接网上下载解压就可以运行了。不过它依赖于Java，需要本地有JDK环境，如果是安装4.2或5.4版本，JDK需要1.5以上的版本，推荐1.6或1.7的JDK。 运行Kettle直接双击里面的批处理文件spoon.bat就行了，如图1.1所示： 图1.1
2.Kettle脚本开发 2.1.建立资源库（repository仓库） Repository仓库是用来存储所有kettle文件的文件系统，由于数据交换平台服务器管理kettle文件也是用Repository仓库，因此我们这边本地的kettle开发环境也是要用到该资源库。建立资源库的方式是工具 --> 资源库- -> 连接资源库，这时候弹出一个窗口，我们点击右上角的“+”号，跟着点击下面的kettle file repository选项，按确定，如图2.1所示： 图2.1 跟着在右上角选择一个目录，建议在kettle路径下新建repository文件夹，再选择这个文件夹作为根目录，名称和描述可以任意写，如图2.2所示： 图2.2 建完后会kettle工具会自动连接到repository资源库，每次打开kettle 也会弹出一个窗口让你先连接到资源库。在连接到资源库的情况下打开文件就是资源库所在目录了，如图2.3所示。注意你在资源库建的目录结构要跟数据交换平台的目录结构一致，这样写好kettle脚本，保存后放的路径能跟交换平台的目录结构一致了。
kettle应用实践（转） 今天早上在网上看到了kettle发布了最新的版本，忽然想起最近其实做了不少工作应该是ETL工具的拿手好戏，赶紧下载下来看看，看是否能够在实际的工作中应用起来。 顺便讲一下，为啥看到kettle会两眼发光。 最近写了好几个小程序，用于从一个ftp去获取数据，然后转发至另一个ftp去，或者是从一个数据库获取数据然后保存至本地的数据库中，使用的是jdk中的Timer实现的定时调度，本来也没什么问题，连续运行几个月都不会出错。 可是最近网络不是太好，周期性抽风，ping包时，每5分钟大概 会丢7-8个包，从而导致程序也会假死，过一段时间后就不正常干活了，估计是因为用了数据库连接池的问题，要是每次发起数据库连接可能就不会有问题了，偷懒也不想改了，因为网络最终肯定是会修好的 :-) 但是想试试ETL工具，因为后面还有一些类似的东西要处理，不想写代码了，用别人的轮子感觉比较好，呵呵 首先下载了kettle的最新版，kettle3.1，解压后即可运行，一般的开发人员稍微摸索一下，看看例子简单的转换还是会做的，今天小试了一把，有几个注意点记下来。 1.使用资源库（repository）登录时，默认的用户名和密码是admin/admin 2.当job是存放在资源库（一般资源库都使用数据库）中时，使用 Kitchen.bat执行job时，需使用如下的命令行： Kitchen.bat /rep kettle /user admin /pass admin /job job名 3.当job没有存放在资源库而存放在文件系统时，使用Kitchen.bat执行 job时，需使用如下的命令行： Kitchen.bat /norep /file user-transfer-job.kjb 4.可以使用命令行执行job后，就可以使用windows或linux的任务调度来 定时执行任务了 在一开始使用命令行方式执行job时，总是报如下的错误，琢磨了好长时间总算整明白正确的方式了。 Unexpected error during transformation metadata load No repository defined!
Kettle 培训技术文档0507 Etl 介绍 ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于金融IT 来说，经常会遇到大数据量的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少。 Kettle是一款国外开源的etl工具，纯java编写，绿色无需安装，数据抽取高 效稳定。Kettle中有两种脚本文件，transformation和job，transformation完成针 对数据的基础转换，job则完成整个工作流的控制。 kettle 部署运行 将kettle2.5.1文件夹拷贝到本地路径，例如D 盘根目录。 双击运行kettle文件夹下的spoon.bat文件，出现kettle欢迎界面：
稍等几秒 选择没有资源库，打开kettle主界面
创建transformation，job 点击页面左上角的创建一个新的transformation，点击保存到本地路 径，例如保存到D:/etltest下，保存文件名为EtltestTrans，kettle默认transformation 文件保存后后缀名为ktr 点击页面左上角的创建一个新的job，点击保存到本地路径，例如保 存到D:/etltest下，保存文件名为EtltestJob，kettle默认job文件保存后后缀名为kjb 创建数据库连接 在transformation页面下，点击左边的【Main Tree】，双击【DB连接】，进行 数据库连接配置。
connection name自命名连接名称Connection type选择需要连接的数据库Method of access选择连接类型 Server host name写入数据库服务器的ip地址Database name写入数据库名 Port number写入端口号 Username写入用户名 Password写入密码 例如如下配置：
一、Pentaho 整体架构 cc 二、Client tools 1. Report Designer 报表创建工具。如果想创建复杂数据驱动的报表，这是合适工具。 2. Design Studio 这是基于eclipse的工具，你可以使用它来创建手工编辑的报表或分析视图xaction 文件，一般用来对在report designer中无法增加修改的报表进行修改。 3. Aggregation Designer 帮助改善Mondrian cube 性能的图形化工具。 4. Metadata Editor 用来添加定制的元数据层到已经存在的数据源。一般不需要，但是它对应业务用户在创建报表时解析数据库比较容易。 5. Pentaho Data Integration 这是kettle etl工具。 6. Schema Workbench 帮助你创建rolap的图形化工具。这是为分析准备数据的必须步骤。 三、Pentaho BI suit community editon安装 硬件要求： RAM：At least 2GB Hard drive space：At least 1GB Processor：Dual-core AMD64 or EM64T 软件要求： 需要JRE 1.5版本，1.4版本已经不再支持。 修改默认的端口8080，打开\biserver-ce\tomcat\conf目录下的server.xml文件，修改
Kettle安装及使用说明 1.什么Kettle？ Kettle是一个开源的ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程）项目，项目名很有意思，水壶。按项目负责人Matt的说法：把各种数据放到一个壶里，然后呢，以一种你希望的格式流出。Kettle包括三大块： Spoon——转换/工作(transform/job)设计工具(GUI方式) Kitchen——工作(job)执行器(命令行方式) Span——转换(trasform)执行器(命令行方式) Kettle是一款国外开源的etl工具，纯java编写，绿色无需安装，数据抽取高 效稳定。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。 2.Kettle简单例子 2.1下载及安装Kettle 下载地址：https://www.doczj.com/doc/987217763.html,/projects/pentaho/files 现在最新的版本是 3.6，为了统一版本，建议下载 3.2，即下载这个文件pdi-ce-3.2.0-stable.zip。 解压下载下来的文件，把它放在D：\下面。在D:\data-integration文件夹里，我们就可以看到Kettle的启动文件Kettle.exe或Spoon.bat。 2.2 启动Kettle 点击D:\data-integration\下面的Kettle.exe或Spoon.bat，过一会儿，就会出现Kettle的欢迎界面：
稍等几秒，就会出现Kettle的主界面: 2.3 创建transformation过程 a.配置数据环境 在做这个例子之前，我们需要先配置一下数据源，这个例子中，我们用到了三个数据库，分别是：Oracle、MySql、SQLServer，以及一个文本文件。而且都放置在不同的主机上。 Oralce：ip地址为192.168.1.103,Oracle的实例名为scgtoa,创建语句为：create table userInfo( id int primary key,
KETTLE使用自己总结的Kettle使用方法和成果说明 简介 Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。 Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。 Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。 Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。 Kettle可以在https://www.doczj.com/doc/987217763.html,/网站下载到。 注：ETL，是英文Extract-Transform-Load 的缩写，用来描述将数据从来源端经过萃取（extract）、转置（transform）、加载（load）至目的端的过程。ETL 一词较常用在数据仓库，但其对象并不限于数据仓库。 下载和安装 首先，需要下载开源免费的pdi-ce软件压缩包，当前最新版本为5.20.0。 下载网址：https://www.doczj.com/doc/987217763.html,/projects/pentaho/files/Data%20Integration/然后，解压下载的软件压缩包：pdi-ce-5.2.0.0-209.zip，解压后会在当前目录下上传一个目录，名为data-integration。 由于Kettle是使用Java开发的，所以系统环境需要安装并且配置好JDK。 ?Kettle可以在https://www.doczj.com/doc/987217763.html,/网站下载 ? 下载kettle压缩包，因kettle为绿色软件，解压缩到任意本地路径即可。运行Kettle 进入到Kettle目录，如果Kettle部署在windows环境下，双击运行spoon.bat 或Kettle.exe文件。Linux用户需要运行spoon.sh文件，进入到Shell提示行窗口，进入到解压目录中执行下面的命令： # chmod +x spoon.sh # nohup ./spoon.sh &后台运行脚本 这样就可以打开配置Kettle脚本的UI界面。
Kettle培训手册 Etl介绍 ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于金融IT来说，经常会遇到大数据量的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少。 Kettle是一款国外开源的etl工具，纯java编写，绿色无需安装，数据抽取高效稳定。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。 kettle部署运行 将kettle2.5.1文件夹拷贝到本地路径，例如D盘根目录。 双击运行kettle文件夹下的spoon.bat文件，出现kettle欢迎界面：
稍等几秒 选择没有资源库，打开kettle主界面
创建transformation，job 点击页面左上角的解并到本地路径，例如保存到D:/etltest下，保存文件名为EtltestTrans，kettle默认transformation 文件保存后后缀名为ktr 点击页面左上角的解并到本地路径，例如保存到D:/etltest下，保存文件名为EtltestJob，kettle默认job文件保存后后缀名为kjb 创建数据库连接
在transformation页面下，点击左边的【Main Tree】，双击【DB连接】，进行数据库连接配置。 Connection name自命名连接名称 Connection type选择需要连接的数据库 Method of access选择连接类型 Server host name写入数据库服务器的ip地址 Database name写入数据库名 Port number写入端口号 Username写入用户名 Password写入密码 例如如下配置：
Kettle命令行使用说明 1.KETTLE简介 说到ETL开源项目，Kettle当属翘首，项目名称很有意思，水壶。按项目负责人Matt 的说法：把各种数据放到一个壶里，然后呢，以一种你希望的格式流出。呵呵，外国人都很有联想力。 看了提供的文档，然后对发布程序的简单试用后，可以很清楚得看到Kettle的四大块： 1)Chef——工作(job)设计工具(GUI方式) 2)Kitchen——工作(job)执行器(命令行方式) 3)Spoon——转换(transform)设计工具(GUI方式) 4)Span——转换(trasform)执行器(命令行方式) 1.1.Chef——工作(job)设计器 这是一个GUI工具，操作方式主要通过拖拖拉拉，勿庸多言，一看就会。 何谓工作？多个作业项，按特定的工作流串联起来，开成一项工作。正如：我的工作是软件开发。我的作业项是：设计、编码、测试！先设计，如果成功，则编码，否则继续设计，编码完成则开始设计，周而复始，作业完成。 1.1.1.Chef中的作业项包括： 1)转换：指定更细的转换任务，通过Spoon生成。通过Field来输入参数； 2)SQL：sql语句执行； 3)FTP：下载ftp文件； 4)邮件：发送邮件； 5)检查表是否存在； 6)检查文件是否存在； 7)执行shell脚本：如dos命令。 8)批处理：(注意：windows批处理不能有输出到控制台)。
9)Job包：作为嵌套作业使用。 10)JavaScript执行：这个比较有意思，我看了一下源码，如果你有自已的Script引擎， 可以很方便的替换成自定义Script，来扩充其功能； 11)SFTP：安全的Ftp协议传输； 12)HTTP方式的上/下传。 1.1. 2.工作流 如上文所述，工作流是作业项的连接方式。分为三种：无条件，成功，失败，为了方便工作流使用，KETTLE提供了几个辅助结点单元(也可将其作为简单的作业项)：Start单元：任务必须由此开始。设计作业时，以此为起点。 OK单元：可以编制做为中间任务单元，且进行脚本编制，用来控制流程。 ERROR单元：用途同上。 DUMMY单元：什么都不做，主要是用来支持多分支的情况，文档中有例子。 1.1.3.存储方式 支持XML存储，或存储到指定数据库中。 一些默认的配置(如数据库存储位置……)，在系统的用户目录下，单独建立了一个.Kettle 目录，用来保存用户的这些设置。 1.1.4.LogView 可查看执行日志。 1.2.Kitchen——作业执行器 是一个作业执行引擎，用来执行作业。这是一个命令行执行工具，没啥可讲的，就把它的参数说明列一下。 1)-rep:Repositoryname任务包所在存储名 2)-user:Repositoryusername执行人 3)-pass:Repositorypassword执行人密码
Kettle工具在实际中的应用说明 一：资源库的设置 Kettle提供了两种资源库的选择方式：数据库存放、本地文件存放。 数据库 该方式是通过数据库连接直接在数据库里面创建kettle表，表里面记录着你所做的任何保存过的记录以及转换和任务。此方法是远程存放的方式，具有可多人共享一个资源库的优势，但是也存在资源库不稳定的缺点。 以下就数据库资源库具体怎么实现做一下介绍： 第一： 在tools选项下面有 在资源库选项里面有连接资源库选项，点击之后会出现如下界面：
刚开始的时候是没用任何连接的，需要根据自己的需要选择创建。 笔：修改资源库连接 加：添加新的资源库 叉：删除选中资源库 点那个加号图标就可以进入到新建选项页面： 在中间的显示栏中：第一行代表着写入到数据库的资源库、第二行代表着保存到本地的资源库。 点击第一行进入如下界面：
点击新建按钮将会新建数据库连接，如果已经有你需要的数据库连接也可以选择你需要的。 上面就是新建数据库页面，根据你的需要选择具体的数据库连接方式，填写好完成之后点击一下测试按钮，就可以知道数据库连接是否成功。 到这里，资源库的连接已经做了一半了。接下来介绍另一半要做的事情。
回到这个页面，填写唯一的ID、名称，然后点击创建或更新按钮，之后会出现一些SQL语句，执行这些语句，如果成功的话就创建成功了，如果失败则要检查一下数据库。最后点击确定按钮就成功了。 这个时候就可以连接资源库了。 选择你创建的资源库，admin用户的默认密码是admin ，点击OK就行了。
本地 接下来简单介绍一下本地资源库，其实是很简单的。 选择第二行。将会看到如下页面： 这个就是本地的页面，比数据库简单多了，选择一下存放路径，给它一个ID号和名称，点击OK就可以了。 资源库建好之后就会进入到主页面了： 这个就是主页面了，表面上是空空如也的。 关于资源库的设置就就讲到这里了，关于更多的介绍请参照官方说明文档！
1打开程序，点击 spoon.bat 其实对于简单的数据库数据的抽取，基本只需要转换(.ktr格式)和作业(.kjb格式)这两种东西。下面就是建立一个转换的步骤： a 点击文件-->新建-->转换。 b 在左侧的树状列表中选“主对象树”，新建DB连接(参照第4点)。 c 在核心对象-->输入这个地方拖出一个表输入，在“输出”目录下拖出“表输出”，按住shift，从一个对象拖到另一个对象可进行连线。 2基本作业由开始，转换，成功3步骤组成。步骤之间使用shift+左键连线。 2.1‘1’代表无条件执行； 2.2‘2’代表上一步执行完成后，再执行下一步； 2.3‘3’代表不执行，左击连接线使其生效（绿色）或失效（灰色）。
3打开具体步骤中的转换流程，点击‘Transformation’跳转至相应具体转换流程， 编辑此转换具体路径，双击转换，弹出窗口，‘1’为相对路径，点击‘2’选择具体Visit.ktr 转换，为绝对路径。
4建立数据库连接，输入相应信息测试，成功即可 图4 5转换具体设置，如图4，‘表输出’至‘文本文件输出’流程跳接线为错误处理步骤，当输出格式不能满足表输出的目的表结构类型时，将会将记录输出到‘文本文件输出’
中的记录中。 5.1双击‘表输入’，输入相应的SSQL语句，选择配置数据库连接，或新增，预览查询 生成的结果（如果数据库配置中使用变量获取，此处预览生成错误）。 5.2双击‘表输出’，选择数据库连接，‘浏览’选择相应目标表，（此处‘使用批量插 入’勾选去除，目的是在错误处理步骤中无法使用批量处理，可能是插件兼容问 题） 6表输出插件定义 a) Target Schema：目标模式。要写数据的表的Schema的名称。允许表明中包含“。”对数据源来 说是很重要的 b) 目标表：要写数据的表名。
Kettle 培训手册 一、Etl 介绍 ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于金融IT 来说，经常会遇到大数据量的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少。 Kettle是一款国外开源的etl工具，纯java编写，绿色无需安装，数据抽取高 效稳定。Kettle中有两种脚本文件，transformation和job，transformation完成针 对数据的基础转换，job则完成整个工作流的控制。 二、kettle 部署运行 将kettle2.5.1文件夹拷贝到本地路径，例如D 盘根目录。 双击运行kettle文件夹下的spoon.bat文件，出现kettle欢迎界面： 稍等几秒
选择没有资源库，打开kettle主界面 创建transformation，job
点击页面左上角的创建一个新的transformation，点击保存到本地路 径，例如保存到D:/etltest下，保存文件名为EtltestTrans，kettle默认transformation 文件保存后后缀名为ktr 点击页面左上角的创建一个新的job，点击保存到本地路径，例如保 存到D:/etltest下，保存文件名为EtltestJob，kettle默认job文件保存后后缀名为kjb 创建数据库连接 在transformation页面下，点击左边的【Main Tree】，双击【DB连接】，进行 数据库连接配置。 connection name自命名连接名称 Connection type选择需要连接的数据库 Method of access选择连接类型 Server host name写入数据库服务器的ip地址 Database name写入数据库名 Port number写入端口号 Username写入用户名 Password写入密码 例如如下配置：
1打开程序，点击spoon.bat 其实对于简单的数据库数据的抽取，基本只需要转换(.ktr格式)和作业(.kjb格式)这两种东西。下面就是建立一个转换的步骤： a 点击文件-->新建-->转换。 b 在左侧的树状列表中选“主对象树”，新建DB连接(参照第4点)。 c 在核心对象-->输入这个地方拖出一个表输入，在“输出”目录下拖出“表输出”，按住shift，从一个对象拖到另一个对象可进行连线。 2基本作业由开始，转换，成功3步骤组成。步骤之间使用shift+左键连线。 2.1‘1’代表无条件执行； 2.2‘2’代表上一步执行完成后，再执行下一步； 2.3‘3’代表不执行，左击连接线使其生效（绿色）或失效（灰色）。
3打开具体步骤中的转换流程，点击‘Transformation’跳转至相应具体转换流程， 编辑此转换具体路径，双击转换，弹出窗口，‘1’为相对路径，点击‘2’选择具体Visit.ktr 转换，为绝对路径。
4建立数据库连接，输入相应信息测试，成功即可 图4 5转换具体设置，如图4，‘表输出’至‘文本文件输出’流程跳接线为错误处理步骤，当输出格式不能满足表输出的目的表结构类型时，将会将记录输出到‘文本文件输出’
中的记录中。 5.1双击‘表输入’，输入相应的SSQL语句，选择配置数据库连接，或新增，预览查 询生成的结果（如果数据库配置中使用变量获取，此处预览生成错误）。 5.2双击‘表输出’，选择数据库连接，‘浏览’选择相应目标表，（此处‘使用批量 插入’勾选去除，目的是在错误处理步骤中无法使用批量处理，可能是插件兼容 问题） 6表输出插件定义 a) Target Schema：目标模式。要写数据的表的Schema的名称。允许表明中包含“。”对数据源来 说是很重要的 b) 目标表：要写数据的表名。
indeed ad. 真正地；确实，实在 deed n. 行为，行动；功绩；契约 相关单词act vi. 行为，做；起作用 n. 行为 ag,act=to act(行动) agency n. 代理；代理处 agent n. 代理人，代理商 agony n. 极度痛苦 action n. 行动；作用 active a. 活跃的，积极的；在活动中的 activity n. 活动，活跃；行动 actor n. 男演员 actress n. 女演员 actual a. 实际的，事实的 actually ad. 实际上；竟然 react vi. 起作用，反应；反对，起反作用；起化学反应 reaction n. (to)反应；反作用 exact a. 确切的，精确的 exactly ad. 确切地；恰恰正是，确实 interaction n. 相互作用，相互影响 inter=between,among interfere vi. 干涉，介入；阻碍，干扰 interference n. 干涉，介入；阻碍，干扰 interior a. 内部的；内地的，国内的 n. 内部；内地 intermediate a. 中间的；中级的 n. 中间体，媒介物 interpret vt. 解释，说明 vi. 口译，翻译 interpretation n. 解释，口译 interpreter n. 译员，口译者 interview n./v. 接见，会见；面谈，面试 interval n. 间隔，间距；（幕间）休息 internal a. 内的，内部的；国内的，内政的 相关单词 external a. 外部的，外面的 ex-=fully,out exterior a. 外部的，外面的 n. 外部 explain v. 解释，说明 example n. 例子；榜样，模范 形近单词 sample vt. 抽样，取样 词根词缀组2 block n.街区；木块；障碍物； vt.堵塞，拦阻 barrier n.屏障；障碍 bar=bar(横木) embarrass vt.使窘迫，使为难 bar n.酒吧间，售酒的柜台；条，杆；栅，栏； vt.阻止，阻拦 barrel n.桶，筒 与“容器”相关的单词
Kettle使用方法介绍 1、Kettle概念 Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix 上运行，绿色无需安装，数据抽取高效稳定。 Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。 Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。 Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。 2、下载和部署 下载kettle压缩包，因kettle为绿色软件，解压缩到任意本地路径即可 3、Kettle环境配置 1.安装JDK（略） 2.测试JDK安装成功（略） 3.运行Kettle Windows下找到$KETTLE_HOME/spoon.dat，双击运行 欢迎界面如下图所示：
4、KETTLE组件介绍与使用 4.1 Kettle使用 Kettle提供了资源库的方式来整合所有的工作，； 1）创建一个新的transformation，点击保存到本地路径，例如保存到D:/etltest下，保存文件名为Trans，kettle默认transformation文件保存后后缀名为ktr； 2）创建一个新的job，点击保存到本地路径，例如保存到D:/etltest下，保存文件名为Job，kettle默认job文件保存后后缀名为kjb； 4.2 组件树介绍 4.2.1Transformation 的主对象树和核心对象分别如下图：
ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少，这里我介绍一个我在工作中使用了3年左右的ETL工具Kettle,本着好东西不独享的想法，跟大家分享碰撞交流一下！在使用中我感觉这个工具真的很强大，支持图形化的GUI 设计界面，然后可以以工作流的形式流转，在做一些简单或复杂的数据抽取、质量检测、数据清洗、数据转换、数据过滤等方面有着比较稳定的表现，其中最主要的我们通过熟练的应用它，减少了非常多的研发工作量，提高了我们的工作效率，不过对于我这个.net研发者来说唯一的遗憾就是这个工具是Java编写的。 1、Kettle概念 Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。 Kettle中文名称叫水壶，该项目的主程序员MATT希望把各种数据放到一个壶里，然后以一种指定的格式流出。 Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。 Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。 2、下载和部署 Kettle可以在https://www.doczj.com/doc/987217763.html,/网站下载 下载kettle压缩包，因kettle为绿色软件，解压缩到任意本地路径即可 3、Kettle环境配置(有Java环境的直接忽略此章节) 3、1安装java JDK 1）首先到官网上下载对应JDK包，JDK1.5或以上版本就行； 2）安装JDK； 3）配置环境变量,附配置方式：
摘要：本文主要讨论使用Kettle来设计一些较为复杂和动态的转换可能使用到的一些技巧，这些技巧可能会让你在使用Kettle的时候更加容易的设计更强大的ETL任务。 动态参数的传递 Kettle 在处理运行时输入参数可以使用JavaScript 来实现，大部分工作只是按照一个模板来处理的 动态参数传递主要使用在像数据清理，调式，测试，完成复杂的条件过滤等等，这种方式一般不会在产品已经运行稳定了一段时间之后使用，因为我们一般仍然是做定时任务来自动转换数据，所以在开始介绍如何使用动态参数之前，希望大家能明白不要在产品数据库上做实验，即使你已经知道你的转换有什么影响并且做了备份，因为这种方法是不可能自动执行的。 Kettle有两种动态参数传递的方法，一种是非常轻量级的传argument , 另一种是对付较复杂一点情况使用JavaScript . 下面分别介绍这两种方法。 1. argument 当你在运行一个转换的时候，不管这个转换是一个Job的一部分还是只有这个转换，你都可以传递参数给它，当你运行一个转换的时候，会弹出一个Execution a Transformation 的对话框，让你选择执行转换的方式，本地执行，远程执行，分布式执行，下面就是日志记录的级别和回放时间，然后是argument 和variables 的设定。Argument 和 variables 的区别在官方FAQ里面也有解释。你也可以参考一下官方的解释和下面解释的异同。 Q : Argument 和 variables 的区别 / A : variables 也可以认为叫做environment variables , 就像它的名字一样，主要是用来设定环境变量的，比如最常见的：文件的存放地址，smtp的配置等等，你也可以把它认为是编程语言里面的全局变量，即使是不同的转换它们也拥有同样的值，而argument 自然就类似与局部变量，只针对一个特定的转换，比如像是限定结果集的大小和过滤条件。 取得argument的值 我们在转换之前设置了argument的值，需要用到的时候就使用get system info 步骤，这个步骤取得在运行时参数，需要注意的是我们是先设置get system info ,然后在里面决定要使用多少个参数，最多10个，每个参数名叫什么，然后我们才能在运行时看到你设置了的参数名后面跟一个要你输入的值，并且参数类型是不能够指定，全部都当作字符串处理，如果你需要对参数类型有要求，你需要自己转换，使用一个Mapping步骤或者Select values步骤。 取得variable的值 Variable的值个数不受限制，你可以在kettle菜单的set environment里面设置，也可以使用文件储存这些值，在第一次运行kettle之后，kettle会 在%HOME_USER_FOLDER%菜单里面创建一个 .kettle文件夹，如果是windows 用户可能就是C:\Documents and Settings\${your user name}\.kettle这个文件夹,如果是linux用户可能就是/home/${your user name }/.kettle文件夹，这个文件夹下面有kettle.properties文件，如果你打开这个文件，你会发现里面有一些以#开头的注释，其中设置了一些像是：PRODUCTION_SERVER = Hercules 这样的键值对，你可以自己定义一些环境变量比如像是smtp的地址，ftp服务器
Kettle 学习 1：资源库的两种形式 Kettle database repository :数据库资源库 Kettle file repository :文件资源库，保存在服务器硬盘中 2：kettle中的转换和作业 Kettle中有两种脚本文件，transformation(.ktr)和job(.kjb) 作业：分为串行执行和并行执行，同一条线上的两个步骤会先执行前面的再执行后面的，每个步骤分为：true和false 3.表对表的例子 字段选择可以对字段筛选、转型、更名等。 4文件到表的例子 5 表到文件的例子 6 JAVASRIPT的例子 变量定义 var jsStr = “hello world”; Var javastr = new https://www.doczj.com/doc/987217763.html,ng.String(“java.String”); writeToLog(“m”,str);//打印字符串到日志中 Var num = 1; Var arr = new Array(); Arr.push(“添加元素到数组末尾”)； Var arr1 = new Array(3,”FTPDW”); If语法 Var bool =true; If(bool){ Alert(“正确”)} Else{ Alert(“错误”)} For语法 Var arr = new Array(1,”2”,”this i s string”); For(var i =0 ;i If(arr[i]==2) {alert(“the value is ”+arr[i])}} 方法定义 Var str = “shj” Function sayHello(name){ If(name==null) Return “hello”+str; Else Return “hello”+name } writeToLog(“m”,sayHello()); 异常处理： Try{ Var value =100/0; }catch(e){ Throw new https://www.doczj.com/doc/987217763.html,ng.Exception(“除数不能为0”+e)}//防止未知错误的产生所采取的措施，异常处理的好处不用绞尽脑汁的考虑各种错误 7.FTP的文件上传和下载 8.合并连接 Job:把一个或多个tansformation按照一定的顺序组合起来，形成一个流程 1 .开始(start) 2 什么时候用job 如果转换需要定时，那么就必须用job,多个transformation 需要组成一个流程时也必须使用job 3.kettle的日志输出 日志输出是检查程序的重要手段，也是程序维护的必不可少的环节 Kettle在日志输出方面有很好的控制功能，kettle日志输出共分为7个等级：没有日志 KETTLE详细设计说明书 V0.1 变更记录 1 Kettle界面介绍 双击Kettle.exe或者Spoon.bat打开Kettle图形界面化如下： (图1.1) Kettle中有两类设计分别是：Transformation（转换）与Job（作业），Transformation完成针对数据的基础转换，Job则完成整个工作流的控制。 Kettle常用三大家族：Spoon、Pan、Kitchen。 Spoon:通过图形界面方式设计、运行、调试Job与Transformation。 Pan:通过脚本命令方式来运行Transformation。 Kitchen:通过脚本命令方式来运行Job，一般就是通过调用Kitchen脚本来完成定时任务。 说明：当打开Kettle时显示的是Kettle的相关版本信息与GNU相关协议说明。 (图1.2) 说明：打开Kettle时弹出的窗口提示以资源库方式登录相关信息，关于乌江水电项目工程存储方式是以XML文件方式来进行存储，所以我就直接点击“没有资源库”。 图(1.3) 说明：进入Kettle设计界面。提示关于Spoon相关信息，这里直接点击“关闭”按钮。 (图1.4) 说明：图片中所使用到的字母位置标识说明。 (A)：Kettle所使用到的菜单栏。 (B)：在使用Kettle时所涉及使用到的对象。 (C)：Kettle中所有的组件。 (D)：根据选择(B)或者(C)显示相应的结果。 (E)：Kettle设计界面。 (图1.5) 说明： 文件：是对Kettle所生成的Job与Trans进行相关的操作，如：新建、打开、保存、导入、KETTLE详细设计
相关主题
文本预览