当前位置：文档之家 › 开发技术：KETTLE+JAVA+API+开发实战记录

开发技术：KETTLE+JAVA+API+开发实战记录

  • 格式：doc
  • 大小：102.00 KB
  • 文档页数：20

前言：为什么要用Kettle和KETTLE JA V A API？Kettle是什么？kettle：是一个开源ETL工具。

kettle提供了基于java的图形化界面，使用很方便，kettle的ETL工具集合也比较多，常用的ETL工具都包含了。

为什么使用KETTLE JA V A API：就像kettle文档所说：KETTLE JA V A API ：Program your own Kettle transformation，kettle提供了基于JA V A的脚步编写功能，可以灵活地自定义ETL过程，使自行定制、批量处理等成为可能，这才是一个程序员需要做的工作，而不仅是象使用word一样操作kettle用户界面。

KETTLE JA V A API 实战操作记录：一、搭建环境：到http://www.kettle.be网站下载kettle的源码包，加压缩，例如解压缩到d：\kettle目录二、打开eclipse，新建一个项目，要使用jdk1.5.0，因为kettle的要使用System.getenv（），只有在jdk1.5.0才被支持。

提起getenv（），好像有一段几起几落的记录，曾一度被抛弃，现在又被jdk1.5支持了。

三、建一个class ：TransBuilder.java，可以把d：\kettle\ extra\TransBuilder.java 的内容原样拷贝到你的TransBuilder.java里。

四、根据需要编辑源码。

并需要对原程序进行如下修改，在头部增加：import org.eclipse.swt.dnd.Transfer；//这个包被遗漏了，原始位置kettle根目录\libswt\win32\swt.jar//add by chq（）on 2006.07.20（后来发现，不必加这个引用，因为编译时不需要）五、编译准备，在eclipse中增加jar包，主要包括（主要依据extra\TransBuilder.bat）：\lib\kettle.jar\libext\CacheDB.jar\libext\SQLBaseJDBC.jar\libext\activation.jar\libext\db2jcc.jar\libext\db2jcc_license_c.jar\libext\edtftpj-1.4.5.jar\libext\firebirdsql-full.jar\libext\firebirdsql.jar\libext\gis-shape.jar\libext\hsqldb.jar\libext\ifxjdbc.jar\libext\javadbf.jar\libext\jconn2.jar\libext\js.jar\libext\jt400.jar\libext\jtds-1.1.jar\libext\jxl.jar\libext\ktable.jar\libext\log4j-1.2.8.jar\libext\mail.jar\libext\mysql-connector-java-3.1.7-bin.jar\libext\ojdbc14.jar\libext\orai18n.jar\libext\pg74.215.jdbc3.jar\libext\edbc.jar（注意：下面这个包被遗漏了，要加上。

原始位置kettle根目录\libswt\win32\swt.jar）\libswt\win32\swt.jar六、编译成功后，准备运行为使程序不必登陆就可以运行，需要设置环境署文件：kettle.properties，位置在用户目录里，一般在\Documents and Settings\用户\.kettle\，主要内容如下：KETTLE_REPOSITORY=kettle@m80KETTLE_USER=adminKETTLE_PASSWORD=passwd七、好了，现在可以运行一下了，看看数据是不是已经拷贝到目标表了。

以下为修改后的程序源码：＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋＋package name.chq.test;import java.io.DataOutputStream;import java.io.File;import java.io.FileOutputStream;import be.ibridge.kettle.core.Const;import be.ibridge.kettle.core.LogWriter;import be.ibridge.kettle.core.NotePadMeta;import be.ibridge.kettle.core.database.Database;import be.ibridge.kettle.core.database.DatabaseMeta;import be.ibridge.kettle.core.exception.KettleException;import be.ibridge.kettle.core.util.EnvUtil;import be.ibridge.kettle.trans.StepLoader;import be.ibridge.kettle.trans.Trans;import be.ibridge.kettle.trans.TransHopMeta;import be.ibridge.kettle.trans.TransMeta;import be.ibridge.kettle.trans.step.StepMeta;import be.ibridge.kettle.trans.step.StepMetaInterface;import be.ibridge.kettle.trans.step.selectvalues.SelectValuesMeta; import be.ibridge.kettle.trans.step.tableinput.TableInputMeta; import be.ibridge.kettle.trans.step.tableoutput.TableOutputMeta;//这个包被遗漏了，原始位置kettle根目录\libswt\win32\swt.jar//add by chq([link=][/link]) on 2006.07.20 //import org.eclipse.swt.dnd.Transfer;/*** Class created to demonstrate the creation of transformations on-the-fly.** @author Matt**/public class TransBuilder{public static final String[] databasesXML = {"<?xml version=\"1.0\" encoding=\"UTF-8\"?>" +"<connection>" +"<name>target</name>" +"<server>192.168.17.35</server>" +"<type>ORACLE</type>" +"<access>Native</access>" +"<database>test1</database>" +"<port>1521</port>" +"<username>testuser</username>" +"<password>pwd</password>" +"<servername/>" +"<data_tablespace/>" +"<index_tablespace/>" +"<attributes>" +"<attribute><code>EXTRA_OPTION_MYSQL.defaultFetchSize</code><attribute>500</attribut e></attribute>" +"<attribute><code>EXTRA_OPTION_eCursorFetch</code><attribute>true</attribute ></attribute>" +"<attribute><code>PORT_NUMBER</code><attribute>1521</attribute></attribute>" +"</attributes>" +"</connection>" ,"<?xml version=\"1.0\" encoding=\"UTF-8\"?>" +"<connection>" +"<name>source</name>" +"<server>192.168.16.12</server>" +"<type>ORACLE</type>" +"<access>Native</access>" +"<database>test2</database>" +"<port>1521</port>" +"<username>testuser</username>" +"<password>pwd2</password>" +"<servername/>" +"<data_tablespace/>" +"<index_tablespace/>" +"<attributes>" +"<attribute><code>EXTRA_OPTION_MYSQL.defaultFetchSize</code><attribute>500</attribut e></attribute>" +"<attribute><code>EXTRA_OPTION_eCursorFetch</code><attribute>true</attribute ></attribute>" +"<attribute><code>PORT_NUMBER</code><attribute>1521</attribute></attribute>" +"</attributes>" +"</connection>"};前言：为什么要用Kettle和KETTLE JA V A API？Kettle是什么？kettle：是一个开源ETL工具。

合集下载

使用java开发openstack api的实例

使用java开发openstack api的实例

目录一、背景二、开发环境搭建1. 安装Java JDK2. 安装Eclipse开发环境3. 下载OpenStack Java SDK三、创建OpenStack API项目1. 创建新的Java项目2. 导入OpenStack Java SDK3. 配置OpenStack连接信息四、编写OpenStack API代码1. 认证和连接2. 查询云主机列表3. 创建云主机4. 查询云硬盘列表五、测试和调试六、总结一、背景OpenStack是一个开源的云计算评台，它提供了一系列的API来管理云计算资源。

在使用OpenStack时，通常需要通过API来进行各种操作，例如创建、启动、停止虚拟机，管理存储、网络等。

为了方便使用OpenStack的API，OpenStack社区提供了Java SDK，可以帮助开发者更方便地使用Java来访问OpenStack API。

本文将介绍如何使用Java开发OpenStack API的实例，包括搭建开发环境、创建OpenStack API项目、编写API代码、以及测试和调试等内容。

二、开发环境搭建在开始开发OpenStack API之前，首先需要搭建Java开发环境，以及安装OpenStack Java SDK。

1. 安装Java JDK首先需要安装Java Development Kit (JDK)，可以到Oracle全球信息湾下载最新版本的JDK，并按照官方文档进行安装。

2. 安装Eclipse开发环境Eclipse是一个开源的集成开发环境（IDE），可以方便地用于Java开发。

可以到Eclipse全球信息湾下载最新版本的Eclipse IDE for Java Developers，并按照官方文档进行安装。

3. 下载OpenStack Java SDKOpenStack官方提供了Java SDK，可以到OpenStack全球信息湾下载最新版本的Java SDK。

三、创建OpenStack API项目在搭建好开发环境并下载好OpenStack Java SDK之后，可以开始创建OpenStack API项目。

基于kettle自动完成API数据解析入库

基于kettle自动完成API数据解析入库

基于kettle自动完成API数据解析入库一、需求分析为从学生信息系统中获取学生数据信息，并实时存入数据中台近源层，为后续开展相关分析准备好数据。

从源端学生信息系统获悉，源端学生信息数据统一通过数据服务API 接口开放访问，因此，数据中台侧需自行解析API获取学生信息数据。

二、学生信息API接口说明源端提供学生信息API接口信息详情如下表所示：获取apiToken方式如下：（1）资源URL：http://192.168.102.230:8080/user/ api_authentication（2）HTTP协议：post（3）Content-Type：application/json;charset=UTF-8（4）POST Body JSON 参数:（5）返回成功示例:三、kettle设计3.1 转换设计根据转换需求，设计流程如下：（1）生成记录主要设置ETL 转换中用到的一些变量及其值，如下：配置截图如下：（2）REST client主要配置访问Restful 接口，配置截图如下：（3）JSON input主要配置对Json 格式的数据源进行解析，配置截图如下：（4）表输出主要配置向数据库的表中写入数据，目标表需提前创建。

配置截图如下：3.2 作业设计根据作业运行需求，设计作业运行流程如下：（1）Start作业起点，配置作业运行周期为2分钟，每2分钟自动执行一次作业，实现API数据的解析和入库。

（2）SQL通过SQL脚本，在每次作业运行前，先对目标表进行清空数据，脚本如下：（3）转换调用3.1章节已设计好的转换，配置截图如下：（4）发送邮件对上一步转换运行结果，及时通过发送邮件告知作业运行状态，分为运行成功和运行失败2种情况。

运行成功时，组件配置如下：运行失败时，组件配置如下：四、验证启动作业，运行结果如下：到目录库查看数据表，如下图显示，确认作业运行成功，数据如期写入目标表中，同时收到作业运行成功的邮件通知。

KETTLE API JAVA调用示例

KETTLE API JAVA调用示例

String tostepname = "write to [" + targetTableName + "]"; TableOutputMeta toi = new TableOutputMeta(); toi.setDatabase(targetDBInfo); toi.setTablename(targetTableName); toi.setCommitSize(200); toi.setTruncateTable(true);
tostep.setDraw(true); tostep.setDescription("Write information to table [" + targetTableName + "] on database [" + targetDBInfo + "]"); transMeta.addStep(tostep);
public static final TransMeta buildCopyTable(String transformationName, String sourceDatabaseName, String sourceTableName, String[] sourceFields, String targetDatabaseName, String targetTableName, String[] targetFields) throws KettleException {
EnvUtil.environmentInit();
try {
// Create a new transformation... // TransMeta transMeta = new TransMeta(); transMeta.setName(transformationName);
ETL之kettle进行二次开发简单demo

ETL之kettle进行二次开发简单demo

demo，利用kettle的api，将一个数据源中的信息导入到另外一个数据源中：[java]view plain copy1.package .saidi.job;2.3.import mons.io.FileUtils;4.import org.pentaho.di.core.KettleEnvironment;5.import org.pentaho.di.core.database.DatabaseMeta;6.import org.pentaho.di.core.exception.KettleDatabaseException;7.import org.pentaho.di.core.exception.KettleXMLException;8.import org.pentaho.di.core.plugins.PluginRegistry;9.import org.pentaho.di.core.plugins.StepPluginType;10.import org.pentaho.di.trans.TransHopMeta;11.import org.pentaho.di.trans.TransMeta;12.import org.pentaho.di.trans.step.StepMeta;13.import org.pentaho.di.trans.steps.insertupdate.InsertUpdateMeta;14.import org.pentaho.di.trans.steps.tableinput.TableInputMeta;15.16.import java.io.File;17.18./**19. * Created by 戴桥冰 on 2017/1/16.20. */21.public class TransDemo {22.23.public static TransDemo transDemo;24.25./**26. * 两个库中的表名27. */28.public static String bjdt_tablename = "test1";29.public static String kettle_tablename = "test2";30.31./**32. * 数据库连接信息,适用于DatabaseMeta其中一个构造器DatabaseMeta(String xml)33. */34.public static final String[] databasesXML = {35.36."<?xml version=\"1.0\" encoding=\"UTF-8\"?>" +37."<connection>" +38."<name>bjdt</name>" +39."<server>192.168.1.122</server>" +40."<type>Mysql</type>" +41."<access>Native</access>" +42."<database>daiqiaobing</database>" +43."<port>3306</port>" +44."<username>root</username>" +45."<password>root</password>" +46."</connection>",47."<?xml version=\"1.0\" encoding=\"UTF-8\"?>" +48."<connection>" +49."<name>kettle</name>" +50."<server>192.168.1.122</server>" +51."<type>Mysql</type>" +52."<access>Native</access>" +53."<database>daiqiaobing</database>" +54."<port>3306</port>" +55."<username>root</username>" +56."<password>root</password>" +57."</connection>"58.59. };60.61.public static void main(String[] args) {62.try {63. KettleEnvironment.init();64. transDemo = new TransDemo();65. TransMeta transMeta = transDemo.generateMyOwnTrans();66. String transXml = transMeta.getXML();67. String transName = "etl/update_insert_Trans.ktr";68. File file = new File(transName);69. FileUtils.writeStringToFile(file, transXml, "UTF-8");70. System.out.println(databasesXML.length+"\n"+databasesXML[0]+"\n"+databasesXML[1]);71. } catch (Exception e) {72. e.printStackTrace();73.return;74. }75. }76.77./**78. * 生成一个转化,把一个数据库中的数据转移到另一个数据库中,只有两个步骤,第一个是表输入,第二个是表插入与更新操作79. * @return80. * @throws KettleXMLException81. */82.public TransMeta generateMyOwnTrans() throws KettleXMLException, KettleDatabaseException {83. System.out.println("************start to generate my own transformation***********");84. TransMeta transMeta = new TransMeta();85.//设置转化的名称86. transMeta.setName("insert_update");87.//添加转换的数据库连接88.for (int i=0;i<databasesXML.length;i++){89. DatabaseMeta databaseMeta = new DatabaseMeta(databasesXML[i]);90. transMeta.addDatabase(databaseMeta);91. }92.//registry是给每个步骤生成一个标识Id用93. PluginRegistry registry = PluginRegistry.getInstance();94.//第一个表输入步骤(TableInputMeta)95. TableInputMeta tableInput = new TableInputMeta();96. String tableInputPluginId = registry.getPluginId(StepPluginType.class, tableInput);97.//给表输入添加一个DatabaseMeta连接数据库98. DatabaseMeta database_bjdt = transMeta.findDatabase("bjdt");99. tableInput.setDatabaseMeta(database_bjdt);100. String select_sql = "SELECT name FROM "+bjdt_tablename;101. tableInput.setSQL(select_sql);102.103.//添加TableInputMeta到转换中104. StepMeta tableInputMetaStep = new StepMeta(tableInputPluginId,"tab le input",tableInput);105.//给步骤添加在spoon工具中的显示位置106. tableInputMetaStep.setDraw(true);107. tableInputMetaStep.setLocation(100, 100);108. transMeta.addStep(tableInputMetaStep);109.110.//第二个步骤插入与更新111. InsertUpdateMeta insertUpdateMeta = new InsertUpdateMeta(); 112. String insertUpdateMetaPluginId = registry.getPluginId(StepPluginTy pe.class,insertUpdateMeta);113.//添加数据库连接114. DatabaseMeta database_kettle = transMeta.findDatabase("kettle"); 115. insertUpdateMeta.setDatabaseMeta(database_kettle);116.//设置操作的表117. insertUpdateMeta.setTableName(kettle_tablename);118.//设置用来查询的关键字119. insertUpdateMeta.setKeyLookup(new String[]{"name"});120. insertUpdateMeta.setKeyStream(new String[]{"name"});121. insertUpdateMeta.setKeyStream2(new String[]{""});//一定要加上122. insertUpdateMeta.setKeyCondition(new String[]{"="});123.124.//设置要更新的字段125. String[] updatelookup = {"name"} ;126.127. String [] updateStream = {"name"};128. Boolean[] updateOrNot = {true};129. insertUpdateMeta.setUpdateLookup(updatelookup);130. insertUpdateMeta.setUpdateStream(updateStream);131. insertUpdateMeta.setUpdate(updateOrNot);132. String[] lookup = insertUpdateMeta.getUpdateLookup();133.//添加步骤到转换中134. StepMeta insertUpdateStep = new StepMeta(insertUpdateMetaPluginId, "insert_update",insertUpdateMeta);135. insertUpdateStep.setDraw(true);136. insertUpdateStep.setLocation(250,100);137. transMeta.addStep(insertUpdateStep);138.//***************************************************************** *139.140.//***************************************************************** *141.142.//添加hop把两个步骤关联起来143. transMeta.addTransHop(new TransHopMeta(tableInputMetaStep, insertU pdateStep));144. System.out.println("***********the end************");145.return transMeta;146. }147.148.}上述操作将会产生一个ktr文件,接下来的操作是对ctr文件进行转换：[java]view plain copy1.public static void main(String[] args) throws KettleException {2.//初始化ketlle3. KettleEnvironment.init();4.//创建转换元数据对象5. TransMeta meta = new TransMeta("etl/update_insert_Trans.ktr");6. Trans trans = new Trans(meta);7. trans.prepareExecution(null);8. trans.startThreads();9. trans.waitUntilFinished();10.if(trans.getErrors()!=0){11. System.out.println("执行失败！");12. }13. }。