当前位置:文档之家› 用Kettle的一套流程完成对整个数据库迁移

用Kettle的一套流程完成对整个数据库迁移

用Kettle的一套流程完成对整个数据库迁移
用Kettle的一套流程完成对整个数据库迁移

需求:

1.你是否遇到了需要将mysql数据库中的所有表与数据迁移到Oracle。

2.你是否还在使用kettle重复的画着:表输入-表输出、创建表,而烦恼。

下面为你实现了一套通用的数据库迁移流程。

技术引导:

实现之初,在kettle提供的例子中找到了一个类似的(samples\jobs\process all tables)。通过相关改造,终于达到目标。

实现过程解剖:

整套流程分为:2个job,4个trans。

使用到的Trans插件:表输入、字段选择、复制记录到结果、从结果获取记录、设置变量、自定义java脚本、表输出。

1.大job。

2.要迁移的源库表名称获取,并设置到结果集,为下面的job使用。

3.配置子job为前面的每一条记录(即每个表)执行一次该子job

4.下面是子job。

5.获取记录中的表名称,并设置为到变量。

6.读取当前表的结果信息,并在目标库中创建表(这个是难点)。

因为只需要获取抓取要抽取表的结构信息,故在sql后面加上where 1=2。

下面代码是创建目标库表。

Java代码

7.表数据迁移。

8.差不多就行了,本人使用mysql到mysql、oracle的测试是没有问题的不过在测试过程中,发现源表若存在有blob的表,会有问题,可能是由于表输出没有指定字段的原因,具体解决办法,也没有去多想,以后有时间在完善把。

上面的整套流程的是在kettle4.3下完成的,附件里面可下载完整流程。

5.x运行到创建表结构步骤报错,原因data.inputRowMeta为空,因为在第6步

在sql后面加上where 1=2,导致表输入步骤没有抽取到记录,5.x里结构也变成了null。解决:

把where 1=2去掉,然后,在表输入的限制行设置为1,即可,本人亲测。

规划设计条件及规划方案审批

规划设计条件及规划方案审批 安阳市城乡规划管理局阅读3451次 一、法律法规依据 (一)法律依据 1、《中华人民共和国城市规划法》; 2、《中华人民共和国土地管理法》; 3、《中华人民共和国环境保护法》; 4、《中华人民共和国文物保护法》; 5、《中华人民共和国建筑法》; 6、《中华人民共和国房地产管理法》; 7、《中华人民共和国人民防空法》; 8、《中华人民共和国消防法》; 9、《中华人民共和国军事设施保护法》; 10、《中华人民共和国防洪法》等。 (二)法规依据 1、《停车场建设和管理暂行规定》; 2、《关于城市绿化规划建设指标的规定》; 3、《土地管理法实施条例》; 4、《建设项目环境保护管理条例》; 5、《风景名胜区管理暂行条例》; 6、《城市绿化条例》; 7、《城市市容和环境卫生管理条例》; 8、《中华人民共和国工程建设准强制性条文》及相关国家标准及技术规范。 二、申报须知及表格 1、规划设计条件报建必备资料: ①建设单位申请 ②计划部门批准文件 ③千分之一地形图1份(附道路红线) 2、规划设计方案审批报建必备资料: ①建设单位申请 ②规划设计条件通知书 ③设计方案图纸1套(须二个以上设计及方案说明书及光盘,大型项目需提供2—3个不同设计单位的规划方案及光盘) 3、审批表格(附后) 1、规划设计条件通知书 2、规划设计方案修改通知书 3、规划设计方案审定通知书 三、办理程序及时限 (一)办理程序 规划设计条件主流程

(二)办理时限 1、规划设计条件,自接档之日起7个工作日办结 2、规划设计方案: ⑴、对符合规划设计条件的项目,经办人提出意见报领导同意后,填写《规划设计方案审定通知书》转窗口,一般项目8个工作日办结,重大项目10个工作日办结 ⑵、对不符合规划设计条件的项目,经办人提出修改意见,报领导同意后,填写《规划设计方案修改通知书》转窗口,一般项目10个工作日办结,重大项目15个工作日办结。

Kettle多线程导致的抽取问题解决

今天在测试kettle一个转换的问题,据现场描述,在手工执行该job转换时,获取到的时间是正确的,但是一旦使用批处理计划任务调用执行时,获取到的时间就有问题,转换如下: '查找数据库当前时间' 这个步骤的数据库连接是’AA‘,这一步骤的动作是查找当前系统时间 select sysdate as cksj from dual ’插入/更新‘的数据库连接是’BB‘,这一步骤的动作是把上一步骤得到的时间,更新到表tt的bcgxsj字段中 ’删除'的数据库连接是‘BB’,这一步骤的动作是删除表t1中CQZT='1'的数据 ‘获取更新时间’的数据库连接是'BB',这一步骤是获取步骤‘插入/更新’中更新表tt的bcgxsj字段后的值 现在出现的问题就是,在单独执行时,发现‘获取更新时间’步骤中,获取到的时间,确实是‘插入/更新’步骤执行后的值,

但是,如果通过bat调用,在计划任务中执行时,发现‘获取更新时间’步骤中,获取到的bcgxsj就不对了,查看日志,发现获取到的时间,是更新前的时间。 猜想,应该是kettle多线程的问题。再仔细看日志,发现执行的步骤好像有点不对 发现‘获取更新时间’这一步骤根本不是在’插入/更新‘后执行的,而是一开始就已经连接数据库查询,这样肯定出来的结果不可能是更新后的当前系统时间 这步骤甚至比’查找数据库当前时间‘更早执行。 网上查找原因: 在多线程软件下处理数据库连接,最推荐的方法是在转换执行的过程中为每个线程创建单一的连接。因此,每个步骤复制都打开它们自己单独的事务或者事务集。 这将导致一个潜在的后果,就是你在使用同一个数据库资源的场景下,例如一张数据表或者视图,条件竞争在同一个转换中可能而且会经常发生。 一个常见产生错误的场景,就是当你往一个关系数据表里面写入数据,在随后的步骤里面读回。因为这两个步骤运行在不同的数据库连接下,而且拥有不同的事务上下文,你不能确保这个被第一个步骤写入的数据将可见于其他正在执行读操作的步骤。

建设工程规划建设行政审批流程

建设工程规划建设行政审批流程 一、办理《建设项目选址意见书》 1、建设单位或个人提出建设项目选址申请,分局(建筑类)或市政规划科(市政类)受理; 2、分局(建筑类)商建筑工程规划管理科(以下简称建规科)或市政规划科(市政类)组织选址踏勘用地,审查确认,建规科(建筑类)或市政规划科(市政类)向建设单位或个人核发规划条件,分局(建筑类)或市政规划科(市政类)向行政审批服务科(以下简称审批科)发出可办理《建设项目选址意见书》凭证。 3、建设单位或个人持申请材料(需提供资料详附件1)、规划条件,到审批科办理《建设项目选址意见书》。审批科核实材料要件齐全和符合要求的,直接核发《建设项目选址意见书》。对要件不齐全或不符合要求的,行政审批服务科不得受理行政许可相关材料。 二、办理《建设用地规划许可证》 1、建设单位或个人提出确认建设用地范围申请和用地范围(1 : 500-1 : 2000地形图),分局(建筑类)或市政规划科(市政类)受理; 2、分局(建筑类)或市政规划科(市政类)审查确认,并向审批科发送办理《建设用地规划许可证》凭证; 3、建设单位或个人持申请材料(需提交材料详附件2),到审批科办理《建设用地规划许可证》。审批科核实材料要件齐全和符合要求的,直接核发《建设用地规划许可证》。对要件不齐全或不符合要求的,审批科不得受理行政许可相关材料。 三、报审规划建筑方案 1、建设单位或个人提出规划建筑方案(包括纸质文本图纸和电子文本、图件)、报审申请(需提供的资料详附件3),分局对符合规划审查条件的受理; 2、分局组织(规划业务科室参与)方案审查(重要建设项目需组织专家评审、报送市规划委员会审议),审查完毕及时向建设单位提出审查书面意见,需修改的应规定时间修改到位。 3、建设单位或个人将拟审定的规划建筑方案的总平面规划图和建筑设计方案按规定向社会进行公示(征求社会及周边利害关系人的意见)。 4、分局对修改完善后的规划设计成果进行审查,核发《规划建筑设计方案审批表》,同时对审定的修建性详细规划或者规划建筑方案,签署确定意见、经办人并加盖确认章。 四、报审施工图 1、建设单位或个人提出建设项目施工图(包括纸质图纸和电子文件)、审查申请报告,分局(建筑类)或市政规划科(市政类)对符合规划审查条件的受理; 2、分局核实施工图(建筑类)技术指标和规划布局是否与规划条件、规划建筑方案相一致,并提出书面意见;市政工程规划管理科审查工程管线规划及管网综合规划图,并提出书面意见。市政规划科核实(市政类)项目(道路、桥梁、公园、绿地、雨污管道等)施工图技术参数与规划布局是否与规划条件、规划设计方案(市政类)相一致,并提出书面意见。 3、分局或市政工程规划科对修改完善后的施工图进行审查,对审定的施工图加盖确认章,向行政审批科发送办理《建设工程规划许可证》凭证。 五、办理《建设工程规划许可证》 1、建设单位或个人提出办理《建设工程规划许可证》申请(需提交材料详附件

建设工程设计方案审查(房屋建筑)流程图1461.doc

建设工程设计方案审查(房屋建筑)流程图 1461 建设工程设计方案审查(房屋建筑)流程图 事项编码:11XK004001 事项类型:行政许可 受理部门:规划建设局 办结时限:法定时限无,承诺时限(公共设施及居住类项目14个工作日;工业及市政公用设施项目9个工作日;临时项目5 个工作日)(公示、上报管委会时间不计入办理时限内) 设定依据: 1、《中华人民共和国城乡规划法》 2、辽宁省实施《中华人民共和国城乡规划法》办法 3、《大连市城乡规划条例》 提交材料清单: 公共设施及居住 (一)划拨项目 1.大连金州新区工程设计方案申请表、法人证明文件或授权委托书(原件)

2.建设用地规划许可证或土地证(已供地改、扩建项目)(附规划条件、三次网设计条件、用地红线图)(复印件) 3.划拨决定书 4.项目批准、核准文件(批准项目为可研批复或实施方案批复;核准项目为核准意见书)(已供地改、扩建项目) 5.经审批的修建性详细规划(需编制修建性详细规划项目) 6.工程设计方案 ①图纸:总平面图、建筑单体图、管线综合方案、环境设计方案、效果图、方案简本、电子文件(光盘) ②经勘测中心认定的近期1:500实测地形图(含用地及周边 50 米范围内地下危化管线) ③日照分析报告(原件)(设计单位提供并盖单位公章,涉及挡日照问题) ④建筑面积测绘报告(原件) 5.交通影响评价(符合《大连市建设项目交通影响评价技术标准》试行)相关规定的建设项目需提供)(原件) 6.安全条件论证或安全预评价报告(涉及危险化学品项目或危险化学品周边项目)(原件) 7.《建设工程抗震设防要求审核意见书》(符合《大连市地

施工组织设计方案的审批程序

施工组织设计审批程序 根 据 《建筑施工组织 设计 规范》(G B /T 5 502 - 2 09 一、施工组织设计主要包括那些内容 包括编制依据、工程概况、施工部署、施工准备、施工现场布置、施工进度计划及工期保证措施、主要分部分项工程施工方案及措施、重点与特殊部位施工措施和方法、季节性施工措施、施工组织管理、质量保证措施、安全生产保证措施、文明施工及环境保护措施等方面 二、 施工组织设计的编制和审批应符合下列规定: 1、施工组织设计应由项目负责人(项目经理)组织编制,可根据需要分阶段编制和审批; 2、施工组织总设计应由总承包单位技术负责人(集团总工)审批; 3、单位工程施工组织设计应由施工单位技术负责人(分公司总工)或技术负责人授权的技术人员审批; 4、施工方案(措施)应由项目技术负责人(项目部技术经理)审批,报公司技术中心备案; 5、重点、难点分部(分项) 工程和专项工程施工方案应由施工单位技术部门(技术中心)组织相关专家评审, 施工单位技术负责人(分公司总工)批准; 6、由专业承包单位施工的分部(分项)工程或专项工程的施工方案,应由专业承包单位技术负责人(总工)或技术负责人授权的技术人员审批;有总承包单位时,应由总承包单位项目技术负责人(总工)核准备案; 7、规模较大的分部(分项)工程和专项工程的施工方案应按单位工程施工组织设计进行编制和审批。 三、重点、难点分部(分项)工程是指: 1、工程量大,在整个工程中占重要地位的分部分项工程; 2、施工技术复杂的项目; 3、采用新技术、新工艺及工程质量起关键作用的项目; 4、不熟悉的特殊结构或工人在操作上不够熟练的工序。 四、在我国,大型(规模较大)房屋建筑工程标准一般指:

ETL之kettle进行二次开发简单demo

demo,利用kettle的api,将一个数据源中的信息导入到另外一个数据源中:[java]view plain copy 1.package https://www.doczj.com/doc/3c13825972.html,.saidi.job; 2. 3.import https://www.doczj.com/doc/3c13825972.html,mons.io.FileUtils; 4.import org.pentaho.di.core.KettleEnvironment; 5.import org.pentaho.di.core.database.DatabaseMeta; 6.import org.pentaho.di.core.exception.KettleDatabaseException; 7.import org.pentaho.di.core.exception.KettleXMLException; 8.import org.pentaho.di.core.plugins.PluginRegistry; 9.import org.pentaho.di.core.plugins.StepPluginType; 10.import org.pentaho.di.trans.TransHopMeta; 11.import org.pentaho.di.trans.TransMeta; 12.import org.pentaho.di.trans.step.StepMeta; 13.import org.pentaho.di.trans.steps.insertupdate.InsertUpdateMeta; 14.import org.pentaho.di.trans.steps.tableinput.TableInputMeta; 15. 16.import java.io.File; 17. 18./** 19. * Created by 戴桥冰 on 2017/1/16. 20. */ 21.public class TransDemo { 22. 23.public static TransDemo transDemo; 24. 25./** 26. * 两个库中的表名 27. */ 28.public static String bjdt_tablename = "test1"; 29.public static String kettle_tablename = "test2"; 30. 31./** 32. * 数据库连接信息,适用于DatabaseMeta其中一个构造器 DatabaseMeta(String xml) 33. */ 34.public static final String[] databasesXML = { 35. 36."" + 37."" + 38."bjdt" + 39."192.168.1.122" + 40."Mysql" +

建设工程开工前审批流程

项目开发阶段: 第一步:编制可研报告,取得发改委“立项批复”。 第二步:取得国土局“用地预审意见”。 第三步:取得环保局“环境评估审查意见”。 第四部:取得规委给发改委的“规划意见函复”。 第五步:取得规委给建委的“规划意见函复”。 第六步:取得建委的“选址意见通知书”。 第七步:取得发改委的“招投标方式通知书”。 第八步:委托招投标代理公司完成设计招投标,发出中标通知书,取得规委的“设计招投标备案回执”。 第九步:取得规委的“规划意见通知书(选址)”。 第十步:完成方案设计,取得规委的“设计方案审查意见”。 第十一步:完成初步设计及概预算编制,取得发改委的“初步设计及概预算审查意见”。 第十二步:取得规委的“钉桩通知单”,委托测绘院钉桩,取得“钉桩成果通知书”。 第十三步:取得规委的“用地规划许可证”。 第十四步:取得建委的“征地计划通知书”。 第十五步:取得国土局的“建设用地批准书”。 第十六步:完成人防报批图纸设计,取得人防办的“人防设计审查意见”。 第十七步:完成消防报批图纸设计,取得消防局的“消防设计审查意见”。 第十八步:完成园林报批图纸设计,取得园林局的“园林设计审查意见”。 第十九步:委托编制交通影响评估报告,取得交通委的“交通审查意见”。 第二十步:委托勘察院进行地质勘探,取得“地质勘探报告”。 第二十一步:取得建委的“年度施工计划通知书”。 第二十二步:设计院完成规证报批图纸设计,取得规委的“工程规划许可证“。 第二十三步:与原土地方完成安置补偿工作,签定“安置补偿协议”。 第二十四步:完成水、电、气、暖、信、路等市政供源方案设计,取得市政院的“市政供源方案”。

方案报批报审程序流程

方案报批报审程序流程 1.将工程设计方案文件报送至当地政府办件大厅规划局窗口,分局窗口审查报建材料并受理,市管重要区域内的设计方案转建管处2套;市管重要区域外的设计方案转分局2套. 2.市管重要区域内的建筑项目 (1)建管处经办人根据规划条件对建设工程设计方案进行初审,形成初审意见; (2)建管处经办人整理资料,报处业务办公会审定、签发。 (3)经审查同意的设计方案,由建管处经办人出具《市规划管理局建设项目坐标放线通知单》,与加盖有“本图仅用于坐标放线”蓝条章的方案总平面图一并移交分局窗口。 3.市管重要区域外的建筑项目 (1)分局经办人根据规划条件对建设工程设计方案进行初审,形成初审意见; (2)分局经办人整理资料,报分局业务办公会审定后,分类报分管区领导签发;不同意或需要修改的,由分局长签发《市规划管理局建设工程设计方案审查意见表》; (3)经审查同意的设计方案,由分局经办人出具《市规划管理局建设项目坐标放线通知单》,与加盖有“本图仅用于坐标放线”蓝条章的方案总平面图一并移交分局窗口。 4、建设项目工程设计方案如需要进行指标复核的,由建管处或分局将建设项目工程设计方案及电子文档交局规划信息技术中心,局规划

信息技术中心对建筑项目主要指标和日照要求进行核算,在4个工作日内向建管处或分局提交《市规划信息技术中心建筑设计方案指标复核意见书》 所需材料: 1.建设工程设计方案送审单1份; 2.建设工程设计方案总平面图(比例1:500或1:1000)4份; 3.日照分析综合计算图(比例1:500)2份; 4.建设工程设计方案2套(含平、立、剖面图); 5.规划条件中要求报送效果图的,方案中应含A3幅面效果图; 6.其他需要说明的图纸、文件等; 7.除上述纸质文档外,需同时提供经审查合格的电子文件1套(电子文件要求见电子文件报建须知)。 备注说明: 1.经审查同意的,核发以下资料: (1)《市规划管理局建设项目坐标放线通知单》1份; (2)加盖“本图仅用于坐标放线”蓝条章和技术管理专用章的建设工程设计方案总平面图1份。 2.经审查不同意的,核发以下资料: (1)退回建设工程设计方案总平面图3份,建设工程设计方案1套; (2)发放《市规划管理局建设工程设计方案审查意见表》1份。 附图:

kettle 使用中的一些常见问题

kettle 使用中的一些常见问题 问题1: 从excel 中抽取数据,插入到oracle 9 数据库中,报下面的错误. 2008/06/25 13:30:57 - 插入更新数据表.0 - Insert row: ![field1=1.3965E8, field2=1,798, field3=2002/05/27 00:00:00.000] 2008/06/25 13:30:57 - oracl - ERROR : java.sql.SQLException: ORA-01722: 无效数字2008/06/25 13:30:57 - oracl - ERROR : at oracle.jdbc.driver.DatabaseError.throwSqlException(DatabaseError.java:125) 原因: 从错误信息可以看出,字段"field2" 对应的数据是1,798,该字段在数据库中是Number 类型,Oracle 不能将1,798 格式的字符串转换为数字。 解决方法: 在【Excel输入步骤】-【字段】标签下对应的字段设置为正确的类型。将"field2" 设置为"Number" 类型(默认是String 类型)。 问题2: 由sqlserver 向mysql 迁移数据, 迁移以后的数据是乱码 原因: 这是由于mysql 的默认编码是utf-8, 而中文环境下客户端的默认编码一般都是gbk 或gb18030, 由于客户端和服务器编码不一样导致保存到mysql 的数据是乱码 解决方法: 在新建连接窗口中有一个选项(option) 标签, 在这个标签下可以设置数据库的一些连接参数. 在这里我们要设置mysql 的客户端编码参数, 参数名characterEncoding, 参数值gbk. 问题3: 在SQLServer 表输入步骤中使用以问号作为参数的sql 语句(参数的值从以前的步骤中获得),向mysql 数据库导入数据(使用mysql 表输出步骤). 在执行的时候报告错误Unable to get queryfields for SQL: AND e.LOCAL_TIME>? 00909 PRS INC Invalid character. 原因: 从错误语句看,是参数没有被替换掉, 因为发送给mysql 服务器的是这样的语句"AND e.LOCAL_TIME>?". 参数没有被替换掉是因为从以前步骤中读取的参数值是null. 解决方法: 增加对null 值的判断, 可以有两种方法, 如果这个值是从数据库获取的,一般的数据库都提供了处理null值的函数,如mysql 的ISNULL 函数. 如果这个值是从其他步骤获得的,可以通过Javascript 步骤进行判断并转换. 问题4: 使用PDI 3.x 版本连接DB2 数据库时会报下面的错误 Error connecting to database: (using class com.ibm.db2.jcc.DB2Driver) encoding not supported!!

建筑设计报批流程

建筑设计、报批流程 一、设计阶段的划分 规划阶段 方案设计 初步设计 施工图设计 (简单的民用建筑工程,经有关部门同意,并且合同中有不做初步设计的约定,可在方案设计审批后直接进入施工图设计)实际设计程序: 1.概念方案设计-征询(总平面设计、从概念到形象) 2.方案设计-审批(报建方案) 3.初步设计-审批 4.施工图设计-审批 5.施工监督配合-(服务的重要性) 二、各个设计阶段的设计容 方案设计阶段: 1.绘制方案草图 2.结构选型,设备系统等设想方案 3.估算工程造价 4.组织方案审定或评选,写出定案结论。(报规划审批会研究) 《建设工程规划设计方案批复》 5.绘制报建方案。

初步设计阶段: 方案设计审查批准后进行,初步完成个专业配合,细化方案设计,编制初步设计文件,配合建设单位办理相关的报批手续。 初步设计的容: 设计说明书、设计图纸、主要设备材料表(电气)和工程概算施工图设计阶段: 取得初步设计审批文件之后,根据审批意见和审批文件,对初步设计进行必要的调整。 施工图设计的主要任务是满足施工要求,解决施工中的技术措施、用料及具体做法。 施工图设计的容包括建筑、结构、给排水、电气、采暖通风等工种的设计图纸,建筑节能、结构及设备计算书。 总结一下设计全过程: 1.研究熟悉红线图,了解周围建筑情况和环境。 2.了解建设单位要求。 3.做方案图,报规划部门审批。 4.修改方案图,直到获得批准为止。 5.根据方案图的平面布置图,进行地质勘查。 6.做初步设计并报批。 7.做施工图。 8.交建设单位施工图审查单位审查。 9.施工配合。

各阶段侧重点: 1.方案重创新 2.初步设计重深度 3.施工图重校核 4.施工配合重服务 三、各个设计阶段的报批程序 “一书两证”制度 对我国城市规划实施管理的基本制度的通称。是《城乡规划法》规定的,全国统一的。即城市规划行政主管部门核准发放的。 建设项目选址意见书 建设用地规划许可证 建设工程规划许可证 一、《建设项目选址意见书》 1.是城市规划行政主管部门审核建设项目选址的法定凭证。 2.是土地部分提供土地,计划部分项目立项的依据。 3.设计任务书(可行性研究报告)报请批准时,必须附有城市 规划行政主管部门核发的选址意见书。 二、《建设用地规划许可证》 取得建设用地规划许可证后,方可向国土资源行政主管部门申请用地,经县级以上人民政府审查批准后,由国土资源行

工程建设项目详细审批流程

工程建设项目审批流程图 立项规划选址阶段 ︵ 7 个 工 作 日 ︶ 监理、施工 招标阶段 ︵ 11 个 工 作 日 ︶ 核发《建设项目选址意见书》 牵头单位:规划局 时间:7个工作日 项目建议书审批 可行性研究报告审批 项目申请报告 单位:发改局(经贸局) 时间:6个工作日 有关部门审批意见(水利、地震等) 时间:5个工作日出具初审意见, 20个工作日内完成(可并联) 消防预审(甲、乙类生产仓储项目) 单位:消防局 时间:5个工作日 环保部门立项意见 单位:环保局 时间:5个工作日 用地预审 单位:国土局 时间:5个工作日 环评报告审批 单位:环保局 时间:进入初步设计审批阶段之前 核发《建设用地规划许可证》 牵头单位:规划局 时间:5个工作日 出具规划、建筑设计条件 单位:规划局 时间:6个工作日 项目规划设计审批(招标)阶段 ︵19个工作日 ︶ 设计方案招标与/或规划 设计方案审批 牵头单位:规划局与/或发改(经贸)局 时间:5个工作日 建设工程交易中心招投标 单位:建设工程交易中心 时间:3个工作日 部门审批意见(消防、人防、水利、管线、海事、航道、地震等) 单位:规划条件要求的部门 时间:4工作日 监理、施工招标 牵头单位:发改(经贸)局 时间:8个工作日(同时进 行) 部门审批意见(消防、环保、水利、人 防、气象、国土、管线等) 单位:有关单位 时间:4个工作日 初步设计审批 牵头单位:规划局 时间:5个工作日 核发建设工程规划许可证 单位:规划局 时间:3工作日 办理用地审批手续 单位:国土局 时间:16个工作日内完成(可并联) 建设用地 审批阶段 ︵ 5 个 工 作 日 ︶ 建设工程交易中心招投标 单位:建设工程交易中心 时间:3个工作日 审核中介机构编制的预算 单位:财政局 时间:发招标文件前完成 (可并联) 报建施 工 阶 段 ︵ 3 个 工 作 日 ︶ 建设施工报建、核发《建设项目 施工许可证》 牵头单位:建设(房管)局 时间:3个工作日 施工图审查 单位:审图中心与气象局、人防 时间:进入报建施工阶段之前 房屋白蚁防治合同备案 单位:建设(房管)局 时间:2个工作日 7 说明: 1、整个审批流程为45个工作日。 2、圆角矩形是可选过程;虚线是指审批可跨阶段完成。 3、以上流程属市、区审批权限项目,如报省审批项目,无时间承诺。 建设工程质量、安全监督 单位:质量(安全)监督站 时间:0个工作日 人防设备合同备案 人防质量监督申请表 单位:人防办 时间:2个工作日

Pentaho ETL工具Kettle转换实现原理

关于Pentaho ETL工具Kettle转换实现原理的研究·ETL和Kettle简介 ETL即数据抽取(Extract)、转换(Transform)、装载(Load)的过程。它是构建数据仓库的重要环节。数据仓库是面向主题的、集成的、稳定的且随时间不断变化的数据集合,用以支持经营管理中的决策制定过程。 Kettle 是”Kettle E.T.T.L. Envirnonment”只取首字母的缩写,这意味着它被设计用来帮助你实现你的ETTL 需要:抽取、转换、装入和加载数据;翻译成中文名称应该叫水壶,名字的起源正如该项目的主程序员MATT 在一个论坛里说的哪样:希望把各种数据放到一个壶里然后以一种指定的格式流出。 Kettle的四大块: Chef——工作(job)设计工具(GUI方式) Kitchen——工作(job)执行器(命令行方式) Spoon——转换(transform)设计工具(GUI方式) Pan——转换(trasform)执行器(命令行方式) Spoon 是一个图形用户界面,它允许你运行转换或者任务,其中转换是用Pan 工具来运行,任务是用Kitchen 来运行。Pan 是一个数据转换引擎,它可以执行很多功能,例如:从不同的数据源读取、操作和写入数据。Kitchen 是一个可以运行利用XML 或数据资源库描述的任务。通常任务是在规定的时间间隔内用批处理的模式自动运行。下面将具体介绍Pan,和Kitchen在ETL中的实现过程。 ·数据转换原理及具体实现过程 大致步骤如下:

转换的过程中(在windows环境下),首先会调用Pan.bat,这一步主要是做一些初始化,连接验证,环境设置,检查之类;然后在Pan的最后一步会调用launcher.jar包,这个包用于启动JDBC驱动,并向JDBC传入相关连接信息和参数,然后开始传数据,最后是完成数据传输,关闭相关协议,写入日志。 首先来看Kitchen的实现,Kitchen在一个job中一般包含以下几个步骤: 转换:指定更细的转换任务,通过Spoon生成。通过Field来输入参数; SQL:sql语句执行; FTP:下载ftp文件; 邮件:发送邮件; 检查表是否存在; 检查文件是否存在; 执行shell脚本:如dos命令。 批处理:(注意:windows批处理不能有输出到控制台)。 Job包:作为嵌套作业使用。 SFTP:安全的Ftp协议传输; HTTP方式的上/下传。 以下是一个简单的ETL过程:

建筑设计报批流程教程文件

建筑设计、报批流程 设计阶段的划分 规划阶段 方案设计 初步设计 施工图设计 (简单的民用建筑工程,经有关部门同意,并且合同中有不做初步设计的约定,可在方案设计审批后直接进入施工图设计) 实际设计程序: 1?概念方案设计-征询(总平面设计、从概念到形象) 2. 方案设计-审批(报建方案) 3. 初步设计-审批 4. 施工图设计-审批 5. 施工监督配合-(服务的重要性) 各个设计阶段的设计内容 方案设计阶段: 1. 绘制方案草图 2. 结构选型,设备系统等设想方案 3. 估算工程造价 4. 组织方案审定或评选,写出定案结论。(报规划审批会研究)

《建设工程规划设计方案批复》 5. 绘制报建方案 初步设计阶段: 方案设计审查批准后进行,初步完成个专业配合,细化方案设计,编制初步设计文件,配合建设单位办理相关的报批手续。 初步设计的内容:设计说明书、设计图纸、主要设备材料表(电气)和工程概算施工图设计阶段: 取得初步设计审批文件之后,根据审批意见和审批文件,对初步 设计进行必要的调整。 施工图设计的主要任务是满足施工要求,解决施工中的技术措施、用料及具体做法。 施工图设计的内容包括建筑、结构、给排水、电气、采暖通风等工 种的设计图纸,建筑节能、结构及设备计算书。 总结一下设计全过程: 1. 研究熟悉红线图,了解周围建筑情况和环境。 2. 了解建设单位要求。 3. 做方案图,报规划部门审批。 4. 修改方案图,直到获得批准为止。 5. 根据方案图的平面布置图,进行地质勘查。 6. 做初步设计并报批。 7. 做施工图。 8. 交建设单位施工图审查单位审查。

9. 施工配合各阶段侧重点: 1. 方案重创新 2. 初步设计重深度 3. 施工图重校核 4. 施工配合重服务 三、各个设计阶段的报批程序 “一书两证”制度对我国城市规划实施管理的基本制度的通称。是 《城乡规划法》规定的,全国统一的。即城市规划行政主管部门 核准发放的。建设项目选址意见书 建设用地规划许可证 建设工程规划许可证 一、《建设项目选址意见书》 1. 是城市规划行政主管部门审核建设项目选址的法定凭证。 2. 是土地部分提供土地,计划部分项目立项的依据。 3. 设计任务书(可行性研究报告)报请批准时,必须附有城市规划 行政主管部门核发的选址意见书。 二、《建设用地规划许可证》 取得建设用地规划许可证后,方可向国土资源行政主管部 门申请用地,经县级以上人民政府审查批准后,由国土资源行 政主管部门划拨、征用土地。 按照有关规定,房地产商即使取得取得建设用地的批准文件,但如未取得《建设用地规划许可证》而占用土地的,其建设用地批

方案审批程序

施工组织设计、施工方案审批程序 1、施工组织设计、施工方案由项目负责人主持编制,封面有编制、审核、批准 人三方签字,技术处盖章。 2、施工组织设计编制后,分公司技术经理或直属项目部技术负责人审核,送总 公司相关处室会签(附件一),同意后总工程师批准。封面及审批表(省资料TJ1.4表)中审核意见栏签分公司技术负责人或直属项目部技术负责人及总公司技术处审核人员名字。 3、施工方案编制后,分公司技术经理或直属项目部技术负责人审核盖章后总工 程师批准。 4、危险性较大的分部分项专项方案(内容见附件二、附件三),编制内容统一为:(1)工程概况:危险性较大的分部分项工程概况、施工平面布置、施工要求和技术保证条件。 (2)编制依据:相关法律、法规、规范性文件、标准、规范及图纸(国标图集)、施工组织设计等。 (3)施工计划:包括施工进度计划、材料与设备计划。 (4)施工工艺技术:技术参数、工艺流程、施工方法、检查验收等。 (5)施工安全保证措施:组织保障、技术措施、应急预案、监测监控等。(6)劳动力计划:专职安全生产管理人员、特种作业人员等。 (7)计算书及相关图纸。 专项方案编制完整由分公司技术经理或直属项目部技术负责人审核符合要求,送总公司技术、安全、质量处审核,在审批表(省资料TJ1.4表)审核意见栏签署意见,经审核合格的,总工程师签字。附录二方案不需要专家论证;附录三方案需专家论证(常州地区深基坑支护设计方案需由业主送审图中心审核可行后才能编制专项方案)。 5、实行施工总承包的专项方案,应当由总承包单位总工程师及相关专业承建单 位技术负责人签字。专家论证会由总承包单位组织召开。参加专家论证的人员见附件四。施工单位根据专家论证意见修改完善专项方案,并经施工单位总工程师、项目总监理工程师、建设单位项目负责人签字后,方可组织施工(总承包的工程同时也应有专业承包单位技术负责人签字)。

kettle转换步骤的类型功能

文本文件输入(text input):读取大量不同的文本文件。大多是通过工具生成的CSV文件。 表输入(table Input):常用来利用连接和SQL,从数据中读取信息,自动生成基本的SQL语句。 获取系统信息(get system info):这个步骤从Kettle 环境中获取信息。 生成行(Generate Rows ):这个步骤输出一定数量的行,缺省为空。可选包括一定数量的静态字段。 Cube输入(文件反序列化)(De-serialize from file):从二进制Kettle Cube 文件中读取数据行。备注:这个步骤仅仅用来存储短期数据。不同版本之间不保证文件的格式一样。 XBase输入:使用这一步可以读取大多数被称为XBase family派生的DBF文件。 Excel输入:利用这个步骤可以从Kettle 支持的系统的Excel文件里面读取数据。 XML输入:这个步骤允许你读取存储在XML 文件中的数据。它也提供一个接口,你可以定义你想读取的文件名、XML 文件的数据重复部分、获取的字段等。你可以指定元素或属性字段。 获取文件名(Get File Names):这个步骤可以获取系统的文件名信息。 文本文件输出(Text File Output): 表输出(Table output):这个步骤可以存储信息到数据库表中。 插入/更新(Insert/Update):这个步骤利用查询关键字在表中搜索行。如果行没有找到,就插入行。如果能被找到,并且要被更新的字段没有任何改变,就什么也不做。如果有不同,行就会被更新。 更新(Update ):这个步骤类似于插入/更新步骤,除了对数据表不作插入操作之外。它仅仅执行更新操作。 删除(Delete):这个步骤类似于上一步,除了不更新操作。所有的行均被删除。 Cube output(序列化到文件)(Serialize to file):这一步骤存储数据到一个二进制文件。这个步骤有个优势就是回读的时候,文本文件的内容不需要解析。这是因为元数据也同时存储在CUBE 文件里面。 XML输出:这个步骤允许你从源中写入行到一个或者多个XML 文件。 EXCEL输出:利用这个步骤,在Kettle 支持的系统中,你可以写入数据到一个或者多个

一般施工方案编制和审批流程

一般施工方案编制和审批流程 施工组织设计(方案)编制审批制度 一、企业各级技术负责人对所审批施工组织设计(方案)的施工安全负技术责任,并在施工组织设计实施前及时进行审批,经审批、批准过后方可实施。 二、编制者编制好施工组织设计(方案)后,在审批前先经相关部门、人员审核会签,编制及审核者都必须有工程师职称。 三、施工组织设计审批采取分级控制。 四、施工组织设计应编制以下具体内容:工程项目的概况;质量目标和安全目标、进度要求;施工组织机构、质量管理网络、安全管理网络;主要施工程序(方法或工序)、特殊过程及主要措施、安全技术措施;资源的配置计划(如:施工设备、主要人员、生产设施、环境等);作业件的编制纲要计划、支持性的标准、规、质量管理体系件等件需求(可列出引用);工程所需的产品验证、质量检查验收活动、及其验证、验评的标准和规,可以引用);为施工过程、产品满足要求提供证据所需的记录(可以简述、引用)。 五、施工组织设计(方案)的审批 施工组织设计(方案)必须按其所涉及内容由各级技术负责人组织技术、安全、质量、计划、设备、材料等相关职能进行审核,经审核无误后再由相应技术负责人进行审批。审核和审批人应有明确意见并签名,职能部门盖章。 经过批准的施工组织设计(方案)不能随意变更修改。确因客观原因需要修改时,应按原审核、审批的分工与程序办理。 六、安全技术措施编制 施工组织设计(方案)必须针对工程危险源编制安全技术措施。安全技术措施要针对工程特点、施工工艺、作业条件以及施工人员的素质等情况进行制定,对工程中各种危险源,要制定出具体的防护措施和作业安全注意事项。 七、专项安全技术方案 根据《建设工程安全生产管理条例》和相关行业规定,对专业性强、危险性大的施工项目,应单独编制专项安全技术方案。其中涉及深基坑、地下暗挖工程、高大模板工程的专项施工方案,应根据地方有关具体规定,组织专进行论证。专项安全技术方案应力求细致、全面、具体;应根据需要进行必要的设计计算,对所引用的计算方法和数据,必须注明其来源和依据;所选用的力学模型,必须与实际构成实际情况相符;为了便于方案的实施,方案中除应有详尽的字说明外,还应有必要的构造详图;图示应清晰明了,标注齐全。 八、安全技术交底 安全技术交底是安全技术措施实施的重要环节,为此须做好以下安全技术交底工作:专项施工方案安全技术交底、分部分项工程安全技术交底、关键工序安全技术交底、总承包单位对分包单位的安全技术交底、作业班组对作业人员的安全技术交底、对新进场施工人员的安全技术交底。 安全技术交底主要内容为:工程项目和分部分项工程的概况、工程项目和分部分项目工程的危险部位、针对危险部分采取的具体预防措施、作业中应注意的安全事项、作业人员应遵守的安全操作规程和规、作业人员发现事故隐患应采取的措施和发生事故后应及时采取的躲避和急救措施。 九、安全技术标准规和操作规程 企业应根据自身经营内容和施工特点,收编相关的现行有效地国、行业和地方的安全技术标准、规和企业的安全技术标准、各项安全技术操作规程,专人保

工程项目审批流程

工程项目审批流程 1、建设单位编制可研性报告、项目建议书。(可研性报告包括:项目建设的 必要性、项目选址与建设条件、项目建设内容与规划方案、投资估算与资金筹措、经济效益评价)。 2、将编制好的可研性报告上报市发改委。 3、建设单位会同设计单位将初步设计方案,设计总说明;包括从土建、结构、 设备、预算、消防、规划各方面要详细、明确。 4、将上报发改委的资料,组织项目初步设计论证会,邀请各位专家参加论证。 5、将论证会结论,土地证、项目可研性报告、项目地形图、概算等资料,向 发改委申请预备投资计划,进行核准。项目地形图应由测量大队进行现场测量后,并出图。 6、预备计划下发,向市规划局申请规划许可证。根据初步设计方案和设计总 说明,总平面图,平、立、剖图上报规划局,申请批准。 7、组织项目规划论证会,将上报规划局的初步设计方安。项目总平面图,平 立剖图。进行专家论证会议。 8、规划局对上报总平面进行审批同意后。请消防、人防、绿化对总平面进行 审批。 9、设计单位做施工图全面设计。(建筑、结构、电、消防、人防、通风等方 面) 10、将规划局审批的总平图上报绿化部门(包括总平面图、红线图、土地证、 绿化设计图)进行绿化审批。 11、将规划局审批的总平面图、平、立、剖上报人防部门进行审批。 12、施工图全部设计完毕后,上报审图公司,进行图纸审查。

13、施工图全部设计完后,由图审公司上报建设局进行备案。 14、全套施工图设计完毕后,上报消防部门。进行消防审核。 15、将绿化、消防、人防审核后全套施工图上报规划局申请规划许可证。 16、将规划审批的总平面图、规划许可证、消防审批的批文,财政局资金证明、 申报单位主管部门申请,无拖欠证明、上报市发改委申请该项目正式计划。 17、将规划证、计划后,前期开标手续准备完毕后,申请开标。 18、开标结束后,招标备案。 19、申请工程施工许可证。 20、项目施工许可证包括(质监、安监、稽查等部门备案)对施工合同、监理 合同审查后,备案。 21、对上述部门上报资料同时,要缴纳质检费、定测费,劳保基金,意外伤害 保险、印花税等 22、申请施工许可证后,将规划证、地形图,上报测绘大队,进行定位放线。 23、地震、气象、文物、渣土、环保等部门都需要办理手续。说明:抗震分析、 房屋地震安全评估报告、防雷设计、文物勘探、渣土清运费、建设项目环境影响评估等。

开源ETL工具kettle系列之动态转换

摘要:本文主要讨论使用Kettle来设计一些较为复杂和动态的转换可能使用到的一些技巧,这些技巧可能会让你在使用Kettle的时候更加容易的设计更强大的ETL任务。 动态参数的传递 Kettle 在处理运行时输入参数可以使用JavaScript 来实现,大部分工作只是按照一个模板来处理的 动态参数传递主要使用在像数据清理,调式,测试,完成复杂的条件过滤等等,这种方式一般不会在产品已经运行稳定了一段时间之后使用,因为我们一般仍然是做定时任务来自动转换数据,所以在开始介绍如何使用动态参数之前,希望大家能明白不要在产品数据库上做实验,即使你已经知道你的转换有什么影响并且做了备份,因为这种方法是不可能自动执行的。 Kettle有两种动态参数传递的方法,一种是非常轻量级的传argument , 另一种是对付较复杂一点情况使用JavaScript . 下面分别介绍这两种方法。 1. argument 当你在运行一个转换的时候,不管这个转换是一个Job的一部分还是只有这个转换,你都可以传递参数给它,当你运行一个转换的时候,会弹出一个Execution a Transformation 的对话框,让你选择执行转换的方式,本地执行,远程执行,分布式执行,下面就是日志记录的级别和回放时间,然后是argument 和variables 的设定。Argument 和variables 的区别在官方FAQ里面也有解释。你也可以参考一下官方的解释和下面解释的异同。 Q : Argument 和variables 的区别/ A : variables 也可以认为叫做environment variables , 就像它的名字一样,主要是用来设定环境变量的,比如最常见的:文件的存放地址,smtp的配置等等,你也可以把它认为是编程语言里面的全局变量,即使是不同的转换它们也拥有同样的值,而argument 自然就类似与局部变量,只针对一个特定的转换,比如像是限定结果集的大小和过滤条件。 取得argument的值 我们在转换之前设置了argument的值,需要用到的时候就使用get system info 步骤,这个步骤取得在运行时参数,需要注意的是我们是先设置get system info ,然后在里面决定要使用多少个参数,最多10个,每个参数名叫什么,然后我们才能在运行时看到你设置了的参数名后面跟一个要你输入的值,并且参数类型是不能够指定,全部都当作字符串处理,如果你需要对参数类型有要求,你需要自己转换,使用一个Mapping步骤或者Select values步骤。 取得variable的值 Variable 的值个数不受限制,你可以在kettle菜单的set environment里面设置,也可以使用文件储存这些值,在第一次运行kettle之后,kettle会在%HOME_USER_FOLDER%菜单里面创建一个 .kettle文件夹,如果是windows 用户可能就是C:\Documents and Settings\${your user name}\.kettle这个文件夹,如果是linux用户可能就是/home/${your user name }/.kettle文件夹,这个文件夹下面有kettle.properties文件,如果你打开这个文件,你会发现里面有一些以#开头的注释,其中设置了一些像是:PRODUCTION_SERVER = Hercules 这样的键值对,你可以自己定义一些环境变量比如像是smtp的地址,ftp服务器的地址,你放log文件的目录名等等,当然不能直接编辑这个文件就设置环境变量,要先设置KETTLE_HOME环境变量,windows就是点我的电脑,然后在设置path的那个地方添加一个KETTLE_HOME变量,linux就是export KETTLE_HOME=’一个目录’,这个目录可以任意地方,不过一般还是指向kettle的安装目录或是你自己的文档目录,然后启动kettle它会创建一个新的.kettle目录,编辑里面的kettle.properties文件就可以设置环境变量了. 2. 使用脚本 Kettle使用的是JavaScript来作为它的脚本实现,使用的是mozilla 的rhino 1.5r5版本实现,如果你打算

相关主题
文本预览
相关文档 最新文档