概览
Kettle也叫PDI(全称是Pentaho Data Integeration)，是一款开源的ETL工具，项目开始于2003年，2006年加入了开源的BI 组织Pentaho, 正式命名为PDI。官方网站：https://www.doczj.com/doc/623923410.html,/
术语
1.Transformation
转换步骤，可以理解为将一个或者多个不同的数据源组装成一条数据流水线。然后最终输出到某一个地方，文件或者数据库等。
2.Job
作业，可以调度设计好的转换，也可以执行一些文件处理（比较，删除等），还可以ftp上传，下载文件，发送邮件，执行shell命令等,
3.Hop 连接转换步骤或者连接Job（实际上就是执行顺
序）的连线
Transformation hop：主要表示数据的流向。从输入，过滤等转换操作，到输出。
Job hop：可设置执行条件：
1，无条件执行
2，当上一个Job执行结果为true时执行
3，当上一个Job执行结果为false时执行
Kettl e,etl设计及运行
1.Kettle整体结构图
Kettle整体结构图2.转换设计样例图
绿色线条为hop,流水线
转换设计样例
3.运行方式
使用java web start 方式运行的配置方法
命令行方式
1）Windows下执行kitchen.bat，多个参数之间以“/”分隔，Key和value以”:”分隔例如：
kitchen.bat /file:F:\samples\demo-table2table.ktr /level:Basic /log:test123.log
/file：指定转换文件的路径
/level：执行日志执行级别
/log: 执行日志文件路径
2）Linux下执行kitchen.sh，多个参数之间以“-”分隔，Key和value以”=”分隔kitchen.sh -file=/home/updateWarehouse.kjb -level=Minimal
如果设计的转换，Job是保存在数据库中，则命令如下：
Kitchen.bat /rep:资源库名称/user:admin /pass:admin /job:job名
4.Xml保存转换，job流程
设计用户定义的作业可以保存在（xml格式）中或某一个特定的数据库中
转换的设计文件以.ktr结尾（xml文格式），保存所有配置好的数据库连接，文件相对路径，
字段映射关系等信息。
Job的设计文件以.kjb结尾，下面是一个调用已经设计好的转换的job文件的一部分：
………
5.数据库保存转换，job流程
列出几个重要的表
1）r_job: 保存job的id,name,status,执行时间，创建时间，修改时间等信息建表语句：
DROP TABLE IF EXISTS `r_job`;
CREATE TABLE `r_job` (
`ID_JOB` bigint(20) NOT NULL,
`ID_DIRECTORY` int(11) DEFAULT NULL,
`NAME` varchar(255) DEFAULT NULL,
`DESCRIPTION` mediumtext,
`EXTENDED_DESCRIPTION` mediumtext,
`JOB_VERSION` varchar(255) DEFAULT NULL,
`JOB_STATUS` int(11) DEFAULT NULL,
`ID_DATABASE_LOG` int(11) DEFAULT NULL,
`TABLE_NAME_LOG` varchar(255) DEFAULT NULL,
`CREATED_USER` varchar(255) DEFAULT NULL,
`CREATED_DATE` datetime DEFAULT NULL,
`MODIFIED_USER` varchar(255) DEFAULT NULL,
`MODIFIED_DATE` datetime DEFAULT NULL,
`USE_BATCH_ID` char(1) DEFAULT NULL,
`PASS_BATCH_ID` char(1) DEFAULT NULL,
`USE_LOGFIELD` char(1) DEFAULT NULL,
`SHARED_FILE` varchar(255) DEFAULT NULL,
PRIMARY KEY (`ID_JOB`)
)
2）r_jobentry:设计界面上的一个实体对应一个entry,通过job的id关联
DROP TABLE IF EXISTS `r_jobentry`;
CREATE TABLE `r_jobentry` (
`ID_JOBENTRY` bigint(20) NOT NULL,
`ID_JOB` int(11) DEFAULT NULL,
`ID_JOBENTRY_TYPE` int(11) DEFAULT NULL,
`NAME` varchar(255) DEFAULT NULL,
`DESCRIPTION` mediumtext,
PRIMARY KEY (`ID_JOBENTRY`)
)
3）r_jobentry_attribute ：job的详细信息表，包括job执行规则，执行过程中的参数来源，日志记录等
DROP TABLE IF EXISTS `r_jobentry_attribute`;
CREATE TABLE `r_jobentry_attribute` (
`ID_JOBENTRY_ATTRIBUTE` bigint(20) NOT NULL,
`ID_JOB` int(11) DEFAULT NULL,
`ID_JOBENTRY` int(11) DEFAULT NULL,
`NR` int(11) DEFAULT NULL,
`CODE` varchar(255) DEFAULT NULL,
`VALUE_NUM` double DEFAULT NULL,
`VALUE_STR` mediumtext,
PRIMARY KEY (`ID_JOBENTRY_ATTRIBUTE`)
)
4）r_step：保存转换的步骤id,名字等
r_step建表语句：
DROP TABLE IF EXISTS `r_step`;
CREATE TABLE `r_step` (
`ID_STEP` bigint(20) NOT NULL,
`ID_TRANSFORMATION` int(11) DEFAULT NULL,
`NAME` varchar(255) DEFAULT NULL,
`DESCRIPTION` mediumtext,
`ID_STEP_TYPE` int(11) DEFAULT NULL,
`DISTRIBUTE` char(1) DEFAULT NULL,
`COPIES` int(11) DEFAULT NULL,
`GUI_LOCATION_X` int(11) DEFAULT NULL,
`GUI_LOCATION_Y` int(11) DEFAULT NULL,
`GUI_DRAW` char(1) DEFAULT NULL,
PRIMARY KEY (`ID_STEP`)
)
5）r_step_attribute：转换步骤的详细信息，字段重命名，字段映射等。通过外键id_transformation与r_step的id_transformation关联
DROP TABLE IF EXISTS `r_step_attribute`;
CREATE TABLE `r_step_attribute` (
`ID_STEP_ATTRIBUTE` bigint(20) NOT NULL,
`ID_TRANSFORMATION` int(11) DEFAULT NULL,
`ID_STEP` int(11) DEFAULT NULL,
`NR` int(11) DEFAULT NULL,
`CODE` varchar(255) DEFAULT NULL, --操作编码譬如：truncate，也可以是字段映射等信息
`VALUE_NUM` bigint(20) DEFAULT NULL, --操作值
`VALUE_STR` mediumtext, --操作值，譬如truncate对应的是Y或者N
PRIMARY KEY (`ID_STEP_ATTRIBUTE`),
UNIQUE KEY `IDX_STEP_ATTRIBUTE_LOOKUP` (`ID_STEP`,`CODE`,`NR`)
)
说明：
如果有一个字段firtstname映射到name则在r_step_attribute中增加两条记录。
6.Kettle组成部分
Chef：是一个图形用户界面，使用SWT开发，用来设计一个作业，转换，SQL，FTP，邮件，检查表存在，检查文件存在，执行SHELL脚本
Kitchen：作业执行引擎，用来进行转换，校验，FTP上传。可以执行xml格式定义的任务以及保存在数据库上的。
kitchen.bat /file:D:\Jobs\updateWarehouse.kjb /level:Basic
kitchen.sh -file=/PRD/updateWarehouse.kjb -level=Minimal
kitchen.bat /rep:"Production Repository"
/job:"Update dimensions"
/dir:/Dimensions
/user:matt
/pass:somepassword123
/level:Basic
kitchen.bat /file:
F:\java\pdi-ce-3.2.0-stable\data-integration\samples\tr ansformations\files\demo-table2table.ktr /level:Basic
/log:test123.log
Spoon：Spoon 是Kettle的另一个图形用户界面，用来设计数据转换过程
Pan：Pan是一个数据转换引擎，负责从不同的数据源读写和转换数据。
pan.sh -file="/PRD/Customer Dimension.ktr" -level=Minimal Transformation步骤
1.输入类型：
1.1C sv file input
读取csv文件，设置csv文件路径，可以设置csv文件的相对路径或者绝对路径，字段分隔符，文件读取的缓存大小等
1.2E xcel Input
读取excel文件，和csv文件读取类似，增加了表单，表头，出错（是否忽略错误，严格的类型判断等）的处理
1.3Property Input
读取属性.properties文件
1.4T abl e input
从数据库读数据，动态绑定参数的SQL语句，参数替换可以从上一个步骤从获取。
例如SELECT * FROM customer WHERE birthdate<’${current_date}’
这里的${current_date}在执行过程中会作为动态参数被替换掉。这个值是前一个转换步骤设置的。
注：但是测试过程中发现如果上一个步骤设置的变量，在table input里面获取不到，变量设置必须作为一个单独的转换先执行一次，然后才能获取到这个变量。
1.5T ext file input
主要是txt文件内容等，和csv差不多。
1.6G enerate Rows
生成一些固定字段的记录，主要用来模拟一些数据进行测试。
1.7G et File Names
读取给定目录或者文件全路径的文件名
1.8G et System Info
包括命令行输入的参数，操作系统时间，ip地址，一些特殊属性，kettle版本等
1.9D e-serialize from file
从二进制kettle cube文件中读取记录1.10Access input
读取access数据库
1.11ESRI Shapefile Reader 1.12Fixed file input
读取固定大小文件
1.13Generate rand om value
1.14Get Files Rows Count
获取文件内容的行数
1.15Get SubFolder names
1.16Get data from XML
从xml文件解析出数据
1.17LDAP Input
从ldap库读取数据。
1.18LDIF Input
读取ldap的ldif文件
1.19Mondrian Input
MDX语言从Mondrian服务器上读取数据
1.20RSS Input
1.21S3 CSV Input
1.22SalesForce Input
1.23XBase input
读取XBase系列文件，如Foxpro文件，主要是数据库语言
2.输出类型
2.1T abl e output
将数据写入到数据库，可以指定是否truncate表，编辑前一步转换字段与现在表结构的字段映射关系。以及每次commit的记录数大小等。
2.2T ext file output
将数据写入到文本文件，通常是csv文件
2.3I nsert / Update
根据关键字找对应的记录，如果找不到则执行insert，否则执行update
2.4U pdate
跟insert/update类似，只是没有insert操作
2.5D elete
跟update类似，只是执行的是delete操作
2.6E xcel Output
输出到excel，格式可以采用excel模板
2.7S erialize to file
将记录写到二进制文件中（cube文件）
2.8A ccess Output
2.9Properties Output
输出到properties文件
2.10RSS Output
2.11SQL File Output
将输出的sql insert语句保存到文件
2.12Synchronize after merge
2.13XML Output
输出到xml文件
3.Transform类型
3.1Select values
用于选择列，重命名列，指定列长度或精度
3.2Filter rows
通过使用一个表达式从输入行中过滤数据，将结果是TURE或FALSE的行输出到不同的节点。表达式是“”“OPERATOR”“” 的形式，其中OPERATOR可以是=，<>, <, >, <=, >=, REGEXP,IS NULL,IS NOT NULL, IN LIST, CONTAINS, STARTS WITH, ENDS WITH。用户可以增加多个表达式，并用AND或OR连接。
3.3Sort rows
对指定的列以升序或降序排序，当排序的行数超过5000时需要临时表。
3.4Add sequence
为数据流增加一个序列，可以使用ORACLE中某一序列的值或由用户指定值
3.5Dummy
不做任何处理，一般作为流程的终点。
3.6Join Rows (catesian product)
对所有输入流做笛卡儿乘积。
3.7Aggregate Rows
聚集行数据，提供SUM，AVERAGE，COUNT，MIN，MAX，FIRST，LAST聚集函数，该类型不提倡使用，将来会被GROUP BY 类型替代。
3.8Java Script value
使用mozilla的rhino作为脚本语言，并提供了很多函数，用户可以在脚本中使用这些函数。例如var prev_row; if (prev_row == null) prev_row = row; ... String previousName = prev_row.getString(“Name”, “-”); ... prev_row = row; 可以获得字段Name的前一条记录的值。
3.9Row Normaliser
该步骤可以从透视表（PIVOT TABLE）中还原数据到事实表，如从表一转换成表二，需要使用该步骤。
3.10Unique rows
去掉输入流中的重复行，在使用该节点前要先排序，否则只能删除连续的重复行。
3.11Group by
分组
3.12Calculator
提供了一组函数对列值进行运算，使用该方式比用户自定义JAVA SCRIPT脚本速度更快。
3.13Add constants
增加常量值。
3.14Row denormaliser
同正规化过程相反。
3.15Row flattener
表扁平化处理除了上述基本节点类型外还定义了扩展节点类型，如SPLIT FIELDS，EXECUTE SQL SCRIPT，CUBE INPUT，CUBE OUTPUT等。图一中创建了一个简单的数据流程示例，共包括5个节点,其中Table input节点使用了SQL SERVER数据库中的一张表（三条记录）,Filter rows 中定义了过滤条件,将符合条件的发送到file2节点,不符和条件的记录发送到Select values节点。Select values节点中选择列，并对选择的列进行了设置，将结果发送到file1节点。file1,file2节点分别是两个文本文件节点,最终用来保存数据。该流程运行后，可以在Log View 面板中查看运行结果，如图四所示从table input结点输入3条记录，经过滤后输出到file2节点2条记录（OUTPUT列中的3是指2条记录加1行列名），输出到file1节点1条记录（OUTPUT列中的2是指1条记录加1行列名）。
4.Flow
4.1Abort
忽略上一步的输入流，通常用在错误处理中，譬如不处理X条记录后的所有记录
4.2Append streams
主要用来处理步骤之间有优先级的问题。从两个步骤从读取数据流，指定步骤的读取顺序。
4.3Bl ocking Step
阻塞所有的输出直到最后一条记录到达
4.4Detect empty stream
当输入流为空的时候，输出一条空的记录
4.5Dummy (d o nothing)
空操作。是一个空操作的插件
4.6Filter rows
通过设定过滤条件来过滤记录
4.7Identify last row in a stream
4.8Switch / Case
类似Java的switch语法，通过比较某一确定的字段值来将数据转发到不同的转化步骤5.Joins
5.1Merge join
合并两种不同输入流，连接方式有内连，左外连接等。需要注意的是记录需要先按关键字进行排序
5.2M erge Rows (diff)
用于比较两组输入数据，一般用于更新后的数据重新导入到数据仓库中。两组数据中一组是引用流，一组是比较流，每次比较后只有最新版本的行数据被输出到下一步。比较结果包括：
idectical一致：两组流的主键一致，值一致
changed有变化：两组流的主键一致，值有一个或多个不同
new新行：引用流中有而比较流中没有某一主键
deleted被删除的行：比较流中有而引用流中没有某一主键
比较流里面的数据除了被标记为deleted都会进入下一个步骤里面5.3Sorted Merge
对记录按某个关键字进行排序
5.4XML Join
将一个XML文作为节点添加到另一个XML里面
合并前的XML文
需要合并的XML
合并后的XML文
6.Scripting
6.1Execute SQL script
执行SQL脚本，应该避免使用这一步骤，尽可能的使用“table input（select）”,”table output(insert)”,”update”,”delete”等步骤来替代。
譬如动态创建表（表名是可变的，table1,table2,table3）：
SQL脚本是：
CREATE TABLE?
(
ID INTEGER
);
6.2E xecute row SQL script
对Execute sql script的补充，增加了可以自定义sql语句的字段名
6.3F ormula
在数据流中执行公式
6.4M odified Java Script Value
Modified Java Script Value应该说是转换步骤里最强大的一步，可以获取前一步的输入流的所有字段，调用Java api对数据做转换等操作，改变所有输出的值。还能通过设置转换状态常量对现有转换流程做改变，（忽略转换，设置为错误，继续转换）。
脚本是Mozilla 的Rhino，Rhino 是一个Java实现的Javascript解释器。现在已经加入到JDK 1.6 的javax.script 包中了。
对数据流进行修改等操作
提供了常量,函数,输入字段,输出字段的列表显示
1)Transformation scripts已经创建的脚本
2)Transformation constants 已经预先定义好的静态常量,不可更改,例如
SKIP_TRANSFORMATION , ERROR_TRANSFORMATION, CONTINUE_TRANSFORMATION
3)Transformation functions
类型转换,操作函数: 字符串,数字,日期之间的转换,字符串截取等
逻辑判断函数：isDate(var) ，isNumber(var)等
特殊函数：LoadScriptFile(var)，getProcessCount(var)，print(var)，writeToLog(var)，getVariable(var,var)
文件操作函数：createFolder(var)，deleteFile(var)，getLastModifiedTime(var,var)，moveFile(var,var,var)
Input fields 获取输入流中字段的值field.getNumber()
Output fields set输出流中字段的值field.setValue(99)
例子：
1)过滤Null字段
var a;
if ( fieldname.isNull() ){
a = '0';
}else{
a = fieldName.getString();
}
2)字符串截取
将字符串“12345McDonalds”前面的数字部分分割出来
var str = field.getString();
var code = "";
var name = "";
for (i = 0; i < str.length(); i++ ){
c = str.charAt(i);
if ( ! https://www.doczj.com/doc/623923410.html,ng.Character.isDigit(c) ){
code = str.substring(0, i);
name = str.substring(i);
Alert("code="+code+", name="+name);
break;
}
}
3)过滤记录行，控制转换流程
trans_Status = CONTINUE_TRANSFORMATION
if (field.getString()==’123’) trans_Status = SKIP_TRANSFORMATION
4)使用java类库
var mydate = "20090723";
var parser = java.text.SimpleDateFormat("yyyyMMdd"); //Must use fully qualified java class
var dateObj = parser.parse(mydate); //just like how you would do in java
Alert(dateObj);
6.5Regex Evaluation
通过正则表达式验证输入字段
6.6U ser Defined Java Expression
执行一些简单的java代码
譬如表达式：firstname+" "+name
也可以用Java代码：
new StringBuffer(firstname).append(" ").append(name).toString()
7.Lookup
7.1C all DB Procedure
执行存储过程并获得返回值，返回值只有一个，参数可以多个。
7.2C heck if a column exists
检查数据库表是否存在某列
7.3D atabase join
改步骤允许查询等操作利用上一步的数据，譬如参数动态绑定的查询语句，可以被上一步某个字段的值替换掉
7.4D atabase lookup
和database join功能类似，从数据库查询数值，作为新的字段添加到数据流中。可将前面的输出流的值作为查询比较参数
系统图（树图）对策型系统图和原因型系统图 一.系统图的简要说明 当某一目的较难达成，一时又想不出较好的方法，或当某一结果令人失望，却又找不到根本原因，在这种情况下，建议应用品管新七大手法之一的系统图，通过系统图，你一定会豁然开朗，原来复杂的问题简单化了，找不到原因的问题找到了原因之所在。 系统图就是为了达成目标或解决问题，以[目的——方法]或[结果—原因]层层展开分析，以寻找最恰当的方法和最根本的原因。系统图目前在企业界被广泛应用。 系统图（也称树图）一般可分为两种，一种是对策型系统图，另一种是原因型系统图。 1.对策型系统图：以[目的—方法]方式展开，例如问题是“如何提升品质”，则开始发问“如何达成此目的，方法有哪些？”经研究发现有——推行零缺点运动、推行品质绩效奖励制度等。（以上为一次方法）；“推行零缺点运动有哪些方法？”（二次方法）；后续同样就每项二次方法换成目的，展开成三次方法，最后建立对策系统图。见下图:
2.原因型系统图：以[结果—原因]方式展开，例如问题是“为何品质降低？”则开始发问“为何形成此结果，原因有哪些？”经研究发现原因是——人力不足、新进人员多等（以上为一次原因）；接着以“人力不足、新进人员多”等为结果，分别追问“为何形成此结果，原因有哪些？”其中“人力不足”的原因有——招聘困难，人员素质不够等（二次原因）；后续同样就每项二次原因展开成三次原因等，最后建立原因型系统图。见下图: 二.系统图的应用 在企业管理中或日常的学习生活中，我们都会碰到一些复杂的事情，这些复杂的事情可以透过系统图得到分析并解决。系统图一般在以下情况下使用： 新产品研制过程中设计质量的展开； 1.制订质量保证计划，对质量活动进行展开； 2.可当作因果图使用； 3.目标、方针、实施事项的展开；
新QC七工具 一、关系图法 1、定义：就是利用“关系图”解决具有复杂（原因－结果、目的－手段等） 关系的问题之有效方法。 2、主要用途： 1）确定与贯彻质量保证（QA）方针； 2）拟定T QC的推广计划（引进T QC的计划）； 3）寻求解决市场意见的相应措施； 4）提供生产过程中质量改进的相应措施，特别是减少产生、潜在不良现象的措施； 5）推进外购件（外协件）的质量控制（QC）； 6）解决工期、工序管理上和问题； 7）促进有效的小集体活动； 8）改进事务部门和营业部门的工作。 二、KJ法 1、定义：是就未来要解决的问题或未知、未接触过的领域的问题，搜集（捕 捉）与之有关的事实、意见或设想之类语言文字资料，并利用其内相互 关系（亲和性）作成归类合并图（A型图解），进而从中找到应解决的问 题和明确问题的形态。 2、主要用途 1）新的企业、工厂制定质量管理方针，拟定质量管理计划； 2）制定有关新的事业、新的产品、新的技术的质量管理方针，拟定其质量管理计划； 3）第一次进入新市场，为保证质量进行市场调查； 4）对跨部门的问题，希望相互拿出意见，共同协商，以找到推进T QC 的起始点； 5）设计小组，QC小组希望协调一致而又有生气的工作。
三、系统图法 1、定义：就是把达到目的（目标）所需的手段、方法按系统展开，作成图， 然后利用此系统图掌握问题（事件）全貌，明确问题的重点，找到欲达 目的（目标）的最佳手段和方法。 2、主要用途 1）新产品研制中的设计质量展开； 2）为落实质量保证活动的保证质量展开，以及探讨保证保证质量与QC 工序图的关系； 3）当作特性要因图使用； 4）解决以Q，C，D（质量，成本，产量）为主的企业内诸问题所需的想法展开； 5）目标、方针、实施项目的展开； 6）明确部门职能和管理职能，寻求效能化方法。 四、矩阵图法 1、定义：就是从作为问题的事件中，找到成对的因素进行行与列的排列， 然后根据交点处所表示的各因素间的关系和关系程度来探索：（1）二元 排列中的问题所在和问题形态；（2）从二元关系中获得解决问题的着眼 点。 2、主要用途 1）确定系统产品研制或改革的着眼点； 2）原材料的质量展开； 3）建立或加强能使产品保证质量与管理机能相关联的质量保证体制； 4）加强质量评价体制并使之效能化； 5）追查制造过程的不良原因； 6）拟定与市场相关联的产品生产战略方案； 7）明确程序计划同实现它技术这两者之间的关系； 8）探讨现有技术、材料、元器件的新应用领域。 五、矩阵数据分析法
QC七大工具培训
一、管理工具的分类 使用频率中：红色表示不常用，黄色表示不常用，绿色表示常用 三、常用管理工具的基础理论 1．调查表 2．排列图(柏拉图) 3．因果图(鱼骨图) 4．散布图 5．直方图 6．控制图 7. 层别法 8．流程图 （一）调查表 定义：调查表是收集和记录数据的一种形式，它便于按统一的方式收集数据并进行分析。 原理：调查表用于系统地收集数据，以获取对事实的明确认识，并可用于粗略的分析。 作用：搜集数据，记录所要了解的项目活动的真实内容，获取最真实的资料。 使用范围：调查表既适用于数字数据的收集和分析，也适用于非数字数据的收集和分析。
设计前准备：确立收集数据的具体目的。 识别为达到目的所需要的数据。 确定由谁以及如何分析数据。 编制用于记录数据的表格。 内容设计：调查表要提供记录以下信息的栏目： （1）调查表的题目：调查的目的要通过题目清楚地表现出来。 （2）调查对象和项目：指出要调查什么，要获得什么样的数据； （3）调查方法：明确采用什么工具、用什么方法来调查； （4）调查日期和期间：以怎样的时间间隔、从何日开始、到何日为止；（5）调查人：由谁来调查或由谁来收集数据； （6）调查场所：在什么地方调查； （7）调查结果的整理：合计、平均数、比例等的计算、考察； 通过收集和记录某些数据来试用表格。 必要时，评审并修订表格。 正式使用调查表。 2. 调查表的种类 调查表的形式因调查的目的、内容等的不同而不同，种类繁多，大致可分为下面几种： （一）缺陷位置调查表 （二）不良项目调查表 （三）过程状况调查表 （四）生产运行记录表 （二）排列图 定义：排列图是对从发生频数最高到最低的项目进行排列的简单图示技术。原理：此图建立在帕累托（Pareto）原理的基础上，即少数的项目往往产生主要的影响。
新旧QC七大工具（十四个质量工具） 课程背景 质量工作者习惯于用数据和图标来展示自己的思维逻辑和工作成果。QC工具应运而生。随着QC工具的广泛应用，新QC七大工具又被推入企业，QC新旧七大工具的运用，能够帮助企业用较便捷的手法来解决一些管理上的问题，目前QC七大手法已成为企业最常使用的统计管理方法，是极为有效的管理方法，他们在品质问题的处理和数据的初步整理中起了重要的作用，因此被各个企业广泛应用。 课程目标 让学员对日常工作中常用的过程数据收集、分类、统计、分析和应用方法的概念进行理解，进而学习QC常用7种工具的原理、应用分析和关键要点，为实际生产过程和质量分析提供最基本的方法。 课程对象 质量工程师、工艺工程师、维护工程师、一线主管、领班、车间主管、生产主管、班组长 课程大纲 第一模块课程导入 1、QC手法的起源 2、QC手法在问题解决中的地位与应用 3、培训目标及要求 4、问题提出与团队组建 5、学员自我介绍/分组 第二模块旧QC七大手法 检查表 1、何谓检查表 2、引导学员回忆工作中使用该工具的情况 3、检查表的类型 4、检查表的作用
5、检查表的制作步骤与要点 6、检查表的应用领域 7、提问和其他可应用领域扩散引导层别法 1、何谓层别法 2、层别法的作用 3、层别法的应用步骤与主要要点 4、层别法的应用示图 5、实际案例示范 6、4 应用注意事项 散布图 1、何谓散布图 2、散布图的作用 3、几种常见的散布图 4、散布图的绘制（结合EXCEL） 5、巧用散布图确定问题要因（辩读）柏拉图 1、何谓柏拉图/发展历史 2、柏拉图与二八原则 3、如何应用柏拉图聚焦问题 4、柏拉图制作要点与注意事项（结合excel） 5、效用讲解和注意事项解说 6、何谓直方图 7、直方图的作用 检查表应用 1、直方图的制作步骤与要点（Excel/原理讲解） 2、妙用直方图剖析问题（辩读） 鱼骨图 1、何谓鱼骨图 2、功能分类（几种不同的鱼骨图） 3、如何应用柏拉图聚焦问题 4、哪些问题适合用鱼骨图解决 5、鱼骨图制作要点与注意事项 6、鱼骨图与流程图及5why法灵用 管制图/图表 1、何为管制图 2、管制图/图表的作用 3、调查企业使用管制图/图表状况 4、P管制图 5、管制图的判定方法 QC手法应用口诀 第三模块新QC七大手法亲和图 1、何谓亲和图 2、适用范围 3、亲和图的类型 检查表应用 1、亲和图的制作步骤与要点 2、如何判定亲和性
QC 七大工具培训 一、管理工具的分类 使用频率中：红色表示不常用，黄色表示不常用，绿色表示常用三、常用管理工具的基础理论 1．调查表 2．排列图(柏拉图) 3．因果图(鱼骨图) 4．散布图 5．直方图 6．控制图 7. 层别法 8．流程图 （一）调查表 定义：调查表是收集和记录数据的一种形式，它便于按统一的方式收集数据并进行分析。 原理：调查表用于系统地收集数据，以获取对事实的明确认识，并可用于粗略的分析。 作用：搜集数据，记录所要了解的项目活动的真实内容，获取最真实的资 料。 使用范围：调查表既适用于数字数据的收集和分析，也适用于非数
字数据 的收集和分析。 设计前准备：确立收集数据的具体目的。 识别为达到目的所需要的数据。 确定由谁以及如何分析数据。 编制用于记录数据的表格。 内容设计：调查表要提供记录以下信息的栏目： （1）调查表的题目：调查的目的要通过题目清楚地表现出来。（2）调查对象和项目：指出要调查什么，要获得什么样的数据；（3）调查方法：明确采用什么工具、用什么方法来调查； （4）调查日期和期间：以怎样的时间间隔、从何日开始、到何日为止； （5）调查人：由谁来调查或由谁来收集数据； （6）调查场所：在什么地方调查； （7）调查结果的整理：合计、平均数、比例等的计算、考察；通过收集和记录某些数据来试用表格。 必要时，评审并修订表格。 正式使用调查表。 2. 调查表的种类 调查表的形式因调查的目的、内容等的不同而不同，种类繁多，大致可分 为下面几种：
（一）缺陷位置调查表 （二）不良项目调查表 （三）过程状况调查表 （四）生产运行记录表 （二）排列图 定义：排列图是对从发生频数最高到最低的项目进行排列的简单图示技术。 原理：此图建立在帕累托（Pareto）原理的基础上，即少数的项目往往产生 主要的影响。 作用：通过排列图，区分最重要的与较次要的项目，选择那些极少数的项 目，并解决它们，从而可以用最少的努力获取最佳的改进效果。应用范围：用于原因分析和数据处理 绘制排列图的一般程序如下： 1、选择要进行分析的项目。 2、选择用于分析的度量单位。 3、选择用于分析的数据的时间周期。 4、排列项目。 5、建立纵坐标。 6、画出各项目的作用程 7、画出累计频数线。
新QC七大手法（工具）完整版介绍 “七大手法”主要是指企业质量管理中常用的质量管理工具，昨天给大家介绍的老七种手法。“老七种”有分层法、调查表、排列法、因果图、直方图、控制图和相关图，新的QC七种工具分别是系统图、关联图、亲和图、矩阵图、箭条图、PDPC法以及矩阵数据分 析法等。本期带大家了解一下“新七种” 1.KJ法（亲和图法）（Affinity Diagram） 2.关联图法（Rolation Diagram） 3.系统图法（Systematization Diagram） 4.矩阵图法（Matrix Diagram） 5.过程决策计划图法（Process Dicesion program Chart） 6.箭条图法（Arrow Diagram） 7.矩阵数据分析法（Factor Analysis） 新QC七大手法的使用情形，可归纳如下： 亲和图——从杂乱的语言数据中汲取信息； 关联图——理清复杂因素间的关系；
系统图——系统地寻求实现目标的手段； 矩阵图——多角度考察存在的问题,变量关系； PDPC法——预测设计中可能出现的障碍和结果； 箭条图——合理制定进度计划； 矩阵数据解析法—多变量转化少变量数据分析； 新QC七大手法概述： 新QC七大手法的特点： 1.整理语言资料的工具 2.将语言情报用图形表示的方法 3.引发思考，有效解决凌乱问题； 4.充实计划； 5.防止遗漏、疏忽； 6.使有关人员了解； 7.促使有关人员的协助； 8.确实表达过程。 9.管理工具，可以应用于QC以外的领域 新QC七大手法的五项益处： 1.迅速掌握重点--实时掌握问题重心，不似无头苍蝇般地找不到重点。 2.学习重视企划--有效解析问题，透过手法的运用，寻求解决之道。 3.重视解决过程--重视问题解决的过程，不只是要求成果。 4.了解重点目标--拥有正确的方向，不会顾此失彼。 5.全员系统导向--强化全员参与的重要性，进而产生参与感与认同感。 新旧QC七大手法的区别： 新七大手法并不能取代旧七大手法，两种品管手法相辅相成。
新QC七大手法（工具）完整版 “七大手法”主要是指企业质量管理中常用的质量管理工具，老七种手法，包括分层法、调查表、排列法、因果图、直方图、控制图和相关图。那么新的Q C七种工具有哪些呢？那就是系统图、关联图、亲和图、矩阵图、箭条图、PD PC法以及矩阵数据分析法。今天，我们一起来了解一下。 1.KJ法（亲和图法）（Affinity Diagram）。 2.关联图法（Rolation Diagram）。 3.系统图法（Systematization Diagram）。 4.矩阵图法（Matrix Diagram）。 5.过程决策计划图法（Process Dicesion program Chart）。 6.箭条图法（Arrow Diagram）。 7.矩阵数据分析法（Factor Analysis）。 新QC七大手法的使用情形，可归纳如下： 亲和图——从杂乱的语言数据中汲取信息。 关联图——理清复杂因素间的关系。 系统图——系统地寻求实现目标的手段。 矩阵图——多角度考察存在的问题,变量关系。 PDPC法——预测设计中可能出现的障碍和结果。
箭条图——合理制定进度计划。 矩阵数据解析法—多变量转化少变量数据分析。 新QC七大手法概述： 新QC七大手法的特点： 1.整理语言资料的工具。 2.将语言情报用图形表示的方法。 3.引发思考，有效解决凌乱问题。 4.充实计划。 5.防止遗漏、疏忽。 6.使有关人员了解。 7.促使有关人员的协助。 8.确实表达过程。 9.管理工具，可以应用于QC以外的领域。 新QC七大手法的五项益处： 1.迅速掌握重点——实时掌握问题重心，不似无头苍蝇般地找不到重点。 2.学习重视企划——有效解析问题，透过手法的运用，寻求解决之道。