Random Sampling and Sampling Distributions随机抽样和抽样分布
- 格式:ppt
- 大小:163.52 KB
- 文档页数:29


QC 7种工具:(seven tools of QC)QC 7种工具:(seven tools of QC)1. 特性要因图(cause and effects diagram)●把对结果有影响的因子按4M整理,研究因果关系使用。
2. 柱状图(histogram)●用柱形表示的连续型Data的分布状态。
3. 排列图(Pareto diagram)●将各种问题按原因或状况分类统计,把数据从大到小排列后所做出的累计柱状图。
●2, 8法则:80%的不良发生在20%的主要工程上。
4. 检查表(check sheet)●用表格形式对Data进行整理和粗略分。
5. 管理图(graph)●统计方法使用于sample data监控及分析process变动。
6. 散点图(scatter plot)●判断两个连续型变量之间相互关系的点状图。
7. 阶层别(stratification)●把Data按特征分类,找到Data的散步规律。
数据类型:(data kinds)连续型:(continuous data)●可以连续测定的品质特性值。
如长度,重量。
离散型:(discrete data)●可以用个数测量的品质特性值。
○离散型data评价改善品质特性时,可信度比较低。
○尽量选定连续型data进行改善。
○选用离散型data时:用连续型特性值替代;增加sample数;收集时间记录参考。
母集团:(population)●data的全体集团,研究的对象。
○通过sample分析,得出母集团的某些特性值。
○品质特性值:平均值(X-bar),标准偏差(sigma)。
样本:(sample)●从母集团抽取的可以代表母集团性质的data。
●Sample种类:⒈random sample:母集团各种性质相同。
⒉层别sample:分类收集的data。
⒊系统sample:根据时间均匀的抽出。
⒋多阶段sample:分阶段收集的data。
有理数群:(rational subgroup)●在短时间内,同性质条件下的sample的集团。
9.hive聚合函数,⾼级聚合,采样数据本⽂主要使⽤实例对Hive内建的⼀些聚合函数、分析函数以及采样函数进⾏⽐较详细的讲解。
⼀、基本聚合函数数据聚合是按照特定条件将数据整合并表达出来,以总结出更多的组信息。
Hive包含内建的⼀些基本聚合函数,如MAX, MIN, AVG等等,同时也通过GROUPING SETS, ROLLUP, CUBE等函数⽀持更⾼级的聚合。
Hive基本内建聚合函数通常与GROUP BY连⽤,默认情况下是对整个表进⾏操作。
在使⽤GROUP BY时,除聚合函数外其他已选择列必须包含在GROUP BY⼦句中。
例:计算employee表中数据总条数hive>SELECT COUNT(*) FROM employee;例:计算employee表中数据总条数,sex_age必须包含在GROUP BY的⼦句中,否则报错!hive>SELECT sex_age, count(*) AS row_cnt FROM employee GROUP BY sex_age;那么有⼀个问题,如果我需要选择⼀⾏,但此时我不想对其进⾏GROUP BY那应该怎么办呢?这⾥有两个⽅法,⼀个是后⾯要讲到的使⽤分析函数,另⼀个就是使⽤COLLECT_SET函数,该函数将返回⼀个包含被GROUP BY排除的列的副本集合。
例:使⽤COLLECT_SET,其中的列不⽤进⾏GROUP BYhive>SELECT sex_age, count(*) AS row_cnt FROM employee GROUP BY sex_age;注:聚合函数在同⼀个语句中可以组合使⽤,但是不能嵌套使⽤,即不能在⼀个聚合函数中套⽤另⼀个聚合函数!例:组合使⽤AVG和COUNThive>SELECT sex_age.sex, AVG(sex_age.age) AS avg_age, count(*) AS row_cnt FROM employee GROUP BY sex_age.sex;例:聚合函数与CASE WHEN组合使⽤hive>SELECT SUM(CASE WHEN sex_age.sex='Male' THEN sex_age.age ELSE 0 END)/COUNT(CASE WHEN sex_age.sex='Male' THEN 1 ELSE NULL END) AS male_age_avg FROM employee;例:聚合函数与COALESCE和IF组合使⽤。