知识点一数据仓库
1.数据仓库是一个从多个数据源收集的信息存储库，存放在一致的模式下，并且通常驻留在单个站点上。
2.数据仓库通过数据清理、数据变换、数据集成、数据装入和定期数据刷新来构造。
3.数据仓库围绕主题组织
4.数据仓库基于历史数据提供消息，是汇总的。
5.数据仓库用称作数据立方体的多维数据结构建模，每一个维对应于模式中的一个或者一组属性，每一个单元存放某种聚集的度量值
6.数据立方体提供数据的多维视图，并允许预计算和快速访问汇总数据
7.提供提供多维数据视图和汇总数据的预计算，数据仓库非常适合联机分析处理，允许在不同的抽象层提供数据，这种操作适合不同的用户角度
8.OLAP例子包括下钻和上卷，允许用户在不同的汇总级别上观察数据
9.多维数据挖掘又叫做探索式多维数据挖掘OLAP风格在多维空间进行数据挖掘，允许在各种粒度进行多维组合探查，因此更有可能代表知识的有趣模式。
知识点二可以挖掘什么数据
1.大量的数据挖掘功能，包括特征化和区分、频繁模式、关联和相关性分析挖掘、分类和回归、聚类分析、离群点分析
2.数据挖掘功能用于指定数据挖掘任务发现的模式，分为描述性和预测性
3.描述性挖掘任务刻画目标数据中数据的一般性质
4.预测性挖掘任务在当前数据上进行归纳，以便做出预测
5.数据可以与类或概念相关联
6.用汇总、简洁、精确的表达描述类和概念，称为类/概念描述
7.描述的方法有数据特征化（针对目标类）、数据区分（针对对比类）、数据特征化和区分
8.数据特征化用来查询用户指定的数据，上卷操作用来执行用户控制的、沿着指定维的数据汇总。面向属性的归纳技术可以用来进行数据的泛化和特征化，而不必与用户交互。形式有饼图、条图、曲线、多维数据立方体和包括交叉表在内的多维表。结果描述可以用广义关系或者规则（也叫特征规则）提供。
9.用规则表示的区分描述叫做区分规则。
10.数据频繁出现的模式叫做频繁模式，类型包括频繁项集、频繁子项集（又叫频繁序列）、频繁子结构。
11.频繁项集一般指频繁地在事务数据中一起出现的商品的集合
12.频繁子序列就是一个频繁序列模式
13.子结构涉及不同的结构，可以与项集和子项集一起出现
14.挖掘频繁模式导致发现数据中有趣的关联和相关性
15.包含单个谓词的关联规则称作单维关联规则。多个谓词的关联规则叫做多维关联规则。
16.如果不能同时满足最小支持度阈值和最小置信度阈值是无趣的关联规则。
17.频繁模式挖掘的基础是频繁项集挖掘
18.分类找出描述和区分数据类或概念的模型或者函数来预测类标号未知对象的类标号。
19.导出模型是基于训练数据集的分析，预测类标号未知对象的类标号。形式有分类规则、决策树、数学公式或者神经网络
20.决策树类似流程图的树结构，每一个结点代表一个属性上的测试，每一个分支代表测试
的一个结果，树叶代表类或者类分布。
21.分类时，神经网络类似于神经处理单元，单元之间加权连接。构造分类模型的方法还有朴素贝叶斯分类、支持向量机、K最近邻分类。
22.分类预测类别（离散的、无序的）标号，回归建立连续值函数模型来预测缺失的、难以获得的数据数据值
23.术语预测指数值预测和类标号预测
24.回归也包含基于可用数据的分布趋势识别
25.相关分析在分类和回归之前进行，试图识别与分类和回归过程显著相关的属性
26.聚类分析数据对象，产生数据组群的类标号，原则是最大类内相似性、最小化类间相似性。所形成的每一个簇看做一个对象集，可以导出规则。聚类便于分类法的形成，将观测组织成分层结构，把类似的事件组织在一起
27.离群点指与数据的一般行为或模型不一致的数据对象，视为噪声或者异常舍弃。离群点数据分析也叫离群点分析或异常挖掘，用统计监测或者距离度量、基于密度方法识别28.有趣的模式指易于被人理解、在某种确信度上对于新的或检验数据是有效的、潜在有用的、新颖的模式。有趣的模式代表知识。
29.模式兴趣的度量包括客观度量和反映特特定用户需要和兴趣的主观度量。客观度量基于所发现模式的结构和关于它们的统计量，比如规则的支持度、规则的置信度、分类规则的准确率与覆盖率。主观度量基于用户对数据的信念，比如是出乎意料、提供重要信息（也叫可行动的）
30.根据用户提供的约束和兴趣度度量对搜索聚焦，对某些任务而言能够保证算法的完全性
31.模式兴趣度量根据模式的兴趣度对所发现的模式进行排位，可以通过减去模式空间中不满足预先设定的兴趣度约束的子集来指导和约束发现过程。
知识点三数据对象与数据属性
1.数据集由数据对象组成，一个对象代表一个实体。
2.数据对象用属性描述，又叫样本、实例、数据点或对象。存放在数据库中的数据对象叫做数据元组。
3.属性是一个数据字段，表示数据对象的一个特征，也叫维、特征、变量。用来描述一个给定对象的一组属性叫做属性向量（或者特征向量）。涉及一个属性的叫做单变量、两个属性的叫做双变量
4.一个属性的类型由该属性可能具有的值的集合决定，分为标称的、二元的、序数的、数值的
5.标称属性的值是一些符号或者事物的名称，每一个值代表某种类别、编码或者状态，被看做是分类或者枚举的，不必具有有意义的序
6.二元属性是一种标称属性，又叫布尔属性，只有两个状态：0或者1，0代表不出现，1代表出现。如果两种状态具体同等价值并且携带相同的权重，那二元属性是对称的。
7.序数属性可能的值之间具有有意义的序或秩评定，相继之间的差是未知的，通常用于等级评定调查。
8.数值属性用整数或者实数值表示，可以是区间标度或者比率标度的。区间标度属性用相同的单位尺度度量，有序，可以为负、零、正，允许比较和度量评估值之间的值。比率标度是具有固定零点的数值属性，可以说一个数是另一个数的倍数
9.机器学习领域开发的分类算法通常把属性分为离散的、连续的。离散属性具有有限或者无限可数个值，可以用或者不用整数表示。连续属性值一般用浮点变量表示，实数值用有限位数字表示。
知识点四数据的基本描述统计
1.中心趋势度量数据分布的中部或者中心位置，包括均值、中位数、众数、中列数
2.数据的分散度量包括极差、四分位数、四分位数极差、五数概括和和盒图、方差和标准差
3.图形可视化审视数据，包括条图、饼图、线图
4.为了抵消少数极端值的影响，使用截尾均值来高低极端值后的均值。
5.具有一个、两个、三个众数的数据集合叫做单峰、双峰、三峰
6.在具有完全对称的数据分布的单峰频率曲线图中，均值、中位数和众数都是相同的中心值
7.分位数是取自数据分布的每隔一定间隔上的点，把数据划分成基本上大小相等的连贯集合。
8.识别可疑的离群点挑选落在第三个四分位数之上或者第一个四分位数之下至少1.5*IQR （四分数极差）处的值。
9.五数概括包括中位值、四分位数Q1、四分位数Q3、最小和最大观测值组成盒图。
知识点五度量数据的相似性和相异性
1.簇是数据对象的集合，使得每一个簇中的元素互相相似，与其他簇中的对象相异。
2.两种数据结构：数据矩阵（存放数据对象）和相异性矩阵（存放数据对象对的相异性值）
3.邻近性指相异性和相似性
4.数据矩阵也叫二模矩阵，相异矩阵只包含一种实体，称为单模矩阵
5.欧几里得距离和曼哈顿距离满足：非负性、同一性、对称性、三角不等式，满足条件的测度叫做度量。
6.上确界距离是两个对象的最大值差
知识点六数据预处理概述
1.数据质量包括准备性、完整性、一致性、时效性、可信性、可解释性。质量基于数据的应用目的。
2.数据预处理的主要任务数据清理、数据集成、数据归约、数据变换
3.数据清理是为了填补缺失的值、光滑噪声数据、识别和删除离群点、纠正数据的不一致性。这是一个两步的迭代的过程，分为偏差检测和数据变换
4.数据集成涉及集成多个文件、数据库、数据立方体，整合成一致的数据存储。语义异种性的解决、元数据、相关分析、元组重复检测和数据冲突检测都有助于数据的集成。
5.数据归约得到数据集的简化表示，使信息内容的损失最小化。策略包括维归约和数值归约、数据压缩。维归约中减少所考虑的随机变量或者维的个数，方法包括小波变换、主成分分析、属性子集选择和属性创建。数值归约归约中，使用参数模型和非参数模型，用较小的表示取代数据。数据压缩指按照比例映射到一个较小的区间。不损失任何信息代表是无损的。
6.属性的原始值被区间或者叫高层的概念所取代可以采用离散化和概念分层产生的方法，使得数据在多个抽象层上进行。数据变换包括规范化、数据离散化、概念分层产生
7.冗余数据的删除既是数据清理也是数据归约
8.填补缺失值的方法有忽略元组、人工填写、使用一个全局变量、使用属性的中心度量（中
位数或者均值）、使用给定元组属性的同一类的所有样本的属性均值或者中位数、使用最可能的值（使用回归或者贝叶斯推理得到）
9.噪声是被测量的变量的随机误差或者方差
10.识别噪声的方法有基本统计描述技术和数据可视化方法
11.数据光滑技术有分箱、回归、离群点分析
12.分箱通过考察数据的近邻来光滑有序数据值，这些有序的值被分配到一些桶或箱中。
13.分箱考察近邻的值，它是局部光滑
14.对于用箱均值光滑，所有值都被替换成均值；用箱中位数光滑，每一个数都替换成中位数；用箱边界光滑，每一个数字都替换成最近的边界值，宽度越大代表光滑效果越好15.数据变换指数据被变换或者统一成适合挖掘的形式，策略包括光滑、属性构造、聚集、离散化、由标称数据产生概念分层。
16.光滑指去掉数据中的噪声，技术包括分箱、回归、聚类；属性构造通过已知属性产生新的属性添加到属性集中；聚类对数据的汇总和聚集；概念分层将属性泛化到较高的概念层17.离散化技术根据如何离散化加以分类，比如自顶向下的分类或者离散化。使用类信息叫做监督的离散化。
18.离散化和概念分层也是数据归约的形式，原始数据被曲建或者标签取代。
19.用较小的单位表示属性将导致该属性有较大值域，因此倾向于使这样的属性具有较大的影响或者较高的权重
20.规范化或标准化的目的是避免对度量单位选择的依赖性，规范化数据试图赋予所有属性相等的权重。方法有最小-最大规范化、z分数规范化和按小数定标规范化
21.最小-最大规范化：（v-minA）/（maxA-minA）（new_maxA-new_minA）+new_minA
z分数规范化：（v-均值）/方差
按小数定标规范化：全部除以一个数字
22.分箱是一种基于指定的箱个数的自顶向下的分裂技术。分箱不使用类信息，是一种非监督的离散化技术，对用户指定的箱个数敏感，容易受离群点的影响
23.直方图是一种非监督的离散化方法，将属性A的值划分为不相交的区间，叫做桶或者箱。直方图分析算法可以递归地用于每一个分区，自动地产生多级概念分层，直到达到一个预先设定的概念层数，过程终止。对每一层使用最小区间长度来控制递归。
24.聚类将属性A划分为簇或组来离散化属性A。采用自顶向下的划分策略或组自底向上的合并策略产生概念分层，其中每一个簇形成的概念分层的一个结点。
25.决策树采用自顶向下的方式，是监督的离散化方法，使用了类标号。
26.相关性度量采用自底向上的策略，递归地找出最邻近的区间，合并，形成大区间。使用类标号，是监督的。相对类频率在一个区间应该完全一致，如果两个邻近的区间具有非常大的相似性就可以合并他们。
27.ChiMerge 把数值属性A的每一个不同看做是一个区间，对每一个相邻区间进行检验，具有最小卡方检验值的表明有相似的类分布。合并过程递归地进行，直至满足定义的条件为止。
28.标称数据有多个值，无序。概念分层可以用来把数据变换到多个粒度层。四种数据概念分层的方法：由用户或专家在模式级显示地说明属性的部分序、通过显示数据分组说明分层结构的一部分、说明属性集但不说明它们的偏序、只说明部分属性集。
知识七数据仓库与联机分析处理
1.数据仓库允许将各种应用系统集成在一起，为统一的历史数据分析提供坚持的平台，对
信息处理提供支持。
2.数据仓库是一个面向主题的（排除决策无用的数据）、集成的（来源于多个数据源）、时变的（隐式或显式地包含时间元素）、非易失的（物理地分离存放数据）数据集合，支持管理者的决策过程
3.数据仓库不需要事务处理、恢复、并发控制机制，只需要数据初始化装入和数据访问两个数据访问操作
4.数据仓库的构建过程需要数据集成、数据清理、数据统一
5.从异构数据库集成看，组织由多个异构的、自治的和分布的数据源维护大型数据库。
6.传统的数据库集成建立一个包装程序和一个集成程序。使用元数据字典对查询进行转换、将他转换成相应异构点上的查询。然后，将这些查询映射和发送到局部查询处理器。由不同的站点返回不一样的结果被集成为全局回答。这种查询驱动的方法要复杂的信息过滤和集成处理，并且与局部数据源上的处理竞争资源
7.数据仓库使用更新驱动的方法，将多个数据源的信息预先集成存在数据仓库中，供直接查询和分析。
8.联机操作数据库系统的主要任务是执行联机事务和查询处理。数据仓库用不同格式组织和提供数据满足不同用户的需求，称为联机分析处理。数据仓库与操作数据库的区别：用户和系统的面向性、数据内容、数据库设计、视图、访问模式。
用户和系统的面向性：联机事务处理面向顾客，数据仓库面向市场的
数据内容：联机事务处理管理当前数据，数据仓库管理大量的历史数据
数据库设计：前者是ER，后者是星形或者雪花模型和面向主题的
视图：前者主要关注一个企业或者部门内部的当前数据，后者常常跨越数据库模式的多个版本，处理不同单位的数据，数据量大，存放在多个介质上。
访问模式：前者由短的原子事务组成，需要并发、恢复机制来保证一致性和事务的鲁棒性。后者只需要访问操作。
其他区别包括数据库大小、操作频繁程度、性能度量等
9.分离数据库的原因有三个。第一为了提高两个系统的性能。一方面操作系统是为一致的任何和负载设计，数据仓库的查询非常复杂，涉及大量的数据，需要基于多维视图的数据组织、存取方法和实现方法。第二是访问模式的不同。第三是两者的功能和数据不同。
10.数据仓库是三层体系，底层是仓库数据服务器，是一个关系数据库。数据提取使用信关的应用程序。这一层包括元数据库，存放关于数据仓库和它的内容的信息。中间是OLAP服务器。顶层是前端客户层，包括查询和报告的工具、分析工具/数据挖掘工具。
11.从结构看，有三种数据仓库模型：仓库企业、数据集市、虚拟仓库
仓库企业：搜集了关于主题的所有信息，跨越整个企业
数据集市：数据范围的一个子集，对特定用户是有用的，局限于选定的主题，分为独立和依赖的两类。独立的数据集市来自一个或者多个数据库系统或者外部信息提供者或者来自于一个特定部门或者地区局部产生的数据。依赖数据集市直接来源于数据仓库
虚拟仓库是操作数据上的视图的集合，只有一些可能的汇总视图被物化
12.自顶向下的企业仓库最大限度减少集成问题，推荐的是以递增、进化的方式实现数据仓库。
13.数据仓库系统使用的工具有数据提取、变换、装入
数据提取：由多个异构的外部数据源搜集数据
数据清理：检测数据中的错误，可能时订正它们
数据变换：将数据由遗产或宿主格式转换成数据仓库格式
装入：排序、汇总、合并、计算视图、检查完整性、建立索引和划分
刷新：传播由数据源到数据仓库的更新
数据清理和数据变换的目的是提高数据质量
14.元数据是关于数据的数据，定义数据仓库的数据，位于底层。包含：数据仓库结构的描述、用于汇总的算法、由操作环境到数据仓库的映射、关于系统性能的数据、商务元数据。
15.多维数据模型有星形模式、雪花模式、事实星座模式。
星形模式：一个大的中心表（包含大批数据不冗余），一组小的附属表（每维一个）
雪花模式：数据进一步分解到附加的表中
事实星座模式：多个事实表共享维表
16.数据立方体是一个函数，对数据立方体空间的每一个点进行求值。通过对给定点的各维-值对聚焦数据计算该点的度量值。
17.度量分为三类：分布（sum()）、代数（avg()）、整体的（rank()）。
知识点八频繁项集、闭项集和关联规则
1.强规则同时满足最小置信度阈值和最小支持度阈值。
2.项的集合称为项集，包含K个项的项集叫做k项集。
3.项集的出现频度是包含项集的事务数，称为频度、支持度计数或者计数。
4.如果不存在真超项集Y使得Y与X在D中具有相同的支持度计数，该项集在数据集中是闭的，叫做闭频繁项集。如果X是频繁的，并且不存在超项集Y使得Y包含X并且Y在D 中是频繁的，那么X是极大频繁项集。
5.Apriori算法:通过限制候选码产生频繁项集。先验性质：频繁项集的所有非空子集也一定是频繁的。有两个关键操作是连接和剪枝。提高效率的形式有基于散列的技术、事务压缩、划分、抽样、动态项集，即减少扫描事务数据库的次数、减少候选项集的数量、候选项支持度计算的简化。
FP-tree算法：将代表频繁项集的数据库压缩到一棵频繁模式树，保留项集的关联信息。把压缩后的数据库划分成一组条件数据库，每一个数据库关联一个频繁项或模式段，分别挖掘每一个条件数据库，显著地压缩被搜索的数据集的大小。
6.反单调性指一个结合不能通过测试，它的所有超集也不能通过相同的测试
7.强规则不一定是有趣的。
8.用相关性度量拓展支持度-置信度框架。提升度计算lift(A,B)=P(A∪B)/P(A)P(B)。大于1 表示一个出现另一个一定出现，等于1表示独立的。计算卡方的值，卡方值=∑（观测值-期望值）的平方/期望值。如果卡方值大于1，实际值小于观测值表明是负相关的。
9.四种评估模式度量：全置信度、最大置信度、Kulczynski和余弦
10.全置信度称为最小置信度；Kulczynski是两个置信度的平均值；余弦看做是调和提升度量。
11.提升度和卡方值识别事务数据集中的模式关联关系的能力差因为不是零不变度量。零事务不包含任务考察项集的事务。如果值不受零事务的影响，则度量是零不变的。零不变性是一种度量大型数据库中的关联模式的重要性质。
12.不平衡比评估规则蕴含式中两个项集A和B的不平衡程度。
知识点九分类
1.分类构造一个模型或者分类器来预测类标号；回归构造模型预测一个连续值函数或者有序值。预测回归的两种主要类型是分类和回归。
2.数据分类包含学习阶段（构造分类模型）和分类阶段（使用模型预测给定数据的类标
号）。第一阶段建立描述预先定义的数据类或概念集的分类器，其中分类算法通过分析或从训练集学习来构造分类器。看做学习一个映射或者函数，可以预测给定元组的类标号，提供了数据的压缩表示，它是监督学习。
3.训练集由数据库元组和与他们相关联的类标号组成
4.类标号属性是离散和无序的，是分类的（标称），因为每一个值充当一个类别或者类
5.构成训练数据集的元组称为训练元组，从所分析的数据库中随机地选取，也叫样本、实例、数据点或者对象
6.第二个阶段是分类阶段，评估分类器的预测准确率。使用训练集来度量准确率是乐观的，因为它过分拟合该数据，应该使用由检验元组和它们相关联的类标号组成的检验集，独立于训练元组，指不使用它们构建分类器。
7.分类器在给定检验集上的准确率是分类器正确分类的检验元组所占的百分比。每一个检验元组的类标号与学习模型对该元组的类预测进行比较。
知识点十决策树归纳
1.决策树归纳指从有类标号的训练元组中学习决策树。决策树类似于一个流程图的树结构，每一个结点代表一个属性上的测试，一个分支代表该测试的输出，每一个树叶结点存放一个类标号，最顶层是根结点。
2.给定一个类标号未知的元组X，在决策树上测试该元组的属性值。跟踪一条从根到叶结点的路径，该叶结点就存放着该元组的预测，决策树容易转换为分类规则。
3.决策树分类不需要构造任何领域知识或参数设置，适合于探索式知识发现，处理高维数据
4.在决策树构建的时候，使用属性选择度量来选择将元组最好地划分为不同的类的属性
5.决策树算法又称迭代二分器，采用自顶向下的策略，从训练元组集和它们相关的类标号开始构建决策树。随着构建，训练集逐渐被划分为较小的子集
6.决策树算法的策略：
（1）用三个参数D，attribute_list和attribution_selection_method调用该算法。该过程使用一种属性选择度量，比如信息增量、基尼指数，它决定了树是否为严格的二叉树
Ps:D代表数据分区，是训练元组和它们相应类标号的完全集
Attribute_list描述元组属性的列表
attribution_selection_method指定选择属性的启发式过程，用来选择可以按类最好地区分给定元组的属性。
（2）树从单个结点N开始，N代表D中的训练元组
（3）如果D中的元组都为同一类，结点N变成树叶，并用类标记它。否则，调用attribution_selection_method确定分类准则。分类准则确定把D中的元组划分为个体类的最好方法，在结点N上对哪一个属性进行测试。对于选择的测试，从结点N生长出哪些分支。分类准则指定分裂属性，指出分裂点或者分裂子集，使得每个分支的属性尽量纯。
（4）结点N用分裂准则作为结点的测试。
终止原则：分区D中的所有元组都是一个类型的；没有剩余的属性可以继续划分；给定的分支没有元组
复杂度为O(n*|D|*log(|D|))，|D|为D中的训练元组
7.属性选择度量是一种选择分裂准则，把给定类标号的元组的数据分区D最好地划分为单独的类的启发式方法。它为给定训练元组的每一个属性提供了秩评定。具有最好度量得分的属性选为分裂属性。如果分裂属性是连续值或限于构造二叉树，一个分裂点或者一个分裂子集必须作为分裂准则的一部分返回。为分区D构建的树结点用分类准则标记，从准则的
每一个输出生长出分支，并且相应地划分元组。主要有信息增量、基尼指数、增益率方法。
8.选择具有最高信息增益的属性作为结点N的分裂属性，使结果分区中对元组分类所需要的信息量最小，并反映这些分区中的最小随机性和不纯性，使对一个对象分类所需要的期望测试数目最小，并确保找到一颗简单的树。
9.基尼指数度量数据分区或者训练元组集D的不纯度
10.信息增益偏向于多值属性，增益率调整了这种偏倚，倾向于产生不平衡的划分，其中一个区比另一个区小得多。基尼指数偏向于多值属性，当类数量很大的时候变得困难，倾向于导致相等大小的分区和纯度。
11.基于最小描述长度（MDL）的属性选择度量具有最小偏向于多值属性的偏倚，需要最少二进制的树：对树编码，对树异常编码。基本思想为首选最简单的解。
多元划分基于属性的组合而不是单个属性，是一种属性构造，新属性基于旧属性创建的
12.决策树时间复杂度岁树的高度指数增加，倾向于较浅的树有大量的树叶和较高的错误率。
13.在创建决策树时，由于噪声和离群点，许多分支反应的是训练数据中的异常。剪枝处理过分拟合数据问题。
知识点十一贝叶斯分类方法
1.贝叶斯分类算法预测类隶属关系的概率，如给定一个的元组属于一个特定类的概率。朴素贝叶斯算法假定一个属性值在给定类上的影响独立于其他属性的值，这一个假定称为条件独立性
2.遇到零概率值，假设训练元组集合很大，以致于对每一个计数加上1产生的变化可以忽略不计。
知识点十二神经网络
1.神经网络又叫连接者学习，是一组连接的输入/输出单元，每一个连接都与权重有关。在学习阶段，通过调整权重使得它能够预测输入元组的正确标号类来学习。
2.神经网络需要的时间很长，适合具有足够长的训练时间的应用。需要大量的参数，主要是经验得到。
3.神经网络的优点包括对噪声数据的高承受能力以及对未经训练的数据的分类能力，适合连续值的输入和输出
4.多层前馈由一个输入层，一个或者多个隐藏层，一个输出层组成。每层由一些单元组成。网络的输入对应于每一个训练元组的观测属性。输入同时提供给构成输入层的单元，最后一个隐藏层的权重输出作为构成输出层的单元的输入。输出层发布给定元组的网络预测。
5.网络是前馈的，权重都不回送给输入单元，网络是全连接的，每一个单元都向下一层的每一个单元提供输入。每一个输出单元都选择前一层单元输出的加权作为输入，应用一个非线性函数作用于加权输入。
6.神经网络运用于分类和数值预测。权重的初值可能影响结果的准确性，一旦网络经过训练，并且其准确率不能被接受，通常用不同的网络拓扑或使用不同的初始权重集重复训练过程
7.技术使用爬山法，从一个有选择的改良的初始结构开始
8.后向传播通过迭代地处理训练元组数据集，把每个元组的网络预测与世实际已知的目标值比较进行学习。
9.网络的初始权重为小随机数，每一个单元都有一个相关联的偏倚，偏倚也初始化为小随
机数
知识点十三支持向量机
1.支持向量机是一种对线性和非线性数据进行分类的方法。使用非线性映射，把原训练数据映射到较高的维上。在新的维上，它搜索最佳分离超平面。使用到最够高纬上的、合适的非线性映射，两个类的数据可以被超平面（最佳决策边界）分开。使用支持向量和边缘发现该超平面。
2.最简单的是两个线性可分的，X为训练集，具有类标号yi，每一个可以取正负1，分别对应买或者不买电脑。可以用一条线将两类属性分开，即二维数据是线性可分的。
3.SVM搜索具有最大边缘的超平面（MMH），即最大边缘超平面，预料有较大边缘的超平面在对未来数据元组分类上比具有较小边缘的超平面更准确。MMH相关联的边缘给出类之间的最大分离性。
4.MMH到两个侧面的最短距离相同，侧面平行于MMH。（PS：求距离的公式）。支持向量使得等式成立时的元组的集合。将距离公式改写成决策边界，根据正负号判断属于哪一类。
5.拓展线性方法的步骤：把非线性映射把原输入数据变换到较高维空间；在新的空间搜索分离超平面。
知识点十四聚类分析
1.聚类就是把一个数据对象划分成子集的过程，每一个子集是簇，使得簇中的对象彼此相似，但是与其他簇中的对象不相似。它是无监督学习，通过观察学习，而不是示例学习
2.K-均值算法（基于形心的技术，采用迭代和贪心的策略）常常终止于局部最优解。当存在噪声和异常时，中心点方法优于均值，更加鲁棒。
3.中心点算法是：初始代表对象（称为种子）随意选取，考虑用一个非代表对象替代一个代表对象看能否提高聚类的质量，尝试所有可能的替换，继续用其他对象来替代代表对象的迭代过程，直到结果聚类的质量不可能被任何替换提高。
正如柏拉图所说：需要是发明之母。随着信息时代的步伐不断迈进，大量数据日积月累。我们迫切需要一种工具来满足从数据中发现知识的需求！而数据挖掘便应运而生了。正如书中所说：数据挖掘已经并且将继续在我们从数据时代大步跨入信息时代的历程中做出贡献。 1、数据挖掘 数据挖掘应当更正确的命名为：“从数据中挖掘知识”，不过后者显得过长了些。而“挖掘”一词确是生动形象的！人们把数据挖掘视为“数据中的知识发现（KDD）”的同义词，而另一些人只是把数据挖掘视为知识发现过程的一个基本步骤！ 由此而产生数据挖掘的定义：从大量数据中挖掘有趣模式和知识的过程！数据源包括数据库、数据仓库、Web、其他信息存储库或动态地流入系统的数据。作为知识发现过程，它通常包括数据清理、数据集成、数据变换、模式发现、模式评估和知识表示六个步骤。 数据挖掘处理数据之多，挖掘模式之有趣，使用技术之大量，应用范围之广泛都将会是前所未有的；而数据挖掘任务之重也一直并存。这些问题将继续激励数据挖掘的进一步研究与改进！ 2、数据分析 数据分析是指用适当的统计方法对收集来的大量第一手资料和第二手资料进行分析，以求最大化地开发数据资料的功能，发挥数据的作用。是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。 数据分析有极广泛的应用范围。典型的数据分析可能包含以下三个步： 1、探索性数据分析：当数据刚取得时，可能杂乱无章，看不出规律，通过作图、造表、用各种形式的方程拟合，计算某些特征量等手段探索规律性的可能形式，即往什么方向和用何种方式去寻找和揭示隐含在数据中的规律性。 2、模型选定分析，在探索性分析的基础上提出一类或几类可能的模型，然后通过进一步的分析从中挑选一定的模型。 3、推断分析：通常使用数理统计方法对所定模型或估计的可靠程度和精确程度作出推断。 数据分析的目的是把隐没在一大批看来杂乱无章的数据中的信息集中、萃取和提炼出来，以找出所研究对象的内在规律。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。数据分析是组织有目的地收集数据、分析数据，使之成为信息的过程。这一过程是质量管理体系的支持过程。在产品的整个寿命周期，包括从市场调研到售后服务和最终处置的各
《海量数据挖掘技术及工程实践》题目 一、单选题（共80题） 1)( D )的目的缩小数据的取值范围，使其更适合于数据挖掘算法的需要，并且能够得到 和原始数据相同的分析结果。 A.数据清洗 B.数据集成 C.数据变换 D.数据归约 2)某超市研究销售纪录数据后发现，买啤酒的人很大概率也会购买尿布，这种属于数据挖 掘的哪类问题？(A) A. 关联规则发现 B. 聚类 C. 分类 D. 自然语言处理 3)以下两种描述分别对应哪两种对分类算法的评价标准？ (A) (a)警察抓小偷，描述警察抓的人中有多少个是小偷的标准。 (b)描述有多少比例的小偷给警察抓了的标准。 A. Precision,Recall B. Recall,Precision A. Precision,ROC D. Recall,ROC 4)将原始数据进行集成、变换、维度规约、数值规约是在以下哪个步骤的任务？(C) A. 频繁模式挖掘 B. 分类和预测 C. 数据预处理 D. 数据流挖掘 5)当不知道数据所带标签时，可以使用哪种技术促使带同类标签的数据与带其他标签的数 据相分离？(B) A. 分类 B. 聚类 C. 关联分析 D. 隐马尔可夫链 6)建立一个模型，通过这个模型根据已知的变量值来预测其他某个变量值属于数据挖掘的 哪一类任务？(C) A. 根据内容检索 B. 建模描述 C. 预测建模 D. 寻找模式和规则 7)下面哪种不属于数据预处理的方法？ (D) A.变量代换 B.离散化
C.聚集 D.估计遗漏值 8)假设12个销售价格记录组已经排序如下：5, 10, 11, 13, 15, 35, 50, 55, 72, 92, 204, 215 使用如下每种方法将它们划分成四个箱。等频（等深）划分时，15在第几个箱子内？ (B) A.第一个 B.第二个 C.第三个 D.第四个 9)下面哪个不属于数据的属性类型：(D) A.标称 B.序数 C.区间 D.相异 10)只有非零值才重要的二元属性被称作：( C ) A.计数属性 B.离散属性 C.非对称的二元属性 D.对称属性 11)以下哪种方法不属于特征选择的标准方法： (D) A.嵌入 B.过滤 C.包装 D.抽样 12)下面不属于创建新属性的相关方法的是： (B) A.特征提取 B.特征修改 C.映射数据到新的空间 D.特征构造 13)下面哪个属于映射数据到新的空间的方法？ (A) A.傅立叶变换 B.特征加权 C.渐进抽样 D.维归约 14)假设属性income的最大最小值分别是12000元和98000元。利用最大最小规范化的方 法将属性的值映射到0至1的范围内。对属性income的73600元将被转化为：(D) A.0.821 B.1.224 C.1.458 D.0.716 15)一所大学内的各年纪人数分别为：一年级200人，二年级160人，三年级130人，四年 级110人。则年级属性的众数是： (A) A.一年级 B.二年级 C.三年级 D.四年级
一、解答题（满分30分，每小题5分） 1. 怎样理解数据挖掘和知识发现的关系？请详细阐述之 首先从数据源中抽取感兴趣的数据，并把它组织成适合挖掘的数据组织形式；然后，调用相应的算法生成所需的知识；最后对生成的知识模式进行评估，并把有价值的知识集成到企业的智能系统中。 知识发现是一个指出数据中有效、崭新、潜在的、有价值的、一个不可忽视的流程，其最终目标是掌握数据的模式。流程步骤：先理解要应用的领域、熟悉相关知识，接着建立目标数据集，并专注所选择的数据子集；再作数据预处理，剔除错误或不一致的数据；然后进行数据简化与转换工作；再通过数据挖掘的技术程序成为模式、做回归分析或找出分类模型；最后经过解释和评价成为有用的信息。 2. 时间序列数据挖掘的方法有哪些，请详细阐述之 时间序列数据挖掘的方法有： 1）、确定性时间序列预测方法:对于平稳变化特征的时间序列来说，假设未来行为与现在的行为有关，利用属性现在的值预测将来的值是可行的。例如，要预测下周某种商品的销售额，可以用最近一段时间的实际销售量来建立预测模型。 2）、随机时间序列预测方法:通过建立随机模型，对随机时间序列进行分析，可以预测未来值。若时间序列是平稳的，可以用自回归(Auto Regressive，简称AR)模型、移动回归模型(Moving Average，简称MA)或自回归移动平均(Auto Regressive Moving Average，简称ARMA)模型进行分析预测。 3）、其他方法:可用于时间序列预测的方法很多，其中比较成功的是神经网络。由于大量的时间序列是非平稳的，因此特征参数和数据分布随着时间的推移而变化。假如通过对某段历史数据的训练，通过数学统计模型估计神经网络的各层权重参数初值，就可能建立神经网络预测模型，用于时间序列的预测。
1、数据仓库定义：数据仓库是一种新的数据处理体系结构，它与组织机构的操作数据库分别维护，允许将各种应用系统一起，为统一的历史数据分析提供坚实的平台，对信息处理提供支持。数据仓库是面向主题的、集成的、相对稳定的、反映历史变化的数据集合，为企业决策支持系统提供所需的集成信息。设计和构造步骤：1）选取待建模的商务处理；2）选取商务处理的粒变；3）选取用于每个事实表记录的维；4）选取事实表中每条记录的变量 系统结构：（1）底层是仓库数据服务器，总是关系数据库系统。（2）中间层是OLAP服务器，有ROLAP 和MOLAP，它将对多维数据的操作映射为标准的关系操作（3）顶层是前端客户端，它包括查询和报表工具、分析工具和数据挖掘工具 2、数据仓库的多维数据模型：（1）星形模式：在此模型下，数据仓库包括一个大的包含大批数据并且不含冗余的中心表，一组小的附属表，维表围绕中心事实表显示的射线上。特征：星型模型四周的实体是维度实体，其作用是限制和过滤用户的查询结果，缩小访问围。每个维表都有自己的属性，维表和事实表通过关键字相关联。【例子：sales数据仓库的星形模式，此模式包含一个中心事实表sales，它包含四个维time, item, branch和location。 （2）雪花型模式：它是星形模式的变种，其中某些维表是规化的，因而把数据进一步分解到附加的表中。特征：雪花模型通过最大限度地减少数据存储量和联合较小的维表来改善查询性能，增加了用户必须处理的表数量和某些查询的复杂性，但同时提高了处理的灵活性，可以回答更多的商业问题，特别适合系统的逐步建设要求。【例子同上，只不过把其中的某些维给扩展了。 （3）事实星座形：复杂的应用可能需要多个事实表共享维表，这种模式可看作星形模式的汇集。 特征：事实星座模型能对多个相关的主题建模。例子：有两个事实表sales和shipping，它们可以共享维表time, item和location。 3、OLAP：即联机分析处理，是在OLTP基础上发展起来的、以数据仓库基础上的、面向高层管理人员和专业分析人员、为企业决策支持服务。特点：1.实时性要求不是很高。2.数据量大。3.因为重点在于决策支持，所以查询一般是动态的，也就是说允许用户随机提出查询要求。 OLAP操作：上卷：通过沿一个维的概念分层向上攀登，或者通过维归约，对数据立方体进行类聚。下钻：是上卷的逆操作，它由不太详细的数据得到更详细的数据，下钻可以通过沿维的概念分层向下或引入附加的维来实现。切片：对给定方体的一个维进行进行选择，导致一个子立方体。切块：通过对两个或多个维执行选择，定义子立方体。转轴：是一种可视化操作，它转动数据的视角，提供数据的替代表示。 OLTP：即联机事务处理，是以传统数据库为基础、面向操作人员和低层管理人员、对基本数据进行查询和增、删、改等的日常事务处理。OLTP的特点有：a.实时性要求高；b.数据量不是很大。C.交易一般是确定的，是对确定性数据进行存取。d.并发性要求高且严格的要求事务的完整性，安全性。 OLTP和OLAP的区别：1）用户和系统的面向性:OLTP面向顾客，而OLAP面向市场；2）数据容：OLTP 系统管理当前数据，而OLAP管理历史的数据；3）数据库设计：OLTP系统采用实体-联系（ER)模型和面向应用的数据库设计，而OLAP系统通常采用星形和雪花模型；4）视图：OLTP系统主要关注一个企业或部门部的当前数据，而OLAP 系统主要关注汇总的统一的数据；5）访问模式：OLTP访问主要有短的原子事务组成，而OLAP系统的访问大部分是只读操作，尽管许多可能是复杂的查询。 7、PageRank算法原理：1）在初始阶段：构建Web图，每个页面初始设置相同的PageRank 值，通过迭代计算，会得到每个页面所获得的最终PageRank值。2）在一轮中更新页面 PageRank得分的计算方法：每个页面将其当前的PageRank值平均分配到本页面包含的出 链上。每个页面将所有指向本页面的入链所传入的权值求和，即可得到新的PageRank得分。 优点：是一个与查询无关的静态算法，所有网页的PageRank值通过离线计算获得；有效减 少在线查询时的计算量，极大降低了查询响应时间。 缺点：1）人们的查询具有主题特征，PageRank忽略了主题相关性，导致结果的相关性和主 题性降低。2）旧的页面等级会比新页面高。因为即使是非常好的新页面也不会有很多上游， 除非它是某个站点的子站点。
数据挖掘：是从大量数据中发现有趣（非平凡的、隐含的、先前未知、潜在有用）模式，这些数据可以存放在数据库，数据仓库或其他信息存储中。 挖掘流程： 1.学习应用域 2.目标数据创建集 3.数据清洗和预处理 4.数据规约和转换 5.选择数据挖掘函数（总结、分类、回归、关联、分类） 6.选择挖掘算法 7.找寻兴趣度模式 8.模式评估和知识展示 9.使用挖掘的知识 概念/类描述：一种数据泛化形式，用汇总的、简洁的和精确的方法描述各个类和概念，通过（1）数据特征化：目标类数据的一般特性或特征的汇总； （2）数据区分：将目标类数据的一般特性与一个或多个可比较类进行比较； （3）数据特征化和比较来得到。 关联分析：发现关联规则，这些规则展示属性-值频繁地在给定数据集中一起出现的条件，通常要满足最小支持度阈值和最小置信度阈值。 分类：找出能够描述和区分数据类或概念的模型，以便能够使用模型预测类标号未知的对象类，导出的模型是基于训练集的分析。导出模型的算法：决策树、神经网络、贝叶斯、（遗传、粗糙集、模糊集）。 预测：建立连续值函数模型，预测空缺的或不知道的数值数据集。 孤立点：与数据的一般行为或模型不一致的数据对象。 聚类：分析数据对象，而不考虑已知的类标记。训练数据中不提供类标记，对象根据最大化类内的相似性和最小化类间的原则进行聚类或分组，从而产生类标号。 第二章数据仓库 数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合，支持管理部门的决策过程。从一个或多个数据源收集信息，存放在一个一致的模式下，并且通常驻留在单个站点。数据仓库通过数据清理、变换、继承、装入和定期刷新过程来构造。面向主题：排除无用数据，提供特定主题的简明视图。集成的：多个异构数据源。时变的：从历史角度提供信息，隐含时间信息。非易失的：和操作数据的分离，只提供初始装入和访问。 联机事务处理OLTP：主要任务是执行联机事务和查询处理。 联系分析处理OLAP：数据仓库系统在数据分析和决策方面为用户或‘知识工人’提供服务。这种系统可以用不同的格式和组织提供数据。OLAP是一种分析技术，具有汇总、合并和聚集功能，以及从不同的角度观察信息的能力。
数据挖掘课程体会 学习数据挖掘这门课程已经有一个学期了，在这十余周的学习过程中，我对数据挖掘这门课程的一些技术有了一定的了解，并明确了一些容易混淆的概念，以下主要谈一下我的心得体会。 近年来，数据挖掘引起了信息产业界的极大关注，其主要原因是存在大量数据，可以广泛使用，并且迫切需要将这些数据转换成有用的信息和知识。数据挖掘就是从大量的数据中，抽取出潜在的、有价值的知识、模型或规则的过程。作为一类深层次的数据分析方法，它利用了数据库、人工智能和数理统计等多方面的技术。 要将庞大的数据转换成为有用的信息，必须先有效率地收集信息。随着科技的进步，功能完善的数据库系统就成了最好的收集数据的工具。数据仓库，简单地说，就是搜集来自其它系统的有用数据，存放在一整合的储存区内。所以其实就是一个经过处理整合，且容量特别大的关系型数据库，用以储存决策支持系统所需的数据，供决策支持或数据分析使用。 数据挖掘的研究领域非常广泛，主要包括数据库系统、基于知识的系统、人工智能、机器学习、知识获取、统计学、空间数据库和数据可视化等领域。主要是可以做以下几件事：分类、估计、预测、关联分析、聚类分析、描述和可视化、复杂数据类型挖掘。在这里就不一一介绍了。 在学习关联规则的时候，提出了一个关于啤酒与纸尿布的故事：在一家超市里，纸尿布与啤酒被摆在一起出售，但是这个奇怪的举措却使得啤酒和纸尿布的销量双双增加了。其实，这是由于这家超市对其顾客的购物行为进行购物篮分析，在这些原始交易数据的基础上，利用数据挖掘方法对这些数据进行分析和挖掘。从而意外的发现跟纸尿布一起购买最多的商品竟是啤酒。按我们的常规思维，啤酒与纸尿布是两个毫无关联的商品，但是借助数据挖掘技术对大量交易数据进行挖掘分析后，却可以寻求到这一有价值的规律。这个故事在一定程度上说明了数据挖掘技术的巨大价值。 总之，非常感谢周教员在这十余周的精彩授课，让我受益匪浅，我会继续学习这门课程，努力为今后的课题研究或论文打好基础。
龙源期刊网 https://www.doczj.com/doc/3e9481197.html, 浅谈大数据时代的数据分析与挖掘 作者：单海波 来源：《科技创新与应用》2016年第24期 摘要：随着改革开放的进一步深化，以及经济全球化的快速发展，我国各行各业都有了 质的飞跃，发展方向更加全面。特别是近年来科学技术的发展和普及，更是促进了各领域的不断发展，各学科均出现了科技交融。在这种社会背景下，数据形式和规模不断向着更加快速、精准的方向发展，促使经济社会发生了翻天覆地的变化，同时也意味着大数据时代即将来临。就目前而言，数据已经改变传统的结构模式，在时代的发展推动下积极向着结构化、半结构化，以及非结构化的数据模式方向转换，改变了以往的只是单一地作为简单的工具的现象，逐渐发展成为具有基础性质的资源。文章主要针对大数据时代下的数据分析与挖掘进行了分析和讨论，并论述了建设数据分析与挖掘体系的原则，希望可以为从事数据挖掘技术的分析人员提供一定的帮助和理论启示，仅供参考。 关键词：大数据；数据分析；数据挖掘；体系建设 引言 进入21世纪以来，随着高新科技的迅猛发展和经济全球化发展的趋势，我国国民经济迅速增长，各行业、领域的发展也颇为迅猛，人们生活水平与日俱增，在物质生活得到极大满足的前提下，更加追求精神层面以及视觉上的享受，这就涉及到数据信息方面的内容。在经济全球化、科技一体化、文化多元化的时代，数据信息的作用和地位是不可小觑的，处理和归类数据信息是达到信息传递的基础条件，是发展各学科科技交融的前提。 然而，世界上的一切事物都包含着两个方面，这两个方面既相互对立，又相互统一。矛盾即对立统一。矛盾具有斗争性和同一性两种基本属性，我们必须用一分为二的观点、全面的观点看问题。同时要积极创造条件，促进矛盾双方的相互转变。数据信息在带给人们生产生活极大便利的同时，还会被诸多社会数据信息所困扰。为了使广大人民群众的日常生活更加便捷，需要其客观、正确地使用、处理数据信息，完善和健全数据分析技术和数据挖掘手段，通过各种切实可行的数据分析方法科学合理地分析大数据时代下的数据，做好数据挖掘技术工作。 1 实施数据分析的方法 在经济社会快速发展的背景下，我国在科学信息技术领域取得长足进步。科技信息的发展在极大程度上促进了各行各业的繁荣发展和长久进步，使其发展更加全面化、科学化、专业化，切实提升了我国经济的迅猛发展，从而形成了一个最佳的良性循环，我国也由此进入了大数据时代。对于大数据时代而言，数据分析环节是必不可少的组成部分，只有科学准确地对信息量极大的数据进行处理、筛选，才能使其更好地服务于社会，服务于广大人民群众。正确处理数据进行分析过程是大数据时代下数据分析的至关重要的环节。众所周知，大数据具有明显
数据挖掘复习提纲 分值分布 一、选择题（单选10道20分多选5道20分） 二、填空题（10道20分） 三、名词解释（5道20分） 四、解答题（4道20分） 五、应用题（Apriori算法20分） 1．什么是数据挖掘？ 1答：简单地说，数据挖掘是从大量数据中提取或挖掘知识。 具体地说，数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。 2. 什么是数据清理？ 2答：填写缺失的值，平滑噪声数据，识别、删除离群点，解决不一致性 3. 什么是数据仓库？ 3答：是一个面向主题的、集成的、随时间而变化的、不容易丢失的数据集合，支持管理部门决策的过程。（最显著特征：数据不易丢失2分选择题） 4. 什么是数据集成？ 4.数据集成:集成多个数据库、数据立方体或文件 5. 什么是数据变换？ 5答：将数据转换或统一成适合于挖掘的形式。 6. 什么是数据归约？ 6答：得到数据集的压缩表示，它小得多，但可以得到相同或相近的结果 7. 什么是数据集市？ 7答：数据集市包含企业范围数据的一个子集，对于特定的用户群是有用的。其范围限于选定的主题。 (是完整的数据仓库的一个逻辑子集，而数据仓库正是由所有的数据集市有机组合而成的) 8.在数据挖掘过程中，耗时最长的步骤是什么？ 8.答：数据清理 9.数据挖掘系统可以根据什么标准进行分类？ 9答：根据挖掘的数据库类型分类、根据挖掘的知识类型分类、根据挖掘所用的技术分类、根据应用分类 10. 多维数据模型上的OLAP 操作包括哪些？ 10.答：上卷、下钻、切片和切块、转轴 / 旋转、其他OLAP操作 11. OLAP 服务器类型有哪几种？ 11.答：关系 OLAP 服务器(ROLAP)、多维 OLAP 服务器(MOLAP)、混合 OLAP 服务器 (HOLAP)、特殊的 SQL 服务器 12. 数据预处理技术包括哪些？（选择） 12.答：聚集、抽样、维规约、特征子集选择、特征创建、离散化和二元化、变量变换。 13. 形成“脏数据”的原因有哪些？ 13. 答：滥用缩写词、数据输入错误、数据中的内嵌控制信息、不同的的惯用语、重复记录、丢失值、拼写变化、不同的计量单位、过时的编码 14. 与数据挖掘类似的术语有哪些? 14答：数据库中挖掘知识、知识提取、数据/模式分析、数据考古和数据捕捞。
一、解答题（满分3０分，每小题5分) 1. 怎样理解数据挖掘和知识发现的关系?请详细阐述之 首先从数据源中抽取感兴趣的数据，并把它组织成适合挖掘的数据组织形式;然后,调用相应的算法生成所需的知识;最后对生成的知识模式进行评估，并把有价值的知识集成到企业的智能系统中。 知识发现是一个指出数据中有效、崭新、潜在的、有价值的、一个不可忽视的流程，其最终目标是掌握数据的模式。流程步骤:先理解要应用的领域、熟悉相关知识，接着建立目标数据集，并专注所选择的数据子集;再作数据预处理，剔除错误或不一致的数据；然后进行数据简化与转换工作；再通过数据挖掘的技术程序成为模式、做回归分析或找出分类模型；最后经过解释和评价成为有用的信息。 2.时间序列数据挖掘的方法有哪些，请详细阐述之 时间序列数据挖掘的方法有: １)、确定性时间序列预测方法:对于平稳变化特征的时间序列来说，假设未来行为与现在的行为有关，利用属性现在的值预测将来的值是可行的。例如，要预测下周某种商品的销售额，可以用最近一段时间的实际销售量来建立预测模型。 ２）、随机时间序列预测方法：通过建立随机模型,对随机时间序列进行分析,可以预测未来值。若时间序列是平稳的,可以用自回归(Auto Ｒegressiｖe，简称AR)模型、移动回归模型(Ｍovｉng Ａveｒage,简称ＭＡ）或自回归移动平均(Aｕto Regrｅssive Moｖiｎg Aｖeraｇe，简称AＲMＡ)模型进行分析预测。 3)、其他方法:可用于时间序列预测的方法很多,其中比较成功的是神经网络。由于大量的时间序列是非平稳的,因此特征参数和数据分布随着时间的推移而变化。假如通过对某段历史数据的训练，通过数学统计模型估计神经网络的各层权重参数初值，就可能建立神经网络预测模型,用于时间序列的预测。
数据分析处理需求分类 1 事务型处理 在我们实际生活中,事务型数据处理需求非常常见,例如：淘宝网站交易系统、1２306网站火车票交易系统、超市ＰOＳ系统等都属于事务型数据处理系统。这类系统数据处理特点包括以下几点: 一就是事务处理型操作都就是细粒度操作,每次事务处理涉及数据量都很小。 二就是计算相对简单，一般只有少数几步操作组成，比如修改某行得某列; 三就是事务型处理操作涉及数据得增、删、改、查,对事务完整性与数据一致性要求非常高。 四就是事务性操作都就是实时交互式操作,至少能在几秒内执行完成； 五就是基于以上特点,索引就是支撑事务型处理一个非常重要得技术. 在数据量与并发交易量不大情况下,一般依托单机版关系型数据库,例如OＲＡＣLＥ、MＹSQL、SQＬSERVER,再加数据复制（DataGurａd、RＭAＮ、ＭｙSQＬ数据复制等)等高可用措施即可满足业务需求。 在数据量与并发交易量增加情况下，一般可以采用ORＡLＣＥRAC集群方式或者就是通过硬件升级（采用小型机、大型机等，如银行系统、运营商计费系统、证卷系统)来支撑. 事务型操作在淘宝、1230６等互联网企业中,由于数据量大、访问并发量高，必然采用分布式技术来应对,这样就带来了分布式事务处理问题，而分布式事务处理很难做到高效，因此一般采用根据业务应用特点来开发专用得系统来解决本问题。
２数据统计分析 数据统计主要就是被各类企业通过分析自己得销售记录等企业日常得运营数据,以辅助企业管理层来进行运营决策。典型得使用场景有:周报表、月报表等固定时间提供给领导得各类统计报表;市场营销部门,通过各种维度组合进行统计分析,以制定相应得营销策略等． 数据统计分析特点包括以下几点: 一就是数据统计一般涉及大量数据得聚合运算，每次统计涉及数据量会比较大。二就是数据统计分析计算相对复杂，例如会涉及大量goｕpbｙ、子查询、嵌套查询、窗口函数、聚合函数、排序等；有些复杂统计可能需要编写ＳQＬ脚本才能实现． 三就是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外,目前越来越多得用户希望能做做到交互式实时统计； 传统得数据统计分析主要采用基于ＭＰP并行数据库得数据仓库技术.主要采用维度模型,通过预计算等方法，把数据整理成适合统计分析得结构来实现高性能得数据统计分析，以支持可以通过下钻与上卷操作,实现各种维度组合以及各种粒度得统计分析。 另外目前在数据统计分析领域,为了满足交互式统计分析需求，基于内存计算得数据库仓库系统也成为一个发展趋势,例如SAP得HANA平台。 3 数据挖掘 数据挖掘主要就是根据商业目标，采用数据挖掘算法自动从海量数据中发现隐含在海量数据中得规律与知识。
第一章绪论 什么是数据挖掘，什么是商业智能 从大型数据库中提取有趣的（非平凡的、蕴涵的、先前未知的且是潜在有用的）信息或模式。 商业智能是要在必须的时间段内，把正确有用的信息传递给适当的决策者，以便为有效决策提供信息支持。 分类算法的评价标准 召回率recall =系统检索到的相关文件数/相关文件总数 准确率precision（查准率）= 系统检索到的相关文件数/系统返回的文件总数第二章数据仓库 什么是数据仓库 是运用新信息科技所提供的大量数据存储、分析能力，将以往无法深入整理分析的客户数据建立成为一个强大的顾客关系管理系统，以协助企业制定精准的运营决策。 数据仓库的基本特征 1面向主题2整合性 3长期性 4稳定性 第三章数据挖掘简介 数据挖掘的一般功能 1分类2估计3 预测4关联分类5聚类 数据挖掘的完整步骤 1理解数据与数据所代表的含义 2获取相关知识与技术 3整合与检查数据 4取出错误或不一致的数据 5建模与假设 6数据挖掘运行 7测试与验证所挖掘的数据 8解释与使用数据 数据挖掘建模的标准 CRISP-CM 跨行业数据挖掘的标准化过程 第四章数据挖掘中的主要方法 基于SQL Server 2005 SSAS的十种数据挖掘算法是什么 1.决策树 2.聚类 3.Bayes分类 4.有序规则 5. 关联规则 6.神经网络 7.线性回归 8. Logistic回归 9. 时间序列10. 文本挖掘 第五章数据挖掘与相关领域的关系 数据挖掘与机器学习、统计分析之间的区别与联系（再看看书整理下） 32页 处理大量实际数据更具优势，并且使用数据挖掘工具无需具备专业的统计学背景。 数据分析的需求和趋势已经被许多大型数据库所实现，并且可以进行企业级别的数据挖掘应用。 相对于重视理论和方法的统计学而言，数据挖掘更强调应用，毕竟数据挖掘目的
一、填空题 1.Web挖掘可分为、和3大类。 2.数据仓库需要统一数据源，包括统一、统一、统一和统一数据特征 4个方面。 3.数据分割通常按时间、、、以及组合方法进行。 4.噪声数据处理的方法主要有、和。 5.数值归约的常用方法有、、、和对数模型等。 6.评价关联规则的2个主要指标是和。 7.多维数据集通常采用或雪花型架构，以表为中心，连接多个表。 8.决策树是用作为结点，用作为分支的树结构。 9.关联可分为简单关联、和。 10.B P神经网络的作用函数通常为区间的。 11.数据挖掘的过程主要包括确定业务对象、、、及知识同化等几个步 骤。 12.数据挖掘技术主要涉及、和3个技术领域。 13.数据挖掘的主要功能包括、、、、趋势分析、孤立点分析和偏 差分析7个方面。 14.人工神经网络具有和等特点，其结构模型包括、和自组织网络 3种。 15.数据仓库数据的4个基本特征是、、非易失、随时间变化。 16.数据仓库的数据通常划分为、、和等几个级别。 17.数据预处理的主要内容(方法)包括、、和数据归约等。 18.平滑分箱数据的方法主要有、和。 19.数据挖掘发现知识的类型主要有广义知识、、、和偏差型知识五种。 20.O LAP的数据组织方式主要有和两种。 21.常见的OLAP多维数据分析包括、、和旋转等操作。 22.传统的决策支持系统是以和驱动，而新决策支持系统则是以、建 立在和技术之上。 23.O LAP的数据组织方式主要有和2种。 24.S QL Server2000的OLAP组件叫，OLAP操作窗口叫。 25.B P神经网络由、以及一或多个结点组成。 26.遗传算法包括、、3个基本算子。 27.聚类分析的数据通常可分为区间标度变量、、、、序数型以及混合 类型等。 28.聚类分析中最常用的距离计算公式有、、等。 29.基于划分的聚类算法有和。
总结报告 课程名称：数据挖掘R语言 任课教师： 姓名： 专业：计算机科学与技术 班级： 学号：
计算机科学与技术学院 2018 年 6 月19 日 一、数据预处理 针对不同分析目标，选择合适的字段，并将字段值处理成适于分析的形式。必要时还需对原数据集进行统计变换后形成易于分析的形式。 为每条数据添加字段：所属地区。根据下图中划分的美国四大地区，将每条数据中表示的案件发生地在该字段上划分为东北部、中西部、南部和西部四个值。 首先导入数据： gundata<-read.csv("d:/gun.csv",sep = ",",stringsAsFactors = FALSE,header = TRUE,quote=””) 然后将需要的字段取出来，在这里取出了一下几个字段：
gundata[,c("incident_id","date","state","city_or_county","n_killed","n_injured"," congressional_district","latitude","longitude","state_house_district","state_sen ate_district")] gd <- subset(gundata,select=c(incident_id,date,state,city_or_county,n_killed, n_injured,congressional_district,latitude,longitude,state_house_district,state_s enate_district)) 然后根据州字段将所有数据划分为四个地区 阿拉巴马州Alabama 阿拉斯加州Alaska 亚利桑那州Arizona 阿肯色州Arkansas 加利福尼亚州California 科罗拉多州Colorado 哥伦比亚特区Columbia 康涅狄格州Connecticut 特拉华州Delaware 佛罗里达州Florida 佐治亚州Georgia 夏威夷州Hawaii 爱达荷州Idaho 伊利诺州Illinois
大数据、数据分析和数据挖掘的区别 大数据、数据分析、数据挖掘的区别是，大数据是互联网的海量数据挖掘，而数据挖掘更多是针对内部企业行业小众化的数据挖掘，数据分析就是进行做出针对性的分析和诊断，大数据需要分析的是趋势和发展，数据挖掘主要发现的是问题和诊断。具体分析如下： 1、大数据(big data)： 指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产; 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样的捷径，而采用所有数据进行分析处理。大数据的5V特点(IBM提出)：Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)Veracity(真实性) 。 2、数据分析：
是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。 数据分析的数学基础在20世纪早期就已确立，但直到计算机的出现才使得实际操作成为可能，并使得数据分析得以推广。数据分析是数学与计算机科学相结合的产物。 3、数据挖掘(英语：Data mining)： 又译为资料探勘、数据采矿。它是数据库知识发现(英语：Knowledge-Discovery in Databases，简称：KDD)中的一个步骤。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统(依靠过去的经验法则)和模式识别等诸多方法来实现上述目标。 简而言之： 大数据是范围比较广的数据分析和数据挖掘。 按照数据分析的流程来说，数据挖掘工作较数据分析工作靠前些，二者又有重合的地方，数据挖掘侧重数据的清洗和梳理。 数据分析处于数据处理的末端，是最后阶段。 数据分析和数据挖掘的分界、概念比较模糊，模糊的意思是二者很难区分。 大数据概念更为广泛，是把创新的思维、信息技术、统计学等等技术的综合体，每个人限于学术背景、技术背景，概述的都不一样。
填空或简答： 1. 数据、信息和知识是广义数据表现的不同形式。 2. 主要知识模式类型有：广义知识，关联知识，类知识，预测型知识，特异型知识 3. web挖掘研究的主要流派有：Web结构挖掘、Web使用挖掘、Web内容挖掘 4. 一般地说，KDD是一个多步骤的处理过程，一般分为问题定义、数据抽取、数据预处理、.数据挖掘以及模式评估等基本阶段。 5. 数据库中的知识发现处理过程模型有：阶梯处理过程模型，螺旋处理过程模型，以用户为中心的处理结构模型，联机KDD模型，支持多数据源多知识模式的KDD处理模型 6. 粗略地说，知识发现软件或工具的发展经历了独立的知识发现软件、横向的知识发现工具集和纵向的知识发现解决方案三个主要阶段，其中后面两种反映了目前知识发现软件的两个主要发展方向。 7. 决策树分类模型的建立通常分为两个步骤：决策树生成，决策树修剪。 8. 从使用的主要技术上看，可以把分类方法归结为四种类型： a) 基于距离的分类方法 b) 决策树分类方法 c) 贝叶斯分类方法 d) 规则归纳方法 9. 关联规则挖掘问题可以划分成两个子问题： a) 发现频繁项目集:通过用户给定Minsupport ，寻找所有频繁项目集或者最大频繁项目集。 b) 生成关联规则:通过用户给定Minconfidence ，在频繁项目集中，寻找关联规则。 10. 数据挖掘是相关学科充分发展的基础上被提出和发展的。 主要的相关技术： 数据库等信息技术的发展 统计学深入应用 人工智能技术的研究和应用 11. 衡量关联规则挖掘结果的有效性： 应该从多种综合角度来考虑： a准确性：挖掘出的规则必须反映数据的实际情况。 b实用性：挖掘出的规则必须是简洁可用的。 c新颖性：挖掘出的关联规则可以为用户提供新的有价值信息。 12. 约束的常见类型有： 单调性约束； 反单调性约束； 可转变的约束； 简洁性约束. 13. 根据规则中涉及到的层次，多层次关联规则可以分为： 同层关联规则：如果一个关联规则对应的项目是同一个粒度层次，那么它是同层关联规则。层间关联规则：如果在不同的粒度层次上考虑问题，那么可能得到的是层间关联规 14. 按照聚类分析算法的主要思路，聚类方法可以被归纳为如下几种。 划分法：基于一定标准构建数据的划分。 属于该类的聚类方法有：k-means、k-modes、k-prototypes、k-medoids、PAM、CLARA、CLARANS等。 层次法：对给定数据对象集合进行层次的分解。 密度法：基于数据对象的相连密度评价。 网格法：将数据空间划分成为有限个单元（Cell）的网格结构，基于网格结构进行聚类。 模型法：给每一个簇假定一个模型，然后去寻找能够很好的满足这个模型的数据集。 15. 类间距离的度量主要有： 最短距离法：定义两个类中最靠近的两个元素间的距离为类间距离。 最长距离法：定义两个类中最远的两个元素间的距离为类间距离。 中心法：定义两类的两个中心间的距离为类间距离。
必考知识点： 信息增益算法/ ID3决策树(计算) (详细见教材) 使用朴素贝叶斯分类预测类标号(计算) FP-TREE(问答) (详细见教材) 数据仓库的设计(详见第二章)(问答) (见PPT) 数值规约Equi-depth、equi-width、v-optimal、maxdiff(问答) (详细见教材) BUC (这个也要考，但不记得怎么考的了) 后向传播神经网络(名词解释) K-平均，K-中心点，DBSCAN 解析特征化(这个也要考) 总论 数据挖掘：是从大量数据中发现有趣（非平凡的、隐含的、先前未知、潜在有用）模式，这些数据可以存放在数据库，数据仓库或其他信息存储中。 挖掘流程： (1)学习应用域（2）目标数据创建集（3）数据清洗和预处理（4）数据规约和转换（5）选择数据挖掘函数（总结、分类、回归、关联、分类）（6）选择挖掘算法（7）找寻兴趣度模式（8）模式评估和知识展示（9）使用挖掘的知识 概念/类描述：一种数据泛化形式，用汇总的、简洁的和精确的方法描述各个类和概念，通过（1）数据特征化：目标类数据的一般特性或特征的汇总；（2）数据区分：将目标类数据的一般特性与一个或多个可比较类进行比较；（3）数据特征化和比较来得到。 关联分析：发现关联规则，这些规则展示属性-值频繁地在给定数据集中一起出现的条件，通常要满足最小支持度阈值和最小置信度阈值。 分类：找出能够描述和区分数据类或概念的模型，以便能够使用模型预测类标号未知的对象类，导出的模型是基于训练集的分析。导出模型的算法：决策树、神经网络、贝叶斯、（遗传、粗糙集、模糊集）。 预测：建立连续值函数模型，预测空缺的或不知道的数值数据集。 孤立点：与数据的一般行为或模型不一致的数据对象。 聚类：分析数据对象，而不考虑已知的类标记。训练数据中不提供类标记，对象根据最大化类内的相似性和最小化类间的原则进行聚类或分组，从而产生类标号。 第二章数据仓库 数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合，支持管理部门的决策过程。从一个或多个数据源收集信息，存放在一个一致的模式下，并且通常驻留在单个站点。数据仓库通过数据清理、变换、继承、装入和定期刷新过程来构造。面向主题：排除无用数据，提供特定主题的简明视图。集成的：多个异构数据源。时变的：从历史角度提供信息，隐含时间信息。非易失的：和操作数据的分离，只提供初始装入和访问。 联机事务处理OLTP：主要任务是执行联机事务和查询处理。 联系分析处理OLAP：数据仓库系统在数据分析和决策方面为用户或‘知识工人’提供服务。这种系统可以用不同的格式和组织提供数据。OLAP是一种分析技术，具有汇总、合并和聚集功能，以及从不同的角度观察信息的能力。
知识点一数据仓库 1.数据仓库是一个从多个数据源收集的信息存储库，存放在一致的模式下，并且通常驻留在单个站点上。 2.数据仓库通过数据清理、数据变换、数据集成、数据装入和定期数据刷新来构造。 3.数据仓库围绕主题组织 4.数据仓库基于历史数据提供消息，是汇总的。 5.数据仓库用称作数据立方体的多维数据结构建模，每一个维对应于模式中的一个或者一组属性，每一个单元存放某种聚集的度量值 6.数据立方体提供数据的多维视图，并允许预计算和快速访问汇总数据 7.提供提供多维数据视图和汇总数据的预计算，数据仓库非常适合联机分析处理，允许在不同的抽象层提供数据，这种操作适合不同的用户角度 8.OLAP例子包括下钻和上卷，允许用户在不同的汇总级别上观察数据 9.多维数据挖掘又叫做探索式多维数据挖掘OLAP风格在多维空间进行数据挖掘，允许在各种粒度进行多维组合探查，因此更有可能代表知识的有趣模式。 知识点二可以挖掘什么数据 1.大量的数据挖掘功能，包括特征化和区分、频繁模式、关联和相关性分析挖掘、分类和回归、聚类分析、离群点分析 2.数据挖掘功能用于指定数据挖掘任务发现的模式，分为描述性和预测性 3.描述性挖掘任务刻画目标数据中数据的一般性质 4.预测性挖掘任务在当前数据上进行归纳，以便做出预测 5.数据可以与类或概念相关联 6.用汇总、简洁、精确的表达描述类和概念，称为类/概念描述 7.描述的方法有数据特征化（针对目标类）、数据区分（针对对比类）、数据特征化和区分 8.数据特征化用来查询用户指定的数据，上卷操作用来执行用户控制的、沿着指定维的数据汇总。面向属性的归纳技术可以用来进行数据的泛化和特征化，而不必与用户交互。形式有饼图、条图、曲线、多维数据立方体和包括交叉表在内的多维表。结果描述可以用广义关系或者规则（也叫特征规则）提供。 9.用规则表示的区分描述叫做区分规则。 10.数据频繁出现的模式叫做频繁模式，类型包括频繁项集、频繁子项集（又叫频繁序列）、频繁子结构。 11.频繁项集一般指频繁地在事务数据中一起出现的商品的集合 12.频繁子序列就是一个频繁序列模式 13.子结构涉及不同的结构，可以与项集和子项集一起出现 14.挖掘频繁模式导致发现数据中有趣的关联和相关性 15.包含单个谓词的关联规则称作单维关联规则。多个谓词的关联规则叫做多维关联规则。 16.如果不能同时满足最小支持度阈值和最小置信度阈值是无趣的关联规则。 17.频繁模式挖掘的基础是频繁项集挖掘 18.分类找出描述和区分数据类或概念的模型或者函数来预测类标号未知对象的类标号。 19.导出模型是基于训练数据集的分析，预测类标号未知对象的类标号。形式有分类规则、决策树、数学公式或者神经网络 20.决策树类似流程图的树结构，每一个结点代表一个属性上的测试，每一个分支代表测试
1、数据库与数据仓库的对比 数据库数据仓库 面向应用面向主题 数据是详细的数据是综合和历史的 保持当前数据保存过去和现在的数据 数据是可更新的数据不更新 对数据的操作是重复的对数据的操作是启发式的 操作需求是事先可知的操作需求是临时决定的 一个操作存取一个记录一个操作存取一个集合 数据非冗余数据时常冗余 操作比较频繁操作相对不频繁 查询基本是原始数据查询基本是经过加工的数据 事务处理需要的是当前数据决策分析需要过去和现在的数据 很少有复杂的计算有很多复杂的计算 支持事务处理支持决策分析 2、OLTP与OLAP 联机事物处理（On Line Transaction Processing，OLTP）是在网络环境下的事务处理工作，以快速的响应和频繁的数据修改为特征，使用户利用数据库能够快速地处理具体的业务。 OLTP OLAP 数据库数据数据仓库数据 细节性数据综合性数据 当前数据历史数据 经常更新不更新，但周期刷新 对响应时间要求高响应时间合理 用户数量大用户数量相对较小 面向操作人员，支持日常操作面向决策人员，支持决策需要 面向应用，事务驱动面向分析，分析驱动 3、数据字典和元数据： 数据字典：是数据库中各类数据描述的集合，它在数据库设计中具有很重要的地位。由：数据项；数据结构；数据流；数据存储；处理过程5部分组成。 元数据（metadata）定义为关于数据的数据（data about data），即元数据描述了数据仓库的数据和环境。数据仓库的元数据除对数据仓库中数据的描述（数据仓库字典）外，还有以下三类元数据：(1) 关于数据源的元数据(2) 关于抽取和转换的元数据(3) 关于最终用户的元数据