数据挖掘_Database of 2010 Standard Occupational Classification(2010标准职业分类数据集)

华南理工大学计算机科学与工程学院2012—2013学年度第二学期期末考试《数据仓库与数据挖掘技术》试卷(假的)专业：计算机科学与技术年级：2010 姓名：学号：注意事项：1. 本试卷共四大题，满分100分，考试时间120分钟；2. 所有答案请直接答在试卷上；题号一二三四总分得分一.填空题（每空1分，共20分）1.数据仓库的特征包括_面向主题________、___集成_________、__时变_________和非易失性。

2.数据仓库的三种数据模式包括_星形模式_、__雪花形模式__________、___事实星座形模式________。

3.仓库数据库服务器、_LOAP服务器________、__前端客户__________为数据仓库的多层结构。

4. OLAP技术多维分析过程中，多维分析操作包括 __上卷___、__下钻____、___切片____、__切块__________、__转轴_________等。

5. 知识发现过程的主要步骤有：数据清理、__数据集成__________、__数据选择___、数据交换、_数据挖掘________、___模式评估_________、__知识表示_______。

6. 数据仓库的视图的分类有:自顶向下视图、_数据源视图________、数据仓库视图、_商务视图_________。

二.简答题(每题6分，共42分)1.简述处理空缺值的方法。

1、忽略该记录2、手工填写空缺值3、使用默认值4、使用属性平均值5、使用同类样本平均值6、使用最可能的值2.挖掘的知识类型。

1、概念/类描述：特征化和区分2、挖掘频繁模式、关联和相关3、分类和预测4、聚类分析5、离群点分析6、演变分析3.何为OLTP与OLAP及他们的主要区别。

联机事务处理OLTP (on-line transaction processing)；联机分析处理OLAP (on-line analytical processing)；OLTP和OLAP的区别：用户和系统的面向性:OLTP面向顾客，而OLAP面向市场；数据内容：OLTP系统管理当前数据，而OLAP管理历史的数据；数据库设计：OLTP系统采用实体-联系（ER)模型和面向应用的数据库设计，而OLAP系统通常采用星形和雪花模型；视图：OLTP系统主要关注一个企业或部门内部的当前数据，而OLAP 系统主要关注汇总的统一的数据；访问模式：OLTP访问主要有短的原子事务组成，而OLAP系统的访问大部分是只读操作，尽管许多可能是复杂的查询。

数据挖掘介绍数据挖掘介绍2011年02月28日星期一12：46数据挖掘(Data Mining)是一个多学科交叉研究领域，它融合了数据库(Database)技术、人工智能(Artificial Intelligence)、机器学习(Machine Learning)、统计学(Statistics)、知识工程(Knowledge Engineering)、面向对象方法(Object-Oriented Method)、信息检索(Information Retrieval)、高性能计算(High-Performance Computing)以及数据可视化(Data Visualization)等最新技术的研究成果。

经过十几年的研究，产生了许多新概念和方法。

特别是最近几年，一些基本概念和方法趋于清晰，它的研究正向着更深入的方向发展。

数据挖掘之所以被称为未来信息处理的骨干技术之一，主要在于它以一种全新的概念改变着人类利用数据的方式。

二十世纪，数据库技术取得了决定性的成果并且已经得到广泛的应用。

但是，数据库技术作为一种基本的信息存储和管理方式，仍然以联机事务处理(OLTP：On-Line Transaction Processing)为核心应用，缺少对决策、分析、预测等高级功能的支持机制。

众所周知，随着数据库容量的膨胀，特别是数据仓库(Data Warehouse)以及Web等新型数据源的日益普及，联机分析处理(OLAP：On-Line Analytic Processing)、决策支持(Decision Support)以及分类(Classification)、聚类(Clustering)等复杂应用成为必然。

面对这一挑战，数据挖掘和知识发现(Knowledge Discovery)技术应运而生，并显示出强大的生命力。

数据挖掘和知识发现使数据处理技术进入了一个更高级的阶段。

它不仅能对过去的数据进行查询，并且能够找出过去数据之间的潜在联系，进行更高层次的分析，以便更好地作出理想的决策、预测未来的发展趋势等。

数据挖掘简介数据挖掘简介2010-04-28 20：47数据挖掘数据挖掘(Data Mining)是采用数学、统计、人工智能和神经网络等领域的科学方法，从大量数据中挖掘出隐含的、先前未知的、对决策有潜在价值的关系、模式和趋势，并用这些知识和规则建立用于决策支持的模型，为商业智能系统服务的各业务领域提供预测性决策支持的方法、工具和过程。

数据挖掘前身是知识发现(KDD)，属于机器学习的范畴，所用技术和工具主要有统计分析(或数据分析)和知识发现。

知识发现与数据挖掘是人工智能、机器学习与数据库技术相结合的产物，是从数据中发现有用知识的整个过程。

机器学习(Machine Learning)是用计算机模拟人类学习的一门科学，由于在专家系统开发中存在知识获取的瓶颈现象，所以采用机器学习来完成知识的自动获取。

数据挖掘是KDD过程中的一个特定步骤，它用专门算法从数据中抽取模式(Patterns)。

1996年，Fayyad、Piatetsky-Shapiror和Smyth将KDD 过程定义为：从数据中鉴别出有效模式的非平凡过程，该模式是新的、可能有用的和最终可理解的；KDD是从大量数据中提取出可信的、新颖的、有效的，并能被人理解的模式的处理过程，这种处理过程是一种高级的处理过程。

数据挖掘则是按照既定的业务目标，对大量的企业数据进行探索，揭示隐藏其中的规律性，并进一步将其设计为先进的模型和有效的操作。

在日常的数据库操作中，经常使用的是从数据库中抽取数据以生成一定格式的报表。

KDD与数据库报表工具的区别是：数据库报表制作工具是将数据库中的某些数据抽取出来，经过一些数学运算，最终以特定的格式呈现给用户；而KDD则是对数据背后隐藏的特征和趋势进行分析，最终给出关于数据的总体特征和发展趋势。

报表工具能制作出形如"上学期考试未通过及成绩优秀的学生的有关情况"的表格；但它不能回答"考试未通过及成绩优秀的学生在某些方面有些什么不同的特征"的问题，而KDD就可以回答。

1.知识发现是一个完整的数据分析过程，主要包括以下几个步骤:确定知识发现的目标、数据采集、数据探索、数据预处理、__数据挖掘_、模式评估。

2._特征性描述_是指从某类对象关联的数据中提取这类对象的共同特征（属性）。

3.回归与分类的区别在于：___回归__可用于预测连续的目标变量，___分类__可用于预测离散的目标变量。

4.__数据仓库_是面向主题的、集成的、相对稳定的、随时间不断变化的数据集合，与传统数据库面向应用相对应。

5.Pandas的两种核心数据结构是：__Series__和__DataFrame__。

6.我们可以将机器学习处理的问题分为两大类：监督学习和_无监督学习__。

7.通常，在训练有监督的学习的机器学习模型的时候，会将数据划分为__训练集__和__测试集__，划分比例一般为0.75：0.25。

1.分类问题的基本流程可以分为__训练__和__预测_两个阶段。

2.构建一个机器学习框架的基本步骤：数据的加载、选择模型、模型的训练、__模型的预测_、模型的评测、模型的保存。

3.__回归分析_是确定两种或两种以上变量间相互依赖关系的一种统计分析方法是应用及其广泛的数据分析方法之一。

4.在机器学习的过程中，我们将原始数据划分为训练集、验证集、测试集之后，可用的数据将会大大地减少。

为了解决这个问题，我们提出了__交叉验证_这样的解决办法。

5.当机器学习把训练样本学得“太好”的时候，可能已经把训练样本自身的一些特点当作所有潜在样本都会具有的一般性质，这样会导致泛化性能下降。

这种现象在机器学习中称为__过拟合__。

6.常用的降维算法有__主成分分析__、___因子分析__和独立成分分析。

7.关联规则的挖掘过程主要包含两个阶段__发现频繁项集_和__产生关联规则__1、数据仓库是一个（面向主题的）、（集成的）、（相对稳定的）、（反映历史变化）的数据集合，通常用于（决策支持的）目的2、如果df1=pd.DataFrame（[[1,2,3],[NaN,NaN,2],[NaN,NaN,NaN],[8,8,NaN]]），则df1.fillna（100）=？（[[1,2,3],[100,100,2],[100,100,100],[8,8,100]]）3、数据挖掘模型一般分为（有监督学习）和（无监督学习）两大类4、如果df=pd.DataFrame（｛'key':['A','B','C','A','B','C','A','B','C'],'data':［0,5,10,5,10,15,10,15,20］｝），则df.groupby（'key'）.sum（）=？（A:15,B:30,C:45）5、聚类算法根据产生簇的机制不同，主要分成（划分聚类）、（层次聚类）和（密度聚类）三种算法6、常见的数据仓库体系结构包括（两层架构）、（独立型数据集市）、（依赖型数据集市和操作型数据存储）、（逻辑型数据集市和实时数据仓库）等四种7、Pandas最核心的三种数据结构，分别是（Series）、（DataFrame）和（Panel）8、数据挖掘中计算向量之间相关性时一般会用到哪些距离？（欧氏距离、曼哈顿距离、切比雪夫距离、闵可夫斯基距离、杰卡德距离、余弦夹角、相关距离、汉明距离（答对3个即可））等9、在决策树算法中用什么指标来选择分裂属性非常关键，其中ID3算法使用（信息增益），C4.5算法使用（信息增益率），CART算法使用（基尼系数）10、OLAP的中文意思是指（在线分析处理）1、常见的数据仓库体系结构包括（两层架构）、（独立型数据集市）、（依赖型数据集市和操作型数据存储）、（逻辑型数据集市和实时数据仓库）等四种2、Pandas最核心的三种数据结构，分别是（Series）、（DataFrame）和（Panel）3、数据挖掘中计算向量之间相关性时一般会用到哪些距离？（欧氏距离、曼哈顿距离、切比雪夫距离、闵可夫斯基距离、杰卡德距离、余弦夹角、相关距离、汉明距离（答对3个即可））等4、在决策树算法中用什么指标来选择分裂属性非常关键，其中ID3算法使用（信息增益），C4.5算法使用（信息增益率），CART算法使用（基尼系数）5、OLAP的中文意思是指（在线分析处理）6、如果ser=pd.Series（np.arange（4,0,-1）,index=［"a","b","c","d"］）,则ser.values二？（［4,3,2,1］）,ser*2=（［&6,4,2］）7、线性回归最常见的两种求解方法，一种是（最小二乘法），另一种是（梯度下降法）8、对于回归分析中常见的过拟合现象，一般通过引入（正则化）项来改善，最有名的改进算法包括（Ridge岭回归）和（Lasso套索回归）9、Python字符串str='HelloWorld!',print（str[-2]）的结果是？（d）10、数据抽取工具ETL主要包括（抽取）、（清洗）、（转换）、（装载）1、数据挖掘中计算向量之间相关性时一般会用到哪些距离？（欧氏距离、曼哈顿距离、切比雪夫距离、闵可夫斯基距离、杰卡德距离、余弦夹角、相关距离、汉明距离（答对3个即可））等2、在决策树算法中用什么指标来选择分裂属性非常关键，其中ID3算法使用（信息增益），C4.5算法使用（信息增益率），CART算法使用（基尼系数）3、OLAP的中文意思是指（在线分析处理4、如果ser=pd.Series（np.arange（4,0,-1）,index=["a","b","c","d"]）,则ser.values二？（[4,3,2,1]）,ser*2=（[&6,4,2]）5、线性回归最常见的两种求解方法，一种是（最小二乘法），另一种是（梯度下降法）6、对于回归分析中常见的过拟合现象，一般通过引入（正则化）项来改善，最有名的改进算法包括（Ridge岭回归）和（Lasso套索回归）7、Python字符串str='HelloWorld!',print（str[-2]）的结果是？（d）8、数据抽取工具ETL主要包括（抽取）、（清洗）、（转换）、（装载）9、CF是协同过滤的简称，一般分为基于（用户）的协同过滤和基于（商品）的协同过滤10、假如Li二[1,2,3,4,5,6]，则Li[:：-1]的执行结果是（[6,5,4,3,2,1]）1、数据仓库是一个（面向主题的）、（集成的）、（相对稳定的）、（反映历史变化）的数据集合，通常用于（决策支持的）目的2、如果df1=pd.DataFrame（[[1,2,3],[NaN,NaN,2],[NaN,NaN,NaN],[8,8,NaN]]），则df1.fillna（100）=？（[[1,2,3],[100,100,2],[100,100,100],[8,8,100]]）3、数据挖掘模型一般分为（有监督学习）和（无监督学习）两大类4、如果df=pd.DataFrame（｛'key':['A','B','C','A','B','C','A','B','C'],'data':［0,5,10,5,10,15,10,15,20］｝），则df.groupby（'key'）.sum（）=？（A:15,B:30,C:45）5、聚类算法根据产生簇的机制不同，主要分成（划分聚类）、（层次聚类）和（密度聚类）三种算法6、如果ser=pd.Series（np.arange（4,0,-1）,index=［"a","b","c","d"］）,则ser.values二？（［4,3,2,l］）,ser*2=（［&6,4,2］）7、线性回归最常见的两种求解方法，一种是（最小二乘法），另一种是（梯度下降法）8、对于回归分析中常见的过拟合现象，一般通过引入（正则化）项来改善，最有名的改进算法包括（Ridge岭回归）和（Lasso套索回归）9、Python字符串str='HelloWorld!',print（str［-2］）的结果是？（d）10、数据抽取工具ETL主要包括（抽取）、（清洗）、（转换）、（装载）1、数据仓库是一个（面向主题的）、（集成的）、（相对稳定的）、（反映历史变化）的数据集合,通常用于（决策支持的）目的2、数据挖掘模型一般分为（有监督学习）和（无监督学习）两大类3、聚类算法根据产生簇的机制不同,主要分成（划分聚类）、（层次聚类）和（密度聚类）三种算法4、Pandas最核心的三种数据结构，分别是（Series）、（DataFrame）和（Panel）5、在决策树算法中用什么指标来选择分裂属性非常关键，其中ID3算法使用（信息增益），C4.5算法使用（信息增益率），CART算法使用（基尼系数）6、如果ser=pd.Series（np.arange（4,0,-1）,index=［"a","b","c","d"］）,则ser.values二？（［4,3,2,1］）,ser*2=（［&6,4,2］）7、对于回归分析中常见的过拟合现象，一般通过引入（正则化）项来改善，最有名的改进算法包括（Ridge岭回归）和（Lasso套索回归）8、数据抽取工具ETL主要包括（抽取）、（清洗）、（转换）、（装载）9、CF是协同过滤的简称，一般分为基于（用户）的协同过滤和基于（商品）的协同过滤10、假如Li二［1,2,3,4,5,6］，则Li［:：-1］的执行结果是（［6,5,4,3,2,1］）1如果dfl二pd.DataFrame（[[l,2,3],[NaN,NaN,2],[NaN,NaN,NaN],[&&NaN]]）, 则dfl.fillna（100）=?（[[l,2,3],[100,100,2],[100,100,100],[8,8,100]]）2、如果df=pd.DataFrame（｛'key':['A','B','C','A','B','C','A','B','C'],'data':[0,5,10,5,10,15,10 ,15,20]｝）则df.groupby（'key'）.sum（）=？（A:15,B:30,C:45）3、常见的数据仓库体系结构包括（两层架构）、（独立型数据集市）、（依赖型数据集市和操作型数据存储）、（逻辑型数据集市和实时数据仓库）等四种4、数据挖掘中计算向量之间相关性时一般会用到哪些距离？（欧氏距离、曼哈顿距离、切比雪夫距离、闵可夫斯基距离、杰卡德距离、余弦夹角、相关距离、汉明距离（答对3个即可））等5、OLAP的中文意思是指（在线分析处理）6、线性回归最常见的两种求解方法，一种是（最小二乘法），另一种是（梯度下降法）7、Python字符串str='HelloWorld!',print（str[-2]）的结果是？（d）8、数据抽取工具ETL主要包括（抽取）、（清洗）、（转换）、（装载）9、CF是协同过滤的简称，一般分为基于（用户）的协同过滤和基于（商品）的协同过滤10、假如Li二[1,2,3,4,5,6]，则Li[::-1]的执行结果是（[6,5,4,3,2,1]）1、数据挖掘模型一般分为（有监督学习）和（无监督学习）两大类2、聚类算法根据产生簇的机制不同，主要分成（划分聚类）、（层次聚类）和（密度聚类）三种算法3、常见的数据仓库体系结构包括（两层架构）、（独立型数据集市）、（依赖型数据集市和操作型数据存储）、（逻辑型数据集市和实时数据仓库）等四种4、数据挖掘中计算向量之间相关性时一般会用到哪些距离？（欧氏距离、曼哈顿距离、切比雪夫距离、闵可夫斯基距离、杰卡德距离、余弦夹角、相关距离、汉明距离（答对3个即可））等5、如果ser=pd.Series（np.arange（4,0,-1）,index=["a","b","c","d"]）,则ser.values二？（［4,3,2,l］）,ser*2=（［8,6,4,2］）6、对于回归分析中常见的过拟合现象，一般通过引入（正则化）项来改善，最有名的改进算法包括（Ridge岭回归）和（Lasso套索回归）7、Python字符串str='HelloWorld!',print（str［-2］）的结果是？（d）8、数据抽取工具ETL主要包括（抽取）、（清洗）、（转换）、（装载）9、CF是协同过滤的简称，一般分为基于（用户）的协同过滤和基于（商品）的协同过滤10、假如Li二［1,2,3,4,5,6］，则Li［:：-1］的执行结果是（［6,5,4,3,2,1］）1、数据仓库是一个（面向主题的）、（集成的）、（相对稳定的）、（反映历史变化）的数据集合，通常用于（决策支持的）目的2、如果df=pd.DataFrame（｛'key':［'A','B','C','A','B','C','A','B','C'］,'data':［0,5,10,5,10,15,10,15,20］｝）则df.groupby（'key'）.sum（）=？（A:15,B:30,C:45）3、数据挖掘中计算向量之间相关性时一般会用到哪些距离？（欧氏距离、曼哈顿距离、切比雪夫距离、闵可夫斯基距离、杰卡德距离、余弦夹角、相关距离、汉明距离（答对3个即可））等4、在决策树算法中用什么指标来选择分裂属性非常关键，其中ID3算法使用（信息增益），C4.5算法使用（信息增益率），CART算法使用（基尼系数）5、OLAP的中文意思是指（在线分析处理）6、如果ser=pd.Series（np.arange（4,0,-1）,index=［"a","b","c","d"］）,则ser.values二？（［4,3,2,1］）,ser*2=（［&6,4,2］）7、线性回归最常见的两种求解方法，一种是（最小二乘法），另一种是（梯度下降法）8、对于回归分析中常见的过拟合现象，一般通过引入（正则化）项来改善，最有名的改进算法包括（Ridge岭回归）和（Lasso套索回归）9、数据抽取工具ETL主要包括（抽取）、（清洗）、（转换）、（装载）10、CF是协同过滤的简称，一般分为基于（用户）的协同过滤和基于（商品）的协同过滤。

数据挖掘现阶段最常用的算法数据挖掘最常见的十种方法下面介绍十种数据挖掘(Data Mining )的分析方法，以便于大家对模型的初步 了解，这些都是日常挖掘中经常遇到的算法，希望对大家有用！(甚至有数据 挖掘公司，用其中的一种算法就能独步天下)不疔電常崽匕j 世的匸建忙於4i mJ —H HI - inr_ - . 4ll.Xi«¥t 朋趨感曲甜匚 J u 、亠 J 2.」~ "l T —— ™ —II *.| < '：J!；-1 期上色埋焰虫；I ____ __ n _______________ J1、基于历史的 MBR 分析（Memory-Based Reasoning ； MBR基于历史的MBR 分析方法最主要的概念是用已知的案例(case )来预测未来案 例的一些属性(attribute )，通常找寻最相似的案例来做比较。

记忆基础推理法中有两个主要的要素，分别为距离函数( dista nee fun ction ) 与结合函数(comb in ation function )。

距离函数的用意在找出最相似的案例； 结合函数则将相似案例的属性结合起来，以供预测之用。

记忆基础推理法的优 点是它容许各种型态的数 据，这些数据不需服从某些假设。

另一个优点是其具 备学习能扩画丘癢怡息力，它能藉由旧案例的学习来获取关于新案例的知识。

较令人诟病的是它需要大量的历史数据，有足够的历史数据方能做良好的预测。

此外记忆基础推理法在处理上亦较为费时，不易发现最佳的距离函数与结合函数。

其可应用的范围包括欺骗行为的侦测、客户反应预测、医学诊疗、反应的归类等方面。

2、购物篮分析(Market Basket Analysis )购物篮分析最主要的目的在于找出什么样的东西应该放在一起？商业上的应用在藉由顾客的购买行为来了解是什么样的顾客以及这些顾客为什么买这些产品，找出相关的联想(association )规则，企业藉由这些规则的挖掘获得利益与建立竞争优势。

数据挖掘算法详解数据预处理：数据挖掘技术是面向大型数据集的,而且源数据库中的数据是动态变化的，数据存在噪声、不确定性、信息丢失、信息冗余、数据分布稀疏等问题这就要求我们必须对原始数据进行清洗,尽可能的保证数据的质量。

另外，由于挖掘的实际需要,往往需要对原始数据进行一系列的转换和处理,从而得到我们真正需要的数据。

此外,在实际情况中，为了提高建模速度，我们可能只需要部分数据参与建模，并指定一些必要的属性。

所有这些在建模前对数据的处理操作,我们都称其为”数据预处理”。

数据预处理的好坏在很大程度上决定了数据挖掘的质量。

结点介绍：本系统提供的数据预处理方法主要有：过滤、抽样、公式、连接、联合、排序、字段过滤、替代规则、类型转换、装箱。

过滤：通过对指定字段进行条件限制（大于、小于、等于、类似等条件），从而对数据进行筛选,过滤掉不需要的数据。

抽样：通过各种抽样方法（随机抽样、按比例抽样、按指定数据量）抽取一部分数据。

公式：公式和参数模型相对应。

通过参数模型构造公式,通过公式操作可对由源数据构造新字段。

联合：按照指定字段将两张表进行并集操作排序：按照指定字段进行排序操作连接：按照指定字段将两张表进行关联操作替代规则：缺失值处理方法，用某字段的最小值（最大值、均值等）替换该字段中的缺失值，或删除该行或该列。

字段过滤：对数据进行汇总操作。

类型转换：不同数据类型之间进行转换。

主要有数值型转换为字符型,字符型转换为数值型,日期型转换为字符型。

装箱：对数据进行离散化。

可单独对不同数据类型的字段进行箱操作也可对不同数据类型字段的组合进行装箱操作。

统计分析：本系统提供的统计分析方法有：相关分析、归纳分析和波动分析。

相关分析：相关性度量是两个变量间线性关系强弱程度的一种测度。

如果一个变量X恰好可表示成另一个变量的Y的线性函数，那么相关系数为1或.取1 或-1依赖于两个变量是正相关或负相关。

如果两变量间的线性相关系数为0 ,这意味着两变量无线性关系。