数据挖掘复习提纲
分值分布
一、选择题（单选10道20分多选5道20分）
二、填空题（10道20分）
三、名词解释（5道20分）
四、解答题（4道20分）
五、应用题（Apriori算法20分）
1．什么是数据挖掘？
1答：简单地说，数据挖掘是从大量数据中提取或挖掘知识。
具体地说，数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。
2. 什么是数据清理？
2答：填写缺失的值，平滑噪声数据，识别、删除离群点，解决不一致性
3. 什么是数据仓库？
3答：是一个面向主题的、集成的、随时间而变化的、不容易丢失的数据集合，支持管理部门决策的过程。（最显著特征：数据不易丢失2分选择题）
4. 什么是数据集成？
4.数据集成:集成多个数据库、数据立方体或文件
5. 什么是数据变换？
5答：将数据转换或统一成适合于挖掘的形式。
6. 什么是数据归约？
6答：得到数据集的压缩表示，它小得多，但可以得到相同或相近的结果
7. 什么是数据集市？
7答：数据集市包含企业范围数据的一个子集，对于特定的用户群是有用的。其范围限于选定的主题。
(是完整的数据仓库的一个逻辑子集，而数据仓库正是由所有的数据集市有机组合而成的) 8.在数据挖掘过程中，耗时最长的步骤是什么？
8.答：数据清理
9.数据挖掘系统可以根据什么标准进行分类？
9答：根据挖掘的数据库类型分类、根据挖掘的知识类型分类、根据挖掘所用的技术分类、根据应用分类
10. 多维数据模型上的OLAP 操作包括哪些？
10.答：上卷、下钻、切片和切块、转轴 / 旋转、其他OLAP操作
11. OLAP 服务器类型有哪几种？
11.答：关系 OLAP 服务器(ROLAP)、多维 OLAP 服务器(MOLAP)、混合 OLAP 服务器 (HOLAP)、特殊的 SQL 服务器
12. 数据预处理技术包括哪些？（选择）
12.答：聚集、抽样、维规约、特征子集选择、特征创建、离散化和二元化、变量变换。
13. 形成“脏数据”的原因有哪些？
13. 答：滥用缩写词、数据输入错误、数据中的内嵌控制信息、不同的的惯用语、重复记录、丢失值、拼写变化、不同的计量单位、过时的编码
14. 与数据挖掘类似的术语有哪些?
14答：数据库中挖掘知识、知识提取、数据/模式分析、数据考古和数据捕捞。
15.常用的四种兴趣度的客观度量是什么？
15答：简单性、确定性、实用性、新颖性
16.数据立方体的物化可以有哪三种选择？
16
?全物化
?不物化
?部分物化
17. 从软件工程的观点来看，数据仓库的设计和构造包含哪些步骤？
17 答：规划、需求研究、问题分析、仓库设计、数据集成和测试、部署数据仓库。
18. 在数据挖掘系统中，为什么数据清理十分重要？
18答：脏数据的普遍存在，使得在大型数据库中维护数据的正确性和一致性成为一个极其困难的任务。
19.脏数据形成的原因有哪些？如何理解现实世界的数据是“肮脏的”？
19答：滥用缩写词、数据输入错误、数据中的内嵌控制信息、不同的的惯用语、重复记录、丢失值、拼写变化、不同的计量单位、过时的编码
不完整的、含噪声的、不一致的、重复的
20. 数据清理时，对空缺值有哪些处理方法？
20.答：忽略元组、人工填写缺失值、使用一个全局变量填充缺失值、使用属性的平均值填充缺失值、使用与给定元组属同一类的所有样本的属性均值、使用最可能的值填充缺失值21. 什么是数据变换？包括哪些内容？
21. 答：将数据转换或统一成适合于挖掘的形式。
包括：光滑、聚集、数据泛化、规范化、属性构造
22. 数据归约的策略包括哪些？
22.答：数据立方体聚集、性子集选择、维度归约、数值归约、离散化和概念分层产生
23. ．提高数据挖掘算法效率有哪几种思路？
23.答：减少对数据的扫描次数；缩小产生的候选项集；改进对候选项集的支持度计算方法
24. 假定属性income的最小值与最大值分别为12000和98000到区间[0.0，1.0]，根据min-max 规范化，income的值73600将变为＿_0.716____＿。
25. 假定属性income的平均值和标准差分别为54000和16000，使用Z-score 规范化，值73600被转换为＿1.225＿。
26. 假定A的值由-986到917.A的最大绝对值为986，使用小数定标规范化，-986被规范化为＿-0.986＿
27. 从结构角度来看，有哪三种数据仓库模型。
27. 答：企业仓库、数据集市、虚拟仓库
28. 什么是聚类分析？
28.答：将物理或抽象对象的集合分组成为由类似的对象组成的多个类的过程
30. 可以对按季度汇总的销售数据进行___B___，来观察按月汇总的数据。
A 上卷
B 下钻
C 切片
D 切块
31. 可以对按城市汇总的销售数据进行____A__，来观察按国家总的数据。
A 上卷
B 下钻
C 切片
D 切块
32. 通过不太详细的数据得到更详细的数据，称为____B____。
A 上卷
B 下钻
C 细化
D 维规约
33. 三层数据仓库结构中，从底层到尾层分别是仓库数据服务器、OLAP服务器、前端客户层_。
34.已知事务数据库D，假定最小支持度为2，求所有的频繁项集
35.给出数据仓库的某种概念模式图，会用DMQL语句描述该概念模式，包括事实与维。
见ppt
?DMQL首先包括定义数据仓库和数据集市的语言原语，这包括两种原语定义：一种是
立方体定义，一种是维定义
?立方体定义 (事实表)
define cube
?维定义 (维表)
define dimension
?第一次作为维表定义“cube definition”
?然后：define dimension
实例：使用DMQL定义星型模式
?define cube sales_star [time, item, branch, location]:
?dollars_sold = sum(sales_in_dollars), avg_sales = avg(sales_in_dollars), units_sold = count(*)
?define dimension time as (time_key, day, day_of_week, month, quarter, year) ?define dimension item as (item_key, item_name, brand, type, supplier_type) ?define dimension branch as (branch_key, branch_name, branch_type)
?define dimension location as (location_key, street, city, province_or_state, country)
实例：使用DMQL定义雪花模式
define cube sales_snowflake [time, item, branch, location]:
dollars_sold = sum(sales_in_dollars), avg_sales = avg(sales_in_dollars), units_sold = count(*)
define dimension time as (time_key, day, day_of_week, month, quarter, year)
define dimension item as (item_key, item_name, brand, type, supplier(supplier_key, supplier_type))
define dimension branch as (branch_key, branch_name, branch_type)
define dimension location as (location_key, street, city(city_key, province_or_state, country))
使用DMQL定义事实星座模式
define cube sales [time, item, branch, location]:
dollars_sold = sum(sales_in_dollars), avg_sales = avg(sales_in_dollars), units_sold = count(*)
define dimension time as (time_key, day, day_of_week, month, quarter, year)
define dimension item as (item_key, item_name, brand, type, supplier_type)
define dimension branch as (branch_key, branch_name, branch_type)
define dimension location as (location_key, street, city, province_or_state, country)
define cube shipping [time, item, shipper, from_location, to_location]:
dollar_cost = sum(cost_in_dollars), unit_shipped = count(*)
define dimension time as time in cube sales
define dimension item as item in cube sales
define dimension shipper as (shipper_key, shipper_name, location as location in cube sales, shipper_type)
define dimension from_location as location in cube sales
define dimension to_location as location in cube sales 36.四种常用的概念分层类型是什么？
36. 答：模式分层、集合分组分层、操作导出的分层、基于规则的分层
37. 各种DMQL子句的表述？(支持度、置信度)
37.见ppt eg:with support threshold = 15%
38.数据挖掘任务的五种原语是什么？
38.答：说明数据库的部分或用户感兴趣的数据集——任务相关数据
要挖掘的知识类型
用于指导挖掘的背景知识
模式评估、兴趣度度量
如何显示发现的知识——发现模式的可视化
39.在进行数据预处理时，对于离群点的处理方法是：视需要而定，有时需要删除，有时需要保留。
40. 多维数据仓库有哪几种概念模型？
40.答：星形模式、雪花形模式或事实星座形模式。
41.Apriori算法的性质是什么？
41答：频繁项集的所有非空子集也必须是频繁的。
A∪B模式不可能比A更频繁地出现
Apriori算法是反单调的，即一个集合如果不能通过测试，则该集合的所有超集也不能通过相同的测试。
Apriori性质通过减少搜索空间，来提高频繁项集逐层产生的效率
42.应用Apriori算法进行寻找频繁项集时，两个关键的步骤是什么?
42答：Apriori算法两个关键的步骤是连接和剪枝。
43.数据挖掘技术的发展动力来自于什么？
43.答：数据爆炸问题
44.“数据挖掘”英文缩写是DM，它源于英文Data Mining
45.“数据挖掘”亦称为KDD，其中文含义是什么?
45.答：数据库中的知识发现
46.max()函数属于分布函数，avg()函数属于代数函数，median()函数属于整体函数
47.数据仓库的特征是什么?
47.答：数据仓库关键特征1——面向主题
面向主题，是数据仓库显著区别于关系数据库系统的一个特征
数据仓库关键特征2——数据集成
数据仓库关键特征3——随时间而变化
数据仓库关键特征4——数据不易丢失
48.数据仓库的概念模式有哪几种？
48.答：最流行的数据仓库概念模型是多维数据模型。
这种模型可以以星型模式、雪花模式、或事实星座模式的形式存在。
49.一个数据立方体有3个维，则它的2-D,3-D方体有几个？
49.3个 1个
50.强关联规则指的是什么？
50.答：支持度置信度大于等于阈值
51.在面向属性的归纳中，对于有大量不同值的属性，如果在其上不存在概化操作符，则应如何处理？如果在其上存在概化操作符呢?
51. 答：删除、概化
52.为定义量化区分规则，人们引入什么作为兴趣度度量？为定义量化特征规则呢？
52答：d_weight t_weight
53.度量数据的中心趋势时，经常使用哪几个度量值？度量离散度呢？
53.答：度量数据的中心趋势时，经常使用：均值、中位值、中列数
度量离散度：最常用度量：五数概括
min、 m、 max 、Q1、、 Q3
A. 变量代换 B. 离散化 海量数据挖掘技术及工程实践》题目 、单选题(共 80 题) 1) ( D ) 的目的缩小数据的取值范围，使其更适合于数据挖掘算法的需要，并且能够得 到 和原始数据相同的分析结果。 A. 数据清洗 B. 数据集成 C. 数据变换 D. 数据归约 2) 某超市研究销售纪录数据后发现，买啤酒的人很大概率也会购买尿布，这种属于数 据挖 掘的哪类问题 (A) A. 关联规则发现 B. 聚类 C. 分类 D. 自然语言处理 3) 以下两种描述分别对应哪两种对分类算法的评价标准 (A) (a) 警察抓小偷，描述警察抓的人中有多少个是小偷的标准。 (b) 描述有多少比例的小偷给警察抓了的标准。 据相分离 (B) 哪一类任务 (C) A. 根据内容检索 B. 建模描述 7) 下面哪种不属于数据预处理的方法 (D) A. Precision,Recall B. Recall,Precision A. Precision,ROC D. Recall,ROC 4) 将原始数据进行集成、 变换、维度规约、数值规约是在以下哪个步骤的任务 (C) 5) A. 频繁模式挖掘 C. 数据预处理 B. D. 当不知道数据所带标签时， 分类和预测 数据流挖掘 可以使用哪种技术促使带同类标签的数据与带其他标签的数 6) A. 分类 C. 关联分析 建立一个模型， B. D. 聚类 隐马尔可夫链 通过这个模型根据已知的变量值来预测其他某个变量值属于数据挖掘的 C. 预测建模 D. 寻找模式和规则
C.聚集 D. 估计遗漏值 8) 假设12 个销售价格记录组已经排序如下：5, 10, 11, 13, 15, 35, 50, 55, 72, 92, 204, 215 使用如下每种方法将它们划分成四个箱。等频(等深)划分时，15 在第几个箱子内(B) A. 第一个 B. 第二个 C. 第三个 D. 第四个 9) 下面哪个不属于数据的属性类型：(D) A. 标称 B. 序数 C.区间 D. 相异 10) 只有非零值才重要的二元属性被称作：( C ) A. 计数属性 B. 离散属性 C.非对称的二元属性 D. 对称属性 11) 以下哪种方法不属于特征选择的标准方法：(D) A. 嵌入 B. 过滤 C.包装 D. 抽样 12) 下面不属于创建新属性的相关方法的是：(B) A. 特征提取 B. 特征修改 C. 映射数据到新的空间 D. 特征构造 13) 下面哪个属于映射数据到新的空间的方法(A) A. 傅立叶变换 B. 特征加权 C. 渐进抽样 D. 维归约 14) 假设属性income 的最大最小值分别是12000元和98000 元。利用最大最小规范化的方 法将属性的值映射到0 至 1 的范围内。对属性income 的73600 元将被转化为：(D) 15) 一所大学内的各年纪人数分别为：一年级200人，二年级160人，三年级130 人，四年 级110 人。则年级属性的众数是：(A) A. 一年级 B. 二年级 C. 三年级 D. 四年级 16) 下列哪个不是专门用于可视化时间空间数据的技术：(B) A. 等高线图 B. 饼图
一、解答题（满分30分，每小题5分） 1. 怎样理解数据挖掘和知识发现的关系？请详细阐述之 首先从数据源中抽取感兴趣的数据，并把它组织成适合挖掘的数据组织形式；然后，调用相应的算法生成所需的知识；最后对生成的知识模式进行评估，并把有价值的知识集成到企业的智能系统中。 知识发现是一个指出数据中有效、崭新、潜在的、有价值的、一个不可忽视的流程，其最终目标是掌握数据的模式。流程步骤：先理解要应用的领域、熟悉相关知识，接着建立目标数据集，并专注所选择的数据子集；再作数据预处理，剔除错误或不一致的数据；然后进行数据简化与转换工作；再通过数据挖掘的技术程序成为模式、做回归分析或找出分类模型；最后经过解释和评价成为有用的信息。 2. 时间序列数据挖掘的方法有哪些，请详细阐述之 时间序列数据挖掘的方法有： 1）、确定性时间序列预测方法:对于平稳变化特征的时间序列来说，假设未来行为与现在的行为有关，利用属性现在的值预测将来的值是可行的。例如，要预测下周某种商品的销售额，可以用最近一段时间的实际销售量来建立预测模型。 2）、随机时间序列预测方法:通过建立随机模型，对随机时间序列进行分析，可以预测未来值。若时间序列是平稳的，可以用自回归(Auto Regressive，简称AR)模型、移动回归模型(Moving Average，简称MA)或自回归移动平均(Auto Regressive Moving Average，简称ARMA)模型进行分析预测。 3）、其他方法:可用于时间序列预测的方法很多，其中比较成功的是神经网络。由于大量的时间序列是非平稳的，因此特征参数和数据分布随着时间的推移而变化。假如通过对某段历史数据的训练，通过数学统计模型估计神经网络的各层权重参数初值，就可能建立神经网络预测模型，用于时间序列的预测。
数据挖掘课程体会 学习数据挖掘这门课程已经有一个学期了，在这十余周的学习过程中，我对数据挖掘这门课程的一些技术有了一定的了解，并明确了一些容易混淆的概念，以下主要谈一下我的心得体会。 近年来，数据挖掘引起了信息产业界的极大关注，其主要原因是存在大量数据，可以广泛使用，并且迫切需要将这些数据转换成有用的信息和知识。数据挖掘就是从大量的数据中，抽取出潜在的、有价值的知识、模型或规则的过程。作为一类深层次的数据分析方法，它利用了数据库、人工智能和数理统计等多方面的技术。 要将庞大的数据转换成为有用的信息，必须先有效率地收集信息。随着科技的进步，功能完善的数据库系统就成了最好的收集数据的工具。数据仓库，简单地说，就是搜集来自其它系统的有用数据，存放在一整合的储存区内。所以其实就是一个经过处理整合，且容量特别大的关系型数据库，用以储存决策支持系统所需的数据，供决策支持或数据分析使用。 数据挖掘的研究领域非常广泛，主要包括数据库系统、基于知识的系统、人工智能、机器学习、知识获取、统计学、空间数据库和数据可视化等领域。主要是可以做以下几件事：分类、估计、预测、关联分析、聚类分析、描述和可视化、复杂数据类型挖掘。在这里就不一一介绍了。 在学习关联规则的时候，提出了一个关于啤酒与纸尿布的故事：在一家超市里，纸尿布与啤酒被摆在一起出售，但是这个奇怪的举措却使得啤酒和纸尿布的销量双双增加了。其实，这是由于这家超市对其顾客的购物行为进行购物篮分析，在这些原始交易数据的基础上，利用数据挖掘方法对这些数据进行分析和挖掘。从而意外的发现跟纸尿布一起购买最多的商品竟是啤酒。按我们的常规思维，啤酒与纸尿布是两个毫无关联的商品，但是借助数据挖掘技术对大量交易数据进行挖掘分析后，却可以寻求到这一有价值的规律。这个故事在一定程度上说明了数据挖掘技术的巨大价值。 总之，非常感谢周教员在这十余周的精彩授课，让我受益匪浅，我会继续学习这门课程，努力为今后的课题研究或论文打好基础。
数据挖掘-题库带答案 1、最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡() 答案：正确 2、决策将日益基于数据和分析而作出,而并非基于经验和直觉() 答案：错误 解析：决策将日益基于数据和分析而作出,而并非基于经验和直觉 3、2011年被许多国外媒体和专家称为“大数据元年”() 答案：错误 解析：2013年被许多国外媒体和专家称为“大数据元年” 4、我国网民数量居世界之首,每天产生的数据量也位于世界前列() 答案：正确 5、商务智能的联机分析处理工具依赖于数据库和数据挖掘。() 答案：错误 解析：商务智能的联机分析处理工具依赖于数据仓库和多维数据挖掘。 6、数据整合、处理、校验在目前已经统称为 EL() 答案：错误 解析：数据整合、处理、校验在目前已经统称为 ETL 7、大数据时代的主要特征() A、数据量大 B、类型繁多 C、价值密度低 D、速度快时效高 答案： ABCD 8、下列哪项不是大数据时代的热门技术() A、数据整合 B、数据预处理 C、数据可视化 D、 SQL
答案： D 9、()是一种统计或数据挖掘解决方案,包含可在结构化和非结构化数据中使用以确定未来结果的算法和技术。 A、预测 B、分析 C、预测分析 D、分析预测 答案： C 10、大数据发展的前提? 答案： 解析：硬件成本的降低,网络带宽的提升,云计算的兴起,网络技术的发展,智能终端的普及,电子商务、社交网络、电子地图等的全面应用,物联网的兴起 11、调研、分析大数据发展的现状与应用领域。? 答案： 解析：略 12、大数据时代的主要特征? 答案： 解析：数据量大(Volume) 第一个特征是数据量大。大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)。 类型繁多(Variety) 第二个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等,多类型的数据对数据的处理能力提出了更高的要求。 价值密度低(Value) 第三个特征是数据价值密度相对较低。如随着物联网的广泛应用,信息感知无处不在,信息海量,但价值密度较低,如何通过强大的机器算法更迅速地完成数据的价值“提纯”,是大数据时代亟待解决的难题。 速度快、时效高(Velocity) 第四个特征是处理速度快,时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。 13、列举大数据时代的主要技术? 答案： 解析：预测分析: 预测分析是一种统计或数据挖掘解决方案,包含可在结构化和非结构化数据中使用以确定未来结果的算法和技术。可为预测、优化、预报和模拟等许多其他用途而部署。随着现在硬件和软件解决方案的成熟,许多公司利用大数据技术来收集海量数据、训练模型、优化模型,并发布预测模型来提高业务
一、解答题（满分3０分，每小题5分) 1. 怎样理解数据挖掘和知识发现的关系?请详细阐述之 首先从数据源中抽取感兴趣的数据，并把它组织成适合挖掘的数据组织形式;然后,调用相应的算法生成所需的知识;最后对生成的知识模式进行评估，并把有价值的知识集成到企业的智能系统中。 知识发现是一个指出数据中有效、崭新、潜在的、有价值的、一个不可忽视的流程，其最终目标是掌握数据的模式。流程步骤:先理解要应用的领域、熟悉相关知识，接着建立目标数据集，并专注所选择的数据子集;再作数据预处理，剔除错误或不一致的数据；然后进行数据简化与转换工作；再通过数据挖掘的技术程序成为模式、做回归分析或找出分类模型；最后经过解释和评价成为有用的信息。 2.时间序列数据挖掘的方法有哪些，请详细阐述之 时间序列数据挖掘的方法有: １)、确定性时间序列预测方法:对于平稳变化特征的时间序列来说，假设未来行为与现在的行为有关，利用属性现在的值预测将来的值是可行的。例如，要预测下周某种商品的销售额，可以用最近一段时间的实际销售量来建立预测模型。 ２）、随机时间序列预测方法：通过建立随机模型,对随机时间序列进行分析,可以预测未来值。若时间序列是平稳的,可以用自回归(Auto Ｒegressiｖe，简称AR)模型、移动回归模型(Ｍovｉng Ａveｒage,简称ＭＡ）或自回归移动平均(Aｕto Regrｅssive Moｖiｎg Aｖeraｇe，简称AＲMＡ)模型进行分析预测。 3)、其他方法:可用于时间序列预测的方法很多,其中比较成功的是神经网络。由于大量的时间序列是非平稳的,因此特征参数和数据分布随着时间的推移而变化。假如通过对某段历史数据的训练，通过数学统计模型估计神经网络的各层权重参数初值，就可能建立神经网络预测模型,用于时间序列的预测。
数据仓库与数据挖掘 第一章课后习题 一：填空题 1）数据库中存储的都是数据，而数据仓库中的数据都是一些历史的、存档的、归纳的、计算的数据。 2）数据仓库中的数据分为四个级别：早起细节级、当前细节级、轻度综合级、高度综合级。3）数据源是数据仓库系统的基础，是整个系统的数据源泉，通常包括业务数据和历史数据。4）元数据是“关于数据的数据”。根据元数据用途的不同将数据仓库的元数据分为技术元数据和业务元数据两类。 5）数据处理通常分为两大类：联机事务处理和联机事务分析 6）Fayyad过程模型主要有数据准备，数据挖掘和结果分析三个主要部分组成。 7）如果从整体上看数据挖掘技术，可以将其分为统计分析类、知识发现类和其他类型的数据挖掘技术三大类。 8）那些与数据的一般行为或模型不一致的数据对象称做孤立点。 9）按照挖掘对象的不同，将Web数据挖掘分为三类：web内容挖掘、web结构挖掘和web 使用挖掘。 10）查询型工具、分析型工具盒挖掘型工具结合在一起构成了数据仓库系统的工具层，它们各自的侧重点不同，因此适用范围和针对的用户也不相同。 二：简答题 1）什么是数据仓库？数据仓库的特点主要有哪些？ 数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支
持管理决策。 主要特点：面向主题组织的、集成的、稳定的、随时间不断变化的、数据的集合性、支持决策作用 2）简述数据挖掘的技术定义。 从技术角度看，数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际数据中，提取隐含在其中的、人们不知道的、但又是潜在有用的信息和知识的过程。 3）什么是业务元数据？ 业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够读懂数据仓库中的数据 4）简述数据挖掘与传统分析方法的区别。 本质区别是：数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先前未知、有效和实用三个特征。 5）简述数据仓库4种体系结构的异同点及其适用性。 a.虚拟的数据仓库体系结构 b.单独的数据仓库体系结构 c.单独的数据集市体系结构 d.分布式数据仓库结构
数据挖掘课程报告 学习“数据挖掘”这门课程已经有一个学期了，在这十余周的学习过程中，我对数据挖掘这门技术有了一定的了解，明确了一些以前经常容易混淆的概念，并对其应用以及研究热点有了进一步的认识。以下主要谈一下我的心得体会，以及我对数据挖掘这项课题的见解。 随着数据库技术和计算机网络的迅速发展以及数据库管理系统的广泛应用，
人们积累的数据越来越多，而数据挖掘(Data Mining)就是在这样的背景下诞生的。 简单来说，数据挖掘就是从大量的数据中，抽取出潜在的、有价值的知识、模型或规则的过程。作为一类深层次的数据分析方法，它利用了数据库、人工智能和数理统计等多方面的技术。从某种角度上来说，数据挖掘可能并不适合进行科学研究，因为从本质上来说，数据挖掘这个技术是不能证明因果的，以一个最典型的例子来说，例如数据挖掘技术可以发现啤酒销量和尿布之间的关系，但是显然这两者之间紧密相关的关系可能在理论层面并没有多大的意义。不过，仅以此来否定数据挖掘的意义，显然就是对数据挖掘这项技术价值加大的抹杀，显然，数据挖掘这项技术从设计出现之初，就不是为了指导或支持理论研究的，它的重要意义在于，它在应用领域体现出了极大地优越性。 首先有一点是我们必须要明确的，即我们为什么需要数据挖掘这门技术？这也是在开课前一直困扰我的问题。数据是知识的源泉，然而大量的数据本身并不意味信息。尽管现代的数据库技术使我们很容易存储大量的数据，但现在还没有一种成熟的技术帮助我们分析、理解这些数据。数据的迅速增加与数据分析方法的滞后之间的矛盾越来越突出，人们希望在对已有的大量数据分析的基础上进行研究，但是目前所拥有的数据分析工具很难对数据进行深层次的处理，使得人们只能望“数”兴叹。数据挖掘正是为了解决传统分析方法的不足，并针对大规模数据的分析处理而出现的。数据挖掘可以帮助人们对大规模数据进行高效的分析处理，以节约时间，将更多的精力投入到更高层的研究中，从而提高科研工作的效率。 那么数据挖掘可以做些什么呢？数据挖掘的研究领域非常广泛，主要包括数据库系统、基于知识的系统、人工智能、机器学习、知识获取、统计学、空间数据库和数据可视化等领域。具体来说，它可以做这七件事情：分类，估计，预测，关联分析，聚类分析，描述和可视化，复杂数据类型挖掘。在本学期的学习过程中，我们对大部分内容进行了较为详细的研究，并且建立了一些基本的概念，对将来从事相关方向的研究奠定了基础。由于篇幅限制，就不对这些方法一一讲解了，这里只谈一下我在学习工程中的一些见解和心得。 在学习关联规则的时候，我们提到了一个关于“尿布与啤酒”的故事：在一
一、何为数据仓库？其主要特点是什么？数据仓库与KDD的联系是什么？ 数据仓库是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策。 特点： 1、面向主题 操作型数据库的数据组织面向事务处理任务，各个业务系统之间各自分离，而数据仓库中的数据是按照一定的主题域进行组织的。 2、集成的 数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。 3、相对稳定的 数据仓库的数据主要供企业决策分析之用，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。 4、反映历史变化 数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到目前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。 所谓基于数据库的知识发现（KDD）是指从大量数据中提取有效的、新颖的、潜在有用的、最终可被理解的模式的非平凡过程。数据仓库为KDD提供了数据环境，KDD从数据仓库中提取有效的，可用的信息 二、 数据库有4笔交易。设minsup=60%，minconf=80%。 TID DATE ITEMS_BOUGHT T100 3/5/2009 {A, C, S, L} T200 3/5/2009 {D, A, C, E, B} T300 4/5/2010 {A, B, C} T400 4/5/2010 {C, A, B, E} 使用Apriori算法找出频繁项集，列出所有关联规则。 解：已知最小支持度为60%，最小置信度为80% 1）第一步，对事务数据库进行一次扫描，计算出D中所包含的每个项目出现的次数，生成候选1-项集的集合C1。
12/13 年第2学期《数据挖掘与知识发现》期末考试试卷及答案 一、什么是数据挖掘？什么是数据仓库？并简述数据挖掘的步骤。（20分） 数据挖掘是从大量数据中提取或发现（挖掘）知识的过程。 数据仓库是面向主题的、集成的、稳定的、不同时间的数据集合，用于支持经营管理中的决策制定过程。 步骤： 1）数据清理（消除噪声或不一致数据） 2) 数据集成（多种数据源可以组合在一起） 3 ) 数据选择（从数据库中检索与分析任务相关的数据） 4 ) 数据变换（数据变换或统一成适合挖掘的形式，如通过汇总或聚集操作） 5) 数据挖掘（基本步骤，使用智能方法提取数据模式） 6) 模式评估（根据某种兴趣度度量，识别表示知识的真正有趣的模式；） 7) 知识表示（使用可视化和知识表示技术，向用户提供挖掘的知识） 二、元数据的定义是什么？元数据包括哪些内容？（20分） 元数据是关于数据的数据。在数据仓库中, 元数据是定义仓库对象的数据。 元数据包括： 数据仓库结构的描述，包括仓库模式、视图、维、分层结构、导出数据的定义, 以及数据集市的位置和内容。 操作元数据，包括数据血统（移植数据的历史和它所使用的变换序列）、数据流通（主动的、档案的或净化的)、管理信息（仓库使用统计量、错误报告和审计跟踪）。 汇总算法，包括度量和维定义算法, 数据所处粒度、划分、主题领域、聚集、汇总、预定义的查询和报告。 由操作环境到数据仓库的映射，包括源数据库和它们的内容，网间连接程序描述, 数据划分, 数据提取、清理、转换规则和缺省值, 数据刷新和净化规则, 安全 (用户授权和存取控制)。 关于系统性能的数据，刷新、更新定时和调度的规则与更新周期，改善数据存取和检索性能的索引和配置。 商务元数据，包括商务术语和定义, 数据拥有者信息和收费策略。 三、在 O L A P 中，如何使用概念分层? 请解释多维数据模型中的OLAP上卷 下钻切片切块和转轴操作。（20分） 在多维数据模型中，数据组织成多维，每维包含由概念分层定义的多个抽象层。这种组织为用户从不同角度观察数据提供了灵活性。有一些 O L A P 数据立方体操作用来物化这些不同视图，允许交互查询和分析手头数据。因此， O L A P 为交互数据分析提供了友好的环境。 上卷：上卷操作通过一个维的概念分层向上攀升或者通过维归约，在数据立方体上进行聚集。 下钻：下钻是上卷的逆操作，它由不太详细的数据到更详细的数据。下钻可以通过沿维的概念分层向下或引入新的维来实现。 切片：在给定的数据立方体的一个维上进行选择，导致一个子方。 切块：通过对两个或多个维执行选择，定义子方。
《统计学》课程教学大纲 英文名：Statistics 课程类别：专业基础课 课程性质：专业课 学分：3学分 课时：54课时 前置课：政治经济学、线性代数、微积分、概率论 主讲教师：徐健腾 选定教材：徐国祥，统计学，上海人民出版社，2007 课程概述： 本课程是运用统计数量分析的基本理论和方法，紧密结合社会经济实践，分析社会经济现象的数量表现、数量关系和数量变化规律的一门方法论科学。该课程首先对统计学的基本问题作了描述，包括统计学的概念、统计学的发展简史、统计工作的程序、统计分析软件、统计学的应用领域；其次介绍了统计学的核心概念，包括统计学的常用术语、统计指标与统计指标体系、统计方法和模型构建；再次介绍了描述统计学的基本内容，包括数据的计量与种类、统计数据的搜集与整理、统计表与统计图、集中趋势的测度、离散程度的测度、分布偏态与峰度的测度、指数体系与因素分析、几种常用的经济指数以及综合评价指数等；最后介绍了推断统计学的基本内容，包括抽样推断、假设检验、方差分析、相关与回归分析、时间序列分析等。 教学目的： 通过本课程的学习，要求学生能够全面掌握统计学的基本理论和基本方法，了解统计学发展的简单历史过程，熟悉统计工作的基本程序和统计学的应用领域；同时要求学生能根据统计研究的目的、统计数据的来源渠道和数据类型的不同，选择恰当的数学模型来对社会经济现象进行拟合。为了结合非统计学专业学生的学习要求和教学内容的完整性，要求学生能够掌握必需的统计分析方法和基本的统计指标知识，为深入进行经济分析和理论研究提供依据。 教学方法： 使用本教材要注意理论与实践相结合，着重培养学生综合的分析问题和解决问题的能力、培养他们的实际动手能力。教学过程中应尽量避开繁琐的数学公式推导，以案例为依托，结合实际例子讲清楚统计公式的应用方法。在内容上，立足于“大统计”的角度，从统计数据出发，以统计数据的处理和分析为核心，并根据统计教学的实际需要构建本课程的内容体系。在方法上，力求简明易
浙江大学远程教育学院 《数据挖掘》课程作业 姓名：学号： 年级：学习中心：————————————————————————————— 第一章引言 一、填空题 （1）数据库中的知识挖掘(KDD)包括以下七个步骤：数据清理、数据集成、数据选择、数据交换、数据挖掘、模式评估和知识表示 （2）数据挖掘的性能问题主要包括：算法的效率、可扩展性和并行处理 （3）当前的数据挖掘研究中，最主要的三个研究方向是：统计学、数据库技术和机器学习 （4）孤立点是指：一些与数据的一般行为或模型不一致的孤立数据 二、简答题 （1）什么是数据挖掘？ 答：数据挖掘指的是从大量的数据中挖掘出那些令人感兴趣的、有用的、隐含的、先前未知的和可能有用的模式或知识。 （2）一个典型的数据挖掘系统应该包括哪些组成部分？ 答：一个典型的数据挖掘系统应该包括以下部分：1、数据库、数据仓库或其他信息库，2、数据库或数据仓库服务器，3、知识库，4、数据挖掘引擎，5、模式评估魔磕，6图形用户界面。 （3）Web挖掘包括哪些步骤？ 答：数据清理：（这个可能要占用过程60%的工作量）、数据集成、将数据存入数据仓库、建立数据立方体、选择用来进行数据挖掘的数据、数据挖掘（选择适当的算法来找到感兴趣的模式）、展现挖掘结果、将模式或者知识应用或者存入知识库。 （4）请列举数据挖掘应用常见的数据源。 （或者说，我们都在什么样的数据上进行数据挖掘） 答：常见的数据源包括关系数据库、数据仓库、事务数据库和高级数据库系统和信息库。其中高级数据库系统和信息库包括：空间数据库、时间数据库和时间序列数据库、流数据、多媒体数据库、面向对象数据库和对象——关系数据库、异种数据库和遗产数据库、文本数据库和万维网等。
数据挖掘 您的本次作业分数为：95分单选题 1.【第001章】孤立点挖掘适用于下列哪种场合？ A 目标市场分析 B 购物篮分析 C 模式识别 D 信用卡欺诈检测 正确答案:D 单选题 2.【第01章】数据挖掘应用和一些常见的数据统计分析系统的最主要区别在于（）。 A 所涉及的算法的复杂性 B 所涉及的数据量 C 计算结果的表现形式 D 是否使用了人工智能技术 正确答案:B 单选题 3.【第01章】帮助市场分析人员从客户的基本信息库中发现不同的客户群，通常所使用的数据挖掘功能是（）。 A 关联分析 B 分类和预测 C 聚类分析 D 孤立点分析 E 演变分析 正确答案:C 单选题 4.【第01章】假设现在的数据挖掘任务是解析数据库中关于客户的一般特征的描述，通常所使用的数据挖掘功能是（）。 A 关联分析 B 分类和预测
C 孤立点分析 D 演变分析 E 概念描述 正确答案:E 单选题 5.【第01章】下面的数据挖掘的任务中，（）将决定所使用的数据挖掘功能。 A 选择任务相关的数据 B 选择要挖掘的知识类型 C 模式的兴趣度度量 D 模式的可视化表示 正确答案:B 单选题 6.【第01章】根据顾客的收入和职业情况，预测他们在计算机设备上的花费，所使用的相应数据挖掘功能是（）。 A 关联分析 B 分类和预测 C 演变分析 D 概念描述 正确答案:B 单选题 7.【第01章】下列几种数据挖掘功能中，（）被广泛的应用于股票价格走势分析。 A 关联分析 B 分类和预测 C 聚类分析 D 演变分析 正确答案:D 单选题 8.【第01章】下列几种数据挖掘功能中，（）被广泛的用于购物篮分析。 A 关联分析
一、填空题（15分） 1.数据仓库的特点分别是面向主题、集成、相对稳定、反映历史变化。 2.元数据是描述数据仓库内数据的结构和建立方法的数据。根据元数据用途的不同可将元数据分为技术元数据和业务元数据两类。 3.OLAP技术多维分析过程中，多维分析操作包括切片、切块、钻取、旋转等。 4.基于依赖型数据集市和操作型数据存储的数据仓库体系结构常常被称为“中心和辐射”架构，其中企业级数据仓库是中心，源数据系统和数据集市在输入和输出范围的两端。 5.ODS实际上是一个集成的、面向主题的、可更新的、当前值的、企业级的、详细的数据库，也叫运营数据存储。 二、多项选择题（10分） 6.在数据挖掘的分析方法中，直接数据挖掘包括（ＡＣＤ） A 分类 B 关联 C 估值 D 预言 7.数据仓库的数据ETL过程中，ETL软件的主要功能包括（ＡＢＣ） A 数据抽取 B 数据转换 C 数据加载 D 数据稽核 8.数据分类的评价准则包括（ ABCD ） A 精确度 B 查全率和查准率 C F-Measure D 几何均值 9.层次聚类方法包括（ BC ） A 划分聚类方法 B 凝聚型层次聚类方法 C 分解型层次聚类方法 D 基于密度聚类方法 10.贝叶斯网络由两部分组成，分别是（ A D ） A 网络结构 B 先验概率 C 后验概率 D 条件概率表 三、计算题（30分） 11.一个食品连锁店每周的事务记录如下表所示，其中每一条事务表示在一项收款机业务中卖出的项目，假定sup min=40%，conf min=40%，使用Apriori算法计算生成的关联规则，标明每趟数据库扫描时的候选集和大项目集。（15分） 解：（1）由I={面包、果冻、花生酱、牛奶、啤酒}的所有项目直接产生1-候选C1，计算其支持度，取出支持度小于sup min的项集，形成1-频繁集L1，如下表所示：
《海量数据挖掘技术及工程实践》题目 一、单选题（共80题） 1)( D )的目的缩小数据的取值范围，使其更适合于数据挖掘算法的需要，并且能够得到和原始数据相同的分析结果。 A.数据清洗 B.数据集成 C.数据变换 D.数据归约 2)某超市研究销售纪录数据后发现，买啤酒的人很大概率也会购买尿布，这种属于数据挖掘的哪类问题(A) 3) A. 关联规则发现 B. 聚类 4) C. 分类 D. 自然语言处理 5)以下两种描述分别对应哪两种对分类算法的评价标准 (A) 6) (a)警察抓小偷，描述警察抓的人中有多少个是小偷的标准。 7) (b)描述有多少比例的小偷给警察抓了的标准。 8) A. Precision,Recall B. Recall,Precision 9) A. Precision,ROC D. Recall,ROC 10)将原始数据进行集成、变换、维度规约、数值规约是在以下哪个步骤的任务 (C) 11) A. 频繁模式挖掘 B. 分类和预测 C. 数据预处理 D. 数据流挖掘 12)当不知道数据所带标签时，可以使用哪种技术促使带同类标签的数据与带其他标签的数据相分离(B) 13) A. 分类 B. 聚类 C. 关联分析 D. 隐马尔可夫链 14)建立一个模型，通过这个模型根据已知的变量值来预测其他某个变量值属于数据挖掘的哪一类任务(C) 建模描述 B. 根据内容检索 A. 15)． 16) C. 预测建模 D. 寻找模式和规则 17)下面哪种不属于数据预处理的方法 (D) 18) A.变量代换 B.离散化 C.聚集 D.估计遗漏值 19)假设12个销售价格记录组已经排序如下：5, 10, 11, 13, 15, 35, 50, 55, 72, 92, 204, 215 使用如下每种方法将它们划分成四个箱。等频（等深）划分时，15在第几个箱子内 (B) 20) A.第一个 B.第二个 C.第三个 D.第四个 21)下面哪个不属于数据的属性类型：(D) 22) A.标称 B.序数 C.区间 D.相异
海南大学数据挖掘论文
题目：股票交易日线数据挖掘 学号：20100602310002 姓名： 专业：10信管 指导老师： 分数： 目录 目录 (2) 1. 数据挖掘目的 (3) 2.相关基础知识 (3) 2.1 股票基础知识 (3) 2.2 数据挖掘基础知识 (4) 2.2.2数据挖掘的任务 (5) 3.数据挖掘方案 (6) 3.1. 数据挖掘软件简介 (6) 3.2. 股票数据选择 (7) 3.3. 待验证的股票规律 (7) 4. 数据挖掘流 (8) 4.1数据挖掘流图 (8) 4.2规律验证 (9) 4.2.2规律2验证 (10) 4.2.3规律三验证 (12)
4.3主要节点说明 (14) 5.小结 (15) 1.数据挖掘目的 数据挖掘的目的就是得出隐藏在数据中的有价值的信息，发现数据之间的内在联系与规律。对于本次数据挖掘来说，其目的就是学会用clementine对股票的历史数据进行挖掘，通过数据的分析，找出存在股票历史数据中的规律，或者验证已存在的股票规律。同时也加深自己对股票知识的了解和对clementine软件的应用能力。为人们决策提供指导性信息，为公司找出其中的客户为公司带来利润的规律，如二八原则、啤酒与尿布的现象等。 2.相关基础知识 2.1 股票基础知识 2.1.1 股票 是一种有价证券，是股份公司在筹集资本时向出资人公开或私下发行的、用以证明出资人的股本身份和权利，并根据持有人所持有的股份数享有权益和承担义务的凭证。股票代表着其持有人（股东）对股份公司的所有权，每一股同类型股票所代表的公司所有权是相等的，即“同股同权”。股票可以公开上市，也可以不上市。在股票市场上，股票也是投资和投机的对象。对股票的某些投机炒作行为，例如无货沽空，可以造成金融市场的动荡。 2.1.2 开盘价 开盘价又称开市价，是指某种证券在证券交易所每个交易日开市后的第一笔买卖成交价格。世界上大多数证券交易所都采用成交额最大原则来确定开盘价。 2.1.3 收盘价 收盘价是指某种证券在证券交易所一天交易活动结束前最后一笔交易的成 交价格。如当日没有成交，则采用最近一次的成交价格作为收盘价，因为收盘价是当日行情的标准，又是下一个交易日开盘价的依据，可据以预测未来证券市场行情；所以投资者对行情分析时，一般采用收盘价作为计算依据。． 2.1.4 最高价 指某种证券在每个交易日从开始到收市的交易过程中所产生的最高价。 2.1.5最低价 指某种证券在每个交易日从开始到收市的交易过程中所产生的最低价。 2.1.6成交量 成交量是指一个时间单位内对某项交易成交的数量。一般情况下，成交量大且价格上涨的股票，趋势向好。成交量持续低迷时，一般出现在熊市或股票整理阶段，市场交投不活跃。成交量是判断股票走势的重要依据，对分析主力行为提供了重要的依据。 2.1.7 K 线 K 线图这种图表源处于日本德川幕府时代（1603～1867 年），被当时日本米
《数据仓库与数据挖掘试题》 一、判断题(每小题1分，计30分，答题时每5个答案写在一起) 1.数据库作为数据资源用于管理业务中的信息分析处理。（X） 2.数据库的查询不是指对记录级数据的查询，而是指对分析要求的查询。（X） 3.关系数据库是二维数据（平面），多维数据库是空间立体数据。（v） 4.数据进入数据仓库之前，必须经过加工与集成。（V） 5.OLAP使用的是当前数据；OLTP使用的是历史数据。（V） 6.对数据仓库操作不明确，操作数据量少。（X） 7.数据集市实现难度超过数据仓库。（X） 8.OLAP使用的数据经常更新；OLTP使用的数据不更新，但周期性刷新。（X） 9.数据集市可升级到完整的数据仓库。（V） 10.数据库中存放的数据基本上是保存当前综合数据。（X） 11.OLAP可以应分析人员的要求快速、灵活地进行大数据量的复杂处理。（V） 12.OLAP支持复杂的决策分析操作，侧重对分析人员和高层管理人员的决策支持。 （V） 13.OLTP的事务处理量大，处理内容比较简单但重复率高。（V） 14.数据仓库的用户有两类：信息使用者和探索者。（V） 15.对数据库的操作比较明确，操作数据量大。（X） 16.数据库用于事务处理，数据仓库用于决策分析。（V） 17.信息使用者以一种可预测的、重发性的方式使用数据仓库平台。（V） 18.OLAP一次处理的数据量大；OLTP一次性处理的数据量小。（V）
19.OLTP每次操作的数据量不大且多为当前的数据。（V ） 20.数据仓库系统由数据仓库（DW）、仓库管理和分析工具三部分组成。（V） 21.随着业务的变化,数据仓库中的数据会随时更新。（X） 22.数据集市的规模比数据仓库更大。（X） 23.数据集市具有更详细的、预先存储在数据仓库的数据。（V） 24.不同维值的组合及其对应的度量值构成了不同的查询和分析。（V） 25.OLAP使用细节性数据，OLTP使用综合性数据。（X） 26.数据集市由企业管理和维护。（X） 27.OLAP的概念模型是多维的。（V） 28.数据库已经成为了成熟的信息基础设施。（V） 29.数据库既保存过去的数据又保存当前的数据。（X） 30.OLTP面对的是事务处理操作人员和低层管理人员。（V） 二、填空题(每小题1分，计10分) 1.信息使用者通常查看概括数据或聚集数。 2.探索者的任务是寻找公司数据内隐含的价值。 3.数据立方体是在所有可能组合的维上进行分组聚集计算的总和。 4.基本的多维数据分析操作包括切片切块、旋转、钻取等。 5.数据立方体的构建和维护等计算方法成为了多维数据分析研究的关键问 题。 6.OLAP是建立在网络上的开发体系结构。 7.在数据立方体中，不同维度组合构成了不同的子立方体。 8.不同的数据仓库需要建立不同的数据库。
数据仓库与数据挖掘复习题 1. 假设数据挖掘的任务是将如下的8个点（用（x,y）代表位置）聚类为3个类：X1(2,10)、X2(2,5)、X3(8,4)、X4(5,8)、X5(7,5)、X6(6,4)、X7(1,2)、X8(4,9)，距离选择欧几里德距离。假设初始选择X1(2,10)、X4(5,8)、X7(1,2)为每个聚类的中心，请用 K_means算法来计算： （1）在第一次循环执行后的3个聚类中心； 答：第一次迭代：中心点1：X1(2，10)，2：X4(5，8)，X7(1，2) 答案：在第一次循环执行后的3个聚类中心： 1：X1(2，10) 2：X3，X4，X5，X6，X8 （6，6） 3：X2，X7 （，） （2）经过两次循环后，最后的3个族分别是什么？ 答案：1：X1，X8 ， 2：X3，X4，X5，X6 （，） 3：X2，X7 （，） a.使用Apriori算法找出频繁项集，并写出具体过程。 答： (a)Apriori算法：
{K} 1 {A} 4 {A,B} 4 {A,B,D} 3 {A} 4 {B} 4 {A,D} 3 {B} 4 {D} 3 {B,D} 3 {D} 3 {C} 2 {E} 2 频繁项集为3项集{A,B,D}:3 b.列出所有的强关联规则，使它们与下面的元规则匹配，其中，X 是代表顾客的变量，i item 是表示项的变量（例如，“A ”、“B ”等）： 123,(,)(,)(,)x transaction buys X item buys X item buys X item ?∈∧? [s,c] 答：所有频繁子项集有{A},{B},{D},{A,B},{A,D},{B,D} A^B=>D conf=3/4=75% × A^D=>B conf=3/3=100% √ B^D=>A conf=3/3=100% √ 因此，满足条件的强关联规则有： A^D=>B{supp=75%,conf=100%} B^D=>A{supp=75%,conf=100%} ID Sky AirTemp Humidity Wind Water Forecast Enjoysport 1 Sunny Warm Normal Strong Warm Same Yes 2 Sunny Warm High Strong Warm Same Yes 3 Rainy Cold High Strong Warm Change No 4 Sunny Warm High Strong Cool Change yes 请计算属性Sky 的信息增益。 答： C1 ：Enjoysport=yes=3 C2 ：Enjoysport=no=1 2 2 1/4= sky C1 C2 rainy 0 1 sunny 3 I(sky)=1/4I(0,1)+3/4I(3,0)=0 Gain(sky)= 习题: 1. 以汽车保险为例:假定训练数据库具有两个属性:年龄和汽车类型。 年龄————序数属性 汽车类型——分类属性 年龄 汽车类型 类
网络流量分类识别 1.课题内容概述 网络安全实验室的课题中包含对网络流量进行分类识别的任务。 对网络流量按照应用类型准确地识别和分类是许多网络管理任务的重要组成部分，如流量优先级控制，流量定形、监管、诊断监视等。比如说，网络管理员可能需要识别并节流来自P2P协议的文件共享流量来管理自己的带宽预算，确保其他应用的网络性能。与网络管理任务类似，许多网络工程问题，如负载特征提取和建模，容量规划，路由配置也得益于准确地识别网络流量。 实时的流量统计有能力帮助网络服务提供商和他们的设备供应商解决困难的网络管理问题。网络管理员需要随时知道什么流量穿过了他们的网络，才能迅速采取应对措施来保障多样的商业服务目标。流量分类可能是自动入侵检测系统的核心组成部分，用来检测拒绝服务攻击，可以触发针对优先客户的自动网络资源重分配，或者识别哪些违背了服务条款的网络资源使用。 如今各种不同的网络应用层出不穷，网络流量的复杂性和多样性给流量分类问题带来了巨大的挑战。很多研究人员开始寻找接近于数据挖掘的技术来解决流量分类问题。 2.流量识别任务中数据挖掘技术的应用 2.1流量识别任务流程 如图2-1所示，基于机器学习的流量分类主要分为三个阶段，预处理阶段，学习阶段和预测阶段。预处理阶段包括对原始网络数据的整流，特征值计算以及特征值约简，学习阶段是训练模型学习规则的过程，预测阶段是对实际流量进行分类的过程。机器学习方法重点研究通过特征选择和训练进行分类模型的构造，即分类器的学习阶段。
图2-1机器学习的流量分类 （1）数据预处理 原始的网络数据集记录了每个数据包的到达时间和数据包内容，在预处理阶段首先要根据五元组进行整流，在每个TCP或UDP流上区分流量方向，然后在每个流上计算感兴趣的流量特征，如数据包大小的分布，数据包间隔时间，连接持续时间等。 （2）降维 经过数据预处理后的网络流是一个有各项特征值的向量，可以作为机器学习算法的输入，但网络流特征冗余会影响分类结果的准确性，也会增加训练的计算开销，可以将高维向量投影到低维空间中，再用以训练。 （3）特征约简 将可获得的特征都用来训练分类器并不一定是最好的选择，因为不相关的特征和冗余的特征会对算法的性能产生负作用。可以通过一些算法进行评估，选择具有很强代表性的特征子集，来训练模型。 （4）训练 从训练数据集中构建分类模型的过程，主要任务是建立一个从网络流特征到应用类别的映射，有不同的分类模型可以选择。 （5）测试 依据训练的分类模型，对未知的网络流进行预测，得出网络流所属的应用类别。该阶段涉及到对分类模型的评估，有很多流量分类度量指标可以选择。评估还可以分为以流计算和以字节计算两个方向，前者侧重于对流识别能力的评估，后者侧重于识别那些占据主要通信量的大流。 2.2特征值归约方法 采用信息增益率评估，特征集合为S，假设根据特征A划分训练集，划分前
数据挖掘习题及解答■完美版
Data Mi ning Take Home Exam 学号： xxxx ____________ 姓名:XXX 1. (20分)考虑下表的数据集。 顾客ID 性别车型衬衣尺码类 1 家用小C0 d 2 运动中C0 3 运动中C0 4 运动大C0 5 运动加大C0 6 运动加大C0 7 运动小C0 8 运动小C0 9 运动中C0 10 豪华大C0 11 家用大C1 12 家用加大C1 13 家用中C1 14 豪华加大C1 15 豪华小C1 16 豪华小C1 17 豪华中C1 18 豪华中C1 19 豪华中C1 20 豪华大C1 (1)计算整个数据集的Gini指标值。 (2)计算属性性别的Gini指标值 (3)计算使用多路划分属性车型的Gini指标值 (4)计算使用多路划分属性衬衣尺码的Gini 指标值 (5)下面哪个属性更好，性别、车型还是衬衣尺码？为什么? 解：(1) Gini=1-(10/20)八2-(10/20)八2=0.5 Gi ni=[{1-(6/10)八2-(4/10)八2}*1/2]*2=0.48
Gi ni={1-(1/4)2-(3/4)2}*4/20+{1-(8/8)2-(0/8)八2}*8/20+{1-(1/8)八2-(7/8)八2}*8/20 =26/160=0.1625 Gini={1-(3/5)2-(2/5)2}*5/20+{1-(3/7)2-(4/7)2}*7/20+[{1-(2/4)八2-(2/4)八2}*4/2 0]*2=8/25+6/35=0.4914 ⑸ 比较上面各属性的Gini值大小可知，车型划分Gini值0.1625最小，即使用车型属性更好。 2. (20分)考虑下表中的购物篮事务数据集 (1)将每个事务ID视为一个购物篮，计算项集{e} ,{b,d}和{b,d,e}的支持度。 (2)使用(1)的计算结果，计算关联规则{b,d} -{e和{e} -{b,d}的置信度。 (3)将每个顾客ID作为一个购物篮，重复(1)。应当将每个项看作一个二元变量(如果一个项在顾客的购买事务中至少出现一次，则为1,否则，为0) (4)使用(3)的计算结果，计算关联规则{b,d} -{e和{e} -{b,d}的置信度。答：(1)由上表计数可得{ e }的支持度为8/10=0.8; { b, d }的支持度为2/10=0.2; {b,d,e}的支持度为2/10=0.2。 (2)c[{b,d} —{e}]=2/8=0.25;c[{e} —{b,d}]=8/2=4。