下载文档原格式
数据挖掘考试题及答案### 数据挖掘考试题及答案#### 一、选择题（每题2分，共20分）1. 数据挖掘的目的是发现数据中的：- A. 错误- B. 模式- C. 异常- D. 趋势答案：B2. 以下哪项不是数据挖掘的常用算法：- A. 决策树- B. 聚类分析- C. 线性回归- D. 神经网络答案：C3. 关联规则挖掘中，Apriori算法用于发现：- A. 频繁项集- B. 异常值- C. 趋势- D. 聚类答案：A4. K-means算法是一种：- A. 分类算法- B. 聚类算法- C. 预测算法- D. 关联规则挖掘算法答案：B5. 以下哪个指标用于评估分类模型的性能：- A. 准确率- B. 召回率- C. F1分数- D. 所有以上答案：D#### 二、简答题（每题10分，共30分）1. 描述数据挖掘中的“过拟合”现象，并给出避免过拟合的策略。
答案：过拟合是指模型对训练数据拟合得过于完美，以至于失去了泛化能力。
避免过拟合的策略包括：使用交叉验证、正则化技术、减少模型复杂度、获取更多的训练数据等。
2. 解释什么是“数据清洗”以及它在数据挖掘中的重要性。
答案：数据清洗是指从原始数据中识别并纠正（或删除）错误、重复或不完整的数据的过程。
它在数据挖掘中至关重要，因为脏数据会导致分析结果不准确，影响最终的决策。
3. 描述“特征选择”在数据挖掘中的作用。
答案：特征选择是数据挖掘中用来降低数据维度、提高模型性能和减少计算成本的过程。
通过选择最有信息量的特征，可以去除冗余或无关的特征，从而提高模型的准确性和效率。
#### 三、应用题（每题25分，共50分）1. 假设你正在分析一个电子商务网站的用户购买行为，描述你将如何使用数据挖掘技术来识别潜在的营销机会。
答案：首先，我会使用聚类分析来识别不同的用户群体。
然后，通过关联规则挖掘来发现不同用户群体的购买模式。
接着，利用分类算法来预测用户可能感兴趣的产品。
1.何谓数据挖掘？它有哪些方面的功能？从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程称为数据挖掘。
相关的名称有知识发现、数据分析、数据融合、决策支持等。
数据挖掘的功能包括：概念描述、关联分析、分类与预测、聚类分析、趋势分析、孤立点分析以及偏差分析等。
2.何谓粒度？它对数据仓库有什么影响？按粒度组织数据的方式有哪些？粒度是指数据仓库的数据单位中保存数据细化或综合程度的级别。
粒度影响存放在数据仓库中的数据量的大小，同时影响数据仓库所能回答查询问题的细节程度。
按粒度组织数据的方式主要有：①简单堆积结构②轮转综合结构③简单直接结构④连续结构3.简述数据仓库设计的三级模型及其基本内容。
概念模型设计是在较高的抽象层次上的设计，其主要内容包括：界定系统边界和确定主要的主题域。
逻辑模型设计的主要内容包括：分析主题域、确定粒度层次划分、确定数据分割策略、定义关系模式、定义记录系统。
物理数据模型设计的主要内容包括：确定数据存储结构、确定数据存放位置、确定存储分配以及确定索引策略等。
在物理数据模型设计时主要考虑的因素有: I/O存取时间、空间利用率和维护代价等。
提高性能的主要措施有划分粒度、数据分割、合并表、建立数据序列、引入冗余、生成导出数据、建立广义索引等。
4.在数据挖掘之前为什么要对原始数据进行预处理？原始业务数据来自多个数据库或数据仓库，它们的结构和规则可能是不同的，这将导致原始数据非常的杂乱、不可用，即使在同一个数据库中，也可能存在重复的和不完整的数据信息，为了使这些数据能够符合数据挖掘的要求，提高效率和得到清晰的结果，必须进行数据的预处理。
为数据挖掘算法提供完整、干净、准确、有针对性的数据，减少算法的计算量，提高挖掘效率和准确程度。
5.简述数据预处理方法和内容。
①数据清洗：包括填充空缺值，识别孤立点，去掉噪声和无关数据。
②数据集成：将多个数据源中的数据结合起来存放在一个一致的数据存储中。
1.了解商务智能的定义与大数据的四个基本特征；答：商务智能是企业利用数据仓库DW、数据挖掘DM、在线分析处理OLAP、决策支持系统DSS等现代信息技术对企业生产、经营过程中产生的大量结构化和非结构化数据进行收集、整理、分析;形成知识或情报;以辅助企业做出正确的决策、采取有效的商务行动、优化商务流程、全面提升商务绩效的工具、方法和技术的统称..大数据特征： 4个V2.理解商务智能系统的5层结构商务智能系统结构大致分为五层:①数据源层：也可称作操作型数据层;是整个数据仓库的基础;提供了整个系统最原始的数据②数据获取层：也可称作数据转换层;主要是把数据源层的数据通过ETCL过程转换到数据仓库中③数据存取层：该层是按主题进行分析和对相关的数据进行挖掘的数据源;包括每一个按主题进行分类的数据集市或专门用于数据挖掘的数据仓库④数据分析服务层：该层是数据存储和前端分析工具的桥梁⑤前端展现层：用户界面3.理解操作型与分析型系统分离的必要性以及他们的特征4.理解维度爆炸给数据挖掘带来的困难数据过高的维度会给计算带来麻烦;在数据挖掘处理时;它会耗费很多的处理时间和内存容量..数据的高维度还使得数据间的关系也不容易察觉;增加了数据的无关属性和噪音点..5.掌握数据仓库的定义并理解其四个方面的特征数据仓库是决策支持系统和联机分析应用数据源的结构化数据环境..数据仓库研究和解决从数据库中获取信息的问题..数据仓库是为支持管理决策建立的;面向主题的、集成的、随时间变化的、相对稳定的数据集合..滔注：我觉得写括号里的会好一点四方面特征：①面向主题：主题是指用户使用数据仓库进行决策时所关心的重点忙面..②集成性：在数据进入数据仓库之前;要进过统一于综合;将多个异源数据集成在一起..这一步是数据仓库建设中最关键、最复杂的一步..③时变性：数据仓库随时间变化不断增加新的数据..④相对稳定性：数据仓库反映的是历史的内容;而不是联机数据;主要供企业决策分析之用..6.掌握数据挖掘的定义并描述其主要特征数据挖掘定义从大量的、不完全的、有噪声的、模糊的、随机的数据中;提取隐含在其中的、人们事先不知道的、但又是潜在的有用的信息和知识的过程..数据挖掘是从大量数据中寻找其规律的技术..主要步骤1数据准备：从各种数据源中选取和集成用于数据挖掘的数据；2规律寻找：用某种方法将数据中的规律找出来；3规律表示：用尽可能符合用户习惯的方式将找出的规律表示出来..7.掌握Minkowski距离;并熟练计算l1;l2;l无穷normL1norm当r=1;城市街区也称曼哈顿、出租车、L1范数距离；L2norm当r=2;欧几里得距离；L∞norm当r=∞;上确界距离;这是对象属性之间的最大距离..8.理解Hunt’s算法的基本过程通过将训练记录相继划分成较纯的子集;以递归方式建立决策树..设Dt是与节点t相关联的训练记录集;而Y={ y1;y2;…;y c}是类标号;Hunt算法的递归定义如下:1如果Dt中所有记录都属于同一个类yt;则t是叶节点;用yt标记..2如果Dt中包含属于多个类的记录;则选择一个属性测试条件;将记录划分成较小的子集..对于测试条件的每个输出;创建一个子女节点;并根据测试结果将Dt中的记录分布到子女节点中..然后;对于每个子女节点;递归地调用该算法..9.掌握吉尼系数、熵的定义;会计算其最大值与最小值;理解信息增益在构造决策树时的意义基尼系数、熵是度量不纯度的方法GINI系数和熵都是越小;代表所分的节点属性越纯;最小可取到0;表示这个节点中只有一个类..当一个节点中有n个父节点;而且能分出n个子节点;GINI系数取到最n 滔注：那个2是角标;不是log2n 大值;为1-1/n. 熵也取到最大值 log2基尼值的性质：越大越不纯;越小越纯;0最纯;1-1/n最不纯..b.子节点基尼值c.最大值、最小值最小值表示最纯;最大值表示最不纯熵在信息领域熵被用来衡量一个随机变量出现的期望值..熵是对信息的不确定性的度量..熵越低;意味着传输的信息越少..熵的性质：熵是衡量节点一致性的函数..熵大于等于0;当且仅当p1=p2=……pn时;熵最大;纯的节点熵是0.信息增益当选择熵作为公式的不纯性度量时;熵的差就是所谓的信息增益..信息增益描述了当使用Q进行编码时;再使用P进行编码的差异..通常P代表样本或观察值的分布;也有可能是精确计算的理论分布..Q 代表一种理论;模型;描述或者对P的近似..当纯度高达1时即只有一种数据类型;熵最小;为0；当其中的各类数据均匀分布时;熵最大;为-log2pj|t..10.理解了解最邻近分类的基本思想;邻近分类的前提条件与分类过程近邻分类法是基于类比学习;即通过将给定的检验元组与和它相似的训练元组进行比较来学习..训练元组用n个属性描述..每个元祖代表n维空间的一个点..这样;所有的训练元组都存放在n维模式空间中..当给定一个未知元组时;近邻分类法搜索模式空间;找出最接近未知元组的k个训练元组..这k个训练元组是未知元组的k个“最近邻”..一句话概述：点x的k-最近邻分类就是离点x的欧式距离最近的k个点的集合..三个前提条件：训练集存在内存中；给定距离度量指标；给定K值分类过程：1 计算未知点与其他训练集的距离2找到K个最邻近的邻近组3用邻近组的分类标签来决定未知点所在组的标签..11.了解分类中的过拟合及产生的原因过度拟合数据当决策树变大时;测试误差会越来越小;而训练误差会越来越大;测试集产生的决策树与实际会不符..产生的原因（1）噪声导致的过分拟合（2）决策树的复杂程度超过了需要的程度;会产生过度拟合（3）训练误差的减小已经对结果没有更多意义但却依然在计算;会产生过度拟合（4）没有更多的属性来减小样本误差;会产生过度拟合12.理解关联规则及支持与置信度的定义;并熟练计算支持度与置信度关联规则关联规则是形如X→Y的蕴涵式;其中;X和Y都是事务数据集..关联规则的强度可以用它的支持度和置信度度量..支持度Support事务数据库中既包含X又包含Y某个项集的事务占事务总数的比例；置信度Confidence在所有包含X的事务中包含Y的事务所占比例.. 13.理解Apriori性质及其意义Apriori如果一个项集是频繁的;那么它的所有子集都是频繁的..相反;如果一个项集是非频繁的;则它的所有超集也一定是非频繁的..意义利用该性质;通过减少搜索空间;来提高频繁项集逐层产生的效率..14.理解FP-Growth算法克服了Apriori算法的那些不足1.减少了扫描数据库的次数;只用扫描两次2.候选项变少;不会产生那么大的候选项集15.给定一个交易数据库与支持度阈值;能熟练运用Apriori算法与FP-Growth算法挖掘频繁项集Apriori算法计算频繁项集步骤1、第一次扫描;列出一项集;并计数..2、去除低于阈值的项集;组合出二项集;扫描计数..3、重复步骤2;依次组合出N项集;直至项集计数小于阈值;结束..注意Apriori定义：如果一个项集是非频繁的;则它的所有超集也一定是非频繁的..所以在组合项集时一定要注意;新组合出的项集不应包含已经被“淘汰”的项集..FP-Growth算法计算频繁项集步骤一、扫描一次数据集;确定每个项的支持度计数..丢弃非频繁项;将频繁项按照支持度的递减排序;生成频繁项集头表..注意事项：1、降序排列..2、MinSup的存在步骤二、第二次扫描投影;按照{f;c;a;b;m;p}的顺序逐条对应写出剔除非频繁项后的频繁集;注意：{f;c;a;b;m;p}的顺序确定后就不在变动;这在下面的步骤中起关键作用步骤三、并开始构建FP树..按照事务ID号的顺序;将处理好的频繁项集映射创建FP树;并在对应节点计数..步骤四、构建每个对象的条件模式基;建议从频率低的节点开始..注意：不要忘了f对应的{}..步骤五、列出下表;对照MinSup剔除低于阈值的项..步骤六、针对每一项建立条件FP树..下面用m项作例子;如下..步骤七、找出频繁项集..16.理解关联规则产生时所采取的优化策略老师说直接距离就可以比如;L = {A;B;C;D}:cABC→ D≥ cAB→ CD ≥ cA→ BCD为什么分子不变;都是ABCD;分母越来越大17.理解K-means算法的内容并讨论该算法之不足K-means K均值算法流程1、随机选择K个对象;每个对象代表一个簇的初始均值或中心2、对剩余的每个对象;根据它与簇均值的距离;将他指派到最相似的簇..3、计算每个簇的新均值4、回到步骤2;循环;直到准则函数收敛..不足之处1、只有当簇均值有定义的情况下;K-means方法才能够使用..2、用户必须首先给定簇数目3、不适合发现非凸形状的簇;或者大小差别很大的簇..4、对噪声和离群点数据敏感..18.理解凝聚聚类算法的基本过程;并分析算法时间与空间复杂度步骤：1计算距离矩阵2 让每个数据点成为一个群集3;循环开始4; 合并两个距离最近的群集5; 更新距离矩阵6;直到只剩下一个群集时间复杂度：N2倍空间复杂度：N3倍19.理解DBSCAN算法将待聚类的点分为哪几类;分解解释之三类：中心点：中心点领域范围内的点的个数≥临界值MinPts边界点：边界点领域范围内的点个数小于临界值;但是它在中心点邻域范围的边界上..噪音点：既不是中心点又不是边界点的点..噪音点领域范围内的点个数小于临界点..20.理解DBSCAN算法的思想及它克服了K-means算法的哪些不足基于密度的聚类只要一个区域中的点的密度大于某个域值;就把它加到与之相近的聚类中去..克服基于距离的算法只能发现“类圆形”的聚类的缺点;可发现任意形状的聚类;且对噪声不敏感..但是;其计算密度短语的计算复杂度大;需要建立空间索引来降低计算量;且对数据维数的伸缩性较差..DBSCAN Density-Based Spatial Clustering of Applications with Noise具有噪声的基于密度的聚类应用..算法步骤1、通过检查数据集中每个对象的ε-邻域可以理解为半径来寻找聚类2、如果一个点P的ε-邻域包含多于MinPts最少包含点数个对象;则创建一个P作为核心对象的新簇..3、反复地寻找从这个核心对象直接密度可达的对象;这个过程可能涉及一些密度可达簇的合并..4、当没有新的点可以被添加到任何簇时;过程结束..评价1、适合发现任意形状的簇..2、易于发现噪声..3、无需设置K 值..4、需要输入ε、MinPts..对照着14题理解两种算法21.理解SSE指标对聚类的意义..SSE即Sum of Squared Error ;错误的平方和..意义1、SSE可以很好的用于比较两个聚类或两个簇..2、也可以用于估计簇的数目..观察增加K即簇的数目即可降低SSE..。
数据挖掘考试题库及答案一、选择题1. 数据挖掘是从大量数据中提取有价值信息的过程，以下哪项不是数据挖掘的主要任务？A. 预测B. 分类C. 聚类D. 数据可视化答案：D2. 以下哪种技术不属于数据挖掘的常用方法？A. 决策树B. 支持向量机C. 关联规则D. 数据仓库答案：D3. 数据挖掘中，以下哪项技术常用于分类和预测？A. 神经网络B. K-均值聚类C. 主成分分析D. 决策树答案：D4. 在数据挖掘中，以下哪个概念表示数据集中的属性？A. 数据项B. 数据记录C. 数据属性D. 数据集答案：C5. 数据挖掘中，以下哪个算法用于求解关联规则？A. Apriori算法B. ID3算法C. K-Means算法D. C4.5算法答案：A二、填空题6. 数据挖掘的目的是从大量数据中提取______信息。
答案：有价值7. 在数据挖掘中，分类任务分为有监督学习和______学习。
答案：无监督8. 决策树是一种用于分类和预测的树形结构，其核心思想是______。
答案：递归划分9. 关联规则挖掘中，支持度表示某个项集在数据集中的出现频率，置信度表示______。
答案：包含项集的记录中同时包含结论的记录的比例10. 数据挖掘中，聚类分析是将数据集划分为若干个______的子集。
答案：相似三、判断题11. 数据挖掘只关注大量数据中的异常值。
（）答案：错误12. 数据挖掘是数据仓库的一部分。
（）答案：正确13. 决策树算法适用于处理连续属性的分类问题。
（）答案：错误14. 数据挖掘中的聚类分析是无监督学习任务。
（）答案：正确15. 关联规则挖掘中，支持度越高，关联规则越可靠。
（）答案：错误四、简答题16. 简述数据挖掘的主要任务。
答案：数据挖掘的主要任务包括预测、分类、聚类、关联规则挖掘、异常检测等。
17. 简述决策树算法的基本原理。
答案：决策树算法是一种自顶向下的递归划分方法。
它通过选择具有最高信息增益的属性进行划分，将数据集划分为若干个子集，直到满足停止条件。
一、名词解释1. 数据仓库：是一种新的数据处理体系结构 .是面向主题的、集成的、不可更新的(稳定性)、随时间不断变化 (不同时间)的数据集合.为企业决策支持系统提供所需的集成信息。
2. 孤立点：指数据库中包含的一些与数据的一般行为或模型不一致的异常数据。
3. OLAP：OLAP 是在OLTP 的基础上发展起来的.以数据仓库为基础的数据分析处理 .是共享多维信息的快速分析.是被专门设计用于支持复杂的分析操作 .侧重对分析人员和高层管理人员的决策支持。
4. 粒度：指数据仓库的数据单位中保存数据细化或综合程度的级别。
粒度影响存放在数据仓库中的数据量的大小 .同时影响数据仓库所能回答查询问题的细节程度。
5. 数据规范化：指将数据按比例缩放(如更换大单位).使之落入一个特定的区域(如 0－1) 以提高数据挖掘效率的方法。
规范化的常用方法有：最大－最小规范化、零－均值规范化、小数定标规范化。
6. 关联知识：是反映一个事件和其他事件之间依赖或相互关联的知识。
如果两项或多项属性之间存在关联.那么其中一项的属性值就可以依据其他属性值进行预测。
7. 数据挖掘：从大量的、不完全的、有噪声的、模糊的、随机的数据中.提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。
8. OLTP：OLTP 为联机事务处理的缩写.OLAP 是联机分析处理的缩写。
前者是以数据库为基础的.面对的是操作人员和低层管理人员 .对基本数据进行查询和增、删、改等处理。
9. ROLAP：是基于关系数据库存储方式的 .在这种结构中.多维数据被映像成二维关系表.通常采用星型或雪花型架构.由一个事实表和多个维度表构成。
10. MOLAP：是基于类似于“超立方”块的OLAP 存储结构.由许多经压缩的、类似于多维数组的对象构成.并带有高度压缩的索引及指针结构 .通过直接偏移计算进行存取。
11. 数据归约：缩小数据的取值范围.使其更适合于数据挖掘算法的需要 .并且能够得到和原始数据相同的分析结果。
数据挖掘试题及答案
1.数据挖掘的定义是什么？
数据挖掘是指从大量数据中通过算法自动发现和提取有用的信息，并对其进行分析和解释，以帮助企业做出决策的过程。
1.数据挖掘的主要任务是什么？
数据挖掘的主要任务包括关联分析、聚类分析、分类和预测、偏差检测等。
1.什么是关联分析？
关联分析是指通过发现大量数据中项集之间的关联性或相关性来进行分析的一种方法。
常见的关联分析算法有Apriori算法和FP-Growth算法。
1.什么是聚类分析？
聚类分析是指将物理或抽象对象组成的多个组或类按照它们的相似性进行分类。
聚类分析的目标是将相似的对象归为一类，同时将不相似或不同的对象分离出来。
1.什么是分类和预测？
分类是指根据历史数据和经验建立模型，然后使用该模型对新的未知数据进行预测或分类。
预测则是利用已知的变量和参数来预测未来的结果或趋势。
1.什么是偏差检测？
偏差检测是指通过检测数据中的异常值、离群点或不寻常的模式来发现异常情况或错误的过程。
偏差检测可以帮助企业发现数据中的问题和不一致性，及时纠正错误或采取相应措施。
数据挖掘期末考试题库第一部分：单项选择题（每题2分，共20分）1. 数据挖掘的主要任务是：A. 数据清洗B. 数据可视化C. 数据预处理D. 信息提取2. 下列哪种算法不属于分类算法？A. 决策树B. K均值聚类C. 朴素贝叶斯D. 支持向量机3. 以下哪种评估指标适合用于回归模型的评价？A. 准确率B. 精确率C. 均方误差D. 召回率4. 什么是过拟合？A. 欠拟合B. 模型泛化能力差C. 训练数据效果好，测试数据效果差D. 模型对训练数据过于复杂5. 数据挖掘中最常用的算法之一是：A. 关联规则挖掘B. 地理聚类算法C. PCA主成分分析D. 神经网络6. 在K均值聚类算法中，K的取值是：A. 随机指定B. 需要提前确定C. 可以根据数据自动调整D. 由数据量来决定7. 数据不平衡问题常见的解决方法是：A. 降采样B. 升采样C. 阈值移动D. 过采样8. 常用的数据变换方法包括：A. 标准化B. 特征选择C. 特征抽取D. 以上都是9. 以下哪个不是决策树算法？A. CARTB. SVMC. ID3D. C4.510. 数据挖掘的任务包括：A. 分类B. 预测C. 聚类D. 以上都是第二部分：简答题（每题5分，共25分）1. 请简要介绍数据挖掘的相关概念及主要任务。
2. 什么是数据清洗？数据预处理的主要步骤有哪些？3. 请简要描述K均值聚类算法的原理及应用场景。
4. 什么是特征选择？为什么特征选择在数据挖掘中很重要？5. 请解释模型评估中的ROC曲线及AUC指标的含义。
第三部分：分析题（每题10分，共30分）1. 请根据提供的数据集，使用决策树算法进行分类预测，并对算法进行评估。
2. 请使用K均值聚类算法对特定数据进行聚类，并解释聚类结果的含义。
3. 请选择一个自己感兴趣的数据集，设计一个数据挖掘项目，并说明项目的背景、目的、方法及预期结果。
第四部分：应用题（每题15分，共30分）1. 请根据给定的销售数据，利用关联规则挖掘算法找出频繁项集和关联规则，并分析其规则含义及实际应用。
1·元数据：是关于数据仓库中数据的数据。
2·数据仓库中的元数据可以分为四类1)关于数据源的元数据：对不同平台上的数据源的物理结构和含义的描述；2)关于数据模型的元数据：描述了数据仓库中有什么数据以及数据之间的关系，它们是用户使用管理数据仓库的基础；3)关于数据仓库映射的元数据：反映数据仓库中的数据项是从哪个特定的数据源填充的，经过哪些转换，变换和加载过程；4)关于数据仓库使用的元数据：数据仓库中信息的使用情况描述，这类元数据能帮助用户到数据仓库查询所需要的信息，用于解决企业问题。
3·数据仓库和数据集市的区别数据仓库收集了关于整个组织的主题（如顾客、商品、销售、资产和人员）信息，因此是企业范围的。
对于数据仓库，通常使用星座模式，因为它能对多个相关的主题建模。
数据集市是数据仓库的一个部门子集，它针对选定的主题，因此是部门范围的。
对于数据集市，流行星型或雪花模式，因为它们都适合对单个主题建模。
4·数据集市主要有两种结构：从属数据集市(数据直接来自于中央数据仓库)独立数据集市(数据直接来源于各生产系统)5·数据库与数据仓库的联系与区别?联系：数据仓库的出现，并不是要取代数据库。
可以说，数据库、数据仓库相辅相成、各有千秋。
区别：出发点不同（面向事物/面向主题）、存储的数据不同（实时数据/历史数据）、设计规则不同（范式/反范式）、提供的功能不同（捕获数据/分析数据）、基本元素不同（事实表/维表）、容量不同（GB/TB）、服务对象不同（业务处理人员/高层决策人员）。
6·粒度的作用：粒度越小，数据的综合程度越低，存储的数据越详细，需要的索引项越多，存储的数据量越大；回答查询的种类越多。
粒度越高，数据综合程度越高，需要的索引项越少，存储的数据量越小,查询的效率也越高7·数据集市（data marts）通常是指较为小型化、针对特定目标且建设成本较低的一种数据仓库。
主要内容⏹ 数据挖掘综述⏹ 数据仓库和数据挖掘的OLAP 技术 ⏹ 数据预处理⏹ 数据挖掘原语、语言和系统结构 ⏹ 概念描述：特征化与比较⏹ 挖掘大型数据库中的关联规则 ⏹ 分类和预测 ⏹ 聚类分析⏹ 复杂类型数据的挖掘数据挖掘的应用和发展趋势我们拥有丰富的数据，但却缺乏有用的信息 解决方法：数据仓库技术和数据挖掘技术 数据仓库(Data Warehouse)和在线分析处理(OLAP)数据挖掘：在大量的数据中挖掘感兴趣的知识（规则，规律，模式，约束） 数据库技术的演化 1960s 和以前:文件系统1970s: 层次数据库和网状数据库（ 1973年 查理士·巴赫曼 ） 1980s 早期:关系数据模型, 关系数据库管理系统(RDBMS)的实现1980s 晚期:各种高级数据库系统(扩展的关系数据库,面向对象数据库等等.) 面向应用的数据库系统 (spatial 数据库，时序数据库，多媒体数据库等等）1990s: 数据挖掘, 数据仓库, 多媒体数据库和网络数据库 2000s 流数据管理和挖掘 基于各种应用的数据挖掘 XML 数据库和整合的信息系统 什么是数据挖掘？数据挖掘 (从数据中发现知识)从大量的数据中挖掘哪些令人感兴趣的、有用的、隐含的、先前未知的和可能有用的模式或知识挖掘的不仅仅是数据（所以“数据挖掘”并非一个精确的用词） 数据挖掘的替换词数据库中的知识挖掘（KDD）、知识提炼、 数据/模式分析、数据考古、数据捕捞、信息收获等等。
并非所有东西都是“数据挖掘” 查询处理.专家系统或是小型的数学计算/统计程序知识挖掘的步骤 了解应用领域了解相关的知识和应用的目标创建目标数据集: 选择数据数据清理和预处理: (这个可能要占全过程60％的工作量) 数据缩减和变换找到有用的特征，维数缩减/变量缩减，不变量的表示。
选择数据挖掘的功能数据总结, 分类模型数据挖掘, 回归分析, 关联规则挖掘, 聚类分析等.⏹ 选择挖掘算法⏹ 数据挖掘: 寻找感兴趣的模式 ⏹ 模式评估和知识表示❑ 可视化，转换，消除冗余模式等等⏹运用发现的知识数据挖掘的主要方法 (1) 概念/类描述: 特性化和区分归纳，总结和对比数据的特性。
《Web Data mining》复习与总结一、课程主要内容数据挖掘概述+WEB数据挖掘数据挖掘（ch1 概述）：又被称为数据库中的知识发现（ＫＤＤ）。
是指从数据源（如DB、文本、图片、万维网等）探寻有用的模式或知识的过程。
这些模式必须是有用的、有潜在价值的、并且是可以被理解的。
数据挖掘是一门多学科交叉的学科，包括机器学习、统计、数据库、人工智能、信息检索和可视化。
WEB数据挖掘（ch6-12）的目标是从web超链接、网页内容和使用日志中探寻有用的信息。
依据挖掘过程中使用的数据类别，web挖掘的任务划分为三种主要的类型：web结构挖掘、web内容挖掘和web使用挖掘。
web结构挖掘：从表征web结构的超链接中寻找知识。
Ch6-ch8：信息检索与web搜索；链接分析；web爬取。
web内容挖掘：从网页内容中抽取有用的信息和知识。
Ch9-ch11：结构化数据抽取：包装器生成；信息集成；观点挖掘。
web使用挖掘：从记录每位用户点击情况的使用日志中挖掘用户的访问模式。
Ch12：web使用挖掘二、各章主要知识点（一）（ch1）概述——主要知识点1、万维网、超文本、超链接、超媒体的概念；2、HTTP，HTML，URL，WEB，TCP/IP的含义；3、Web数据的特点：P5－6；4、数据挖掘的定义、数据挖掘任务、KDD过程、KDD的数据类型等；5、Web数据挖掘的定义、分类、web数据挖掘过程等。
6、关联规则、列模式挖掘、分类与预测、聚类挖掘的基本概念及挖掘思想。
WEB结构挖掘：包括——信息检索与WEB搜索、链接分析、WEB爬取（二）（ch6）信息检索与web搜索1、基本概念：（1）信息检索IR：即帮助使用者从大号的数据集信息中发现需要的资料。
了信息的采集、组织、存储、检索及分发。
根据用户的查询信息得到相应的一组文档，得到的结果根据其与用户查询信息的相关程序排序，最常用的用户查询信息是一组关键字（又称词）。
其基本信息是单个文档，大量的文档形成文本数据库。
（2）web搜索：是信息检索的一个重要分支。
区别于信息检索的特点是：效率是WEB搜索的一个最为重要的问题；网页与传统信息检索系统中使用的普通文档不同：（1）具有超链接以及锚文本、（2）网页是半结构化的、（3）网页中的内容基本上是有组织的，并且在一些结构块中出现；作弊技术是网络上的一个重要的问题。
（3）IR基本架构：用户查询（关键字查询、布尔查询、短语查询、邻近查询、全文查询、自然语言查询等）+查询操作（作简单预处理如STOP WORDS删除等发送到检索引擎、或处理用户反馈——关联性反馈）+索引器（为提高查询效率对原始文档用某种数据结构做索引，形成文档索引——返回文档索引，如倒排索引）+检索系统（为每个索引文档计算与查询的相关度分数）关键字查询布尔查询短语查询邻近查询全文查询自然语言查询预处理关联性反馈倒排索引计算文档与查询的相关度分数布尔模型（布尔查询：AND、OR、NOT）向量空间模型（TF表、TF－IDF表、查询、相关度排名）语言模型概率模型关联性反馈（4）查全率（recall）、查准率（precision）、查准率－查全率曲线（PR曲线）、排名查准率（rank precision）、F-score（5）网页预处理：移除停用词、词干提取、数字、连字号、标点、字符大小写的处理；辨别不同的字段；辨别锚文本；移除HTML标签；辨别主要内容块；（6）副本探测（对整个文本Hash——MD5算法；基于n元短语的副本探测技术）：即复制页面，可减少索引大小，改善搜索效率；镜像：复制站点的技术。
（7）倒排索引：是一张列表，包含了每一个不同的词和包含该词的文档列表。
可加快检索和查询的速度。
其本身构建速度也非常快。
记录格式：〈id j,f ij,[o1,o2,…..o|fij|]〉倒排索引的建立及压缩：搜索引擎——基于向量空间模型和词匹配模型。
爬取网页！！元搜索引擎和组合多种排序：略网络作弊的概念及分类：●内容作弊（词组作弊）：标题、元标记、正文、锚文本、网址。
如内容重复、或添加其他不相关的●链接作弊（影响知名度分数）：链出链接作弊（指向中心页面——目录克隆）或链入链接作弊（创建蜜罐、网络目录中添加链接、用户生成内容是添加链接、交换链接、自发添加等）●隐藏技术：内容隐藏（隐藏垃圾项）、掩饰技术（垃圾网络服务器、重定向技术等）●抵制作弊：分类处理——区别对待内容作弊、链接作弊、隐藏技术等；信任排名方法可用。
2、主要知识点（1）IR系统的基本架构及原理●用户查询的主要形式：关键字查询、布尔查询、短语查询、邻近查询、全文查询、自然语言查询的含义●查询操作●索引器●检索系统（2）信息检索模型主要有四种信息检索模型：布尔模型、向量空间模型、语言模型、概率模型。
熟悉布尔模型、向量空间模型的基本原理，了解统计语言模型、概率模型。
布尔模型：文档表示法、布尔查询、文档检索。
向量空间模型：文档表示法（词频率表TF、词逆向文档频率TF－IDF等）、查询、检出文件以及相关度排名（向量夹角余弦相似度、Okapi相关度计算、旋转标准化权值）（3）信息检索模型的评估标准查全率（recall）查准率（precision）查准率－查全率曲线（PR曲线）排名查准率（rank precision）F-score（4）文本和网页的预处理内容●停用词移除●词干提取●数字的预处理●连字号的预处理●标点符号的预处理●字符大小写的预处理*网页预处理步骤：●辨别不同的字段：标题、元数据、正文等●辨别锚文本●移除HTML标签●辨别主要内容块（根据视觉线索分块、树匹配）●副本探测（5）倒排索引及其压缩●倒排索引的概念：●使用倒排索引搜索的算法步骤——搜索词汇表、结果合并、计算排名分数●索引的建立方法：使用TRIE数据结构相比其他的结构更加有效。
●索引的压缩方法：常用的有两种，即变位模式（一元编码、Elias gamma编码和delta编码）和变字节模式（整数对应到自定义的二进制编码）。
●索引压缩的解码：一元编码的解码、变字节编码的解码——了解（6）隐式主义索引（略）（7）WEB搜索——搜索引擎搜索引擎——基于向量空间模型和词匹配模型。
爬取网页！！搜索引擎的工作步骤：分解（parsing）；索引（indexing）；搜索并排序（预处理、利用倒排索引查找含有全部查询词的页面、对页面排序并返回给用户）。
其中排序算法是核心。
搜索引擎的排序算法：网页质量和网页知名度是排序的重要因素。
可利用超链接（链入链接——pagerank算法、链出链接）的数量作为排序网页的指标之一；内容质量可利用（1）出现的形式，如标题、锚文本、网址、正文等；（2）计数：以不同形式出现的词的计数；（3）位置：对于以不同出现形式出现的词的位置记录。
基于内容的网页评估分数（IR分数）与知名度分数的加权和以得到网页的排名分数。
另见第七章中的计算方法。
搜索引擎的两种查询方式：单词语查询和多词语查询。
网络作弊技术：使用人为的手段，让一些网页高于其应有的排名。
网页作弊的主要形式：内容作弊、链接作弊、隐藏技术（内容隐藏、掩饰技术、重定向）、抵制作弊（信任排名等技术）。
（三）（ch7）链接分析1、基本概念(1)社会关系网：是一门研究社会中社会实体（组织中的人、或者叫参与者）以及他们之间的活动与关系的学问。
这种关系或活动可以用网络或图来表示。
(2)社会网络分析：分析研究社会关系网络的结构特性，以及每个参与者的职责、位置、威望等属性；找出各种类型的子图。
●社会网络分析方法：中心性和权威性。
●中心性（链出）的概念：链接（连接）、中心参与者。
度中心性（有向图、无向图的度中心性）接近中心性（无向图、有向图的接近中心性）中介中心性（无向图、有向图的中介中心性）●权威性（链入）的概念度权威邻近权威等级权威(pagerank、hits算法)(3)同引分析的概念：用来度量不由自主文档之间的相似性。
引文耦合的概念：将引用同一篇其他论文的两篇论文联系起来。
两篇论文引用的相同文章数目越多，它们之间就越相似。
Pagerank算法的基本思想Hits算法的基本思想社区发现的相关概念。
2、主要知识点(1)社会网络分析：分析研究社会关系网络的结构特性，以及每个参与者的职责、位置、威望等属性；找出各种类型的子图。
(2)络分析方法：中心性和权威性，这两种指标对于网络搜索以及链接分析都有非常密切的关系，是社会关系网中参与者的著名程度进行度量的标准。
中心性（链出）的概念：链接（连接）、中心参与者。
三种中心性度量：度中心性（有向图、无向图的度中心性）、接近中心性（无向图、有向图的接近中心性）、中介中心性（无向图、有向图的中介中心性）。
权威性（链入）的概念：度权威、邻近权威、分级权威(pagerank、hits算法)。
度权威：邻近权威：等级权威：(3)同引分析的概念：用来度量不由自主文档之间的相似性。
引文耦合的概念：将引用同一篇其他论文的两篇论文联系起来。
两篇论文引用的相同文章数目越多，它们之间就越相似。
PAGERANK算法：1998年4月提出。
了解基本思想及原理。
PAGERANK算法的优缺点PAGERANKT可能改进——timed pagerank算法的基本思想。
HITS算法：1998年1月提出。
了解其基本思想。
(4)掌握同引分析与引文耦合与PAGERANK算法和HITS算法的关系。
HITS算法的优点、缺点及可能的改进。
了解社区发现的基本原理。
（四）（ch8）WEB爬取1. 基本概念（1）WEB爬虫（蜘蛛或机器人）：能自动下载网页的程序。
（2）WEB爬虫的分类：通用爬虫、限定爬虫、主题爬虫。
通用爬虫限定爬虫主题爬虫（3）简单爬虫算法：种子URL、队列、页面获取、网页库等模块。
●宽度优先爬虫●带偏好的爬虫网页获取/网页解析/删除无用词、词干提取、链接提取和规范化/爬虫陷井网页库爬虫消耗的资源：网络、中CPU和磁盘。
(4)爬虫的改进：实现并发性（并行爬虫架构）。
通用爬虫：可扩展性、爬虫覆盖率、新鲜度和重要度。
限定爬虫：能爬取用户感兴趣的某一类网页。
熟悉概念。
主题爬虫：带偏好爬取网页的爬虫。
熟悉概念。
了解通用爬虫、限定爬虫、主题爬虫的联系与区别。
2、主要知识点简单爬虫算法及改进（并行爬虫）。
限定爬虫算法的基本思想。
主题爬虫的基本原理。
三种爬虫算法的联系与区别WEB内容挖掘：包括——结构化信息抽取、信息集成、观点挖掘。
（五）(ch9)结构化数据抽取：包装器生成1、基本概念（1）WEB信息抽取：从网页中抽取目标信息，包括：从自然语言文本中抽取信息及从网页的结构化数据中抽取信息。
●包装器：抽取结构化数据的程序。
●WEB结构化数据：从后台数据库获取的数据记录，它们按照一定的模板被展现在网页上。
