机器学习与数据挖掘复习第一章：Introduction1. 什么是数据挖掘：数据挖掘时从大量的数据中取出令人感兴趣的知识〔令人感兴趣的知识：有效地、新颖的、潜在有用的和最终可以理解的〕。
2. 数据挖掘的分类〔从一般功能上的分类〕：a)描述型数据挖掘〔模式〕：聚类，summarization，关联规那么，序列发现。
b)预测型数据挖掘〔值〕：分类，回归，时间序列分析，预测。
3. KDD〔数据库中的知识发现〕的概念：KDD是一个选择和提取数据的过程，它能自动地发现新的、准确的、有用的模式以及现实世界现象的模型。
数据挖掘是KDD过程的一个主要的组成局部。
4. 用数据挖掘解决实际问题的大概步骤：a)对数据进展KDD过程的处理来获取知识。
b)用知识指导行动。
c)评估得到的结果：好的话就循环使用，不好的话分析、得到问题然后改良。
5. KDD过程中的角色问题：6. 整个KDD过程：a)合并多个数据源的数据。
b)对数据进展选择和预处理。
c)进展数据挖掘过程得到模式或者模型。
d)对模型进展解释和评价得到知识。
第二章数据和数据预处理1. 什么是数据：数据是数据对象和它的属性的集合。
一个属性是一个对象的性质或特性。
属性的集合描述了一个对象。
2. 属性的类型：a)标称〔nominal〕：它的值仅仅是不同的名字，只是提供足够的信息来区分对象。
例如邮政编码、ID、性别。
b)序数：序数属性的值提供足够的信息确定对象的序。
例如硬度、成绩、街道。
c)区间：对于区间属性，值之间的差是有意义的，即存在测量单位。
例如日历日期、温度。
d)比率：对于比率变量，差和比率都是有意义的。
例如绝对温度、年龄、质量、长度。
3. 用值的个数描述属性：a)离散的：离散属性具有有限惑无限可数个值，这样的属性可以是分类的。
b)连续的：连续属性是取实数值的属性。
4. 非对称属性：对于非对称属性，出现非零属性值才是最重要的。
5. 数据集的类型：a)记录型数据：每一个数据对象都是有固定数目的属性组成的。
大数据分析与挖掘复习题集附答案大数据分析与挖掘复习题集附答案一、选择题1. 数据挖掘的主要任务是：A. 模式发现和模型评估B. 数据收集和整理C. 数据分析和可视化D. 数据传输和存储答案：A2. 在数据挖掘过程中，数据预处理的目的是：A. 提取有价值的信息B. 去除异常值和噪声C. 构建合适的模型D. 优化数据存储结构答案：B3. 关联规则挖掘是指：A. 发现不同属性之间的关联关系B. 预测未来事件的发生C. 分析数据的变化趋势D. 构建数据的分类模型答案：A4. 在数据挖掘中，分类和聚类的主要区别在于：A. 数据来源的不同B. 目标的不同C. 算法的不同D. 结果的不同答案：B5. 大数据分析的核心挑战是：A. 数据存储和处理速度B. 数据质量和准确性C. 数据安全和隐私保护D. 数据可视化和展示答案：A二、填空题1. __________是指通过对海量数据进行深入分析和挖掘，从中发现有价值的信息。
答案：大数据分析与挖掘2. 在数据挖掘过程中，将数据按照一定的规则进行重新排列，以便更方便地进行分析和挖掘，这个过程称为__________。
答案：数据预处理3. 数据挖掘中的分类算法主要是通过对已有的样本进行学习和训练，从而预测新的样本所属的__________。
答案：类别4. 聚类算法是将相似的数据样本归为一类，不需要事先知道数据的__________。
答案：类别5. 在大数据分析中，数据的__________对于结果的准确性和可靠性至关重要。
答案：质量三、简答题1. 请简要说明大数据分析与挖掘的步骤和流程。
答：大数据分析与挖掘的步骤主要包括数据收集与清洗、数据预处理、模式发现、模型评估和应用。
首先，需要从各个数据源收集所需数据，并对数据进行清洗，去除异常值和噪声。
然后，通过数据预处理，对数据进行规范化、离散化等处理，以便于后续的分析和挖掘。
接着，利用合适的算法和技术，进行模式发现，例如关联规则挖掘、分类和聚类等。
华南理工大学《数据挖掘》复习资料【英文缩写】BI(商务智能): Business IntelligenceOLAP(联机分析处理): Online Analytical ProcessingOLTP(联机事务处理): Online Transaction ProcessingETL(提取/变换/装入): Extraction/Transformation/Loading KDD(数据中的知识发现):Knowledge Discovery in DatabasesLecture 1.【知识发现的主要过程】(1)数据清理（消除噪声和不一致的数据）(2)数据集成（多种数据源可以组合在一起）(3)数据选择（从数据库中提取与分析任务相关的数据）(4)数据变换（数据变换或同意成适合挖掘的形式，如通过汇总或聚集操作）(5)数据挖掘（基本步骤，使用只能方法提取数据模式）(6)模式评估（根据某种兴趣度度量，识别表示只是的真正有趣的模式）(7)知识表示（使用可视化和只是表示技术，向用户提供挖掘的知识）【挖掘的知识类型】(1)概念描述：特征划与区分(概化、摘要、以及对比数据特征)(2)关联（相关性或者因果关系）(3)分类与预测：对类或概念构造模型或函数以便对未来数据进行预测(4)聚类分析：类标识符是未知的，把数据分成不同的新类，使得同一个类中的元素具有极大的相似性，不同类元素的相似性极小。
(5)趋势与偏差分析：序列模式挖掘(6)孤立点分析：孤立点，不符合该类数据的通用行为的数据，不是噪声或异常。
【数据挖掘在互联网、移动互联网的应用】(1)Web用法挖掘（Web日志挖掘）：在分布式信息环境下捕获用户访问模式(2)权威Web页面分析：根据Web页面的重要性、影响和主题，帮助对Web页面定秩(3)自动Web页面聚类和分类：给予页面的内容，以多维的方式对Web页面分组和安排(4)Web社区分析：识别隐藏的Web社会网络和社团，并观察它们的演变Lecture 2.【为什么需要数据预处理】现实世界中的数据很“脏”，具有以下特性：(1)不完整的: 缺少属性值, 感兴趣的属性缺少属性值, 或仅包含聚集数据(2)含噪声的: 包含错误或存在孤立点(3)不一致的: 在名称或代码之间存在着差异数据预处理技术可以改进数据的质量，从而有助于提高其后的挖掘过程的精度和性能。
数据挖掘复习要点数据挖掘1.数据挖掘：从⼤量的、不完全的、有噪声的、模糊的、随机的实际应⽤数据中，提取隐含在其中的、⼈们事先不知道的，但⼜是潜在有⽤的信息和知识的过程。
（商业定义）按企业即定业务⽬标，对⼤量的企业数据进⾏探索和分析，揭⽰隐藏的、未知的或已知的规律，并进⼀步将其模型化的先进的有效⽅法。
2.数据挖掘的功能：描述和预测。
描述：刻画了数据库数据的⼀般特性；预测：在当前数据上进⾏分析，以此进⾏推断。
1)概念描述：通过对某类对象关联数据的汇总、分析和⽐较，对此类对象的内涵进⾏描述，并概括这类对象的有关特征。
2)多层次概念描述：将低层次概念集映射到⾼层次概念集的⽅法。
3)关联分析：⽬的是找出数据库中隐藏的关联⽹。
4)聚类：将物理或抽象对象的集合分组成为由类似的对象组成的多个类的⽅法。
5)分类：从数据库对象中发现共性，并将数据对象分成不同类别的⼀个过程。
6)偏差检测：偏差检测的基本⽅法是寻找观测结果与参照值之间有意义的差别。
7)孤⽴点分析：对于数据的⼀般⾏为或模型不⼀致的数据进⾏分析。
8)⾃动预测趋势和⾏为：针对具有时序属性的数据或者是序列项⽬的数据。
9)时序演变分析：寻找事件或对象⾏为随事件变化的规律或趋势，并以此来建⽴模型。
10)信息摘要：⼀种⾃动编制⽂摘的技术，即利⽤计算机将⼀篇⽂章浓缩成⼀篇短⽂的过程。
11)信息抽取：根据⼀个事先定义好的、描述所需信息规格的模板，从⾮结构化的⽂本中抽取相关信息的过程。
12)元数据挖掘，对元数据进⾏挖掘。
3.数据挖的掘步骤：1)确定业务对象；2)数据准备c)数据的转换a)数据的选择b)数据的预处理3)数据挖掘，对所得到的经过转换的数据进⾏挖掘。
4)结果分析，解释并评估结果；5)知识的同化，将分析所得到的知识集成到业务信息系统的组织结构中去。
4.数据挖掘的⼈员：1)业务分析⼈员，要求精通业务，能够解释业务对象，并根据各业务对象确定⽤于数据定义和挖掘算法的业务需要；2)数据分析⼈员，精通数据分析技术，并对统计学有较熟练的掌握，有能⼒把业务需求转化为数据挖掘的各步操作选择合适的技术；3)数据管理⼈员，精通数据管理技术，并从数据库仓库中收集数据。
