下载文档原格式
数据挖掘技术分析期末总结第一章：引言数据挖掘技术在当前信息爆炸的时代扮演着至关重要的角色。
数据挖掘技术能够从大量、复杂、多源、高维度的数据中发现隐藏的、有用的信息，并利用这些信息做出智能决策。
本文将对数据挖掘技术进行分析和总结，包括数据挖掘的定义、应用、技术和挑战等方面。
第二章：数据挖掘的定义和基本概念本章将对数据挖掘的定义和基本概念进行介绍。
数据挖掘是一门综合性的学科，它将数据库技术、机器学习、统计学和模式识别等多个学科的知识融合于一体。
数据挖掘的基本概念包括数据预处理、特征选择、数据采样、模型选择、模型评估等。
第三章：数据挖掘的技术和方法本章将对数据挖掘的技术和方法进行详细介绍。
数据挖掘的核心技术包括分类、聚类、关联规则挖掘、异常检测和预测分析等。
针对不同的任务和数据类型，我们可以选择不同的数据挖掘方法，如决策树、神经网络、支持向量机等。
第四章：数据挖掘的应用领域本章将对数据挖掘的应用领域进行梳理。
数据挖掘技术可以广泛应用于金融、电子商务、医疗、交通、社交网络等各个领域。
在这些领域中，数据挖掘可以帮助企业发现市场机会、提高生产效率、优化运营管理等。
第五章：数据挖掘的挑战和未来发展趋势本章将对数据挖掘的挑战和未来发展趋势进行分析和展望。
随着科技的不断发展，数据量的不断增加，数据挖掘面临着各种挑战，如数据隐私保护、模型解释性和数据不平衡等。
然而，数据挖掘仍然有很大的发展空间，未来可能出现更多的研究和应用领域。
第六章：结论本文通过对数据挖掘技术的分析和总结，我们可以得出以下结论：数据挖掘技术在当今社会具有重要的应用价值；数据挖掘技术包括了多种技术和方法，可以根据不同的任务和数据类型进行选择；数据挖掘技术还面临着各种挑战，但未来仍然有很大的发展潜力。
总结：数据挖掘技术是当今社会中处理和分析大数据的重要工具。
在数据挖掘技术的帮助下，我们可以从大数据中发现有价值的信息，并据此做出智能决策。
数据挖掘技术的应用领域广泛，可以帮助企业进行市场预测、产品推荐和风险控制等。
数据挖掘概念与技术_课后题答案数据挖掘⼀⼀概念概念与技术Data MiningConcepts andTechniques习题答案第1章引⾔1.1什么是数据挖掘？在你的回答中，针对以下问题：1.2 1.6定义下列数据挖掘功能：特征化、区分、关联和相关分析、预测聚类和演变分析。
使⽤你熟悉的现实⽣活的数据库，给岀每种数据挖掘功能的例⼦。
解答：特征化是⼀个⽬标类数据的⼀般特性或特性的汇总。
例如，学⽣的特征可被提岀，形成所有⼤学的计算机科学专业⼀年级学⽣的轮廓，这些特征包括作为⼀种⾼的年级平均成绩（GPA: Grade point aversge）的信息，还有所修的课程的最⼤数量。
区分是将⽬标类数据对象的⼀般特性与⼀个或多个对⽐类对象的⼀般特性进⾏⽐较。
例如，具有⾼GPA的学⽣的⼀般特性可被⽤来与具有低GPA的⼀般特性⽐较。
最终的描述可能是学⽣的⼀个⼀般可⽐较的轮廓，就像具有⾼GPA的学⽣的75%是四年级计算机科学专业的学⽣，⽽具有低GPA的学⽣的65%不是。
关联是指发现关联规则，这些规则表⽰⼀起频繁发⽣在给定数据集的特征值的条件。
例如，⼀个数据挖掘系统可能发现的关联规则为：major（X, Computi ng scie nee” S own s（X, personalcomputer ” [support=12%, confid en ce=98%]其中，X是⼀个表⽰学⽣的变量。
这个规则指出正在学习的学⽣，12% （⽀持度）主修计算机科学并且拥有⼀台个⼈计算机。
这个组⼀个学⽣拥有⼀台个⼈电脑的概率是98% （置信度，或确定度）。
分类与预测不同，因为前者的作⽤是构造⼀系列能描述和区分数据类型或概念的模型（或功能），⽽后者是建⽴⼀个模型去预测缺失的或⽆效的、并且通常是数字的数据值。
它们的相似性是他们都是预测的⼯具：分类被⽤作预测⽬标数据的类的标签，⽽预测典型的应⽤是预测缺失的数字型数据的值。
聚类分析的数据对象不考虑已知的类标号。
数据挖掘综述引言：数据挖掘是一种通过自动或者半自动的方法，从大量数据中发现隐藏在其中的有价值的信息的过程。
随着大数据时代的到来，数据挖掘在各个领域中的应用越来越广泛。
本文将对数据挖掘的概念、应用领域、技术方法、挑战和未来发展进行综述。
一、数据挖掘的概念1.1 数据挖掘的定义数据挖掘是指通过应用统计学、机器学习、人工智能等技术，从大规模数据集中提取出实用的信息和模式的过程。
1.2 数据挖掘的目标数据挖掘的目标是通过发现数据中的潜在规律和关联，为决策提供支持，并发现新的商业机会。
1.3 数据挖掘的基本步骤数据挖掘的基本步骤包括问题定义、数据采集和清洗、特征选择和变换、模型构建、模型评估和应用。
二、数据挖掘的应用领域2.1 金融领域数据挖掘在金融领域中被广泛应用，如信用评估、风险管理、欺诈检测等。
2.2 零售领域数据挖掘在零售领域中可以匡助企业进行销售预测、市场细分、推荐系统等。
2.3 医疗领域数据挖掘在医疗领域中可以用于疾病预测、药物研发、医疗资源优化等。
三、数据挖掘的技术方法3.1 分类与预测分类与预测是数据挖掘中常用的技术方法，通过构建模型来预测未来的结果或者分类新的数据。
3.2 聚类分析聚类分析是将数据集中的对象划分为不同的组，使得组内的对象相似度高，组间的相似度低。
3.3 关联规则挖掘关联规则挖掘是寻觅数据集中的频繁项集和关联规则，用于发现数据中的相关性和规律。
四、数据挖掘的挑战4.1 数据质量问题数据挖掘的结果受到数据质量的影响，数据质量不高会导致挖掘结果不许确。
4.2 隐私保护问题在数据挖掘过程中，可能涉及到用户的隐私信息，如何保护用户隐私是一个重要的挑战。
4.3 大数据处理问题随着数据量的增加，如何高效地处理大规模数据成为数据挖掘中的难题。
五、数据挖掘的未来发展5.1 深度学习与数据挖掘的结合深度学习作为一种强大的机器学习方法，与数据挖掘的结合将会进一步提升数据挖掘的能力。
5.2 增强学习的应用增强学习是一种通过试错来优化决策的方法，将其应用于数据挖掘领域可以发现更多的隐藏规律。
什么叫数据挖掘_数据挖掘技术解析数据挖掘（data mining）是指从大量的资料中自动搜索隐藏于其中的有着特殊关联性的信息的过程。
在全世界的计算机存储中，存在未使用的海量数据并且它们还在快速增长，这些数据就像待挖掘的金矿，而进行数据分析的科学家、工程师、分析员的数量变化一直相对较小，这种差距称为数据挖掘产生的主要原因。
数据挖掘是一个多学科交叉领域，涉及神经网络、遗传算法、回归、统计分析、机器学习、聚类分析、特异群分析等，开发挖掘大型海量和多维数据集的算法和系统，开发合适的隐私和安全模式，提高数据系统的使用简便性。
数据挖掘与传统意义上的统计学不同。
统计学推断是假设驱动的，即形成假设并在数据基础上验证他；数据挖掘是数据驱动的，即自动地从数据中提取模式和假设。
数据挖掘的目标是提取可以容易转换成逻辑规则或可视化表示的定性模型，与传统的统计学相比，更加以人为本。
数据挖掘技术简述数据挖掘的技术有很多种，按照不同的分类有不同的分类法。
下面着重讨论一下数据挖掘中常用的一些技术：统计技术，关联规则，基于历史的分析，遗传算法，聚集检测，连接分析，决策树，神经网络，粗糙集，模糊集，回归分析，差别分析，概念描述等十三种常用的数据挖掘的技术。
1、统计技术数据挖掘涉及的科学领域和技术很多，如统计技术。
统计技术对数据集进行挖掘的主要思想是：统计的方法对给定的数据集合假设了一个分布或者概率模型（例如一个正态分布）然后根据模型采用相应的方法来进行挖掘。
2、关联规则数据关联是数据库中存在的一类重要的可被发现的知识。
若两个或多个变量的取值之I司存在某种规律性，就称为关联。
关联可分为简单关联、时序关联、因果关联。
关联分析的目的是找出数据库中隐藏的关联网。
有时并不知道数据库中数据的关联函数，即使知道也是不确定的，因此关联分析生成的规则带有可信度。
3、基于历史的MBR（Memory-based Reasoning）分析先根据经验知识寻找相似的情况，。
数据挖掘概念与技术原书第3版课后练习题含答案前言《数据挖掘概念与技术》（Data Mining: Concepts and Techniques）是一本经典的数据挖掘教材，已经推出了第3版。
本文将为大家整理并提供第3版课后习题的答案，希望对大家学习数据挖掘有所帮助。
答案第1章绪论习题1.1数据挖掘的基本步骤包括：1.数据预处理2.数据挖掘3.模型评价4.应用结果习题1.2数据挖掘的主要任务包括：1.描述性任务2.预测性任务3.关联性任务4.分类和聚类任务第2章数据预处理习题2.3数据清理包括以下几个步骤：1.缺失值处理2.异常值检测处理3.数据清洗习题2.4处理缺失值的方法包括：1.删除缺失值2.插补法3.不处理缺失值第3章数据挖掘习题3.1数据挖掘的主要算法包括：1.决策树2.神经网络3.支持向量机4.关联规则5.聚类分析习题3.6K-Means算法的主要步骤包括：1.首先随机选择k个点作为质心2.将所有点分配到最近的质心中3.重新计算每个簇的质心4.重复2-3步，直到达到停止条件第4章模型评价与改进习题4.1模型评价的方法包括：1.混淆矩阵2.精确率、召回率3.F1值4.ROC曲线习题4.4过拟合是指模型过于复杂，学习到了训练集的噪声和随机变化，导致泛化能力不足。
对于过拟合的处理方法包括：1.增加样本数2.缩小模型规模3.正则化4.交叉验证结语以上是《数据挖掘概念与技术》第3版课后习题的答案，希望能够给大家的学习带来帮助。
如果大家还有其他问题，可以在评论区留言，或者在相关论坛等平台提出。
数据挖掘技术数据挖掘技术是一门涉及从大量数据中发掘出有用信息的学科。
随着信息时代的到来，各行各业积累了海量的数据，而数据挖掘技术的兴起，为我们利用这些数据提供了有效的手段。
本文将介绍数据挖掘技术的定义、主要方法和应用领域。
一、定义数据挖掘技术是指通过运用各种数学、统计学和计算机科学的方法，探索和发现大规模数据集中隐藏的模式、关联规则等有价值的信息。
数据挖掘技术可以帮助我们从数据中挖掘出隐藏的知识，辅助决策和问题解决。
二、主要方法1. 分类与预测：通过训练数据集来构建一个分类模型，用于对新数据进行分类或预测。
常用的算法有决策树、朴素贝叶斯、支持向量机等。
2. 关联规则挖掘：发现数据集中不同项之间的关联关系，用于推断和预测。
常用的算法有Apriori算法、FP-Growth算法等。
3. 聚类分析：将数据集中的对象划分成不同的组或类别，使得同一组内的对象相似度较高，组间的相似度较低。
常用的算法有K-means聚类、层次聚类等。
4. 异常检测：通过分析数据的特征和分布，发现与正常模式不符的异常数据。
常用的算法有LOF算法、孤立森林算法等。
5. 预测建模：通过对历史数据进行分析和建模，预测未来的趋势和情况。
常用的算法有时间序列分析、回归分析等。
三、应用领域1. 电商领域：数据挖掘技术可以通过对用户行为和购买记录的分析，为电商企业提供个性化推荐服务，提高用户购物体验和销售额。
2. 金融领域：数据挖掘技术可以帮助银行和保险公司进行风险评估和欺诈检测，提供准确的信用评分和保险赔付估计。
3. 医疗领域：数据挖掘技术可以通过分析临床数据和医疗记录，帮助医生进行疾病的预测和诊断，提供个体化的医疗方案。
4. 航空领域：数据挖掘技术可以通过对机票销售数据和历史航班信息的分析，优化航班调度和机票定价，提高航空公司的运营效率。
5. 社交媒体领域：数据挖掘技术可以通过对用户社交网络和行为数据的分析，为社交媒体平台提供个性化推荐和精准广告投放。
数据挖掘技术数据挖掘技术是一种利用统计学、机器学习和数据库技术等方法，从大量数据中提取出有价值的信息和模式的过程。
这项技术的应用范围非常广泛，可以帮助企业发现潜在的商业机会，提高决策效率，改进产品和服务，甚至可以在医疗领域预测疾病风险。
本文将介绍数据挖掘技术的基本概念、方法和应用。
一、数据挖掘的概念和方法数据挖掘是从大量非结构化和半结构化数据中发现隐藏在其中的模式和关联的过程。
它可以通过对数据进行预处理、特征选择、模型建立和模型评估等步骤来实现。
常用的数据挖掘方法包括聚类、分类、关联规则和时序模型等。
1. 聚类聚类是一种将相似的数据对象归类到同一类别的方法。
它可以帮助我们找到数据中的群组结构，进而进行市场细分、用户分群等应用。
常见的聚类算法有K-means、层次聚类等。
2. 分类分类是一种将数据对象映射到预定义类别的方法。
它可以通过构建分类模型来预测新数据的类别，如垃圾邮件分类、客户流失预测等。
常用的分类算法有朴素贝叶斯、决策树、支持向量机等。
3. 关联规则关联规则是一种发现数据中项集之间关联关系的方法。
它可以帮助我们发现购物篮分析中的商品关联关系、推荐系统中的用户偏好等。
常见的关联规则算法有Apriori、FP-Growth等。
4. 时序模型时序模型是一种对时间序列数据进行预测和建模的方法。
它可以应用于股票预测、天气预报等领域。
常用的时序模型算法有ARIMA、LSTM等。
二、数据挖掘技术的应用数据挖掘技术在各行各业都有着广泛的应用。
以下是几个典型的应用案例：1. 金融领域在金融领域，数据挖掘技术可以用于信用评估、欺诈检测、风险管理等。
银行可以通过数据挖掘技术对客户进行分类，从而更好地提供个性化的金融服务。
2. 零售业零售业可以利用数据挖掘技术进行市场细分、用户推荐等。
通过分析顾客的购买历史和喜好，商家可以精准地进行产品推荐，提高销售额。
3. 医疗领域数据挖掘技术可以应用于疾病风险预测、医疗资源分配等。
数据挖掘的基本概念和技术数据挖掘是从大量的数据中获取有价值的信息和模式的过程。
它是一种用于发现隐藏在数据背后的关联、规律和趋势的技术。
数据挖掘在商业、科学、金融等领域具有广泛的应用，可以帮助我们做出决策、预测未来趋势和分析数据。
一、数据挖掘的基本概念数据挖掘的基本概念包括数据预处理、模型选择、模型训练和模型评估等几个方面。
1. 数据预处理数据预处理是数据挖掘中非常重要的一步。
它包括数据清洗、数据集成、数据转换和数据规约等过程。
数据清洗是指去除无用、重复或错误数据；数据集成是将多个数据源整合成一个统一的数据集；数据转换是将原始数据转换成适合挖掘的形式；数据规约是通过数据压缩和抽样等方式减少数据量，提高挖掘效率。
2. 模型选择在数据挖掘过程中，需要选择适合问题的挖掘模型。
常见的模型包括分类、聚类、关联规则挖掘等。
分类模型用于预测离散型的目标变量，聚类模型用于将相似的数据对象归为一类，关联规则挖掘用于发现数据项之间的关联关系。
3. 模型训练模型训练是指根据给定的训练数据集，通过学习算法生成一个能够预测未知数据的模型。
在训练过程中，需要选择适当的学习算法，并对其进行参数调整。
常用的学习算法包括决策树、神经网络、支持向量机等。
4. 模型评估在获取模型后，需要对其进行评估，以判断其性能和准确性。
常用的评估指标包括准确率、召回率、精确率、F1值等。
评估结果可以帮助我们选择最优的模型，并进行针对性的改进。
二、数据挖掘的技术数据挖掘的技术包括分类、聚类、关联规则挖掘、时序模式挖掘等。
1. 分类分类是一种常见的数据挖掘技术，它通过学习已标记的训练样本，建立一个预测模型，用于预测未标记样本的类别。
分类模型可以应用于垃圾邮件过滤、疾病诊断等领域。
2. 聚类聚类是将相似的数据对象归为一类的数据挖掘技术。
聚类算法通过计算数据对象之间的相似度，将相似的对象归为同一类别。
聚类可以帮助我们发现数据的潜在结构和群组。
3. 关联规则挖掘关联规则挖掘用于发现数据项之间的关联关系。
数据挖掘概念与技术•数据挖掘概述o数据挖掘概念▪从大量数据中挖掘有趣模式和知识的过程。
数据源包括数据库、数据仓库、Web、其他信息储存库或动态流入系统的数据▪从数据中挖掘知识、数据中的知识发现（KDD）o知识发现过程▪（1）数据清理：消除噪声和删除不一致数据▪（2）数据集成：多种数据源可以组合在一起▪（3）数据选择：从数据中提取与分析与任务相关的数据▪（4）数据变换：通过汇总和聚集操作，把数据变换和统一成适合挖掘的形式▪（5）数据挖掘：基本步骤，使用智能方法提取数据模式▪（6）模式评估：根据某种兴趣度量，识别代表知识的真正有趣的模式▪（7）知识表示：使用可视化和知识表示技术，向用户提供可挖掘的知识o数据收集和数据库创建（20世纪60年代或更早）原始文件处理▪数据库管理系统（20世纪70年代-80年代初期）•高级数据库系统（20世纪80年代中期-现在）•高级数据分析（20世纪80年代后期-现在）o数据挖掘的数据类型▪数据库系统•组成o内部相关的数据（数据库）o管理和存取数据的软件程序▪定义数据库结构和数据储存，说明和管理并发、共享或分布式数据访问，面对系统瘫痪和未授权的访问，确保信息的一致性和安全性•关系数据库是表的汇集，每个表都被赋予一个唯一的名字•关系表中每个元组代表一个对象，被唯一的关键字标识，并被一组属性值描述•每个表都包含一组属性（列或字段），并且通常存放大量元组（记录或行）•通常为关系数据库构建语义数据模型，如实体—联系（ER）数据模型▪数据仓库•数据仓库是一个从多个数据源收集信息的信息储存库，存放在一致的模式下，并且通常驻留在单个站点上。
数据仓库通过数据清理、数据变换、数据集成、数据装入和定期数据刷新来构造。
▪事务数据•一般地，事务数据库的每个记录代表一个事务，如顾客的一次购物，一个航班订票。
一个事务包含一个唯一的事务标识号（TransID)，以及一个组成事务的项（如购买的商品）的列表。
事务数据库可能有一些与之相关的附加表，包含事务的其他信息，如商品描述。
▪其他类型的数据•时间相关或序列数据（历史记录、时间序列数据）、数据流（视频监控，它们连续播放)、空间数据（地图）、工程设计数据（建筑数据、集成电路）、超文本和多媒体数据（文本、图像）、图和网状数据（如社会信息网络）、万维网、特殊语义（次序、音视频内容、连接性）以及挖掘具有丰富结构和语义的模式o数据挖掘功能▪（1）特征化与区分•数据特征化：一般地汇总所研究类（目标类）的数据o基于统计度量和图的简单数据汇总o OLAP上卷o面向属性的归纳技术•数据区分：将目标类与一个或者多个比较类（对比类）进行比较o通过区分规则进行比较度量▪（2）频繁模式•频繁项集•频繁子序列（序列模式)•频繁子结构▪（3）关联和相关性挖掘•单维关联规则：包含单个谓词的关联规则•多维关联规则：涉及多个属性或谓词的关联▪（4）分类与回归•分类o概念：找出描述和区分数据类或概念的模型（或函数），以便能够使用模型预测类标号未知的对象的类标点o方法▪分类规则（IF-THEN规则）▪决策树：类似于流程图的树结构、其中每个节点代表一个属性值上的测试，每个分支代表测试的一个结果，而树叶代表类或类分布▪数学公式▪类似于神经元的处理单元，单元之间加权连接▪朴素贝叶斯分类、支持向量机、K最邻近分类•回归：用来预测缺失的或难以获得的数值数据值，也包含基于可用数据的分布趋势识别。
•相关分析在分类和回归之前进行，它试图识别分类和回归过程显著相关的属性▪（5）聚类分析•概念：对象根据最大化类内相似性、最小化类间相似性的原则进行聚类或分组。
对象的簇这样形成，使得相比之下在同一个簇中的对象具有很高的相似性，而与其他簇中的对象很不相似。
所形成的每个簇都可以看作一个对象类，由它可以导出规则。
聚类也便于分类化形成，即将观测组织成类分层结构，把类似的事件组织在一起。
▪（6）离群点分析•概念：找出数据集中与数据的一般行为或模型不一致的数据对象o统计与数据挖掘▪统计学研究数据的收集、分析、解释和表示，数据挖掘与统计学有天然的联系。
▪统计模型是一组数学函数、它们用随机变量及其概率分布刻画目标类对象的行为▪（1）统计模型可以是数据挖掘任务的结果，数据挖掘任务也可以建立在统计模型之上，于是，在大数据集中挖掘模式时，数据挖掘过程可以使用该模型来帮助识别数据中的噪声和缺失值。
▪（2）统计学研究开发一些数据和统计模型进行预测和预报的工具，对于从数据中挖掘各类模式，以及理解产生和影响这些模式的潜在机制，统计学是有用的。
▪（3）统计方法也可以用来验证数据挖掘结果，例如：建立分类或预测模型之后，应该使用统计假设检验来验证模型。
▪在数据挖掘中使用统计方法并不简单，如何把统计学方法用于大型数据集是一个巨大的挑战，许多统计学方法都有很高的计算复杂度。
o机器学习▪概念：计算机如何基于数据学习（或提高他们的性能），主要研究领域是计算机基于数据自动地学习识别复杂的模式，并做出智能的决断。
▪类型•监督学习：类似于分类，学习中的监督来自训练数据集中标记的实例•无监督学习：类似于聚类，输入额实例没有标记•半监督学习：在学习模型时，使用标记的和未标记的实例•主动学习：让用户在学习过程中扮演主动角色▪对于分类和聚类任务，机器学习研究通常关注模型的准确率。
除准确率以外，数据挖掘研究非常强调挖掘方法在大型数据集上的有效性和可伸缩性，以及处理复杂数据类型的办法，开发新的、非传统的方法。
o数据挖掘应用领域：商务智能、Web搜索、生物信息学、卫生保健信息学、金融、数字图书馆和数字政府o数据挖掘主要问题▪挖掘方法•挖掘各种新的知识类型•挖掘多维空间中的知识•数据挖掘——跨学科的努力•提升网络环境下的发现能力•处理不确定性数据、噪声或不完全数据•模式评估和模式约束指导的挖掘▪用户界面•交互挖掘•结合背景知识•特定的数据挖掘和数据挖掘查询语言•数据挖掘结果的表示和可视化▪有效性和可伸缩性•数据挖掘算法的有效性和可伸缩性•并行分布式和增量挖掘算法▪数据库类型的多样性•处理复杂的数据类型•挖掘动态的、网络的、全球的数据库▪数据挖掘与社会•数据挖掘的社会影响•保护隐私的数据挖掘•无形的数据挖掘•数据预处理o概念▪数据对象：又称样本、实例、数据点或对象，一个数据对象代表一个实体▪属性•标称属性：值是一些符号或者事物的名称。
每个值代表某种类别，编码或状态，因此标称属性又被看作是分类的•二元属性：是一种标称属性，只有两种状态类别：0或1，0表示该属性不出现，1表示该属性出现。
o如果一个二元属性的两种状态具有同等价值并且携带相同的权重，则它是对称的，如果其状态的结果不是同等重要的，则它是非对称的。
•序数属性：其可能的值之间具有有意义的序或秩评定，但相继值之间的差是未知的。
•数值属性o区间标度属性：用相等的单位尺度度量。
区间标度的值有序，可以为0，正或负。
因此，除了秩评定以外，这种属性允许我们比较和定量评估值之间的差o比率标度属性：是具有固定零点的数值属性，即如果度量是比率标度的，则我们可以说一个值是另外一个值的倍数（或比率），此外这些值是有序的，因此我们呢可以计算值之间的差，也能计算均值、中位数、众数。
▪簇：数据对象的集合，使得同一个簇中的对象互相相似，而与其他簇中的对象相异。
▪数据矩阵：用于存放数据对象，由两种实体或“事物”组成，即行（代表对象），列（代表属性），因此被称为二模矩阵。
▪相异性矩阵：用于存放数据对象的相异性值，只包含一类实体，因此被称为单模矩阵。
o数据质量：准确性、完整性、一致性、时效性、可信性、可解释性o数据清理▪概念：通过填写缺失的值，光滑噪声数据，识别或删除离群点，并解决不一致来“清理数据”。
▪缺失值处理•忽略元组•人工填写缺失值•使用一个全局变量填写缺失值•使用属性的中心度量（如均值或中位数）填充缺失值•使用给定元组属同一类的所有样本的属性均值或中位数•使用最可能的值填充缺失值▪噪声数据处理•分箱o箱均值光滑o箱中位数光滑o箱边界光滑•回归•离群点分析（聚类）o数据集成：将数据由多个数据源合并成一个一致的数据储存，如数据仓库o数据预处理原因：低质量的数据将导致低质量的挖掘结果o数据预处理重要性：可以显著地提高数据挖掘模式的总体质量，减少实际挖掘所需要的时间。
o数据预处理步骤：数据清理——数据集成——数据规约——数据变换o数据变换策略▪光滑：去掉数据中的噪声、包括分箱、回归和聚类▪属性构造（特征构造）：由给定的属性构造新的属性并添加到属性集中，以帮助挖掘过程。
▪聚集：对数据进行汇总或聚集▪规范化：把数据按比例缩放，使之落入一个特定的小区间，如（-1，1）或（0，1）▪离散化•概念：数值属性的原始值用区间标签或者概念标签替换•方法：分箱、直方图分析、聚类分析、决策树分析、相关分析▪概念分层•概念：定义一个映射序列，将低层概念映射到较高层，更一般的概念•方法o由用户在模式级显式地说明属性的部分序o通过显式数据分组说明分层的一部分o说明属性集但不说明它们的偏序，例：根据每个属性的不同值个数产生概念分层o只说明部分属性集，例：使用预先定义的语义关系产生概念分层o数据规约▪概念：用来得到数据集的规约表示，它小的多，但仍接近于保持原始数据的完整性。
▪策略•维规约o概念：减少所考虑的随机变量或属性的个数o类型▪小波变换、主成分分析：把原始数据变换或投影到较小的区间▪属性子集选择：检测和删除不相关、弱相关或冗余的属性或维•数量规约o概念：用替代的、较小的数据表示形式替换原数据o类型▪参数方法：回归、对数——线性模型▪非参数方法：直方图、聚类、抽样、数据立方体聚集•数据压缩o概念：使用变换，以便得到原数据的规约或压缩表示o类型▪无损的：原始数据能够从压缩后的数据重构，而不损失信息▪有损的：只能近似重构原数据•数据挖掘和联机分析处理o数据仓库▪数据仓库是一种数据库，它与单位操作数据库分别维护▪数据仓库允许将各种应用系统集成在一起，为统一的历史数据分析提供坚实的平台，对信息处理提供支持▪数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合，支持管理者决策过程。
o OLTP：联机事务处理系统，执行联机事务和查询处理o OLAP：联机分析处理系统，用不同的格式组织和提供数据，以满足不同用户形形色色的需求o数据库三层体系结构▪顶层：前端工具▪中间层：OLAP服务器▪底层：数据仓库服务器o数据仓库模型▪企业仓库•搜集了关于主题的所有信息，跨越整个企业，它提供整个范围内的数据集成，通常来自一个或多个操作数据库系统或外部信息提供者，并且是多功能的，包含细节和汇总数据▪数据集市•概念：包含企业范围内数据的一个子集，对于特定的用户群是有用的，其范围限定于选定的主题，数据通常是汇总的•独立的数据集市：数据通常来自一个或多个操作数据库系统或外部信息提供者，或来自一个特定的部门或局部地区产生的数据•依赖的数据集市：直接来自企业数据库▪虚拟仓库•是操作数据库上视图的集合，为了有效地处理查询，只有一些可能的汇总视图被物化o元数据▪概念：关于数据的数据，在数据仓库中，元数据是定义仓库对象的数据▪内容•数据仓库结构的描述：仓库模式、视图、维、分层结构、导出数据的定义、数据集市的位置和内容•操作元数据：数据血统、数据流通、管理信息•用于汇总的算法：度量和维定义算法，数据所处的粒度，划分，主题领域，聚集，汇总，预定义的查询和报告•由操作环境到数据仓库的映射：源数据库和它们的内容，信关描述，数据提取，清理，转换规则和默认值，数据刷新和净化规则，安全性（用户授权和存取控制）•关于系统性能的数据：除刷新、更新和复制周期的定时调度规则外，还包括改善存取和检索性能的索引和概要•商务元数据：商务术语和定义，数据拥有者和收费策略▪与其他数据区别•（1）元数据用作目录，帮助决策支持系统分析者对数据仓库的内容定位•（2）当数据由操作环境向数据仓库环境转换时，作为数据映射的指南•（3）对于汇总的算法，将当前细节数据汇总成稍加综合的数据，或将稍加综合的数据汇总成高度综合的数据•（4）元数据应当持久存放和管理（即存放在硬盘上）o数据立方体▪概念•由方体的格组成，每个方体对应于给定多维数据的一个不同级别的汇总。
