第1章数据挖掘概述

Wisdom
Knowledge
Information
Data
3 of 43
1.1数据挖掘基本概念
第一章 绪论
1.1.1 数据挖掘的概念
数据挖掘、数据库、人工智能
• 数据挖掘是从数据中发掘知识的过程，在这个过程中人工智能和数据库技术可以作 为挖掘工具，数据可以被看作是土壤，云平台可以看作是承载数据和挖掘算法的基 础设施 。在挖掘数据的过程中需要用到一些挖掘工具和方法，如机器学习的方法。 当挖掘完毕后，数据挖掘还需要对知识进行可视化和展现。
21 of 43
1.3数据挖掘常用工具
第一章 绪论
1.3.2 开源工具
• WEKA WEKA 是一个基于JAVA 环境下免费开源的数据挖掘工作平台，集合了大量能承担数据 挖掘任务的机器学习算法，包括对数据进行预处理，分类，回归、聚类、关联规则以及 在新的交互式界面上的可视化。
22 of 43
1.3数据挖掘常用工具
•R • Weka • Mahout • RapidMiner • Python • Spark MLlib
第一章 绪论
20 of 43
1.3数据挖掘常用工具
第一章 绪论
1.3.2 开源工具
•R R是用于统计分析和图形化的计算机语言及分析工具，提供了丰富的统计分析和数据挖 掘功能，其核心模块是用C、C++和Fortran编写的。
为了提高系统的决策支持能力，像ERP、SCM、HR等一些应用系统也逐渐与数据 挖掘集成起来。多种理论与方法的合理整合是大多数研究者采用的有效技术。
12 of 43
1.2 数据挖掘起源及发展历史
第一章 绪论
3 数据挖掘面临的新挑战
随着物联网、云计算和大数据时代的来临，在大数据背景下数据挖掘要面临的挑 战，主要表现在以下几个方面：

数据利用
数据淹没,但却缺乏知识
信息技术的进化
···
数据挖掘的自动化分析的海量数据集 文件处理->数据库管理系统->高级数据库:系统高级数据分析
2021
3
定义：从大量的数据中提取有趣的（非平凡的，隐 含的，以前未知的和潜在有用的）模式或知识。
“数据中发现知识”（KDD）
2021
4
选择和变换
评估和表示
第一章 引论
2021
1
1.1 为什么进行数据挖掘 1.2 什么是数据挖掘 1.3 可以挖掘什么类型的数据 1.4 可以挖掘什么类型的模式 1.5 使用什么技术 1.6 面向什么类型的应用 1.7 数据挖掘的主要问题 1.8 小结
2021
2
数据爆炸
海量数据，爆炸式增长
来源：网络，电子商务，个人 类型：图像，文本···
设想网上购物的一次交易，其付款过程至少包括以下几步数据库操作：
一、更新客户所购商品的库存信息 二、保存客户付款信息--可能包括与银行系统的交互 三、生成订单并且保存到数据库中 四、更新用户相关信息，例如购物数量等等
2021
9
其他类型的数据
股票交易数据 文本 图像 音频视频 未知的
2021
10
1.4.1 类/概念描述：特征化与区分
类/概念
数据特征化
目标数据的一般特性或特征汇总
数据区分
将目标类数据对象的一般性与一个或多个 对比类对象的一般特性进行比较
特征化和区分
2021
11
1.4.2 挖掘频繁模式、关联和相关性
频繁模式是在数据中频繁出现的模式
1.频繁项集、频繁子序列、频繁子结构 2.挖掘频繁模式可以发现数据中的关联和相关性 例如：单维与多维关联

③ 采用事件驱动和主动推送的方式为业务系统提供分析能力，例如银行的信 贷风险管理员，当审批某人的贷款请求时，关于该申请人的相关风险评级 等信息就会被主动推送过来。
1.1.2 发展历程4——数据中心
通过数据中心的构建，企业从 传统的交易系统（记录系统） 和各种差分系统（Different System）逐渐转向构建创新系 统，通过使用分析技术创造独 特的竞争优势，将分析技术慢 慢融入到企业的核心战略制定 和日常运营管理中。
1.1.1 数据仓库和数据挖掘的目标
构建数据仓库和应用数据挖掘的共同目标：
（7）构建数据治理体系，保证数据的一致性，消除信息的冗余、冲突和缺失等问题；
（8）提供高效、实时和准确的多维数据分析、报表统计、即时查询、广告版、多媒体分析、流 分析和内容分析等功能，为企业运营分析提供全面支持；
（9）提供简洁易用的数据挖掘和预测分析支撑，为企业分析提供全面支持；
。。。。。。
1.1.2 发展历程1——报表查询系统
• 随着时间的推移，这些报表查询系统越来越不能满足企业的需求。 • 例如：
① 查询访问性能比较慢 ② 报表统计相对固定难以满足企业灵活的业务需求 ③ 无法进行多维分析等
1.1.2 发展历程2——传统数据仓库技术
• 使用ETL（Extract，Transform，Load ）或ETCL（Extract， Transform，Clean，Load ）工具实现数据的导出、转换、清洗和装 入工具，使用操作型数据存储（Operational Data Store，ODS）存储 明细数据，使用数据集市和数据仓库技术实现面向主题的历史数据存 储，使用多维分析工具进行前端展现，以及使用数据仓库工具提供的 挖掘引擎或基于单独的数据挖掘工具进行预测分析等。相比之前的报 表查询系统。

（完整版）数据挖掘概念课后习题答案第 1 章1.6 定义下列数据挖掘功能：特征化、区分、关联和相关分析、预测聚类和演变分析。

使⽤你熟悉的现实⽣活的数据库，给出每种数据挖掘功能的例⼦。

特征化是⼀个⽬标类数据的⼀般特性或特性的汇总。

例如，学⽣的特征可被提出，形成所有⼤学的计算机科学专业⼀年级学⽣的轮廓，这些特征包括作为⼀种⾼的年级平均成绩(GPA：Grade point a ve r s ge) 的信息，还有所修的课程的最⼤数量。

区分是将⽬标类数据对象的⼀般特性与⼀个或多个对⽐类对象的⼀般特性进⾏⽐较。

例如，具有⾼GPA 的学⽣的⼀般特性可被⽤来与具有低GPA 的⼀般特性⽐较。

最终的描述可能是学⽣的⼀个⼀般可⽐较的轮廓，就像具有⾼GPA 的学⽣的75%是四年级计算机科学专业的学⽣，⽽具有低GPA 的学⽣的65%不是。

关联是指发现关联规则，这些规则表⽰⼀起频繁发⽣在给定数据集的特征值的条件。

例如，⼀个数据挖掘系统可能发现的关联规则为：m a j or(X,“c omput i ng s c i e nc e”) ?owns(X, “pe r s ona l c omput e r”)[s uppor t=12%,c on f i d e nc e=98%]其中，X 是⼀个表⽰学⽣的变量。

这个规则指出正在学习的学⽣，12%（⽀持度）主修计算机科学并且拥有⼀台。

个⼈计算机。

这个组⼀个学⽣拥有⼀台个⼈电脑的概率是98%（置信度，或确定度）分类与预测不同，因为前者的作⽤是构造⼀系列能描述和区分数据类型或概念的模型（或，⽽后者是建⽴⼀个模型去预测缺失的或⽆效的、并且通常是数字的数据值。

它们的功能）相似性是他们都是预测的⼯具：分类被⽤作预测⽬标数据的类的标签，⽽预测典型的应⽤是预测缺失的数字型数据的值。

聚类分析的数据对象不考虑已知的类标号。

对象根据最⼤花蕾内部的相似性、最⼩化类之间的相似性的原则进⾏聚类或分组。

形成的每⼀簇可以被看作⼀个对象类。