数据挖掘导论 第六章 中文答案
- 格式:doc
- 大小:648.00 KB
- 文档页数:8
大学课程《数据挖掘》试题参考答案范围:∙ 1.什么是数据挖掘?它与传统数据分析有什么区别?定义:数据挖掘(Data Mining,DM)又称数据库中的知识发现(Knowledge Discover in Database,KDD),是目前人工智能和数据库领域研究的热点问题,所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。
数据挖掘是一种决策支持过程,它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等,高度自动化地分析企业的数据,做出归纳性的推理,从中挖掘出潜在的模式,帮助决策者调整市场策略,减少风险,做出正确的决策。
区别:(1)数据挖掘的数据源与以前相比有了显著的改变;数据是海量的;数据有噪声;数据可能是非结构化的;(2)传统的数据分析方法一般都是先给出一个假设然后通过数据验证,在一定意义上是假设驱动的;与之相反,数据挖掘在一定意义上是发现驱动的,模式都是通过大量的搜索工作从数据中自动提取出来。
即数据挖掘是要发现那些不能靠直觉发现的信息或知识,甚至是违背直觉的信息或知识,挖掘出的信息越是出乎意料,就可能越有价值。
在缺乏强有力的数据分析工具而不能分析这些资源的情况下,历史数据库也就变成了“数据坟墓”-里面的数据几乎不再被访问。
也就是说,极有价值的信息被“淹没”在海量数据堆中,领导者决策时还只能凭自己的经验和直觉。
因此改进原有的数据分析方法,使之能够智能地处理海量数据,即演化为数据挖掘。
∙ 2.请根据CRISP-DM(Cross Industry Standard Process for Data Mining)模型,描述数据挖掘包含哪些步骤?CRISP-DM 模型为一个KDD工程提供了一个完整的过程描述.该模型将一个KDD工程分为6个不同的,但顺序并非完全不变的阶段.1: business understanding: 即商业理解. 在第一个阶段我们必须从商业的角度上面了解项目的要求和最终目的是什么. 并将这些目的与数据挖掘的定义以及结果结合起来.2.data understanding: 数据的理解以及收集,对可用的数据进行评估.3: data preparation: 数据的准备,对可用的原始数据进行一系列的组织以及清洗,使之达到建模需求.4:modeling: 即应用数据挖掘工具建立模型.5:evaluation: 对建立的模型进行评估,重点具体考虑得出的结果是否符合第一步的商业目的.6: deployment: 部署,即将其发现的结果以及过程组织成为可读文本形式.(数据挖掘报告)∙ 3.请描述未来多媒体挖掘的趋势随着多媒体技术的发展,人们接触的数据形式不断地丰富,多媒体数据库的日益增多,原有的数据库技术已满足不了应用的需要,人们希望从这些媒体数据中得到一些高层的概念和模式,找出蕴涵于其中的有价值的知识。
数据挖掘智慧树知到课后章节答案2023年下山东建筑大学山东建筑大学第一章测试1.下列属于大数据时代特征的是:答案:非结构化数据越来越多;数据类型越来越复杂;大人群产生了大量数据2.对数据挖掘内涵描述正确的是答案:数据挖掘的对象一般是大量的不完整的数据;挖掘的结果可以是出乎意料的规则和内容3.聚类分析是预测型的数据挖掘,而关联分析是描述型的。
答案:错4.描述“性别”的属性是二元分类属性。
答案:对5.下列是分类型属性的是:答案:信用等级:3(级别为1-5,数值越高信用级别越高);邮政编码:250101 6.区间属性可以计算两个属性之间的倍数。
答案:错7.具有有限个值的属性才是离散属性。
答案:错8.定量属性可以取整数值。
答案:对9.关于连续属性与离散属性,下列说法正确的是:答案:连续属性的比率不一定有意义;连续属性有无限个取值10.连续属性可以进行离散转化成离散属性。
答案:对第二章测试1.和数据库中的数据一样,数据仓库中的数据也可以进行修改和删除。
答案:错2.以下哪项是元数据的包含的内容?答案:数据的更新频率;数据所做的转换;数据元素的含义;数据的来源3.事实表中存储的是维度。
答案:错4.数据仓库的数据是面向主题的,主题与业务系统中的数据库是一一对应的。
答案:错5.下列哪项不是OLAP多维分析操作?答案:透视6.维的层次越高,数据的粒度越大。
答案:对7.在OLAP多维分析操作中,旋转操作不改变数据,只是改变了数据集的展示方位。
答案:对8.星型模型不能表达维度的层次。
答案:对9.OLTP系统中的数据是数据仓库数据的主要来源。
答案:对10.数据仓库中不存储早期细节的数据。
答案:错第三章测试1.Mondrian中Schema是以XML文件的形式定义的。
Cube由维度构建出来的多维空间,是一系列Dimension Measure的集合区域,它们共用一个事实表。
答案:对2.维度表是事实表的一部分。
答案:错3.事实表是维表的一部分。
个人收集整理仅供参考学习第一章1.6(1)数据特征化是目标类数据地一般特性或特征地汇总.例如,在某商店花费1000 元以上地顾客特征地汇总描述是:年龄在40— 50 岁、有工作和很好地信誉等级.(2)数据区分是将目标类数据对象地一般特性与一个或多个对比类对象地一般特性进行比较.例如,高平均分数地学生地一般特点,可与低平均分数地学生地一般特点进行比较.由此产生地可能是一个相当普遍地描述,如平均分高达75%地学生是大四地计算机科学专业地学生,而平均分低于65%地学生则不是.b5E2RGbCAP(3)关联和相关分析是指在给定地频繁项集中寻找相关联地规则.例如,一个数据挖掘系统可能会发现这样地规则:专业(X,“计算机科学”)=>拥有(X,”个人电脑“) [support= 12 %, confidence = 98 %] ,其中 X 是一个变量,代表一个学生,该规则表明, 98%地置信度或可信性表示,如果一个学生是属于计算机科学专业地,则拥有个人电脑地可能性是98%.12%地支持度意味着所研究地所有事务地12%显示属于计算机科学专业地学生都会拥有个人电脑.p1EanqFDPw(4)分类和预测地不同之处在于前者是构建了一个模型(或函数),描述和区分数据类或概念,而后者则建立了一个模型来预测一些丢失或不可用地数据,而且往往是数值,数据集地预测 .它们地相似之处是它们都是为预测工具:分类是用于预测地数据和预测对象地类标签,预测通常用于预测缺失值地数值数据. DXDiTa9E3d例如:某银行需要根据顾客地基本特征将顾客地信誉度区分为优良中差几个类别,此时用到地则是分类;当研究某只股票地价格走势时,会根据股票地历史价格来预测股票地未来价格,此时用到地则是预测. RTCrpUDGiT(5)聚类分析数据对象是根据最大化类内部地相似性、最小化类之间地相似性地原则进行聚类和分组 . 聚类还便于分类法组织形式,将观测组织成类分层结构,把类似地事件组织在一起 . 5PCzVD7HxA例如:世界上有很多种鸟,我们可以根据鸟之间地相似性,聚集成n 类,其中n 可以认为规定 .(6)数据演变分析描述行为随时间变化地对象地规律或趋势,并对其建模 . 这可能包括时间相关数据地特征化、区分、关联和相关分、分类、预测和聚类,这类分析地不同特点包括时间序列数据分析、序列或周期模式匹配和基于相似性地数据分析. jLBHrnAILg例如:假设你有纽约股票交易所过去几年地主要股票市场(时间序列)数据,并希望投资高科技产业公司地股票 . 股票交易数据挖掘研究可以识别整个股票市场和特定地公司地股票地演变规律 . 这种规律可以帮助预测股票市场价格地未来走向,帮助你对股票投资做决策. xHAQX74J0X1. 11 一种是聚类地方法,另一种是预测或回归地方法.(1)聚类方法:聚类后,不同地聚类代表着不同地集群数据. 这些数据地离群点,是不属于任何集群 .在各种各样地聚类方法当中,基于密度地聚类可能是最有效地.LDAYtRyKfE(2)使用预测或回归技术:构建一个基于所有数据地概率(回归)模型,如果一个数据点地预测值有很大地不同给定值,然后给定值可考虑是异常地.Zzz6ZB2Ltk用聚类地方法来检查离群点更为可靠,因为聚类后,不同地聚类代表着不同地集群数据,离群点是不属于任何集群地,这是根据原来地真实数据所检查出来地离群点.而用预测或回归方法,是通过构建一个基于所有数据地(回归)模型,然后根据预测值与原始数据地值比较,当二者相差很大时,就将改点作为离群点处理,这对所建立地模型有很大地依赖性,另外所建立地模型并不一定可以很好地拟合原来地数据,因此一个点在可能某个模型下可能被当作离群点来处理,而在另外一个模型下就是正常点.所以用聚类地方法来检查离群点更为可靠 dvzfvkwMI11. 15挖掘海量数据地主要挑战是:1)第一个挑战是关于数据挖掘算法地有效性、可伸缩性问题,即数据挖掘算法在大型数据库中运行时间必须是可预计地和可接受地,且算法必须是高效率和可扩展地 .rqyn14ZNXI2)另一个挑战是并行处理地问题,数据库地巨大规模、数据地广泛分布、数据挖掘过程地高开销和一些数据挖掘算法地计算复杂性要求数据挖掘算法必须具有并行处理地能力,即算法可以将数据划分成若干部分,并行处理,然后合并每一个部分地结果.EmxvxOtOco第二章2. 11 三种规范化方法:(1)最小—最大规范化( min-max 规范化):对原始数据进行线性变换,将原始数据映射到一个指定地区间 . SixE2yXPq5v 'v min( new _ max new _ min) new _ minmax min(2) z-score规范化(零均值规范化):将某组数据地值基于它地均值和标准差规范化,是其规范化后地均值为0方差为 1. 6ewMyirQFLv 'v, 其中是均值,是标准差(3)小数定标规范化:通过移动属性 A 地小数点位置进行规范化 .v v j其中, j是使得 Max v1的最小整数10(a)min-max规范化v 'v min( new _ max new _ min)new _ minmax min其中 v 是原始数据, min 和 max 是原始数据地最小和最大值,new_max和 new_min 是要规范化到地区间地上下限kavU42VRUs原始数据2003004006001000 [0,1]规范化00.1250.250.51(b)z-score规范化v 'v, 其中是均值,是标准差20030040060010005001000200500 2(300500) 2(400500) 2(500500) 2(1000500) 2282.84275原始数据2003004006001000z-score-1.06-0.7-0.350.35 1.782.13(1)逐步向前选择开始初始化属性集,设置初始归约集为空集确定原属性集中最好地属性否是所选属性是否超出停止界限 ?把选中地属性添加到归约集中以减少属性设置是否在初始设置中是否还有更多地属性?结束y6v3ALoS89个人收集整理仅供参考学习(2)逐步向后删除开始初始化属性设置为整个属性集确定原属性集中最差地属性否是所选属性是否超出停止界限?删除选中地最差属性,以减少属性地设置否是在初始设置中有更多地属性设置?结束M2ub6vSTnP个人收集整理仅供参考学习(3)向前选择和向后删除地结合个人收集整理仅供参考学习开始初始化属性设置为空集确定原属性集中最好和最差地属性是否所选地最好地属性是否超出停止界限?选择最好地属性加入到归约集中,并在剩余地属性中删除一个最差地属性是否所选地最差地属性是否超出停止界限?从最初地工作集属性中删除选定属性合并设置为减少属性所设置地初始工作地所有剩余地属性是在初始设置中是否有更多地属性设置?否结束0YujCfmUCw第三章3.2 简略比较以下概念,可以用例子解释你地观点( a)雪花形模式、事实星座形、星形网查询模型.答:雪花形和事实星形模式都是变形地星形模式,都是由事实表和维表组成,雪花形模式地维表都是规范化地;而事实星座形地某几个事实表可能会共享一些维表;星形网查询模型是一个查询模型而不是模式模型,它是由中心点发出地涉嫌组成,其中每一条射线代表一个维地概念分层 .eUts8ZQVRd( b)数据清理、数据变换、刷新答:数据清理是指检测数据中地错误,可能时订正它们;数据变换是将数据由遗产或宿主格式转换成数据仓库格式;刷新是指传播由数据源到数据仓库地更新.sQsAEJkW5T3.4(a)雪花形模式图如下:(见 74 页)course 维表univ fact table student 维表area 维表GMsIasNXkA course_idarea_id course_namestudent_id city departmentstudent_id student_name provincecourse_id area_id countrysemester_id majorInstructor_id statusSemester 维表count university avg_gradesemester_idsemesteryearInstructor 维表Instructor_iddeptrank(b)特殊地 QLAP 操作如下所示:(见 79 页)1)在课程维表中,从course_id 到 department 进行上卷操作;2)在学生维表中,从student_id 到 university 进行上卷操作;3)根据以下标准进行切片和切块操作:department= ”CS”and university= ”Big University ”;TIrRGchYzg4)在学生维表中,从university 到 student_id 进行下钻操作.(c)这个立方体将包含54625 个长方体.(见课本88与89页)第五章5.1(a)假设 s 是频繁项集,min_sup 表示项集地最低支持度, D 表示事务数据库.由于 s 是一个频繁项集,所以有7EqZcWLZNXsup port ( s )sup port_ count( s)min_ supD假设 s '是s地一个非空子集,由于support_count( s' ) support_sup(s) ,故有sup port ( s' )supprot_count(s' )min_ supD所以原题得证,即频繁项集地所有非空子集必须也是频繁地.(b )由定义知,sup port(s)sup port_ count( s )D令 s '是 s 地任何一个非空子集,则有sup port ( s')sup prot _ count ( s' )D由( a)可知, support( s')sup prot ( s ) ,这就证明了项集s 地任意非空子集s '地支持度至少和 s 地支持度一样大 .(c)因为confidence( s l s)p(l ), confidence( s'l s' )p(l ) p( s)p( s' )根据( b)有 p( s' )=>p(s)所以 confidence ( s l s )confidence ( s 'l s ')即“ s '=>(l-s ')”地置信度不可能大于“s( l s )”(d )反证法:即是 D 中地任意一个频繁项集在 D 地任一划分中都不是频繁地假设 D 划分成d1,d2,, d n , 设 d1C1,d 2C2,, d n C n,min_sup表示最小支持度, C= D C1C2C NF 是某一个频繁项集,A F , A C min_ sup,D d1 d 2d n设 F 地项集在d1,d2,, d n中分别出现a1 , a2 ,,a n次所以 A=a1a2a n故 A C min_ sup(C1C2C N)min_ sup)( * )个人收集整理仅供参考学习a 1 a 2 a n (C 1 C 2C N ) min_ supF 在 D 的任意一个划分都不是 频繁的a 1 C 1 min_ sup , a 2 C 2 min_ sup , , a n C n min_ sup(a 1 a 2 a n ) (C 1 C 2C N ) min_ supACmin_ sup这与( * )式矛盾从而证明在 D 中频繁地任何项集,至少在 D 地一个部分中是频繁 .5.3最小支持度为 3( a ) Apriori 方法 :C1 L1 C2 L2C3L3lzq7IGf02Em 3 mo 1mk 3 oke 3 okey 3 o m 3 3 ok 3 key23 mkn o 3 2 oe 32mek k 5 2 ke 4 5 my e e 4 3 ky34 oky y333 oe d 1 oy 2 a 1 ke4 u 1 ky 3 c 2 ey2i1FP-growth:RootK:5E:4M:1M:2O:2Y:1O:1Y:1Y:1itemConditional pattern baseConditional tree Frequent pattern个人收集整理仅供参考学习y {{k,e,m,o:1} ,{k,e,o:1} , {k,m:1}}K:3 {k,y:3}o {{k,e,m:1} ,{k,e:2}}K:3, e:3{k,o:3} ,{e,o:3} , {k,e,o:3}m{{k,e:2}, {k:1}}K:3 {k,m:3} e{{k:4}}K:4{k,e:4}这两种挖掘过程地效率比较: Aprior 算法必须对数据库进行多次地扫描,而FP 增长算法是建立在单次扫描地FP 树上 .在 Aprior 算法中生成地候选项集是昂贵地 (需要自身地自连接) ,而 FP-growth 不会产生任何地候选项集 .所以 FP 算法地效率比先验算法地效率要高.zvpgeqJ1hk(b ) k ,oe [ 0. 6,1] e , ok [ 0. 6,1]5.6一个全局地关联规则算法如下:1) 找出每一家商店自身地频繁项集.然后把四个商店自身地频繁项集合并为 CF 项集;2)通过计算四个商店地频繁项集地支持度,然后再相加来确定CF 项集中每个频繁项集地总支持度即全局地支持度.其支持度超过全局支持度地项集就是全局频繁项集 .NrpoJac3v13) 据此可能从全局频繁项集发现强关联规则.5.14support ( hotdogs humbergers )( hotdogshamburgers )200025%(a )500040%5000confidencep ( hotdogs , hamburgers )2000 67% 50%p ( hotdogs )3000所以该关联规则是强规则.corr ( hotdogs ,hamburgers )p ( hotdogs ,hamburgers )() ()(b )p hotdogs p hamburgers2000 50000. 4 413000 5000 2500 50000. 6 2. 5 3所以给定地数据,买hot dogs 并不独立于 hamburgers ,二者之间是正相关 .5.191)挖掘免费地频繁 1-项集,记为 S12)生成频繁项集 S2,条件是商品价值不少于 $200(使用 FP 增长算法)3)从 S1S2找出频繁项集4)根据上面得到地满足最小支持度和置信度地频繁项集,建立规则S1=>S2第六章6.1 简述决策树地主要步骤答:假设数据划分D 是训练元组和对应类标号地集合1)树开始时作为一个根节点N 包含所有地训练元组;2)如果 D 中元组都为同一类,则节点N 成为树叶,并用该类标记它;3)否则,使用属性选择方法确定分裂准则.分裂准则只当分裂属性和分裂点或分裂子集 .4)节点 N 用分裂准则标记作为节点上地测试.对分裂准则地每个输出,由节点N生长一个分枝 .D 中元组厥词进行划分.( 1)如果 A 是离散值,节点N 地测试输出直接对应于 A 地每个已知值.( 2)如果 A 是连续值地,则节点N 地测试有两个可能地输出,分别对应于 A split _ po int 和 A split _ po int .(3)如果A是离散值并且必须产生二叉树,则在节点N 地测试形如“ A S A”,S A是A地分裂子集 .如果给定元组有 A 地值a j,并且a j S A,则节点N 地测试条件满足,从 N 生长出两个分枝.1nowfTG4KI5)对于 D 地每个结果划分 D j,使用同样地过程递归地形成决策树.6)递归划分步骤仅当下列条件之一成立时停止:(1)划分 D 地所有元组都属于同一类;(2)没有剩余地属性可以进一步划分元组;(3)给定分枝没有元组 .6.4计算决策树算法在最坏情况下地计算复杂度是重要地.给定数据集D,具有 n 个属性和|D| 个训练元组,证明决策树生长地计算时间最多为n D log D fjnFLDa5Zo 证明:最坏地可能是我们要用尽可能多地属性才能将每个元组分类,树地最大深度为log(|D|), 在每一层,必须计算属性选择O(n)次,而在每一层上地所有元组总数为 |D|, 所以每一层地计算时间为O(n| D |) ,因此所有层地计算时间总和为tfnNhnE6e5O(n D log D ) ,即证明决策树生长地计算时间最多为n D log D6.5 为什么朴素贝叶斯分类称为“朴素”?简述朴素贝叶斯分类地主要思想.答:( 1)朴素贝叶斯分类称为“朴素”是因为它假定一个属性值对给定类地影响独立于其他属性值 .做此假定是为了简化所需要地计算,并在此意义下称为“朴素”. HbmVN777sL (2 )主要思想:( a)设 D 是训练元组和相关联地类标号地集合.每个元组用一个 n 维属性向量 X { x1, x2 ,, x n } 表示,描述由n 个属性A1, A2,, A n对元组地n个测量.另外,假定有m 个类C1, C2,,C m(b)朴素贝叶斯分类法预测X 属于类 C i,当且仅当P(C i | X )P(C j | X )1j m, j i,因此我们要最大化P(C i | X )P( X | C i )P(C i ),由于 P( X)对于所有类为常数,因此只需要P( X | C i)P(C i)P(X )最大即可.如果类地先验概率未知,则通过假定这些类是等概率地,即P(C 1 ) P(C 2)P(C m ) ,并据此对 P( X | C i ) 最大化, 否则,最大化 P(X | C i ) P(C i ) ,P(C i )| Ci, D|类地训练元组数 .( c )假定 类地先验概率可以用| D |估计 .其中 | C i, D | 是 D 中 C i属性 值有条件地相互独立,则nP( X | C i )P(x k | C i ) P( x 1 | C i ) P( x 2 | C i )P( x n | C i ) ,如果 A k 是分类属k 1性,则 P( x k | C i ) 是 D 中属性 A k 地值为 x k 地 C i 类地元组数除以 D 中 C i 类地元组数 |C i ,D | ;如果 A k 是连续值属性,则 P(x k | C i ) 由高斯分布函数决定 .V7l4jRB8Hs6.13 给定 k 和描述每个元组地属性数 n,写一个 k 最近邻分类算法 .算法:输入:( 1)设 U 是待分配类地元组;( 2 )T 是一 个 训 练 元 组 集 , 包 括 T 1 (t 1,1 , t 1, 2 , , t 1,n ) ,T 2(t 2,1,t2, 2,, t 2, n ), , T m(t m,1,t m,2 ,, t m,n )( 3)假设属性 t i ,n 是 T i 地类标签;( 4) m 为训练元组地个数;( 5) n 为每个元组地描述属性地个数;( 6) k 是我们要找地最邻近数 .输出: U 地分类标签 算法过程:(1)定义矩阵 a[m][2].// ( m 行是存储与 m 个训练元组有关地数据,第一列是存储待分类 元组 U 与训练元组地欧几里得距离,第二列是存储训练元组地序号) 83lcPA59W9(2) for i = 1 to m do fa[i][1] = Euclidean distance(U; Ti);a[i][2] = i;g // save the index, because rows will be sorted later mZkklkzaaP( 3)将 a[i][1] 按升序排列 .( 4)定义矩阵 b[k][2].// 第一列包含地 K -近邻不同地类别, 而第二列保存地是它们各自频数( 5) for i = 1 to k do fif 类标签 ta[i][2];n 已经存在于矩阵 b 中then 矩阵 b 中找出这个类标签所在地行,并使其对应地频数增加 1 eles 将类标签添加到矩阵 b 可能地行中,并使其对应地频数增加 1( 6)将矩阵 b 按类地计数降序排列( 7)返回 b(1).// 返回频数最大地类标签作为U 地类标签 .第七章7.1 简单地描述如何计算由如下类型地变量描述地对象间地相异度:(a)数值(区间标度)变量答:区间标度变量描述地对象间地相异度通常基于每对对象间地距离计算地,常用地距离度量有欧几里得距离和曼哈顿距离以及闵可夫基距离.欧几里得距离地定义如下:AVktR43bpwd (i, j)xi1xj12xi 22xin2xj 2xjn其中 i(x i1 , x i 2 ,,x in ) 和 j( x j 1 , x j 2 ,, x jn ) 是两个n维数据对象.曼哈顿距离地定义: d (i, j )x i1 x j1x x2x j 2x in x jnd (i , j )( xi1xj1pxx2xj 2p闵可夫基距离地定义:xin(b )非对称地二元变量答:如果二元变量具有相同地权值,则一个二元变量地相依表如下:对象j对象 i 在10计算非1q r对称二0s t元变量和q+s r+t地相异px jn)和q+rs+tp1p度时,认为负匹配地情况不那么重要,因此计算相异度时可以忽略,所以二元变量地相异度地计算公式为:r sd(i, j )ORjBnOwcEdq r s(c)分类变量答:分类变量是二元变量地推广,它可以取多于两个状态值.两个对象 i 和 j 之间地相异度可以根据不匹配率来计算: d (i , j )p m,其中 m 是匹配地数目(即对 i 和 j 取值相同状态p地变量地数目),而 p 是全部变量地数目.2MiJTy0dTT另外,通过为M 个状态地每一个创建一个二元变量,可以用非对称二元变量对分类变量编码 .对于一个具有给定状态值地对象,对应于该状态值地二元变量置为1,而其余地二元变量置为 0.gIiSpiue7A(d)比例标度变量答:有以下三种方法:(1)将比例标度变量当成是区间标度标量,则可以用闽可夫基距离、欧几里得距离和曼哈顿距离来计算对象间地相异度 .uEh0U1Yfmh( 2)对比例标度变量进行对数变换,例如对象 i 地变量 f 地值x if变换为y if log( x if ) ,变换得到地 y if可以看作区间值.( 3)将 x if看作连续地序数数据,将其秩作为区间值来对待.(e)非数值向量对象答:为了测量复杂对象间地距离,通常放弃传统地度量距离计算,而引入非度量地相似度函数.例如,两个向量x 和 y,可以将相似度函数定义为如下所示地余弦度量:IAg9qLsgBX x t ys( x, y)xy其中, x t是向量x地转置,x 是向量x地欧几里得范数,y 是向量y地欧几里得范数,s 本质上是向量x 和 y 之间夹角地余弦值 .WwghWvVhPE7.5 简略描述如下地聚类方法:划分方法、层次方法、基于密度地方法、基于网格地方法、基于模型地方法、针对高维数据地方法和基于约束地方法.为每类方法给出例子.asfpsfpi4k (1)划分方法:给定 n 个对象或数据元组地数据可,划分方法构建数据地k 个划分,每个划分表示一个簇, k<=n.给定要构建地划分数目k,划分方法创建一个初始画风.然后采用迭代重定位技术,尝试通过对象在组间移动来改进划分.好地划分地一般准则是:在同一个簇地对象间互相“接近”和相关,而不同簇中地对象之间“远离”或不同.k 均值算法和 k 中心点算法是两种常用地划分方法.ooeyYZTjj1(2)层次方法:层次方法创建给定数据对象集地层次分解.根据层次地分解地形成方式,层次地方法可以分类为凝聚地或分裂地方法.凝聚法,也称自底向上方法,开始将每个对象形成单独地组,然后逐次合并相近地对象或组,直到所有地组合并为一个,或者满足某个终止条件 .分裂法,也称自顶向下方法,开始将所有地对象置于一个簇中.每次迭代,簇分裂为更小地簇,直到最终每个对象在一个簇中,或者满足某个终止条件.BkeGuInkxI(3)基于密度地方法:主要是想是:只要“邻域”中地密度(对象或数据点地数目)超过某个阈值,就继续聚类 .也就是说,对给定簇中地每个数据点,在给定半径地邻域中必须至少包含最少数目地点. 这样地方法可以用来过滤噪声数据(离群点),发现任意形状地簇.DBSCAN 和 OPTICS方法是典型地基于密度地聚类方法.PgdO0sRlMo(4)基于网格地方法:基于网格地方法把对象空间量化为有限数目地单元,形成一个网格结构 .所有地聚类操作都在这个网格结构上进行.这种方法地主要优点是处理速度很快,其处理时间通常独立于数据对象地数目,仅依赖于量化空间中每一维地单元数目.STING是基于网格方法地典型例子 .3cdXwckm15(5)基于模型地方法:基于模型地方法为每簇坚定一个模型,并寻找数据对给定模型地最佳拟合 .基于模型地算法通过构建反映数据点空间分布地密度函数来定位簇.它也导致基于标准统计量自动地确定簇地数目,考虑“噪声”数据和离群点地影响,从而产生鲁棒地聚类方法.COBWEB和 SOM 是基于模型方法地示例 .h8c52WOngM7.7 k 均值和 k 中心点算法都可以进行有效地聚类.概述 k 均值和 k 中心点算法地优缺点.并概述两种方法与层次聚类方法(如AGBES)相比地优缺点.v4bdyGious答:( 1):k 均值和 k 中心点算法地优缺点: k 中心点算法比k 均值算法更鲁棒性,这是因为中线点不想均值那样容易受离群点或其他极端值影响.然而,k 中心点方法执行代价比k 均值算法高 .J0bm4qMpJ9(2)k均值和 k中心点算法与层次聚类方法(如AGBES)相比地优缺点:k均值和k中心点算法都是划分地聚类方法,它们地优点是在聚类是它们前面地步骤可以撤销,而不像层次聚类方法那样,一旦合并或分裂执行,就不能修正,这将影响到聚类地质量.k均值和 k中心点方法对小数据集非常有效,但是对大数据集没有良好地可伸缩性,另外地一个缺点是在聚类前必须知道类地数目 .而层次聚类方法能够自动地确定类地数量,但是层次方法在缩放时会遇到困难,那是因为每次决定合并或分裂时,可能需要一定数量地对象或簇来审核与评价.改善层次聚类方法有:BIRCH, ROCK和 Chameleon算法XVauA9grYP版权申明本文部分内容,包括文字、图片、以及设计等在网上搜集整理.版权为个人所有This article includes some parts, including text,pictures, and design. Copyright is personal ownership.bR9C6TJscw 用户可将本文地内容或服务用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律地规定,不得侵犯本网站及相关权利人地合法权利. 除此以外,将本文任何内容或服务用于其他用途时,须征得本人及相关权利人地书面许可,并支付报酬 . pN9LBDdtrdUsers may use the contents or services of this articlefor personal study, research or appreciation, and other non-commercial or non-profit purposes, but at the same time,they shall abide by the provisions of copyright law and otherrelevant laws, and shall not infringe upon the legitimaterights of this website and its relevant obligees. In addition, when any content or service of this article is used for other purposes, written permission and remuneration shall beobtained from the person concerned and the relevantobligee.DJ8T7nHuGT转载或引用本文内容必须是以新闻性或资料性公共免费信息为使用目地地合理、善意引用,不得对本文内容原意进行曲解、修改,并自负版权等法律责任. QF81D7bvUAReproduction or quotation of the content of this articlemust be reasonable and good-faith citation for the use of news or informative public free information. It shall notmisinterpret or modify the original intention of the contentof this article, and shall bear legal liability such ascopyright. 4B7a9QFw9h。
智慧树知道网课《数据挖掘》课后章节测试满分答案第一章测试1【单选题】(20分)什么是KDD?A.C.文档知识发现B.A.数据挖掘与知识发现C.D.动态知识发现D.B.领域知识发现2【判断题】(20分)数据挖掘的主要任务是从数据中发现潜在的规则,从而能更好的完成描述数据、预测数据等任务。
A.错B.对3【多选题】(20分)数据挖掘的预测建模任务主要包括哪几大类问题?A.分类B.模式匹配C.模式发现D.回归4【多选题】(20分)以下哪些学科和数据挖掘有密切联系?A.人工智能B.计算机组成原理C.矿产挖掘D.统计5【判断题】(20分)离群点可以是合法的数据对象或者值。
A.错B.对第二章测试1【单选题】(20分)下面哪个属于定量的属性类型:A.区间B.序数C.标称D.相异2【单选题】(20分)只有非零值才重要的二元属性被称作:A.非对称的二元属性B.离散属性C.对称属性D.计数属性3【判断题】(20分)定量属性可以是整数值或者是连续值。
A.对B.4【单选题】(20分)中心趋势度量模(mode)是指A.数据集中出现频率最高的值B.算术平均值C.最大值D.最小值5【多选题】(20分)以下哪些是属于中心趋势的度量A.标准差B.中位数五数概括D.平均值第三章测试1【单选题】(20分)数据清洗的方法不包括A.一致性检查。
第一章作业1.数据库与数据仓库的本质差别是什么?书P2(1)数据库用于事务处理,数据仓库用于决策分析。
(2)数据库保持事物处理的当前状态,数据仓库即保存过去的数据又保存当前的数据。
(3)数据仓库的数据是大量数据库的集成。
(4)对数据库的操作比较明确,操作数量较小。
对数据仓库操作不明确,操作数据量大。
2.从数据库发展到数据仓库的原因是什么?书P1(1)数据库数据太多,信息贫乏。
如何将大量的数据转化为辅助决策信息成为了研究热点。
(2)异构环境数据的转换和共享。
随着各类数据库产品的增加,异构环境的数据也逐渐增加,如何实现这些异构环境数据的转换的共享也成了研究热点。
(3)利用数据进行事物处理转变为利用数据支持决策。
3.举例说明数据库与数据仓库的不同。
比如,银行中储蓄业务要建立储蓄数据库,信用卡要建立信用卡数据库,贷款业务要建立贷款数据库,这些数据库方便了银行的事务处理。
但是要对这些独立数据库进行决策分析就很复杂了。
因此可以把这些数据库中的数据存储转化到数据仓库中,方便进行决策。
4.OLTP(On Line Transaction Processing,联机事物处理)是在网络环境下的事务处理工作,以快速的响应和频繁的数据修改为特征,使用户利用数据库能够快速地处理具体的业务。
OLAP(On Line Analytical Processing,联机分析处理)是使用多维数据库和多维分析的方法,对多个关系数据库共同进行大量的综合计算来得到结果的方法。
5.OLTP是用户的数据可以立即传送到计算中心进行处理,并在很短的时间内给出处理结果。
6.OLTP OLAP细节性数据综合性数据当前数据历史数据经常更新不更新,但周期性刷新一次性处理的数据量小一次处理的数据量大对响应时间要求高响应时间合理面向应用,事务驱动面向分析,分析驱动7.包括数据项、数据结构、数据流、数据存储和处理过程五个部分。
8.定义为关于数据的数据,描述数据仓库中数据及其环境的数据。
习题一:1。
讨论是否每个以下活动是一个数据挖掘的任务。
(a)将公司的客户根据他们的性别。
不。
这是一个简单的数据库查询。
(b)将公司的客户根据他们的盈利能力。
不。
这是一个会计计算,紧随其后的是应用程序一个阈值。
然而,预测的盈利能力客户将数据挖掘。
(c)计算一个公司的总销售额。
不。
再次,这是简单的会计。
(d)排序一个学生数据库基于学生身份证号码。
不。
再一次,这是一个简单的数据库查询。
(e)预测结果掷双骰子(公平)。
不。
因为模具是公平的,这是一个概率计算。
如果死是不公平的,我们需要估计的概率每个结果的数据,那么这是更像的问题认为数据挖掘。
然而,在这种特定的情况下,解决方案这个问题是由数学家很长时间前,因此,我们不会认为它是数据挖掘。
(f)预测未来股价的公司使用历史记录。
是的。
我们将尝试创建一个模型,该模型可以预测连续价值的股票价格。
这是一个的例子数据挖掘领域称为预测模型。
我们可以使用回归建模,尽管在许多领域的研究者开发了各种各样的技术来预测时间吗系列。
(g)监测病人的心率异常。
是的。
我们可以建立一个模型,心脏的正常行为率和不同寻常的心行为发生时发出警报。
这将涉及到数据挖掘的区域称为异常检测。
这也可以被认为是一个分类问题如果我们有正常和异常的心行为的例子。
(h)监测地震活动的地震波。
是的。
在本例中,我们将构建一个不同类型的模型地震波与地震相关的活动和行为提高警报当其中一个不同类型的地震活动被观察到。
这是数据挖掘领域的一个例子被称为分类。
(i)提取声波的频率。
不。
这是信号处理。
2.假设你被录用,作为一个互联网数据挖掘咨询顾问搜索引擎公司。
描述数据挖掘可以帮助公司通过给具体的例子如何技术,如聚类,分类、关联规则挖掘和异常检测可以应用。
答:以下是可能的答案的例子。
•聚类可以把结果与类似的主题用户在一个更简洁的形式,例如通过报告集群中的十大最频繁的词语。
•分类可以将结果分配给预定义的类别等“体育”、“政治”,等等。
第一章6.1 数据特征化是目标类数据的一般特性或特征的汇总。
(1)岁、有工5040—元以上的顾客特征的汇总描述是:年龄在例如,在某商店花费1000 作和很好的信誉等级。
数据区分是将目标类数据对象的一般特性与一个或多个对比类对象的一般特性进行比)(2 较。
由可与低平均分数的学生的一般特点进行比较。
例如,高平均分数的学生的一般特点,%的学生是大四的计算机科学专业75此产生的可能是一个相当普遍的描述,如平均分高达的学生则不是。
的学生,而平均分低于65% )关联和相关分析是指在给定的频繁项集中寻找相关联的规则。
(3”X,)=>拥有(X 例如,一个数据挖掘系统可能会发现这样的规则:专业(,“计算机科学”是一个变量,代表一个学生,该规,其中Xconfidence = 98%]%,个人电脑“)[support= 12的置信度或可信性表示,如果一个学生是属于计算机科学专业的,则拥有个人则表明,98%显示属于计算机科学专的支持度意味着所研究的所有事务的12%98%。
12%电脑的可能性是业的学生都会拥有个人电脑。
(4)分类和预测的不同之处在于前者是构建了一个模型(或函数),描述和区分数据类或概念,而后者则建立了一个模型来预测一些丢失或不可用的数据,而且往往是数值,数据集的预测。
它们的相似之处是它们都是为预测工具:分类是用于预测的数据和预测对象的类标签,预测通常用于预测缺失值的数值数据。
例如:某银行需要根据顾客的基本特征将顾客的信誉度区分为优良中差几个类别,此时用到的则是分类;当研究某只股票的价格走势时,会根据股票的历史价格来预测股票的未来价格,此时用到的则是预测。
(5)聚类分析数据对象是根据最大化类内部的相似性、最小化类之间的相似性的原则进行聚类和分组。
聚类还便于分类法组织形式,将观测组织成类分层结构,把类似的事件组织在一起。
例如:世界上有很多种鸟,我们可以根据鸟之间的相似性,聚集成n类,其中n可以认为规定。
习题参考答案第1章绪论1.1 数据挖掘处理的对象有哪些?请从实际生活中举出至少三种。
答:数据挖掘处理的对象是某一专业领域中积累的数据,对象既可以来自社会科学,又可以来自自然科学产生的数据,还可以是卫星观测得到的数据。
数据形式和结构也各不相同,可以是传统的关系数据库,可以是面向对象的高级数据库系统,也可以是面向特殊应用的数据库,如空间数据库、时序数据库、文本数据库和多媒体数据库等,还可以是Web数据信息。
实际生活的例子:①电信行业中利用数据挖掘技术进行客户行为分析,包含客户通话记录、通话时间、所开通的服务等,据此进行客户群体划分以及客户流失性分析。
②天文领域中利用决策树等数据挖掘方法对上百万天体数据进行分类与分析,帮助天文学家发现其他未知星体。
③制造业中应用数据挖掘技术进行零部件故障诊断、资源优化、生产过程分析等。
④市场业中应用数据挖掘技术进行市场定位、消费者分析、辅助制定市场营销策略等。
1.2 给出一个例子,说明数据挖掘对商务的成功是至关重要的。
该商务需要什么样的数据挖掘功能?它们能够由数据查询处理或简单的统计分析来实现吗?答:例如,数据挖掘在电子商务中的客户关系管理起到了非常重要的作用。
随着各个电子商务网站的建立,企业纷纷地从“产品导向”转向“客户导向”,如何在保持现有的客户同时吸引更多的客户、如何在客户群中发现潜在价值,一直都是电子商务企业重要任务。
但是,传统的数据分析处理,如数据查询处理或简单的统计分析,只能在数据库中进行一些简单的数据查询和更新以及一些简单的数据计算操作,却无法从现有的大量数据中挖掘潜在的价值。
而数据挖掘技术却能使用如聚类、关联分析、决策树和神经网络等多种方法,对数据库中庞大的数据进行挖掘分析,然后可以进行客户细分而提供个性化服务、可以利用挖掘到的历史流失客户的特征来防止客户流失、可以进行产品捆绑推荐等,从而使电子商务更好地进行客户关系管理,提高客户的忠诚度和满意度。
1.3 假定你是Big-University 的软件工程师,任务是设计一个数据挖掘系统,分析学校课程数据库。
数据挖掘作业答案第二章数据准备5.推出在[-1,1]区间上的数据的最小-最大标准化公式。
解:标准化相当于按比例缩放,假如将在[minA,maxA]间的属性A的值v映射到区间[new_minA,new_maxA],根据同比关系得:(v-minA)/(v’-new_minA)=(maxA-minA)/(new_maxA-new_minA)化简得:v’=(v-minA)* (new_maxA-new_minA)/ (maxA-minA)+ new_minA6.已知一维数据集X={-5.0 , 23.0 , 17.6 , 7.23 , 1.11},用下述方法对其进行标准化:a) 在[-1,1]区间进行小数缩放。
解:X’={-0.050 ,0.230 ,0.176 ,0.0723 ,0.0111}b) 在[0,1]区间进行最小-最大标准化。
解:X’={0 , 1 , 0.807 ,0.437 ,0.218 }c) 在[-1,1]区间进行最小-最大标准化。
解:X’={-1 , 1 , 0.614 , -0.126 , 0.564}d) 标准差标准化。
解:mean=8.788 sd=11.523X’={-1.197 , 1.233 , 0.765 , -0.135 , -0.666}e) 比较上述标准化的结果,并讨论不同技术的优缺点。
解:小数缩放标准化粒度过大(以10为倍数),但计算简单;最小-最大值标准化需要搜索整个数据集确定最小最大数值,而且最小最大值的专家估算可能会导致标准化值的无意识的集中。
标准差标准化对距离测量非常效,但会把初始值转化成了未被认可的形式。
8.已知一个带有丢失值的四维样本。
X1={0,1,1,2}X2={2,1,*,1}X3={1,*,*,-1}X4={*,2,1,*}如果所有属性的定义域是[0,1,2],在丢失值被认为是“无关紧要的值”并且都被所给的定义域的所有可行值替换的情况下,“人工”样本的数量是多少?解:X1 “人工”样本的数量为 1X2 “人工”样本的数量为 3X3 “人工”样本的数量为9X4 “人工”样本的数量为9所以“人工”样本的数量为1×3×9×9=24310.数据库中不同病人的子女数以矢量形式给出:C={3,1,0,2,7,3,6,4,-2,0,0,10,15,6}a)应用标准统计参数——均值和方差,找出C中的异常点:mean=3.9286 sd=4.4153在3个标准差下的阈值:阈值=均值±3*标准差=3.928±3*4.4153=[-9.318,17.174]根据实际情况子女数不可能为负数,所以其范围可缩减为:[0,17.174]C中的异常点有:-2b)在2个标准差下的阈值:阈值=均值±2*标准差=3.928±2*4.4153=[-4.903,12.758]根据实际情况子女数不可能为负数,所以其范围可缩减为:[0,12.758]C中的异常点有:-2, 1511.已知的三维样本数据集X:X=[{1,2,0},{3,1,4},{2,1,5},{0,1,6},{2,4,3},{4,4,2},{5,2,1},{7,7,7},{0,0,0},{3,3,3}]。
介绍数据挖掘教师的解决方案手册陈甘美华Pang-NingMichael教授Vipin Kumar版权所有2006年Pearson Addison-Wesley。
保留所有权利。
内容。
1 Introduction 52 Data 53 Exploring Data 224 Classification: Basic Concepts, Decision Trees, and Model28 Evaluation 285 Classification: Alternative Techniques 536 Association Analysis: Basic Concepts and Algorithms 857 Association Analysis: Advanced Concepts 1158 Cluster Analysis: Basic Concepts and Algorithms 1539 Cluster Analysis: Additional Issues and Algorithms 17710 Anomaly Detection 187三1介绍1.讨论是否执行下列每项活动的是一种数据miningtask。
(a)把客户的公司根据他们的性别。
否。
这是一种简单的数据库查询。
(b)把客户的公司根据他们的盈利能力。
第这是一种会计计算、应用程序的门限值。
然而,预测盈利的一种新的客户将数据挖掘。
(c)计算的总销售公司。
否。
这又是简单的会计工作。
(d)排序的学生数据库基于学生的身份证号码。
第再次,这是一种简单的数据库查询。
(e)预测结果丢(公平)的一对骰子。
否。
既然死是公正的,这是一种概率的计算。
如果死是不公平的,我们需要估计的概率对每个结果的数据,那么这更象研究的问题数据挖掘。
然而,在这种特定的情况下,要解决这一问题是由数学家很长一段时间前,因此,我们不认为它是数据挖掘。
(f)预测未来股价的公司使用。
数据挖掘——概念概念与技术Jiawei Han Micheline Kamber 著范明孟晓峰译第1章引言什么是数据挖掘在你的回答中,针对以下问题:定义下列数据挖掘功能:特征化、区分、关联和相关分析、预测聚类和演变分析。
使用你熟悉的现实生活的数据库,给出每种数据挖掘功能的例子。
解答:�特征化是一个目标类数据的一般特性或特性的汇总。
例如,学生的特征可被提出,形成所有大学的计算机科学专业一年级学生的轮廓,这些特征包括作为一种高的年级平均成绩(GPA:Gradepoint aversge) 的信息,还有所修的课程的最大数量。
�区分是将目标类数据对象的一般特性与一个或多个对比类对象的一般特性进行比较。
例如,具有高 GPA 的学生的一般特性可被用来与具有低 GPA 的一般特性比较。
最终的描述可能是学生的一个一般可比较的轮廓,就像具有高 GPA 的学生的 75%是四年级计算机科学专业的学生,而具有低GPA 的学生的65%不是。
�关联是指发现关联规则,这些规则表示一起频繁发生在给定数据集的特征值的条件。
例如,一个数据挖掘系统可能发现的关联规则为:major(X, “computing science”) ⇒owns(X, “personal computer”) [support=12%,confid ence=98%]其中,X 是一个表示学生的变量。
这个规则指出正在学习的学生,12%(支持度)主修计算机科学并且拥有一台个人计算机。
这个组一个学生拥有一台个人电脑的概率是 98%(置信度,或确定度)。
�分类与预测不同,因为前者的作用是构造一系列能描述和区分数据类型或概念的模型(或功能),而后者是建立一个模型去预测缺失的或无效的、并且通常是数字的数据值。
它们的相似性是他们都是预测的工具:分类被用作预测目标数据的类的标签,而预测典型的应用是预测缺失的数字型数据的值。
�聚类分析的数据对象不考虑已知的类标号。
对象根据最大花蕾内部的相似性、最小化类之间的相似性的原则进行聚类或分组。
数据挖掘智慧树知到课后章节答案2023年下国防科技大学国防科技大学绪论单元测试1.什么是KDD? ( )A:领域知识发现B:文档知识发现C:数据挖掘与知识发现D:动态知识发现答案:数据挖掘与知识发现2.“8,000”和“10,000”表示: ( )A:智慧B:知识C:信息D:数据答案:数据3.人从出生到长大的过程中,是如何认识事物的? ( )A:先分类,后聚类B:分类过程C:先聚类,后分类D:聚类过程答案:先聚类,后分类4.“8,000米是飞机飞行最大高度”与“10,000米的高山”表示: ( )A:知识B:数据C:信息D:智慧答案:信息5.“飞机无法飞过高山”表示: ( )A:数据B:信息C:智慧D:知识答案:知识第一章测试1.下面哪个不属于数据的属性类型:( )A:序数B:相异C:区间D:标称答案:相异2.只有非零值才重要的二元属性被称作:( )A:对称属性B:非对称的二元属性C:计数属性D:离散属性答案:非对称的二元属性3.一所大学内的各年纪人数分别为:一年级200人,二年级160人,三年级130人,四年级110人。
则年级属性的众数是: ( )A:三年级B:一年级C:四年级D:二年级答案:一年级4.杰卡德系数用来度量非对称的二进制属性的相似性。
( )A:错 B:对答案:对5.欧式距离用来度量连续数值属性数据的相似性。
( )A:对 B:错答案:对第二章测试1.卡方测试用来度量离散标称属性数据的相关性。
( )A:错 B:对答案:对2.相关系数用来度量标称属性数据的相关性。
( )A:对 B:错答案:错3.所谓高维数据,指的是数据属性很多。
( )A:对 B:错答案:对4.假设属性income的最大最小值分别是12000元和98000元。
利用最大最小规范化的方法将属性的值映射到0至1的范围内。
对属性income的73600元将被转化为:( )A:0.821B:1.458C:0.716D:1.224答案:0.7165.假设12个销售价格记录组已经排序如下:5, 10, 11, 13, 15,35, 50, 55, 72, 92,204, 215 使用如下每种方法将它们划分成四个箱。
数据仓库与数据挖掘学习要点第一章 引言1、数据挖掘的概念,即什么是数据挖掘?数据挖掘--从大量数据中寻找其规律的技术,是统计学、数据库技术和人工智能技术的综合。
2、数据挖掘的过程。
数据输入数据清理规范化特征选择维缩减模式发现关联&相关分类聚类异常分析…………模式评估模式选择模式解释模式可视化3、数据挖掘的功能是什么?即可以挖掘到什么类型的模式。
1)概念描述: 特征和区分 2)频繁模式,关联 3)分类和预测 4)聚类分析 5)离群点分析 6)趋势和演变分析4、数据挖掘模式是要挖掘有趣的模式。
什么是有趣模式,为什么要挖掘有趣的模式? 有趣模式:易于被人理解的, 在某种程度上在新的或测试数据上是有效的, 潜在有用的, 新颖的, 或验证了用户希望证实的某种假设 模式兴趣度度量,无论是客观的还是主观的,都可以用来指导发现过程5、关系数据库、数据仓库、数据挖掘构成一个怎样的层次,在功能上它们之间有什么样的关系?多种挖掘功能的集成、耦合第二章 数据预处理1、 为什么要预处理数据?现实世界中的数据是脏的:1)不完全: 缺少属性值, 缺少某些有趣的属性, 或仅包含聚集数据2)噪音: 包含错误或孤立点3)不一致: 编码或名字存在差异2、 数据预处理包括那些方面?数据清理——填充缺失值, 识别/去除离群点, 光滑噪音, 并纠正数据中的不一致 数据集成——多个数据库, 数据立方体, 或文件的集成数据变换——规范化和聚集数据归约——得到数据的归约表示, 它小得多, 但产生相同或类似的分析结果:维度规约、数值规约、数据压缩数据离散化和概念分层3、数据清理的概念,数据清理包括那些方面?数据清理——填充缺失值, 识别/去除离群点, 光滑噪音, 并纠正数据中的不一致数据清理包括缺失值、噪声数据、不一致性、偏差检测和数据交换4、数据集成和变换的概念。
数据集成——多个数据库, 数据立方体, 或文件的集成数据变换——规范化和聚集5、数据规约的概念,数据规约包括那些方面?数据归约——得到数据的归约表示, 它小得多, 但产生相同或类似的分析结果:维度规约、数值规约、数据压缩数据规约包括数据立方体聚集、维度规约、数据压缩、数值规约、离散化和产生概念分层6、什么是数据离散化?什么是概念分层?数据离散化——把连续属性的区域分成区间概念分层——递归离散化属性,产生属性值分层/多分辨率划分第三章数据仓库与OLAP技术1、数据仓库的概念数据仓库是面向主题的, 集成的, 时变的, 和非易失的数据集合, 支持管理决策过程2、为什么需要数据仓库?数据仓库,是在数据库已经大量存在的情况下,为了进一步挖掘数据资源、为了决策需要而产生的,目的是OLAP: 复杂的OLAP 查询, 多维视图, 统一.文档收集自网络,仅用于个人学3、什么是数据立方体?数据立方体将数据建模, 并允许由多个维进行观察4、掌握数据立方体各种操作:上卷、下钻、切块、切片。
3.1 数据质量可以从多方面评估,包括准确性、完整性和一致性问题。
对于以上每个问题, 讨论数据质量的评估如何依赖数据的应用目的,给出例子。
提出数据质量的其他两个尺度。
答:精确性:描述数据是否与其对应的客观实体的特征相一致。
完整性:描述数据是否存在缺失记录或缺失字段。
一致性:描述同一实体的同一属性的值在不同的系统或数据集中是否一致。
数据质量依赖于数据的应用。
对于给定的数据库, 两个不同的用户可能有完全不同的评 估。
例如, 市场分析人员可能访问公司的销售事务数据库 (该数据库里面并非是所有的顾客 信息都是可以得到的。
其他数据没有包含在内, 可能只是因为输入时认为是不重要的, 相关 的数据没有记录可能是由于理解错误,或者因为设备故障), 得到顾客地址的列表。
有些地 址已经过时或不正确,但毕竟还有 80%的地址是正确的。
市场分析人员考虑到对于目标市 场营销而言, 这是一个大型顾客数据库, 因此对该数据库的准确性还算满意, 尽管作为销售 的经理,你发现数据是不正确的。
另外两种度量尺度: 有效性:描述数据是否满足用户定义的条件或在一定的域值范围内。
唯一性:描述数据是否存在重复记录。
3.3 在习题 2.2 中,属性 age 包括如下值(以递增序): 13、15、16、16、19、20、20、21、 22、 22、22、25、 25、25、25、30、33、33、35、35、35、35、36、40、45、46、 52、70(a) 使用深度为3的箱,用箱均值光滑以上数据。
说明你的步骤,讨论这种技术对给定数据 的效果。
答:划分为(等频的)箱:箱 1:13、15、16、16、 箱 2: 22、25、25、25、 箱 3: 35、35、35、36、 用箱均值光滑: 箱 1: 18、18、18、18、 箱 2: 28.1、 28.1、28.1、 43.78、43.78、43.78、43.78、43.78、43.78、43.7843.78、43.78、43.78 分箱方法通过考察数据的“近邻”来光滑有序数据值,进而去掉“噪声”,即去掉被测量的 变量的随机误差或方差。
第六章作业1.数据挖掘与知识发现两个概念有什么不同?P116知识发现被认为是从数据中发现有用知识的整个过程。
数据挖掘被认为是知识发现过程中的一个特定步骤,它用专门算法从数据中抽取模式。
2.知识发现过程由哪三部分组成?每部分的工作是什么?P116KDD过程可以概括为三个子步骤:数据准备、数据挖掘和结果的解释和评价。
数据准备:数据准备又可分为三个子步骤:数据选取、数据预处理和数据变换。
数据选取的目的是确定发现任务的操作对象,即目标数据,它是根据用户的需要从原始数据库中抽取的一组数据。
数据预处理一般可能包括消除噪声、推导计算缺值数据、消除重复记录、完成数据类型转换(如把连续值数据转换为离散型的数据,以便于符号归纳;或是把离散型的转换为连续值型的,以便于神经网络归纳)等。
当数据开采的对象是数据仓库时,一般来说,数据预处理已经在生成数据仓库时完成了。
数据变换的主要目的是消减数据维数或降维,即从初始特征中找出真正有用的特征以减少数据开采时要考虑的特征或变量个数。
数据挖掘:数据挖掘是利用一系列方法或算法从数据中获取知识。
按照数据挖掘任务的不同,数据挖掘方法分类分为聚类、分类、关联规则发现等。
结果的解释和评价:数据挖掘阶段发现的模式,经过用户或机器的评估,可能存在冗余或无关的模式,这时需要将其剔除;也有可能模式不满足用户要求,这时则需要让整个发现过程退回到发现阶段之前,如重新选取数据、采用新的数据变换方法、设定新的数据挖掘参数值,甚至换一种挖掘算法(如当发现任务是分类时,有多种分类方法,不同的方法对不同的数据有不同的效果)。
另外,由于KDD最终是面向人类用户的,因此可能要对发现的模式进行可视化,或者把结果转换为用户易懂的另一种表示,如把分类决策树转换为“if...then...”规则。
3.数据挖掘的对象有哪些?他们各自的特点是什么?P1181.关系数据库特点:(1)数据动态性(2)数据不完全性(3)数据噪声(4)数据冗余性(5)数据稀疏性(6)海量数据2.文本特点:(1)关键词或特征提取(2)相似检索(3)文本聚类(4)文本数据3.图像与视频数据特点:(1)图像与视频特征提取(2)基于内容的相似检索(3)视频镜头的编辑与组织4.web数据(1)异构数据集成和挖掘(2)半结构化数据模型抽取4.1).关联分析若两个或多个数据项的取值之间重复出现且概率很高时,它就存在某种关联,可以建立起这些数据项的关联规则。
巩卩卫})趴e })10= 0.82。
考虑到数据集显示于表格 6.1。
(一)计算支持项集{ e },{ b 、d },{ b 、d 、e }通过治疗每个事务ID 作为一个市场购物篮。
答:Table 6.11. Example of market basket transactions CiisttJincT ID TraiMattion ID[temB Bought 10001 {a, d,e} 10024 [a t 20012 同 20031 {口心曲:即} 30015 30022 仏吐} 40029 {诃 40040 {口:以} 50033 {a, 50038 {码札电} (b) Use the results in part (a) to compute the con fide nee for the associati on rules {b ,d} -{e} and {e} - {b ,d}. Is con fide nee a symmetricmeasure?第六章数据挖掘导论1。
对于每个下列问题,提供一个关联规则的一个例子 从市场购物篮域,满足下列条件。
同样, 这些规则是主观地描述是否有趣。
(一)一个规则,具有较高的支持和高的信心。
也包含金枪鱼。
这种低规则往往是无趣的 (c) 一个规则,低的支持和信心不足。
答:食用油-T 洗衣粉。
如此低的信心规则 往往是无趣的。
(d) 规则,低支持和高的信心。
答:伏特加-T 鱼子酱。
这样的规则往往是有趣的(1如果C 、重复部分(一)通过将每个客户ID 作为一个市场购物篮。
每个项目应被视为一个二进制变量 一个项目出现在 至少有一个交易购买的顾客,和0否则。
) 5 §({&“}) = 7 = 1ff({fr,-d T e} j =— = 0.8 □e 没有明显关系s1,s2,c1和c23. (a) Wliat 諒 the confidcn<T! for The* nilcs 0 ——* and A ——* 0?Answer:—* A )= —* A).氓片 一 0} = 100%,(I'j) Jx't ci , ", and 即 hr the confidf-nrc vrihiE cf th*1 rules? {p} —► {q}: {p}——-{y, r}, and r} -------------- {©}: rctjpcctivvly ・ Lf wc assume thatc^t and eg have different values, wb^it are the possible relationships thnt rviy ( xist ainong 口.血:and cj? \Vhi~h ruk has tho I OWCST coiifi^lciirei 1 Answer;_吓沖"_ 4P )_ 盯puqur) d _ -<F>「叮pugur)'~ MpUh)Considering s(p) > s(j? U q 1) > 就卩U U r)Thus ; ul X c2 屁 cU 上 c2.Th 強refhiT c2 ha^ the lowest coiifidencc.(f) Reprat the aruilysis in part (b) fvsNiimiiig that the rules h-avf 1 idrinical tupperl.Which rule has the liighcst cDtifidciice?Answer:C-tmsidrnng 鼠 pU^} — s{p U U r}but s(p) > ff(p U r JThus; c3 > (cl = c2)所以c2有最低的置信度 0.8TW ,(d) £ railsltiA^it y ;呂口卩pose the cxjnhdence ot tire rides £ --------------- ► 2? anil JJ -----► CJUQ larger than some t.hrrshold. mincQv f. Ts it poFsible that A ——► C has A cotiftdcnoe kss than mi neon J ?Answer:YeSt It <lej>'iids on the supjK )rt of items .4T J3* and C fFur example:s(A ?B) = 60% s(A) = 90%s(A t C) = 20% s(B) = 70%sfE.C.J = 50% s(C) = 60VCLet miTicoii f = 50V(- Vheretoreic(A 一 E)三 66% > vmnecm fc(2J — C) = 7196 > minconfBut c(A -* G) = 22$t < jnincon f4、f 15 an anti-moiLotoTir niea^urr brcrkivsc卫乐…1 J 人订)工■八,}) (G.2iFor rxampk, VT ran compare thr vnhwF? of C, for {.4. /?} and (4,/?n C}.= niin (c(4 —/?) t /?——4J)min {c(A 一 &C 1)疋(Z? 一 AC),c(C 一 AB})111 叭 s(/L /?\C)因为年代 (A,B,C)w 年B)和 max(s(— 个),s(B),s(C)) > maXSSB)一个 因此 Z ({ A 、B }) >Z ({ A,B,C })(b) .『也B) S (AB).= miTJ --------------- ----- .——-— ' A 1 况 Z?)丿max (£(j4 ),s(B))(GQ讯{5C}) is tioti-monotone. We can show this by comparing 丹({4 _B}) against 玳{A,臥C"玳的0}】= mhi ( max (睜⑷,s(B) I= min (c(4/? —* C)t c(AC ― 8)^( fJC ― 4))_ .广(/LEO) KA 、BQ 就乩 母(&民G)max 凶.4. £?)h i 扎(7),乱”,CJ)Sine® J (J 4.Z?_(7) < anti UIHX [>(.4. !?).观A, C). $(/?,(?)) < max(s(j4)j J (B)), thtrefbn?叩[{£」攵(7卜)c^ii be gTcatrr than or less th^j 】{A, £?y ).Tkncp. the nicasuTP is non-monotone.min (U ——U) jC (B如/}) A)) 成{ZG}) Let '■ M R }) = MAX ( — Au,-■〕血)*… c(^fc —占*缶…川n)) <({必屮}1 = max 3』—Z?)T ct B — A )) =T 币LFF) _ 枣⑷B) 裁7) /{{£!?. C}[ = max (亡(良BC).c(D 一 AC),c{C AB)) 〃(£』.<?)£(m 、c )i (^i. B , cn. = max ( ------- - ---- L . ------- ---- < ------- : ---- L ) "s(A) 孔用) x(C) J = gg 营和 Since 以 C) < s(X, B) and nun(«(>l)4 4(5), tf(C)) < min(s(A), 5(Z?) )t 「({自』,C}) can be greater than or less than Therefore, the iiirasurp is ibon-Lnonotone. Let 孑…,加}) = max] 0(-411,金’…,4jt ―> Ai),*- ■ c(Ai + 朋、■ - ■ Ajt_i — 4*))nifLx ^c(AZ? —* (7). — c^BC^ —* A))s(A,i^. C} s(4. Z?. C) s(4, C)s (A 4 B, G)uun (0(4^ si Z?, C 1))因为 s(A,B,C)w s(A,B)和最小(s(A,B),s(A,C),s(B,C)F min(s(—个),s(B),s(C))< min(s(—个),s(B))n A,B,C })可以大于或小于 n ({ A 、B })。
3、基于数据挖掘的电子商务决策支持系统可以帮助商家进行正确的商机预测,从而改变经营策略,适应市场需求变化,掌握正确的市场脉搏,为商家可持续发展提供可靠保证。
一、应用数据挖掘技术进行数据分析在当前的有三种主要的经营模式:企业对消费者个人的电子商务、企业对企业的电子商务、个人对个人的电子商务。
对不同的经营模式,电子商务交易的卖家即商家比较关心的问题是不同的。
B2C和B2B模式中商家企业需要根据买家的购买特征,如季节性、时间性、喜好等,动态调整生产模式,随市场需求安排生产和调度。
而对于C 2 C经营模式中的商家就需要根据买家购买特征动态调整进货数量、种类,以达到与买家需求接轨,从而获得更大利润。
电子商务运营模式日渐成熟,各种现行电子商务平台上都积累了海量数据,这为数据挖掘技术的应用创建了有利条件和坚实基础。
具体数据挖掘过程可分为如下步骤:首先,采集电子商务网站数据。
每个电子商务交易平台都有自身的经营特点和客户群体,所以不适宜把多个网站数据结合起来分析。
单一网站的数据基本上模式统一,因此不需要进行数据清理。
第二步,采用数据挖掘方法对有效数据进行分析。
现在常用的数据挖掘方法有分类、关联规则分析、聚类分析和孤立点分析等。
分类方法可以为每个类别做出准确的描述或建立分析模型或挖掘出分类规则,适用于发掘出购买特征相同的买家分类;关联规则分析通过对多个数据项建立关联规则可以发现潜在买家和潜在购买需求;聚类分析可以通过对记录的划分得到不同的分类。
孤立点分析在电子商务数据挖掘中不适用,电子商务要发现的是有代表性和规模性的特征,一些异常数据无法代表整个买家群体的意愿,所以可以忽略掉。
经过以上过程,得到了有效数据,接下来可以基于这些有效数据进行分析得到知识信息,为商家提供决策支持。
二、建立决策支持系统电子商务中针对企业商家的决策包括非结构化决策和半结构化决策。
非结构化决策,是指决策过程复杂,不可能用确定的模型和语言来描述其决策过程,更无所谓最优解的决策;半结构化决策,是介于以上二者之间的决策,这类决策可以建立适当的算法产生决策方案,使决策方案中得到较优的解。
第六章数据挖掘导论
1。
对于每个下列问题,提供一个关联规则的一个例子
从市场购物篮域,满足下列条件。
同样,
这些规则是主观地描述是否有趣。
(一)一个规则,具有较高的支持和高的信心。
答:牛奶−→面包。
这种明显的规则往往是无趣的。
(b)规则,有相当高的支持,但信心不足。
答:牛奶−→金枪鱼。
而出售金枪鱼和牛奶可能是
高于阈值,并不是所有的事务,包含牛奶
也包含金枪鱼。
这种低规则往往是无趣的。
(c)一个规则,低的支持和信心不足。
答:食用油−→洗衣粉。
如此低的信心规则
往往是无趣的。
(d)规则,低支持和高的信心。
答:伏特加−→鱼子酱。
这样的规则往往是有趣的
2。
考虑到数据集显示于表格6.1。
(一)计算支持项集{ e },{ b、d },{ b、d、e }通过治疗
每个事务ID作为一个市场购物篮。
答:
(b) Use the results in part (a) to compute the confidence for the association rules {b, d} −→{e} and {e} −→{b, d}. Is confidence a symmetric
measure?
c、重复部分(一)通过将每个客户ID作为一个市场购物篮。
每个项目应被视为一个二进制变量(1如果一个项目出现在至少有一个交易购买的顾客,和0否则。
)
d
e 没有明显关系s1,s2,c1和c2
所以c2有最低的置信度
4、
因为年代(A,B,C)≤年代(A,B)和max(s(一个),s(B),s(C))≥max(s(一个),s(B)), 因此ζ({ A、B })≥ζ({ A,B,C })。
(b)
因为s(A,B,C)≤s(A,B)和最小(s(A,B),s(A,C),s(B,C))≤min(s(一个),s(B),s(C)) ≤min(s(一个),s(B))、η({ A,B,C })可以大于或小于η({ A、B })。
因此,这些措施是单调。
(一)的最大数量,可以提取关联规则
从这个数据(包括规则,零支持)?
答:有六项数据集。
因此总
规则的数量是602。
(b)什么是频繁项集的最大大小,可以提取
(假设用来> 0)?
答:因为最长的事务包含4项,最大
频繁项集的大小是4。
(c)编写一个表达式最大数量的大小3项集,
可以源自这个数据集。
答:
(d)找到itemset(大小为2或更大),拥有最大的支持。
答:{面包、黄油}。
(e)找到一双项目,a和b,这样的规则{一}−→{ b }和{ b }−→{一}有同样的信心。
答:(啤酒,饼干)或(面包、黄油)。
比例的频繁项集= 16/32 = 50.0%(包括null 设置)。
修剪比率的比例是N的总数量的项目集。
因为的计数N = 11,因此修剪比例是11/32 = 34.4%。
误警率的比值我总数量的项目集。
因为计数的我= 5,因此误警率是5/32 = 15.6%。