当前位置：文档之家 › 分布式数据挖掘-LAMDA-南京大学

分布式数据挖掘-LAMDA-南京大学

  • 格式：ppt
  • 大小：146.00 KB
  • 文档页数：19

下载文档原格式

  / 19

合集下载

数据挖掘顶级期刊简介

数据挖掘顶级期刊简介

顶级会议第一KDD 第二SIAM ICDM中国计算机学会推荐国际学术刊物(数据库、数据挖掘与内容检索)序号刊物简称刊物全称出版社网址1 TODS ACM Transactions on Database Systems ACM /tods/2 TOIS ACM Transactions on Information andSystems ACM /pubs/tois/3 TKDE IEEE Transactions on Knowledge and Data Engineering IEEE Computer Society /tkde/4 VLDBJ VLDB Journal S pringer-Verlag/dblp/db/journals/vldb/index.html二、B类序号刊物简称刊物全称出版社网址1 TKDD ACM Transactions on Knowledge Discovery from Data ACM/pubs/tkdd/2 AEI Advanced Engineering Informatics Elsevier/wps/find/journaldescription.cws_home/622240/3 DKE Data and Knowledge Engineering Elsevier/science/journal/0169023X4 DMKD Data Mining and Knowledge DiscoverySpringer/content/100254/5 EJIS European Journal of Information Systems The OR Society/ejis/6 GeoInformatica Springer /content/1573-7624/7 IPM Information Processing and Management Elsevier/locate/infoproman8 Information Sciences Elsevier /locate/issn/002002559 IS Information Systems Elsevier/information-systems/10 JASIST Journal of the American Society for Information Science and TechnologyAmerican Society for Information Science and Technology /Publications/JASIS/jasis.html11 JWS Journal of Web Semantics Elsevier /locate/inca/67132212 KIS Knowledge and Information Systems Springer /journal/1011513 TWEB ACM Transactions on the Web ACM /三、C类序号刊物简称刊物全称出版社网址1 DPD Distributed and Parallel Databases Springer/content/1573-7578/2 I&M Information and Management E lsevier /locate/im/3 IPL Information Processing Letters Elsevier /locate/ipl4 Information Retrieval Springer /issn/1386-45645 IJCIS International Journal of Cooperative Information Systems World Scientific/ijcis6 IJGIS International Journal of Geographical Information Science Taylor & Francis/journals/tf/13658816.html7 IJIS International Journal of Intelligent Systems Wiley/jpages/0884-8173/8 IJKM International Journal of Knowledge Management IGI/journals/details.asp?id=42889 IJSWIS International Journal on Semantic Web and Information Systems IGI/10 JCIS J ournal of Computer Information Systems IACIS/web/journal.htm11 JDM Journal of Database Management IGI-Global/journals/details.asp?id=19812 JGITM Journal of Global Information Technology Management Ivy League Publishing/bae/jgitm/13 JIIS Journal of Intelligent Information Systems Springer/content/1573-7675/14 JSIS Journal of Strategic Information Systems Elsevier/locate/jsis中国计算机学会推荐国际学术刊物(数据库、数据挖掘与内容检索)一、A类序号刊物简称刊物全称出版社网址1 TODS ACM Transactions on Database Systems ACM /tods/2 TOIS ACM Transactions on Information andSystems ACM /pubs/tois/3 TKDE IEEE Transactions on Knowledge and Data Engineering IEEE Computer Society /tkde/4 VLDBJ VLDB Journal S pringer-Verlag/dblp/db/journals/vldb/index.html二、B类序号刊物简称刊物全称出版社网址1 TKDD ACM Transactions on Knowledge Discovery from Data ACM/pubs/tkdd/2 AEI Advanced Engineering Informatics Elsevier/wps/find/journaldescription.cws_home/622240/3 DKE Data and Knowledge Engineering Elsevier/science/journal/0169023X4 DMKD Data Mining and Knowledge DiscoverySpringer/content/100254/5 EJIS European Journal of Information Systems The OR Society/ejis/6 GeoInformatica Springer /content/1573-7624/7 IPM Information Processing and Management Elsevier/locate/infoproman8 Information Sciences Elsevier /locate/issn/002002559 IS Information Systems Elsevier/information-systems/10 JASIST Journal of the American Society for Information Science and TechnologyAmerican Society for Information Science and Technology /Publications/JASIS/jasis.html11 JWS Journal of Web Semantics Elsevier /locate/inca/67132212 KIS Knowledge and Information Systems Springer /journal/1011513 TWEB ACM Transactions on the Web ACM /三、C类序号刊物简称刊物全称出版社网址1 DPD Distributed and Parallel Databases Springer/content/1573-7578/2 I&M Information and Management E lsevier /locate/im/3 IPL Information Processing Letters Elsevier /locate/ipl4 Information Retrieval Springer /issn/1386-45645 IJCIS International Journal of Cooperative Information Systems World Scientific/ijcis6 IJGIS International Journal of Geographical Information Science Taylor & Francis/journals/tf/13658816.html7 IJIS International Journal of Intelligent Systems Wiley/jpages/0884-8173/8 IJKM International Journal of Knowledge Management IGI/journals/details.asp?id=42889 IJSWIS International Journal on Semantic Web and Information Systems IGI/10 JCIS J ournal of Computer Information Systems IACIS/web/journal.htm11 JDM Journal of Database Management IGI-Global/journals/details.asp?id=19812 JGITM Journal of Global Information Technology Management Ivy League Publishing/bae/jgitm/13 JIIS Journal of Intelligent Information Systems Springer/content/1573-7675/14 JSIS Journal of Strategic Information Systems Elsevier/locate/jsis一、以下是一些数据挖掘领域专家牛人的网站，有很多精华，能开阔研究者的思路，在此共享：1.Rakesh Agrawal主页：/en-us/people/rakesha/ 数据挖掘领域唯一独有的关联规则研究的创始人，其主要的Apriori算法开启了这一伟大的领域。

半监督支持向量机综述-LAMDA-南京大学

半监督支持向量机综述-LAMDA-南京大学

推断任一输入 x 对应的输出 y 。
f (x) sgn(g(x))
由此可见，求解分类问题，实质上就是找到一个把 Rn 空间分成两部分的规则，或称其分类机。这里我
们说的分类问题其实是二类别的问题，多类别的问题原理相同，本报告只考虑二类别问题。
2.2 SVM
在众多的分类方法中，支持向量机（SVM）是非常流行的一种，它被广泛地应用在诸如文本分类，面部 表情识别，和基因分析等多种应用中[2]。下面我们详细介绍支持向量机（SVM）的原理。 2.2.1 线性可分的情况
meanS3VM 算法；针对利用无标记数据时会产生性能下降的问题，提出了 S4VM 算法；针对代价敏感的问题，
提出了 CS4VM 算法。
关键词: 半监督支持向量机;统计学习理论;低效;性能下降;代价敏感
中图法分类号: TP301
文献标识码: A
1 引言
随着计算机在日常生活的广泛应用，各行各业都积累了大量的数据。如何快速、准确、方便地从海量的 信息库中获取感兴趣、满足需要的信息，已成为人们亟待解决的问题。在各种复杂应用背景条件下，人工方
T {(x1, y1), , (xl, yl)}(Rn y)l ,
其中 xi Rn , yi y {1,1},i 1, l . xi 是特征向量，其分量是从物体中提取的特征或属性； yi 是相应
的类别标记（1 和-1 分别表示正类和负类）。据此寻找 Rn 空间上的一个实值函数 g(x) ，以便使用决策函数
Key words: semi-supervised support vector machine; statistical learning theory; inefficiency; performance degenerate; cost sensitive

大数据处理中的Lambda架构和Kappa架构

大数据处理中的Lambda架构和Kappa架构

⼤数据处理中的Lambda架构和Kappa架构⾸先我们来看⼀个典型的互联⽹⼤数据平台的架构，如下图所⽰：在这张架构图中，⼤数据平台⾥⾯向⽤户的在线业务处理组件⽤褐⾊标⽰出来，这部分是属于互联⽹在线应⽤的部分，其他蓝⾊的部分属于⼤数据相关组件，使⽤开源⼤数据产品或者⾃⼰开发相关⼤数据组件。

你可以看到，⼤数据平台由上到下，可分为三个部分：数据采集、数据处理、数据输出与展⽰。

数据采集将应⽤程序产⽣的数据和⽇志等同步到⼤数据系统中，由于数据源不同，这⾥的数据同步系统实际上是多个相关系统的组合。

数据库同步通常⽤ Sqoop，⽇志同步可以选择 Flume，打点采集的数据经过格式化转换后通过 Kafka 等消息队列进⾏传递。

不同的数据源产⽣的数据质量可能差别很⼤，数据库中的数据也许可以直接导⼊⼤数据系统就可以使⽤了，⽽⽇志和爬⾍产⽣的数据就需要进⾏⼤量的清洗、转化处理才能有效使⽤。

数据处理这部分是⼤数据存储与计算的核⼼，数据同步系统导⼊的数据存储在 HDFS。

MapReduce、Hive、Spark 等计算任务读取 HDFS 上的数据进⾏计算，再将计算结果写⼊ HDFS。

MapReduce、Hive、Spark 等进⾏的计算处理被称作是离线计算，HDFS 存储的数据被称为离线数据。

在⼤数据系统上进⾏的离线计算通常针对（某⼀⽅⾯的）全体数据，⽐如针对历史上所有订单进⾏商品的关联性挖掘，这时候数据规模⾮常⼤，需要较长的运⾏时间，这类计算就是离线计算。

除了离线计算，还有⼀些场景，数据规模也⽐较⼤，但是要求处理的时间却⽐较短。

⽐如淘宝要统计每秒产⽣的订单数，以便进⾏监控和宣传。

这种场景被称为⼤数据流式计算，通常⽤ Storm、Spark Steaming 等流式⼤数据引擎来完成，可以在秒级甚⾄毫秒级时间内完成计算。

数据输出与展⽰⼤数据计算产⽣的数据还是写⼊到 HDFS 中，但应⽤程序不可能到 HDFS 中读取数据，所以必须要将 HDFS 中的数据导出到数据库中。

不平衡分类学习综述-LAMDA-南京大学

不平衡分类学习综述-LAMDA-南京大学
不平衡分类学习综述
陈晶∗
(南京大学 计算机科学与技术系, 南京 210093)
Research on Class-Imbalance Learning
Chen Jing*
(Department of Computer Science and Technology, Nanjing University, Nanjing 210093, China)
Abstract: There is a growing number of real-world applications showing characteristics of class-imbalance classification suffering from severe class distribution skews and underrepresented data. The complex characteristics of imbalanced datasets make it hard for mature and classical classifiers to take effect, thus require brand new principles, algorithms, and assessment metrics to learn from such datasets. Large amount of research work has proposed various pragmatic solutions to class-imbalance problems both academically and industrially over years. In this paper, we focus on the analysis of the nature of imbalanced learning, demonstration of state-of-art algorithms for class-imbalance problems and discussion of efficient assessment metrics to evaluate performance of such algorithms. Finally, major challenges and potential research directions are mentioned as well.

南京大学大数据专业方向工程硕士常见问题解答-西安电子科技大学软件

南京大学大数据专业方向工程硕士常见问题解答-西安电子科技大学软件

西安电子科技大学软件学院——大数据分析与应用方向工程硕士FAQ1.什么是大数据？大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的数据资源。

随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。

大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。

适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

2.大数据几大特点？大数据4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。

共计四个层面：（1）数据体量巨大。

从TB级别，跃升到PB级别（1T=1024G;1P=1024T)。

（2）数据类型繁多。

前文提到的网络日志、视频、图片、地理位置信息等等。

（3）价值密度低，商业价值高。

以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。

（4）处理速度快。

1秒定律。

最后这一点也是和传统的数据挖掘技术有着本质的不同。

3.哪里会产生大数据？如网络日志，传感器网络，社会网络，社会数据（由于数据革命的社会），互联网文本和文件；互联网搜索索引；呼叫详细记录，天文学，大气科学，基因组学，生物地球化学，生物，和其他复杂和/或跨学科的科研，军事侦察，医疗记录；摄影档案馆视频档案；和大规模的电子商务。

4.大数据的应用领域？目前大数据应用较广的行业有：电子商务、能源、医药、零售、互联网企业等等（1）政府：公共卫生安全防范、灾难预警（2）医疗机构：建立患者的疾病风险跟踪机制，提升药品的临床使用效果（3）电商公司：向用户推荐商品和服务（4）旅游网站：为旅游者提供心仪的旅游路线（5）企事业单位：提升营销的针对性，降低物流和库存的成本，减少投资的风险等等5.大数据时代来临对社会和生活会造成哪些影响？大数据会给整个社会带来从生活到思维上革命性的变化，如：（1）企业和政府的管理人员在进行决策的时候，会出现从“经验即决策”到“数据辅助决策”再到“数据即决策”的变化；（2）人们所接受的服务，将以数字化和个性化的方式呈现，借助3D打印技术和生物基因工程，零售业和医疗业亦将实现数字化和个性化的服务；（3）以小规模实验、定性或半定量分析为主要手段的科学分支，如社会学、心理学、管理学等，将会向大规模定量化数据分析转型；（4）将会出现数据运营商和数据市场，以数据和数据产品为对象，通过加工和交易数据获取商业价值。

lamda准则

lamda准则

lamda准则
Lambda 准则是一种常用于分类问题中的准则，特别是在决策树分类器中。

Lambda 准则的主要思想是：在任何节点分裂时，应尽可能使分裂后的信息增益最小。

Lambda 准则定义如下：设D 是样本集，G 是Gini 指数，则节点的λ 值为λ = 1 - Gini(D)，其中Gini(D) 是样本集D 的Gini 指数。

当样本集D 中所有样本都属于同一类别时，Gini(D) 最小，为0；当样本集D 中两个类别的样本数量相等时，Gini(D) 最大，为0.5。

因此，λ 的值域为[0,1]。

Lambda 准则选择分裂信息最大的属性作为最优划分属性，即选取能使分裂后的Gini 值最小（即λ 值最大）的属性作为划分属性。

这样做的目的是为了提高分类的准确性。

需要注意的是，Lambda 准则仅适用于分类问题，并且是在决策树算法中使用的。

在其他机器学习算法中，可能会有其他的准则和优化方法。

秒懂南京大学俞扬博士独家演讲：强化学习前沿（下）

秒懂南京大学俞扬博士独家演讲：强化学习前沿（下）AI科技评论按：本文根据俞扬博士在中国人工智能学会AIDL第二期人工智能前沿讲习班“机器学习前沿”所作报告《强化学习前沿》编辑整理而来，AI科技评论在未改变原意的基础上略作了删减，经俞扬博士指正确认，特此感谢。

全文分为上下两篇，本文为下篇。

俞扬博士、副教授，主要研究领域为人工智能、机器学习、演化计算。

分别于2004年和2011年获得南京大学计算机科学与技术系学士学位和博士学位。

2011年8月加入南京大学计算机科学与技术系、机器学习与数据挖掘研究所（LAMDA）从事教学与科研工作。

曾获2013年全国优秀博士学位论文奖、2011年中国计算机学会优秀博士学位论文奖。

发表论文40余篇，包括多篇Artificial Intelligence、IJCAI、AAAI、NIPS、KDD等国际一流期刊和会议上，研究成果获得IDEAL'16、GECCO'11、PAKDD'08最佳论文奖，以及PAKDD’06数据挖掘竞赛冠军等。

任《Frontiers of Computer Science》青年副编辑，任人工智能领域国际顶级会议IJCAI’15/17高级程序委员、IJCAI'16/17 Publicity Chair、ICDM'16 Publicity Chair、ACML'16 Workshop Chair。

指导的学生获天猫“双十一”推荐大赛百万大奖、Google奖学金等。

在此列出俞扬老师讲课目录，以供读者参考：•一、介绍（Introduction）•二、马尔可夫决策过程（Markov Decision Process）•三、从马尔可夫决策过程到强化学习（from Markov Decision Process to Reinforce Learning）•四、值函数估计（Value function approximation）•五、策略搜索（Policy Search）•六、游戏中的强化学习（Reinforcement Learning in Games）•七、强化学习总结•八、强化学习资源推荐上篇介绍了前两个小节的内容，以下为下篇内容：三、从马尔可夫决策过程到强化学习在强化学习任务中，奖赏和转移都是未知的，需要通过学习得出。

基于分布式计算的时空数据挖掘技术研究

基于分布式计算的时空数据挖掘技术研究一、引言随着信息技术的发展，数据的产生和存储量不断增长，数据挖掘也成为了科技领域中的热门话题。

由于“时空数据”与传统的数据存在很大的差异，如存储方式、特征、时序性等，因此时空数据的挖掘技术也逐渐受到了广泛的重视。

本文将针对基于分布式计算的时空数据挖掘技术进行探讨和研究。

二、时空数据的特点1. 存储方式不同传统的数据是以表格的形式存储的，而时空数据常常采用三维、四维的空间坐标系进行存储。

这样，时空数据可以准确表达不同位置和时间的信息。

2. 特征不同时空数据具有时间维度和空间维度的特点，同时还存在时空相互影响，以及时空信息不确定性和动态变化等复杂特征，这就给时空数据的挖掘带来了难度。

3. 时序性强时空数据通常是随着时间的变化而不断更新的，因此具有很强的时序性和动态性。

这就使得时空数据挖掘要求具有及时处理能力，所以需要采用基于分布式计算的技术。

三、时空数据挖掘的相关工作1. 时空数据预处理由于时空数据具有复杂的特征和大量的维数，可以使用多种预处理技术对其进行处理。

例如在标准化、降维、特征选择、异常检测等方面进行预处理可以使得挖掘结果更加准确和可靠。

2. 时空数据聚类时空数据聚类是指根据时空数据的特征将其分为一定数量的簇，以便进行分析和挖掘。

在分布式计算技术中，可以采用K-means算法和DBSCAN算法进行聚类。

3. 时空数据分类进行时空数据分类可以帮助用户更好地理解数据，找到数据之间的关联。

在时间序列分类中，将时序数据分为多个离散事件是一种常见的分类方式。

此外，还可以使用支持向量机、决策树等机器学习算法进行分类。

4. 时空关联分析时空数据挖掘的关联分析研究相对较少，大多数都借鉴传统数据的关联分析方法。

时空数据的关联分析不仅需要考虑空间关系、时间关系、属性关系等因素，还应考虑时空因素之间的关联，因此需要考虑基于时空关联规则的分析方法。

四、采用分布式计算技术的时空数据挖掘系统分布式计算是指将一项任务分解成多个子任务，分配给不同的计算节点来完成，并将所有的结果合并起来形成最终结果。

实时大数据处理架构——Lambda架构

实时大数据处理架构——Lambda架构随着21世纪初“互联网时代”的高速发展，数据量暴增，大数据时代到来。

在企业信息化的过程中，随着信息化工具的升级和新工具的应用，数据量变得越来越大，数据格式越来越多，决策要求越来越苛刻，数据处理能力和处理需求不断变化，批处理模式无论怎样提升性能，也无法满足一些实时性要求高的处理场景，流式计算引擎应运而生，如Storm、Spark Streaming、Flink等。

随着越来越多的应用上线，批处理和流计算配合使用可满足大部分应用需求。

对用户而言，他们并不关心底层的计算模型是什么，用户希望无论是批处理还是流计算，都能基于统一的数据模型来返回处理结果，于是Lambda架构应运而生。

为了解决大数据处理技术的可伸缩性与复杂性，南森·马茨（Nathan Marz）根据多年从事分布式大数据系统的经验总结，提出了一个实时大数据处理架构——Lambda架构。

根据维基百科定义，Lambda架构的设计是为了在处理大规模数据时发挥流处理和批处理的优势。

通过批处理提供全面、准确的数据，通过流处理提供低延迟的数据，从而达到平衡延迟、吞吐量和容错性的目的。

Lambda架构整合离线计算和实时计算，融合不可变性、读写分离和复杂性隔离等一系列架构原则，可集成Hadoop、Kafka、Storm、Spark、HBase等大数据组件。

Lambda架构处理数据流程如下图所示。

数据通过不同的数据源产生，并存储成多种数据格式。

Kafka、Flume等大数据组件收集、聚合和传输数据。

大数据处理平台把数据进行流式数据计算和批量数据计算，流式计算（如Storm、Flink、Spark Streaming）对数据进行实时计算处理，批量数据计算（如MapReduce、Hive、Spark SQL）对数据进行离线计算处理。

利用计算处理结果数据，大数据处理平台为应用人员提供便捷的服务查询。

Lambda架构处理数据流程虽然Lambda架构使用起来已经十分灵活，而且能适用于不少应用场景，但在实际应用的时候，Lambda架构的维护很复杂。

lambda非零系数-概述说明以及解释

lambda非零系数-概述说明以及解释1.引言1.1 概述概述是文章的引言部分，用于介绍文章的主题和内容。

在本文中，我们将探讨lambda非零系数的概念和相关知识。

Lambda非零系数是指在数学和统计学中常见的一种关系型数据分析方法，它通过计算各变量之间的相关性来确定它们之间是否存在显著的关联。

lambda非零系数广泛应用于多种领域，包括社会科学、医学、经济学等，并在统计分析和预测建模中发挥着重要作用。

在这篇文章中，我们将介绍lambda非零系数的基本原理和计算方法，并探讨其在实际应用中的意义和价值。

通过本文的阅读，读者将能够全面了解lambda非零系数的概念和应用，并为进一步研究和实践提供基础和指导。

描述部分将在本文的后续部分详细展开。

1.2文章结构1.2 文章结构在本文中，我们将按照以下结构来讨论lambda非零系数的相关内容：1. 引言：本节将对lambda非零系数进行概述，并介绍文章的结构和目的。

2. 正文：本节将分为两个要点来探讨lambda非零系数的重要性和应用。

2.1 第一个要点：我们将首先介绍lambda非零系数在数学和计算领域的应用。

我们会探讨其在线性代数中的重要性，以及在矩阵分析和线性方程组解法中的应用。

此外，我们还会介绍lambda非零系数在计算机科学中的作用，如在算法设计、数据压缩和图像处理中的应用等。

2.2 第二个要点：本节将进一步探讨lambda非零系数在实际问题中的应用。

我们将介绍lambda非零系数在经济学、物理学、生态学和社会科学等领域中的重要性。

我们会讨论其在经济模型、物理方程、生态系统分析和社会网络研究中的应用案例，并探讨lambda非零系数对于这些领域的影响和意义。

3. 结论：本节将对前文进行总结，并展望lambda非零系数在未来的发展前景。

我们将总结lambda非零系数在各个领域的应用和意义，以及可能的研究方向和挑战。

同时，我们也将强调lambda非零系数在推动科学进步和实际问题解决中的重要性。

  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

简介－分布式数据挖掘
产生背景 – 各相关学科的飞速发展，各种网络尤其是Internet的 广泛使用。 – 实际应用要求数据挖掘系统具有更好的可扩展性。 – 实例
• 研究某种疾病在某地的发病情况与气候的关系（疾病控制 数据库＋环境数据库） • 金融组织间通过合作防止信用卡欺诈（数据共享） • 大型跨国公司营销策略的制定（销售点分散，数据仓库构 造十分耗时）
元学习的优点 –在基学习阶段，各个结点可以自主地选择合适的学 习算法来生成局部的基分类器。与此同时，各结点 间不存在任何通讯与同步开销，因此系统效率较高。 –在元学习阶段，由于系统可灵活采用各种集成策略，
结点的同构与异构性－CDM
异构结点间的数据挖掘 –在异构分布式数据挖掘系统中，各个结点存储的数 据具有不同的属性空间，一般而言，异构分布式数 据挖掘系统所要处理的数据集称为垂直分划数据集。
图2 一个典型的垂直分划数据集
CDM－续
CDM –研究结果表明，如果简单地将同构系统所采用的数 据挖掘方法应用于异构分布式数据挖掘系统，那么 为了得到一个精确的预测模型往往需要很大的系统 开销，有时甚至是不可行的。 – 为了能够在结点异构的情况下有效地进行数据挖掘， Kargupta等人提出了CDM (Collective Data Mining) 的概念，其基本思想是任一函数f都可以由一组基函 数所表示，即 f ( x) wk k 。
• 同构：结点间数据的属性空间相同 • 异构：结点间数据具有不同的属性空间
–按照数据模式的生成方式
• 集中式：先把数据集中于中心点，再生成全局数据模式 （模型精度较高，但只适合于数据量较小的情况）。 • 局部式：先在各结点处生成局部数据模式，然后再将局部 数据模式集中到中心结点生成全局数据模式（模型精度较 低，但效率较高）。 • 数据重分布式 ：首先将所有数据在各个结点间重新分布， 然后再按照与局部式系统相同的方法生成数据模式。
分布式数据挖掘
张敏灵 陈兆乾 周志华 zml@
南京大学软件新技术国家重点实验室 2002.10.11
提纲
简介 – 数据挖掘 – 分布式数据挖掘 研究现状 – 同构与异构 – 分布式数据挖掘算法 – 应用实例
进一步的工作
简介－数据挖掘
什么是数据挖掘？ –数据挖掘是指从巨量数据中获取有效的、新颖的、 潜在有用的、最终可理解的模式的非平凡过程。 (From U. Fayyad et al.’s definition at KDD96) –巨量的：对于少量数据的分析不需要使用数据挖掘。 –有效的：所获得的模式必须是正确的。 –新颖的：对于已知知识的投资收益不大。 –潜在有用的：所得的模式应能提供相关的决策支持。 –最终可理解的：所得的模式是提交给决策制定者的。 数据挖掘的研究领域 –数据挖掘是一门涉及机器学习、统计学、数据库、 可视化技术、高性能计算等诸多方面的交叉学科。
面临的问题
– 算法方面
• 数据预处理，实现各种数据挖掘算法。 • 结合系统所处的分布式计算环境。
– 系统方面
• 能在对称多处理机(SMP)、大规模并行处理机(MPP)等具体的分 布式平台上实现。 • 结点间负载平衡、减少同步与通讯开销、异构数据集成等 。
点间数据分布情况
数据挖掘－续
数据挖掘的应用范围 – 描述性规则发现(Characterization) – 对比性规则发现(Discrimination) – 关联规则发现(Association) – 分类分析(Classification) – 预测（回归）分析(Prediction) – 聚类分析(Clustering) – 异常分析(Outlier analysis) – ……
元学习－续
元学习的具体过程
图1 元学习的具体过程
元学习－续
基分类器输出的集成方式 – 投票(Voting): 绝对（相对）多数投票，加权投票。 – 决策(Arbitration): 指定特殊的“决策者”，当各基 分类器的输出无法达成一致时，采用“决策者”的 输出。 – 结合(Combining): 使用相关的先验与领域知识指导 各输出的集成。
k I
–最近，Kargupta等人结合传统的ID3决策树学习算法 以及小波变换技术，成功地将CDM技术应用于分布 式决策树生成以及回归分析中，取得了令人满意的 结果。
– 按系统功能、通讯与合作方式等情况划分……
研究现状
结点的同构与异构性 – 元学习(Meta-learning) – CDM(Collective data mining) 分布式数据挖掘算法 – 分布式决策树生成 – 分布式关联规则发现
应用系统实例
结点的同构与异构性－元学习
同构结点间的数据挖掘 –在同构分布式数据挖掘系统中，各个结点存储的数 据都具有相同的属性空间。 – 为了实现同构结点的数据挖掘，研究者们先后提出 了 元 学 习 (meta-learning) 、 合 作 学 习 (coactive learning)等方法，其中元学习方法最具代表性。 –元学习的概念是由Prodromidis等人于2000年首先提 出的，该方法采用集成学习 (ensemble learning) 的 方式来生成最终的全局预测模型（即元分类器）。 该方法的基本思想是从已经获得的知识中再进行学 习，从而得到最终的数据模式。
–分布式数据挖掘正是在这一背景下产生的，它是数 据挖掘技术与分布式计算的有机结合，主要用于分 布式环境下的数据模式发现。
分布式数据挖掘－续
分布式数据挖掘的优点
– 出于对安全性、容错性、商业竞争以及法律约束等多方面因 素的考虑，在许多情况下，将所有数据集中在一起进行分析 往往是不可行的。分布式数据挖掘系统则可以充分利用分布 式计算的能力对相关的数据进行分析与综合。 – 在传统的数据挖掘系统中，如果能将数据合理地划分为若干 个小模块，并由数据挖掘系统并行地处理，最后再将各个局 部处理结果合成最终的输出模式，则可节省大量的时间和空 间开销。