下载文档原格式
ACM SIGKDD数据挖掘及知识发现会议1清华大学计算机系王建勇1、KDD概况ACM SIGKDD国际会议（简称KDD）是由ACM的数据挖掘及知识发现专委会[1]主办的数据挖掘研究领域的顶级年会。
它为来自学术界、企业界和政府部门的研究人员和数据挖掘从业者进行学术交流和展示研究成果提供了一个理想场所，并涵盖了特邀主题演讲（keynote presentations）、论文口头报告（oral paper presentations）、论文展板展示（poster sessions）、研讨会（workshops）、短期课程（tutorials）、专题讨论会（panels）、展览（exhibits）、系统演示（demonstrations）、KDD CUP赛事以及多个奖项的颁发等众多内容。
由于KDD的交叉学科性和广泛应用性，其影响力越来越大，吸引了来自统计、机器学习、数据库、万维网、生物信息学、多媒体、自然语言处理、人机交互、社会网络计算、高性能计算及大数据挖掘等众多领域的专家、学者。
KDD可以追溯到从1989年开始组织的一系列关于知识发现及数据挖掘(KDD)的研讨会。
自1995年以来，KDD已经以大会的形式连续举办了17届，论文的投稿量和参会人数呈现出逐年增加的趋势。
2011年的KDD会议（即第17届KDD 年会）共收到提交的研究论文（Research paper）714篇和应用论文（Industrial and Government paper）73篇，参会人数也达到1070人。
下面我们将就会议的内容、历年论文投稿及接收情况以及设置的奖项情况进行综合介绍。
此外，由于第18届KDD年会将于2012年8月12日至16日在北京举办，我们还将简单介绍一下KDD’12[4]的有关情况。
2、会议内容自1995年召开第1届KDD年会以来，KDD的会议内容日趋丰富且变的相对稳定。
其核心内容是以论文报告和展版（poster）的形式进行数据挖掘同行之间的学术交流和成果展示。
数据挖掘与机器学习实战案例分享第1章数据挖掘基础概念 (3)1.1 数据挖掘的定义与任务 (3)1.2 数据挖掘的过程与步骤 (4)1.3 数据挖掘的应用领域 (4)第2章机器学习概述 (4)2.1 机器学习的定义与分类 (4)2.2 监督学习 (5)2.3 无监督学习 (5)2.4 强化学习 (5)第3章数据预处理 (5)3.1 数据清洗 (5)3.1.1 缺失值处理：针对数据集中的缺失值，可以采用删除、填充或插值等方法进行处理。
(5)3.1.2 异常值处理：通过统计分析或机器学习算法识别数据集中的异常值，并对这些异常值进行相应的处理，如删除、修正等。
(5)3.1.3 重复值处理：去除数据集中的重复记录，保证数据的唯一性。
(5)3.1.4 数据类型转换：将数据集中的数据类型转换为适用于后续分析的格式，如将字符型数据转换为数值型数据。
(5)3.2 数据集成 (5)3.2.1 实体识别：识别不同数据集中的实体，并将它们关联起来。
(6)3.2.2 冲突解决：针对来自不同数据源的冲突数据，采用相应的策略进行解决，如取均值、加权平均等。
(6)3.2.3 数据整合：将经过实体识别和冲突解决后的数据进行整合，形成适用于后续分析的数据集。
(6)3.3 数据变换 (6)3.3.1 数据规范化：将数据集中的属性值缩放到一定的范围，便于后续分析。
(6)3.3.2 数据离散化：将连续型数据转换为离散型数据，便于进行分类或聚类分析。
(6)3.3.3 数据聚合：对数据集中的属性进行汇总，如求和、平均等。
(6)3.3.4 特征提取：从原始数据中提取有助于后续分析的特征，如主成分分析（PCA）。
63.4 数据归一化与标准化 (6)3.4.1 数据归一化：将数据缩放到[0,1]区间，适用于数据分布不明确的情况。
(6)3.4.2 数据标准化：将数据缩放到具有标准正态分布的形式，适用于数据分布明确且符合正态分布的情况。
KDD CUP 2009英文关键词：Customer Relationship Management (CRM), marketing databases, French Telecom company Orange, propensity of customers,中文关键词：客户关系管理(CRM)、营销数据库，法国电信公司橙、倾向的客户，数据格式：TEXT数据介绍：Customer Relationship Management (CRM) is a key element of modern marketing strategies. The KDD Cup 2009 offers the opportunity to work on large marketing databases from the French Telecom company Orange to predict the propensity of customers to switch provider (churn), buy new products or services (appetency), or buy upgrades or add-ons proposed to them to make the sale more profitable (up-selling).The most practical way, in a CRM system, to build knowledge on customer is to produce scores. A score (the output of a model) is anevaluation for all instances of a target variable to explain (i.e. churn, appetency or up-selling). Tools which produce scores allow to project, on a given population, quantifiable information. The score is computed using input variables which describe instances. Scores are then used by the information system (IS), for example, to personalize the customer relationship. An industrial customer analysis platform able to build prediction models with a very large number of input variables has been developed by Orange Labs. This platform implements several processing methods for instances and variables selection, prediction and indexation based on an efficient model combined with variable selection regularization and model averaging method. The main characteristic of this platform is its ability to scale on very large datasets with hundreds of thousands of instances and thousands of variables. The rapid and robust detection of the variables that have most contributed to the output prediction can be a key factor in a marketing application.The challenge is to beat the in-house system developed by Orange Labs. It is an opportunity to prove that you can deal with a very large database, including heterogeneous noisy data (numerical and categorical variables), and unbalanced class distributions. Time efficiency is often a crucial point. Therefore part of the competition will be time-constrained to test the ability of the participants to deliver solutions quickly.[以下内容来由机器自动翻译]客户关系管理(CRM) 是现代营销战略的一个关键要素。
KDD Cup 1997 Datasets(1997年KDD杯数据集)数据摘要：This is the data set used for The First International Knowledge Discovery and Data Mining Tools Competition, which was held in conjunction with KDD-97 The Third International Conference on Knowledge Discovery and Data Mining.中文关键词：KDD杯,知识发现,数据挖掘,数据集,英文关键词：KDD Cup,Knowledge Discovery,Data Mining,Datasets,数据格式：TEXT数据用途：Data Mining数据详细介绍：KDD Cup 1997 DatasetsAbstractThis is the data set used for The First International Knowledge Discovery and Data Mining Tools Competition, which was held in conjunction with KDD-97 The Third International Conference on Knowledge Discovery and Data Mining.Usage NotesThe KDD-CUP-97 data set and the accompanying documentation are now available for general use with the following restrictions:1. The users of the data must notify Ismail Parsa (iparsa@) and KenHowes (khowes@) in the event they produce results, visuals or tables, etc. from the data and send a note that includes a summary of the final result.2. The authors of published and/or unpublished articles that use the KDD-Cup-97data set must also notify the individuals listed above and send a copy of their published and/or unpublished work.3. If you intend to use this data set for training or educational purposes, you must notreveal the name of the sponsor PVA (Paralyzed Veterans of America) to the trainees or students. You are allowed to say "a national veterans organization"...Information files∙readme. This list, listing the files in the FTP server and their contents.∙instruct.txt . General instructions for the competition.∙cup98doc.txt. This file, an overview and pointer to more detailed information about the competition.∙cup98dic.txt. Data dictionary to accompany the analysis data set.∙cup98que.txt. KDD-CUP questionnaire. PARTICIPANTS ARE REQUIRED TO FILL-OUT THE QUESTIONNAIRE and turn in with the results.∙valtargt.readme. Describes the valtargt.txt file.Data files∙cup98lrn.zip PKZIP compressed raw LEARNING data set. (36.5M; 117.2M uncompressed)∙cup98val.zip PKZIP compressed raw VALIDATION data set. (36.8M; 117.9M uncompressed)∙cup98lrn.txt.Z UNIX COMPRESSed raw LEARNING data set. (36.6M; 117.2M uncompressed)∙cup98val.txt.Z UNIX COMPRESSed raw VALIDATION data set. (36.9M; 117.9M uncompressed)∙valtargt.txt. This file contains the target fields that were left out of the validation data set that was sent to the KDD CUP 97 participants. (1.1M)数据预览：点此下载完整数据集。
KDD Cup 1997 Datasets(1997年KDD杯数据集)数据摘要：This is the data set used for The First International Knowledge Discovery and Data Mining Tools Competition, which was held in conjunction with KDD-97 The Third International Conference on Knowledge Discovery and Data Mining.中文关键词：KDD杯,知识发现,数据挖掘,数据集,英文关键词：KDD Cup,Knowledge Discovery,Data Mining,Datasets,数据格式：TEXT数据用途：Data Mining数据详细介绍：KDD Cup 1997 DatasetsAbstractThis is the data set used for The First International Knowledge Discovery and Data Mining Tools Competition, which was held in conjunction with KDD-97 The Third International Conference on Knowledge Discovery and Data Mining.Usage NotesThe KDD-CUP-97 data set and the accompanying documentation are now available for general use with the following restrictions:1. The users of the data must notify Ismail Parsa (iparsa@) and KenHowes (khowes@) in the event they produce results, visuals or tables, etc. from the data and send a note that includes a summary of the final result.2. The authors of published and/or unpublished articles that use the KDD-Cup-97data set must also notify the individuals listed above and send a copy of their published and/or unpublished work.3. If you intend to use this data set for training or educational purposes, you must notreveal the name of the sponsor PVA (Paralyzed Veterans of America) to the trainees or students. You are allowed to say "a national veterans organization"...Information files∙readme. This list, listing the files in the FTP server and their contents.∙instruct.txt . General instructions for the competition.∙cup98doc.txt. This file, an overview and pointer to more detailed information about the competition.∙cup98dic.txt. Data dictionary to accompany the analysis data set.∙cup98que.txt. KDD-CUP questionnaire. PARTICIPANTS ARE REQUIRED TO FILL-OUT THE QUESTIONNAIRE and turn in with the results.∙valtargt.readme. Describes the valtargt.txt file.Data files∙cup98lrn.zip PKZIP compressed raw LEARNING data set. (36.5M; 117.2M uncompressed)∙cup98val.zip PKZIP compressed raw VALIDATION data set. (36.8M; 117.9M uncompressed)∙cup98lrn.txt.Z UNIX COMPRESSed raw LEARNING data set. (36.6M; 117.2M uncompressed)∙cup98val.txt.Z UNIX COMPRESSed raw VALIDATION data set. (36.9M; 117.9M uncompressed)∙valtargt.txt. This file contains the target fields that were left out of the validation data set that was sent to the KDD CUP 97 participants. (1.1M)数据预览：点此下载完整数据集。
xx大学信息科学与工程学院《数据挖掘》实验报告实验序号：实验项目名称：KDD2015成为标签内容，标签内容包括两列：第一列是用户的注册id，第二列是0或者1，0表示用户继续学习，1表示退学了。
而7月22日的之前的所有日期的将作为特征提取的数据来源。
2. 以后，时间点将依次向后推迟7天，与第一步相同，在这个时间点之后的10天的数据作为标签来源，之前的所有的日期的数据作为特征提取的数据。
每一周的数据作为一个训练集的一个组成部分。
3.特征提取时，提取了12个标签：①.source-event pairs counted:用户在该课程的操作(按照“来源-事件”对来计数，这里的“来源-事件”举个例子来说就是browser-access，server-discussion，下同)数量，按周来划分，前一周，前两周，直到最后一周，举个例子来说明这个例子就是某用户在某个星期利用客户端操作了某件事的次数。
②. courses by user counted：用户有行为的课程数量，前一周、前两周、前三周、前四周的。
③. course population counted：有多少人选择了这门课。
④. course dropout counted：有多少人在上课期间放弃了这门课。
⑤. ratio of user ops on all courses：用户在该课程的操作数量占他在所有课程的操作数量的比例，前一周、前两周、前三周、前四周的，以及更以前的时间。
⑥. ratio of courses ops of all users：用户在该课程的操作数量占所有用户在该课程的操作数量的比例，前一周、前两周、前三周、前四周的，以及更以前的时间。
⑦. dropout ratio of courses：课程的放弃率。
⑧. days from course first update：这门课程的材料首次发布距今几天了。
⑨. d ays from course last update：这门课程的材料最后一次发布距今几天了。
ACM SIGKDD数据挖掘及知识发现会议1清华大学计算机系王建勇1、KDD概况ACM SIGKDD国际会议（简称KDD）是由ACM的数据挖掘及知识发现专委会[1]主办的数据挖掘研究领域的顶级年会。
它为来自学术界、企业界和政府部门的研究人员和数据挖掘从业者进行学术交流和展示研究成果提供了一个理想场所，并涵盖了特邀主题演讲（keynote presentations）、论文口头报告（oral paper presentations）、论文展板展示（poster sessions）、研讨会（workshops）、短期课程（tutorials）、专题讨论会（panels）、展览（exhibits）、系统演示（demonstrations）、KDD CUP赛事以及多个奖项的颁发等众多内容。
由于KDD的交叉学科性和广泛应用性，其影响力越来越大，吸引了来自统计、机器学习、数据库、万维网、生物信息学、多媒体、自然语言处理、人机交互、社会网络计算、高性能计算及大数据挖掘等众多领域的专家、学者。
KDD可以追溯到从1989年开始组织的一系列关于知识发现及数据挖掘(KDD)的研讨会。
自1995年以来，KDD已经以大会的形式连续举办了17届，论文的投稿量和参会人数呈现出逐年增加的趋势。
2011年的KDD会议（即第17届KDD 年会）共收到提交的研究论文（Research paper）714篇和应用论文（Industrial and Government paper）73篇，参会人数也达到1070人。
下面我们将就会议的内容、历年论文投稿及接收情况以及设置的奖项情况进行综合介绍。
此外，由于第18届KDD年会将于2012年8月12日至16日在北京举办，我们还将简单介绍一下KDD’12[4]的有关情况。
2、会议内容自1995年召开第1届KDD年会以来，KDD的会议内容日趋丰富且变的相对稳定。
其核心内容是以论文报告和展版（poster）的形式进行数据挖掘同行之间的学术交流和成果展示。
第1篇一、实验背景随着大数据时代的到来，数据挖掘技术逐渐成为各个行业的重要工具。
数据挖掘是指从大量数据中提取有价值的信息和知识的过程。
本实验旨在通过数据挖掘技术，对某个具体领域的数据进行挖掘，分析数据中的规律和趋势，为相关决策提供支持。
二、实验目标1. 熟悉数据挖掘的基本流程，包括数据预处理、特征选择、模型选择、模型训练和模型评估等步骤。
2. 掌握常用的数据挖掘算法，如决策树、支持向量机、聚类、关联规则等。
3. 应用数据挖掘技术解决实际问题，提高数据分析和处理能力。
4. 实验结束后，提交一份完整的实验报告，包括实验过程、结果分析及总结。
三、实验环境1. 操作系统：Windows 102. 编程语言：Python3. 数据挖掘库：pandas、numpy、scikit-learn、matplotlib四、实验数据本实验选取了某电商平台用户购买行为数据作为实验数据。
数据包括用户ID、商品ID、购买时间、价格、商品类别、用户年龄、性别、职业等。
五、实验步骤1. 数据预处理（1）数据清洗：剔除缺失值、异常值等无效数据。
（2）数据转换：将分类变量转换为数值变量，如年龄、性别等。
（3）数据归一化：将不同特征的范围统一到相同的尺度，便于模型训练。
2. 特征选择（1）相关性分析：计算特征之间的相关系数，剔除冗余特征。
（2）信息增益：根据特征的信息增益选择特征。
3. 模型选择（1）决策树：采用CART决策树算法。
（2）支持向量机：采用线性核函数。
（3）聚类：采用K-Means算法。
（4）关联规则：采用Apriori算法。
4. 模型训练使用训练集对各个模型进行训练。
5. 模型评估使用测试集对各个模型进行评估，比较不同模型的性能。
六、实验结果与分析1. 数据预处理经过数据清洗，剔除缺失值和异常值后，剩余数据量为10000条。
2. 特征选择通过相关性分析和信息增益，选取以下特征：用户ID、商品ID、购买时间、价格、商品类别、用户年龄、性别、职业。
