下载文档原格式
数据挖掘与知识发现从数据中挖掘有价值的信息数据挖掘与知识发现是一项重要的技术，通过分析大量的数据以发现其中潜在的规律、趋势和有价值的信息。
这项技术的应用范围广泛，可以在商业、科学、医疗等领域中发挥重要的作用。
本文将介绍数据挖掘的基本概念、方法以及在实际应用中的案例分析。
一、数据挖掘的基本概念数据挖掘是一种自动化的过程，通过使用计算机技术从大量的数据中发现隐藏的模式、关联和趋势。
它结合了统计学、机器学习、人工智能等多个领域的知识和方法，可以帮助人们更好地理解和利用数据。
在数据挖掘中，首先需要明确研究的目标，并确定需要分析的数据集。
然后，通过选择适当的数据挖掘算法，对数据进行处理和分析，最终得出有意义的结论和发现。
常用的数据挖掘算法包括分类、回归、聚类、关联规则等。
二、数据挖掘的方法1.分类分类是数据挖掘中的一种常见方法，它用于根据已有的数据样本将新的数据分为不同的类别。
通过构建分类模型，可以对未知数据进行分类预测。
例如，可以利用历史销售数据来构建一个分类模型，以预测某个产品的销售情况。
2.回归回归分析是数据挖掘中的一种方法，用于预测和建立变量之间的关系模型。
通过对已知数据的观察和分析，可以建立一个数学模型，以预测未知数据的值。
回归分析在金融、市场营销等领域中具有广泛的应用。
3.聚类聚类是一种将相似的数据对象分组的方法，它可以帮助我们发现数据中的潜在模式和规律。
聚类分析常用于市场细分、用户行为分析等领域，通过将用户分成不同的群体，可以更好地制定个性化的营销策略。
4.关联规则关联规则是一种用于发现数据中项集之间关联关系的方法。
通过分析交易数据等，可以找到经常同时出现的物品，从而可以制定更有效的商品推荐策略。
关联规则在电子商务、超市促销等领域具有重要的应用价值。
三、数据挖掘的实际应用案例分析1.金融行业中的反欺诈金融行业经常受到欺诈活动的影响，通过数据挖掘技术可以发现欺诈的模式和规律。
例如，可以通过分析客户的交易记录和行为模式，建立一个欺诈检测模型，及时发现可疑交易并采取相应的措施。
统计学与数据挖掘的比较分析
行智国
【期刊名称】《统计科学与实践》
【年(卷),期】2002(000)006
【摘要】数据挖掘与统计学有着千丝万缕的联系,本文希望在等同的角度,从数据挖掘并非统计学分支的观点出发来阐释两门学科,既着眼于二者相重叠的地方,更重视二者的区别,并考虑一些其他与数据挖掘相关的问题。
【总页数】3页(P7-9)
【作者】行智国
【作者单位】天津财经学院统计学系
【正文语种】中文
【中图分类】C8
【相关文献】
1.数据挖掘专业实践教学模式的探讨r——以韩山师范学院数学与统计学院为例[J], 何林
2.统计学与数据挖掘的比较分析 [J], 行智国
3.中美非统计学专业统计学教材的比较分析 [J], 王利超;吕丹;刘婷
4.数据挖掘与统计学的比较分析 [J], 孔鹏祥
5.统计学专业数据挖掘课程实验教学模式探索 [J], 关鹏;钱云;张海永
因版权原因，仅展示原文概要，查看原文内容请购买。
浅谈数据挖掘与数据库知识发现蔡鹏（北京交通大学北京 100044）[摘 要]数据挖掘是解决数据库中数据急剧增大与利用率低之间矛质的必然结果。
数据库知识发现（kdd）技术的应运而生使得人们在实际工作中消耗大量财力和物力的数据得以利用。
这也是数据库知识和人工智能技术发展的结果。
[关键词]模式数据库中的知识发现数据挖掘中图分类号：TP3 文献标识码：A 文章编号：1671－7597（2009）0920081－01一、引言1．准备。
了解KDD相关领域的有关情况，熟悉背景知识，并弄清楚用户的要求。
随着数据库技术的不断发展及数据库管理系统的广泛应用，数据库中2．数据选择。
根据用户的要求从数据库中提取与KDD相关的数据，存储的数据量急剧增大。
但目前数据库系统所能做到的只是对数据库中已KDD将主要从这些数据中进行知识提取，在此过程中，会利用一些数据库操有的数据进行存取，人们通过这些数据所获得的信息仅仅是整个数据库所作对数据进行处理。
包含的信息量的一部分。
也就是说传统的数据分析方法（例如：统计）只3．数据预处理。
主要是对阶段2产生的数据进行再加工，检查数据的能获得这些数据的表层信息，而不能获得数据属性的内在关系和隐含的信完整性及数据的一致性，对其中的噪音数据进行处理，对丢失的数据可以息，即不能获得重要的知识。
面对“堆积如山”的数据集合，无论在时间利用统计方法进行填补。
意义上还是空间意义上，传统的数据分析手段还是难以应付。
这样，快速的数据产生与搜集技术和拙劣的数据分析方法之间形成了鲜明的对照。
在数据技术飞速发展的同时，人工智能和机器学习的研究也取得了很大进展。
根据人类学习的不同模式人们提出了很多机器学习方法。
如：实例学习、观察和发现学习、神经网络和遗传算法等等，其中某些成熟的算法已被人们运用于应用系统及智能机的设计和实现中。
正是由于数据库技术和人工智能技术的发展，也是为了满足人们实际工作的需要：“智能地”和“自动地”分析数据，以使消耗大量财力和物力所收集与整理的宝贵资源——数据得以利用，数据库知识发现（KDD）技术应运而生。
数据挖掘与大数据发现隐藏在数据中的宝藏数据挖掘是指从大量的数据集中发现隐藏在其中的有价值的信息和模式的过程。
在大数据时代，海量的数据被不断积累和产生，如何利用这些数据中的宝藏成为了一个重要的课题。
本文将介绍数据挖掘的概念和方法，并探讨其中蕴藏的商业和科学价值。
一、数据挖掘的概念和方法数据挖掘是一种从数据中提取知识的过程，其基本步骤包括问题定义、数据收集与清洗、数据处理与变换、模型构建与评估等。
在数据挖掘中，常用的方法包括聚类分析、分类算法、关联规则挖掘等。
聚类分析是一种将数据对象按照相似性进行分组的方法，通过测量数据对象之间的距离或相似性，将相似的对象聚集在一起形成一个簇。
例如在市场营销中，可以通过聚类分析将消费者划分为不同的群体，从而实施精准营销策略。
分类算法是一种根据数据对象的属性值来预测其所属类别的方法，通过从已知类别的数据样本中学习建立一个分类模型，并利用该模型对未知数据对象进行分类。
例如在垃圾邮件过滤中，可以使用分类算法对邮件进行分类，将垃圾邮件与正常邮件区分开来。
关联规则挖掘是一种从大规模数据集中发现对象之间的关联关系的方法，通过识别数据集中频繁出现的关联模式，揭示不同对象之间的关联程度。
例如在购物篮分析中，可以通过关联规则挖掘找出经常一起购买的商品组合，进而进行交叉销售。
二、大数据发现隐藏的宝藏大数据时代带来了大量的数据积累，这些数据中蕴含着各种有价值的信息和模式，可以为商业和科学领域带来巨大的价值。
在商业领域，大数据的挖掘可以帮助企业发现潜在的市场机会和消费者需求，优化商业模式和产品设计。
通过分析消费者的购买记录和行为特征，可以为企业提供更精准的推荐和引导，提升用户满意度和购买转化率。
同时，通过挖掘大数据中的社交网络关系和用户情感分析，企业可以更好地了解消费者的口碑传播和品牌形象，制定更有效的营销策略。
在科学领域，大数据的挖掘可以帮助科研人员发现新的规律和知识，推动科学进步和创新。
统计学中的大数据分析和数据挖掘统计学是一门应用科学，旨在通过收集、分析和解释大量数据，从中获取有关现象和变量之间关系的信息。
随着信息和通信技术的快速发展，大数据分析和数据挖掘成为了统计学的重要分支。
本文将讨论大数据分析和数据挖掘在统计学中的应用、方法以及对于决策制定的意义。
一、大数据分析在统计学中的应用大数据分析是指对海量数据进行收集、处理、分析和解释的过程，以发现隐藏在数据中的规律和模式。
在统计学中，大数据分析广泛应用于以下几个方面：1. 帮助预测和预测分析：通过分析历史数据和趋势，大数据分析可以帮助制定预测模型，从而对未来事件进行预测和预测分析。
这对于企业的决策制定和市场预测非常重要。
2. 提供个性化推荐：通过分析用户的历史数据，大数据分析可以了解用户的偏好和兴趣，并提供个性化的推荐和服务。
这在电子商务和社交媒体平台中得到了广泛应用。
3. 改善产品质量和生产效率：通过分析大量的生产数据和质量控制数据，大数据分析可以帮助企业发现生产过程中存在的问题，并提出改进措施，以提高产品质量和生产效率。
4. 检测欺诈和风险：大数据分析可以通过建立模型来检测欺诈行为和风险因素。
例如，信用卡公司可以使用大数据分析来检测信用卡盗刷行为；保险公司可以使用大数据分析来评估保险索赔的风险。
二、数据挖掘在统计学中的应用数据挖掘是指从大量数据中提取隐含信息和知识的过程。
在统计学中，数据挖掘可以帮助发现数据背后的模式和规律，从而为决策制定和问题解决提供支持。
以下是数据挖掘在统计学中的一些应用：1. 聚类分析：通过对大量数据进行聚类，数据挖掘可以将相似的对象归类在一起。
这对于市场细分和客户分群非常有用，可以帮助企业更好地理解其目标消费群体。
2. 关联规则挖掘：数据挖掘可以帮助发现数据集中的关联规则。
例如，在超市购物数据中，数据挖掘可以发现购买某种商品的人更有可能购买其他种类的商品，从而帮助超市进行商品搭配和促销策略。
3. 预测建模：数据挖掘可以通过建立数学模型来预测未来事件的发生概率。
论空间数据挖掘和知识发现一、本文概述空间数据挖掘和知识发现（Spatial Data Mining and Knowledge Discovery，简称SDMKD）是数据挖掘领域的一个重要分支，它主要关注于从空间数据中提取有用的信息和知识。
随着地理信息系统（GIS）和位置感知设备（如智能手机、GPS等）的普及，空间数据日益丰富，如何有效地分析和利用这些数据成为了研究的热点。
本文将对空间数据挖掘和知识发现的基本概念、主要方法、应用领域以及未来发展趋势进行详细的探讨和概述。
本文将介绍空间数据挖掘和知识发现的基本概念和原理，包括空间数据的定义、特点以及空间数据挖掘的主要任务和目标。
然后，本文将重点介绍几种常用的空间数据挖掘方法，如空间聚类分析、空间关联规则挖掘、空间异常检测等，并对这些方法的原理、优缺点进行详细的阐述。
接着，本文将探讨空间数据挖掘和知识发现在不同领域的应用，如城市规划、环境保护、交通管理、公共安全等。
通过具体的案例分析，展示空间数据挖掘在解决实际问题中的重要作用和价值。
本文将展望空间数据挖掘和知识发现的未来发展趋势，包括新技术、新方法的出现对空间数据挖掘的影响，以及空间数据挖掘在大数据、云计算等新技术背景下的挑战和机遇。
本文还将对空间数据挖掘领域未来的研究方向进行预测和探讨。
通过本文的阐述，读者可以对空间数据挖掘和知识发现有一个全面而深入的了解，为相关领域的研究和实践提供有益的参考和启示。
二、空间数据挖掘基础空间数据挖掘（Spatial Data Mining, SDM）是数据挖掘的一个重要分支，它专门处理具有空间特性的数据。
这些数据不仅包括传统数据库中的数值和文本信息，更关键的是它们带有地理空间坐标或空间关系。
这种空间信息使得数据点之间不仅存在属性上的联系，还具有空间上的关联。
空间数据挖掘的主要任务包括空间聚类、空间关联规则挖掘、空间分类与预测，以及空间异常检测等。
空间聚类旨在发现空间分布上的密集区域，这些区域中的数据点在空间上相互靠近，并且在属性上也可能具有相似性。
数据挖掘与统计学方法的比较分析在当今大数据时代，数据挖掘和统计学方法成为了从庞大数据中提取有用信息的重要手段。
数据挖掘（Data Mining）是通过从大量数据中发现潜在模式、关联性和规律来获得有价值的知识的过程。
而统计学是通过对数据进行收集、分析和解释来揭示数据背后的规律和趋势。
本文将对数据挖掘和统计学方法进行比较分析，并探讨它们各自的优势和适用场景。
一、数据挖掘方法数据挖掘方法基于大数据的特点，旨在从数据中提取隐藏的模式和知识。
数据挖掘方法使用了多种算法和技术：1.聚类分析：聚类分析是将数据根据相似性进行分类的方法。
它可以帮助我们找到数据集中的不同群组，并揭示数据之间的相似性和差异性。
2.分类模型：分类模型是通过已知标签的数据样本来预测新数据的分类。
它可以帮助我们做出预测和分类，并为未来的决策提供参考。
3.关联规则：关联规则是发现数据中的相关性和依赖性的方法。
它可以帮助我们找到数据中的隐藏关系，从而进行交叉销售、市场调研等应用。
二、统计学方法统计学方法是一种收集、处理、分析和解释数据的科学方法。
统计学方法侧重于对数据的描述和解释，通过运用各种统计技术来揭示数据的潜在模式和规律：1.描述统计：描述统计是对数据进行总结和描述的方法。
它通过计算平均值、中位数、标准差等指标来揭示数据的分布和趋势。
2.推断统计：推断统计是通过对样本数据进行统计分析来推断总体特征的方法。
它通过假设检验、置信区间等技术来做出总体特征的估计和推断。
3.回归分析：回归分析是研究变量之间关系的方法。
它可以帮助我们了解变量之间的因果关系，并进行预测和建模。
三、数据挖掘与统计学方法的比较数据挖掘方法和统计学方法有许多相似之处，也有一些不同之处：1.数据需求：数据挖掘方法通常需要大规模的数据集来获得准确的模式和规律，而统计学方法可以使用小样本数据来进行推断和分析。
2.数据处理：数据挖掘方法侧重于数据的清洗、转换和预处理，以便生成可供模型训练的数据集，而统计学方法则更加注重数据的描述和解释。
统计学中的数据挖掘统计学是一门研究收集、整理、分析和解释数据的学科，而数据挖掘则是一种通过应用统计学和机器学习技术来发现数据中隐藏模式和关系的方法。
本文将深入探讨统计学中的数据挖掘技术以及其在实际应用中的重要性。
第一部分：数据挖掘的介绍数据挖掘是利用统计学和机器学习技术来发现大规模数据中的实用模式和知识的过程。
在日常生活和商业运营中，数据挖掘已经成为一种重要的工具，可以帮助人们更好地理解数据并作出有针对性的决策。
数据挖掘技术可以帮助企业探索市场需求、预测销售趋势、识别客户行为模式等。
第二部分：统计学在数据挖掘中的应用统计学是数据挖掘的核心理论基础之一，它提供了一系列的方法和模型来处理不同类型的数据。
在数据挖掘过程中，统计学可以帮助我们进行数据的前处理、特征选择和模型评估等关键步骤。
常见的统计学方法包括回归分析、聚类分析、决策树等。
第三部分：机器学习在数据挖掘中的应用机器学习是数据挖掘的另一个重要组成部分，它使用数学和统计模型来训练计算机系统从大量数据中学习和改进。
通过机器学习算法，我们可以根据历史数据来预测未来的趋势，或者根据已知的特征来分类新的数据。
机器学习算法包括支持向量机、随机森林、神经网络等。
第四部分：数据挖掘应用案例数据挖掘在各个领域都有广泛的应用。
以下是几个典型的应用案例：1. 零售业：通过数据挖掘技术，零售商可以根据客户的购买历史和行为模式来预测产品需求，并制定相应的促销策略。
2. 医疗保健：医疗机构可以利用数据挖掘来分析患者的病历数据，以识别潜在风险因素和制定个性化治疗方案。
3. 金融业：银行和金融机构可以使用数据挖掘技术来预测市场波动，识别欺诈行为，并制定风险管理策略。
4. 社交媒体：社交媒体平台可以通过分析用户的行为数据来推荐相关内容，提高用户体验。
第五部分：数据挖掘的挑战与未来发展尽管数据挖掘在各个领域都有着广泛的应用，但是仍然存在一些挑战。
其中之一是数据的质量和完整性。
另外，数据挖掘技术在隐私保护方面也面临着一些困境。
统计学在数据挖掘与大数据分析中的应用在当代信息爆炸的时代，大数据已经成为了各行各业的重要资源。
然而，对于如此庞大的数据量，我们如何从中提取有用的信息并做出准确的分析呢？这就需要统计学作为强有力的工具来帮助我们进行数据挖掘与大数据分析。
本文将探讨统计学在这一领域中的应用。
一、数据挖掘的概念与方法数据挖掘是针对大规模数据库的自动化发现方法，旨在从中提取出先前未知的、有用的、可理解的知识。
数据挖掘的方法包括分类、聚类、关联规则挖掘等。
统计学能够通过分析样本数据，建立合适的统计模型，为数据挖掘提供有力支持。
1. 分类分类是数据挖掘中最常用的方法之一。
统计学能够通过分析样本数据，建立分类模型，并应用于未知数据中，从而对数据进行分类预测。
在大数据分析中，统计学的分类方法可以帮助我们识别出数据的特征，并进行准确的分类，用以做出合理的决策。
2. 聚类聚类是将相似的数据对象归类到一起的方法。
统计学能够通过分析样本数据的相似性，建立聚类模型，并应用于大规模数据中，从而对数据进行聚类分析。
这种分析方法可以帮助我们发现数据中存在的模式和关联，为进一步的分析提供依据。
3. 关联规则挖掘关联规则挖掘是寻找数据集中项之间有趣关系的方法。
统计学能够通过分析样本数据中的关联规则，并通过统计推断方法对其进行验证和优化。
在大数据分析中，关联规则挖掘可以帮助我们发现数据中的关联性，从而为了解数据背后的规律提供支持。
二、大数据分析的挑战与统计学的应对大数据分析面临着数据规模庞大、数据类型多样等挑战。
统计学作为一门强调数据分析的学科，也面临着如何应对大数据分析的新形势。
以下是统计学在大数据分析中的应对措施：1. 抽样方法由于大数据分析中数据规模巨大，直接对全部数据进行分析是非常困难的。
统计学通过抽样方法，可以从大数据中抽取出适当的样本，通过对样本数据的分析，推断整体数据的特征和规律。
2. 参数估计参数估计是统计学中的重要方法之一。
在大数据分析中，由于数据规模庞大，无法对全部数据进行统计分析。
数据挖掘与数据库知识发现:统计学的观点马江洪,张文修,徐宗本(西安交通大学理学院,西安710049)摘要:数据挖掘和数据库知识发现是当前国际科技界的一个研究热点。
这计学问题、独特的思想方法以及广泛的应用前景所吸引,因而阅读了不少相关的文献,1999年初形成了本文的初稿并在小范围内进行了交流。
本文就是在此基础上经进一步充实、修改完成的。
这里,我们并不试图对数据挖掘作一全面介绍,而只是希望从统计学的观点出发,着重论述数据挖掘中相关的统计学问题、传统统计学面临的挑战问题以及这个领域将带来的一些研究方向。
全文的第2节说明数据挖掘的主要特点,第3节介绍数据挖掘的统计学方法与其它有关方法,第4节论述统计学与数据挖掘的联系,第5节简要描述统计学和数据挖掘相关的一些软件及应用,第6节是数据挖掘的研究方向及统计学可能提供的解决方案。
2数据挖掘及其显著特点简单地说,KDD就是把数据转化为信息、把信息转化为决策的一个交互迭代的过程。
文[1]把KDD定义为“从数据中识别那些有效、新颖、潜在有用、最终可理解模式的一个复杂过程”,而把数据挖掘看作这个过程中的一个特殊步骤,是运用统计学、人工智能等方法(或算法)发现模式和规律、发现有价值的关系或知识的一个阶段,其它步骤包括:数据仓储、目标数据选择、清洗、预处理、变换和缩减、模型选择、评价和解释、知识证实和使用等(如图1所示)。
这个定义中所指的“模式”已超出其传统意义,包括了数据中的模型或结构。
应该说,这个过程的大部分步骤都是统计学家所熟悉的。
从数据中找有用的模式在不同的领域有不同的名称,比如,类似的名称有知识提取、信息发现、信息获取、数据考古、数据模式处理等。
由于数据挖掘对于KDD的重要性,目前大多数KDD的研究都集中在数据挖掘的算法和应用上,因此,很多研究者往往对数据挖掘与KDD不作严格区分,把二者混淆使用。
以后,我们也将采用这种做法,用“数据挖掘”这一名称作为KDD及相关领域的总称。
数据挖掘这一称呼主要由统计学家和数据库研究者使用,现在的商业和管理信息系统(MIS)也都使用这一称呼。
其实,这一称呼在统计中并不新鲜,而且曾经含有贬义,因为,一个全面彻底的搜索总会找到某种“模式”,即使这些“模式”并不代表数据的任何本质结构,而仅仅是随机波动的结果。
统计学家起先用数据挖掘讽刺那些不顾数据本质、一味机械使用数据分析工具的做法。
数据分析的目的并不是模拟那些转瞬即逝的随机模式,而是要找到反映问题本质的、可重复的基本模式结构。
图1DM&KDD过程[1]从概括数据、发现结构、建立模型、抽取知识的角度看,统计学和数据挖掘有许多相似之处,因而,不少方法可相互借鉴,但它们之间的差异也是明显的,突出反映在数据挖掘固有的以下特点上:2.1数据集的容量不言而喻,数据挖掘最显著的特点就是其数据的超大容量,这是引发数据挖掘这一领域的根本原因所在。
经典统计学一般涉及成百上千个数据,但现在的数据库通常包含几百万2工程数学学报第19卷不能纳入到标准统计学方法的框架中去,需要创立新的研究方法。
大数据集面临的问题包括:1)虽然计算机存贮能力有了极大的提高,但如此大容量的数据仍不能进入内存。
若想全部数据在一个分析器中处理,就需要开发自适应或序贯方法。
2)数据集大是由于记录个数多或变量维数大所致。
当变量维数很大时,就会遭遇“维数祸根”(the curse of dimensionality)的影响。
这在统计学也是一个非常困难的问题。
3)数据可能存贮在多个文件里,可能不在一个地方,而分散在几个机器上或多个地点中(如WWW网上的数据),可能还有某种结构等致使数据的存取和抽样变得既复杂又耗时。
4)经典统计学面临的场合往往是数据的缺乏,而对大数据集来说,情况则恰好相反,数据不仅不缺乏而且可能是超冗余的。
2.2非平稳性和选择偏差大数据集不大可能以独立同分布(i.i.d.)方式产生,而很可能的是:在不同时间,变量空间的某个区域上抽样显著多于其它区域,这就使很多基于i.i.d.的统计学方法失去效用。
更困难的是数据总体的非平稳性(也称总体漂移)和选择偏差。
因为总体的变化(如银行贷款申请人总体就随经济发展的快慢而变)或其它原因,总体漂移问题就会产生。
而经典统计学考虑的总体通常是不变的。
另外,数据库本身也是动态的,可能每天都在变化(如Mal- Mart每天的交易,AT&T用户每天的呼叫),必须实时地进行处理,因为6月份发生的事,如果9月份才得到分析结果,那可能已没什么价值了。
当选到的样本并非简单随机样本时,就会产生选择偏差。
这是一个重要而被低估的问题。
例如,在选择病人作临床试验和选择受试者作心理研究时都可能遇到这样的问题。
一般地,大数据集可能受到多种选择偏差的影响,从统计学的观点看,大数据集可能是未加控制的方便(convenience)样本或偶然(opportunistic)样本,而非统计学家理想化的i.i.d.样本。
因而,数据挖掘引发了许多有趣而又困难的推断问题,有些已得到很好的研究,还有很多尚未被考虑,至少还未得到解决。
选择偏差是否重要依赖于数据分析的目标:如果想对总体作推断,那么任何选择偏差都可能使结果无效。
处理选择偏差可能需要一个考虑样本选择机制的更大模型,遗憾的是,这个模型通常不易构造。
不过,统计学在医学(特别是当代流行病学)及有关观测值研究中的许多方法可能会对处理数据挖掘的方便样本提供帮助。
2.3数据的污染和丢失数据的污染也是大数据集的一个重要问题。
例如,千分之一的污染数据对常规统计可能没什么大影响,但对十亿个记录的大数据集而言,就意味着一百万个污染记录,这么大规模的数据量是不能把它忽略掉的。
由于编码误差、测量误差等原因,数据库中的数据几乎总是含有噪声的,所以,概率统计方法不可或缺。
数据的丢失问题在商业数据库中特别突出。
如果数据库不是精心设计的,那么重要的特征可能丢失。
丢失数据可能来自操作者的疏漏,实际系统或测量的失效,也可能来自数据采集过程在时间上的修正。
如现在测量的一个新变量,在几个月之前,却被看作是不重要的而未测量。
2.4寻找有意义的模式我们不能简单要求计算机去“寻找有意义的模式”或“查看数据中是否存在任何结构”。
3第1期马江洪等:数据挖掘与数据库知识发现:统计学的观点是一个介于统计学、模式识别、人工智能、机器学习、数据库技术以及高性能并行计算等领域的交叉新兴学科,具有极为广泛的应用前景。
从统计学的角度来透视其中相关的统计问题,提出了传统统计学面临的挑战,以及在这个领域将带来的一些新的研究方向。
关键词:数据挖掘;统计学;数据库;知识发现分类号:AMS(2000)62B10;62P30中图分类号:O212.1 TP391文献标识码:A1引言随着计算机技术和电子数据获取方面的不断进展以及因特网和各种局域网的广泛普及,人们获得的数据正以前所未有的速度急剧增加,最近几十年产生了很多超大型数据库,遍及超级市场销售、银行存款、天文学、粒子物理、化学、医学以及政府统计等领域。
例如,美国著名零售商MalMart每天要做2千万次交易;美国电报电话公司AT&T每天有1亿多用户在远程网络上呼叫2亿多次;美孚石油公司计划存贮的有关石油开采数据将达1014字节;美国国家宇航局NASA的地球观测系统每小时产生5万兆字节的数据;人类基因组计划也已收集了几千兆个相关数据。
在这个充满数据的数字化、信息化时代,如此规模甚至更大的数据库将是人们不得不面对的一个越来越突出的问题。
我们知道,数据库作为一种资源,本身并没什么直接的价值,有价值的是从中抽取到的知识和信息。
但是,与这种巨大的“海量”数据相比,人们分析处理它们的能力以及从中获取知识的能力都存在着相当大的差距,形成所谓“数据过剩”而又“信息匮乏”的被动局面。
那么,如何从这些大型数据库中发现有用的信息、模式和知识?如何开发有效的挖掘方法?已成为众多科技工作者共同关注的焦点。
在过去几年,一个称为“数据挖掘”和“数据库知识发现”(Data Mining&Knowledge Discovery in Database,简称DM&KDD)的新领域得到了快速发展,这是一个介于统计学、模式识别、人工智能、机器学习、数据库技术以及高性能并行计算等领域的交叉新学科,已在经济、商业、金融、天文等行业得到了成功的应用,在国际上掀起了一股空前的研究热潮(即, 所谓的“数据淘金潮”)。
我国学者在这个领域也已开展了很多研究,但涉及的人员主要来自计算机科学及相关领域,其它专业的研究者相对较少,究其原因可能是由于学科相隔、交流收稿日期:2001-10-20.作者简介:马江洪(1963年1月生),男,博士,副教授.研究方向:稳健统计和数据挖掘.基金项目:国家自然科学基金资助项目(40101021).通过输入变量来拟合基本函数(如sigmoid,样条,多项式等)的线性或非线性组合从而达到预报的目的。
典型的方法有前馈神经网络、多元自适应回归样条法(MARS)、投影寻踪(PP)回归、分类树(一种决策树)和Bayes分类器。
注意回归与分类实际上是相通的:如果预报量是连续的数值变量,则预报问题就是回归问题;如果预报量是离散的类型变量,则预报问题就是分类问题。
用于分类和回归的诸多方法中,很多是统计学方法与其他学科方法的综合集成。
2)基于例子的方法———这种方法用取自数据库的有代表性的例子(example或in- stance)来近似一个模型。
根据训练集里一些预报值已知的类似例子,给出对新例子的预报。
典型的做法有最近邻分类、回归算法和基于个案的推理系统。
3)决策树和规则———这里也有很多来自多学科的方法。
人工智能中有大量机器学习算法可产生决策树和规则,如CHAID,ID3,C4.5算法,其中CHAID使用了统计显著性检验。
统计学方法有递归划分法,如分类回归树(CART)。
运筹学对树生长和树剪枝算法也有研究,如解决整数规划的分枝定界法。
决策树和规则的优势是计算较简,结果易于理解。
比决策树和规则更松散的一阶逻辑模式语言是关系学习模型,它是机器学习或人工智能的核心,其中属性值学习系统可由单个平面文件的属性推出“if-then”型规则,归纳逻辑规划可处理非平面文件的结构。
文[7]区分了两类数据挖掘方法,一类是“建立模型”,另一类是“探测模式”。
模型是概括数据结构的整体描述,而模式是一个局部结构,可能涉及少数变量和数据。
在建立模型时,人们试图产生对数据集一个全面的概括,识别并描述分布形状的主要特征。
例如,数据集的聚类分析划分、预报的回归模型煌基于决策的分类规则等。
数据挖掘建立整体模型的“传统”方法是统计学的探索性数据分析(EDA)方法,只是数据的容量是超大型的。
