数据挖掘综述PPT课件

数据挖掘所得到的信息应具有先未知,有效 和可实用三个特征.
3 数据挖掘的研究历史和现状
3.1 研究历史 3.2 国内现状 3.3 业界现状 3.4 出版物及工具
3.1 研究Βιβλιοθήκη 史3.2 国内现状1993年国家自然科学基金首次支持我们对该领域 的研究项目。目前，国内的许多科研单位和高等 院校竞相开展知识发现的基础理论及其应用研究， 这些单位包括清华大学、中科院计算技术研究所、 空军第三研究所、海军装备论证中心等。其中， 北京系统工程研究所对模糊方法在知识发现中的 应用进行了较深入的研究，北京大学也在开展对 数据立方体代数的研究，华中理工大学、复旦大 学、浙江大学、中国科技大学、中科院数学研究 所、吉林大学等单位开展了对关联规则开采算法 的优化和改造；南京大学、四川联合大学和上海 交通大学等单位探讨、研究了非结构化数据的知 识发现以及Web数据挖掘。
4. 数据挖掘研究的内容
目前DMKD的主要研究内容包括：
基础理论、发现算法、数据仓库、可视 化技术、定性定量互换模型、知识表示方 法、发现知识的维护和再利用、半结构化 和非结构化数据中的知识发现以及网上数 据挖掘等。
数据挖掘所发现的知识最常见的有以下 几类：
4.1 广义知识 (Generalization) 4.2 关联知识 (Association) 4.3 分类知识(Classification & Clustering) 4.4 预测型知识(Prediction) 4.5 偏差型知识(Deviation)
数据源必须是真实的、大量的、含噪声的； 发现的是用户感兴趣的知识；发现的知识要可接 受、可理解、可运用；
2.1数据挖掘的定义
商业角度的定义
数据挖掘是一种新的商业信息处理技术，其 主要特点是对商业数据库中的大量业务数据进行 抽取、转换、分析和其他模型化处理，从中提取 辅助商业决策的关键性数据。
按企业既定业务目标，对大量的企业数据进 行探索和分析，揭示隐藏的、未知的或验证已知 的规律性，并进一步将其模型化的先进有效的方 法。
数据挖掘技术在入侵 检测系统中的应用
1 入侵检测系统
1.1 入侵检测系统的概念 1.2 入侵检测系统的作用 1.3 入侵检测系统的分类
1.1 入侵检测系统的概念
James Anderson在1980年提出入侵检 (Intrusion Detection )的概念， Dorothy Denning在1987年建立了第一个入侵检测模 型,取名为IDES（入侵检测专家系统）。
从网络和主机上收集信息，并进行分析， 检测并判断出是否有入侵行为或安全问题。
1.2 入侵检测系统的作用
是位于防火墙之后的第二道安全闸门 它通过收集和分析网络行为、安全日志、审计 入
侵检测图片、数据、其它网络上可以获得的信息 以及计算机系统中若干关键点的信息，检查网络 或系统中是否存在违反安全策略的行为和被攻击 的迹象 是一种积极主动地安全防护技术，提供了对内部 攻击、外部攻击和误操作的实时保护，在网络系 统受到危害之前拦截和响应入侵
2.2 商业角度定义
按企业既定业务目标，对大量的企业数据进行探 索和分析，揭示隐藏的、未知的或验证已知的规 律性，并进一步将其模型化的先进有效的方法。
2.3 数据挖掘与传统分析方法的区别
数据挖掘与传统的数据分析(如查询、报表、 联机应用分析)的本质区别是数据挖掘是在 没有明确假设的前提下去挖掘信息、发现 知识.
目前，世界上比较有影响的典型数据挖掘系统有：SAS公 司的Enterprise Miner、IBM公司的Intelligent Miner、SGI 公司的SetMiner、SPSS公司的Clementine、Sybase公司 的Warehouse Studio、RuleQuest Research公司的See5、 还有CoverStory、EXPLORA、Knowledge Discovery Workbench、DBMiner、Quest等。还可以访问.网站，该 网站提供了许多数据挖掘系统和工具的性能测试报告。
原始数据可以是结构化，如关系数据库中的数据； 也可以是半结构化的，如文本、图形和图像数据； 甚至是分布在网络上的异构型数据。
发现知识的方法可以是数学的，也可以是非数学 的；可以是演绎的，也可以是归纳的。
发现的知识可以被用于信息管理，查询优化，决 策支持和过程控制等，还可以用于数据自身的维 护。
1.3 入侵检测系统的分类
根据检测的数据来源
基于主机（HIDS） 基于网络（NIDS）
根据检测方式
异常监测(Anomaly detection) 误用检测(Misuse detection)/特征检测(Signaturebased detection)
1.3 入侵检测系统的分类
根据部署方式
3.3 业内现状
最近，业内的一次高级技术调查将数据挖 掘和人工智能列为“未来三到五年内将对 工业产生深远影响的五大关键技术”之首， 并且还将并行处理体系和数据挖掘列为未 来五年内投资焦点的十大新兴技术前两位。
3.4 出版物及工具
有不少KDD电子出版物，其中以半月刊Knowledge Discovery Nuggets最为权威。在网上还有许多自由论坛， 如DM Email Club等。至于DMKD书籍，可以在任意一家 计算机书店找到十多本。
集中式 分布式
2 数据挖掘
2.1 数据挖掘的定义 2.2 商业角度的定义 2.3 数据挖掘与传统分析方法的区别
2.1数据挖掘的定义
技术上的定义
数据挖掘（Data Mining）是从大量的、不完 全的、有噪声的、模糊的、随机的实际应用数据 中，提取隐含在其中的、人们事先不知道的、但 又是潜在有用的信息和知识的过程。
4.1 广义知识（Generalization）
广义知识指类别特征的概括性描述知识。 根据数据的微观特性发现其表征的、带有 普遍性的、较高层次概念的知识，反映同 类事物共同性质，是对数据的概括、精炼 和抽象。
广义知识的发现方法和实现技术有很多， 如数据立方体、面向属性的归约等。