漏洞挖掘技术研究
【摘要】漏洞挖掘是网络攻防技术的重要组成部分。首先介绍了漏洞的概念、漏洞的成因、漏洞的主要分类以及漏洞挖掘一般流程，然后研究了补丁分析和测试技术两种漏洞挖掘方法，重点对二进制补丁比较、白盒测试、黑盒测试等具体漏洞挖掘技术进行了分析，比较了各种漏洞挖掘技术的优缺点。
【关键词】漏洞；漏洞挖掘；测试技术
1引言
目前，无论从国家层面的网络安全战略还是社会层面的信息安全防护，安全漏洞已成为信息对抗双方博弈的核心问题之一。然而，针对具体安全漏洞，安全研究者往往进行大量的重复工作，研究效率和效果上也有相当的局限性。因此，应该加大对漏洞挖掘的研究力度，以便对各类漏洞采取更为主动合理的处理方式。
2漏洞的概念及分类
2.1什么是漏洞
任何系统和软件的运行都会假定一个安全域，这个安全域是由安全策略规定的，在该域内的任何操作都是安全的、可控的，一旦超出了该域或者违反了安全策略，系统或者软
件的运行就是不可控的、未知的。漏洞是由安全域切换到非安全域的触发点，即在计算机安全领域因设计不周而导致的系统或软件存在的缺陷，从而可以使攻击者在非授权的情况下访问或者破坏系统。漏洞是静态的、被动的，但是可触发的。
2.2漏洞的分类
每一个漏洞都有多个特征，而根据不同的特征可以将漏洞按照不同的方式分类。一般情况下，漏洞信息应包括漏洞名称、漏洞成因、漏洞级别、漏洞影响、受影响的系统、漏洞解决方案、漏洞利用类型和漏洞利用方法等。本文根据漏洞的成因对漏洞进行分类，具体可分为：
缓冲区溢出错误（Buffer Overflow），未对输入缓冲区的数据进行长度和格式的验证；
输入验证错误（Input Validation Error），未对用户输入的数据进行合法性验证；
边界条件错误（Boundary Condition Error），未对边界条件进行有效性验证；
访问验证错误（Access Validation Error），访问验证存在逻辑上的错误；
意外条件错误（Exceptional Condition Error），程序逻辑未考虑意外和特例；
配置错误（Configuration Error），系统或软件的参数或
策略配置错误；
其他错误（Others）。
3漏洞挖掘技术的概念及分类
漏洞的研究主要分为漏洞挖掘与漏洞分析两部分。漏洞挖掘技术是指对未知漏洞的探索，综合应用各种技术和工具，尽可能地找出软件中的潜在漏洞。然而这并非一件很容易的事情，在很大程度上依赖于个人经验。根据分析对象的不同，漏洞挖掘技术可以分为基于源码的漏洞挖掘技术和基于目标代码的漏洞挖掘技术。
基于源码的漏洞挖掘的前提是必须能获取源代码，对于一些开源项目，通过分析其公布的源代码，就可能找到存在的漏洞。例如对Linux系统的漏洞挖掘就可采用这种方法。使用源码审核技术，对软件的源代码进行扫描，针对不安全的库函数使用以及内存操作进行语义上的检查，从而发现安全漏洞，静态分析技术是其中的典型技术。
然而大多数的商业软件其源码很难获得，不能从源码的角度进行漏洞挖掘，只能采用基于目标代码的漏洞挖掘技术。对目标码进行分析涉及编译器、指令系统、可执行文件格式等多方面的知识，难度较大。基于目标代码的漏洞挖掘首先将要分析的二进制目标代码反汇编，得到汇编代码；然后对汇编代码进行切片，即对某些上下文关联密切有意义的代码进行汇聚，降低其复杂性；最后通过分析功能模块来判
断是否存在漏洞。
4漏洞挖掘一般流程
M. Sutton 等提出了模糊（Fuzzing）测试的一般流程，他将模糊测试的流程划分为识别目标、识别输入、生成模糊测试数据、执行模糊测试数据、监视异常、确定可利用性等六个流程，如图1左侧所示。文献[4]提出的漏洞挖掘流程如图1右侧所示。
5常见的漏洞挖掘方法
目前，还不存在漏洞自动挖掘的解决方案，更没有漏洞自动挖掘程序，只有一些漏洞挖掘的思路、方法和漏洞挖掘的辅助工具，主要以人工分析为主，漏洞挖掘在很大程度上是个人行为，漏洞挖掘的思路和方法因人而异，但漏洞挖掘的方法还是有迹可寻的，归纳起来，漏洞挖掘方法主要有二进制比对技术即补丁比较和测试技术两种。
5.1二进制比对技术
二进制比对技术又可称为补丁比对技术，它主要是被用以挖掘已经发现的漏洞，因此在一定意义上也可被认为是一种漏洞分析技术。由于安全公告中一般都不指明漏洞的确切位置和成因，使得漏洞的有效利用比较困难。但漏洞一般都有相应的补丁，所以可以通过比较补丁前后的二进制文件，确定漏洞的位置和成因。补丁比较主要包括源码补丁比较和二进制补丁比较两种。
5.1.1 源码补丁比较
源码补丁比较主要是针对开源软件或系统，例如Linux 等。当有漏洞出现后官方会发布源码补丁文件。采取逐行对比的方式，比较补丁前和补丁后的文本文件的异同处，以发现源码的不同处，进而找到漏洞产生的原因。以下是一个有漏洞的程序：
#include
Int main（int argc，char*argv[]）
{char buff[16]；
if（argc>1）
{ Strcpy（buff，argv[1]）；
}
printf（“buff is %s＼n”，buff）
return（）；
}
下面是对上述程序修补漏洞后的版本：
#include Int main（int argc，char*argv[]）
{char buff[16]；
if（argc>1）
{if（，strlen（argv[1]>15）；
return（）；
strcpy（buff，argv[1]）；
}
printf（“buff is %s＼n”，buff）；
return（）；
}
将两个源程序进行对比以后可以得出如下结果：
If（strlen（argv[1]）>15）；
return（）；
可以看出，在程序的原版本中没有判断而直接进行字符串拷贝，这就存在缓冲区溢出漏洞，而修补漏洞后的版本中增加的代码是判断传入参数的字符长度，这就避免了此类缓冲区溢出漏洞。
由此可以看出，只要找到程序的不同之处，并代人源程序分析，就可以定位漏洞的位置并查明漏洞的机理。
5.1.2 二进制补丁比较
目前常用的二进制补丁比对方法主要分为三类。
（1）基于文本的比对。基于文本的比对是最为简单的一种补丁比对方式，通过对两个二进制文件（补丁前和补丁后）进行对比，对文件比对中出现的任何一点差异，都不做处理地写人结果之中。这种方法的后果是最后输出的结果范围很大，容易出现极多的误报情况，漏洞定位精度极差，且结果不容易被漏洞分析人员理解，因此仅适用于文件中产生变化较少的情况。
（2）基于汇编指令的比对。基于汇编指令的二进制文件比对是先对二进制文件进行反汇编，然后将两个反汇编之后的文件进行对比，具有代表性的工具如eEye发布的EBDS （eEye Binary Diffing Suite）软件工具中的Binary Diffing Starter。这种方式虽然较直接的二进制文本比对要进步，比对结果更容易被分析人员理解，但是仍然存在输出结果范围大，误报情况多和漏洞定位不精确的缺点。更重要的是基于汇编指令的补丁比对方法很容易受编译器编译优化的影响，结果会变得非常复杂。
（3）基于结构化的比对。基于结构化比对的方法是Halva Flake在2004年提出的，这种方法的基本思想是：给定两个待比对的文件A1和A2，将A1和A2的所有函数用控制流图来表示，通过比对两个图是否同构来建立函数之间一对一的映射。该方法从逻辑结构的层次上对补丁文件进行了分析，但当待比对两个二进制文件较大时，由于提取签名信息、进行结构化比对的运算量和存储量非常巨大，程序的执行效率非常低。D.Brumley等人在此基础上，提出了基于程序控制流程图（CFG ）的约束规约分析方法，一定程度上提高了漏洞定位精度。总之，目前基于结构化的补丁比对在执行效率和漏洞定位的精确性方面还存在很大的发展空间。
5.2测试技术
5.2.1 白盒测试
白盒测试是基于源码的测试技术，直接面对程序中的数据和算法，进行控制流分析和数据流分析。在此需要说明的是，很多漏洞都是数据和算法共同造成的，并非单是数据或者算法的原因。控制流分析一般要得出程序的控制流图，就是程序的调用、跳转结构，是程序从入口到出口的路径图。数据流分析一般是跟踪数据的产生、传输、处理和存储等。在安全性测试的应用中，这两种分析方法应该结合。下面以针对数组越界的测试进行分析。
数组是程序语言中一种数据类型，它的数据在内存中连续存放。数组变量所拥有的内存空间可以在程序运行前确定，也可以在程序运行时动态决定。然而如果数组的赋值或引用长度超出分配长度，就会导致程序异常。这种异常一方面是由于程序员的错误编码造成的，另一方面是由于一些弱函数，例如strcpy、strcat、memcpy等造成的。这种情况下，要跟踪数组变量的定义、赋值、引用等，此外还要考虑这些变量所在的环境和上下文，例如在strcpy之前，如果已经作了长度检测（比如调用了strlen），就不会出现数组越界的情况。如果说针对C/C++的源码对strcpy或strlen作跟踪是属于数据流分析的话，那么为了处理数组变量程序的各种调用和跳转就属于控制流分析了。如果源码是C/ C++语言，需要进行预编译、词法分析和语法分析，得出控制流图，然后在每个分支上跟踪数组变量。
总之，白盒测试是基于源码的，也就是在人可以理解程序或者测试工具可以理解程序的条件下，对程序安全性进行测试。这种测试其实是一种对已有漏洞模式的匹配，只可能发现已知模式的漏洞，而对于未知模式无能为力。同时，这种测试还会产生误报。对这种测试而言，了解的程序细节越详细测试的结果也就越准确。本文认为，基于白盒测试技术的安全性测试关注的是数据操作和算法逻辑，对这两方面进行跟踪、抽象和分析，然后去匹配已知的不安全模式，而得出结论。
5.2.2 黑盒测试
在软件的设计和开发过程中，无论是设计者还是开发者都会作一个隐含假设，即软件存在输入域，用户的输入会限定在该输入域中。然而在软件的实际应用中，没有可以将用户的输入限制在一定范围内的机制，特别是一些恶意用户，他们会通过各种方法寻找输入域之外值，以期发现软件的漏洞。黑盒测试就是利用各种输入对程序进行探测，并对运行程序进行分析，以期发现系统漏洞的测试技术。这种测试技术仅仅需要运行的程序而不需要分析任何源代码，测试者对软件内部一无所知，但是清楚地知道软件能做什么，能够对程序基于输入和输出的关联性进行分析。
黑盒测试最关键的问题是测试数据的选取。既然知道软件能做什么，那么也就大概知道该软件的安全输入域的范
围。所以测试最好是选择软件安全输入域之外的数据。当然这还是不够的，测试人员必须有知识和经验的积累，例如，溢出漏洞在漏洞总量中占了很大比例，并且这类漏洞多是由特殊字符或者超长字符串导致的，如果分析总结以往溢出漏洞的利用方法，研究这些超长字符或者特殊字符串的构造方式，同样有利于测试数据的选取。黑盒测试的步骤是这样的：首先，分析相同领域或者相似软件的安全问题，归纳总结出一些规则或者模板；其次根据规则或模板构造测试数据对软件进行测试；再次验证软件输出的正确性；最后确定一些疑似的漏洞点。总之，黑盒测试属于功能测试，对程序内部不予考虑。这种测试更像是一次攻击，也可以较直接地测出一些问题，但缺点是测试数据不好选择，很难穷尽软件的所有可能输人。
5.2.3 灰盒测试
灰盒测试综合了白盒测试和黑盒测试的优点。灰盒测试表现为与黑盒测试相似的形式，然而测试者具有程序的先验知识，它对于程序的结构和数据流都有一定的认识。这种测试可以直接针对数据流中感兴趣的边界情况进行测试，从而比黑盒测试更高效。典型的灰盒测试有二进制分析，二进制分析往往首先通过逆向过程（ReversEngineering，RE ）来获得程序的先验知识，然后通过反编译器、反汇编器等辅助工具确定有可能出现漏洞的行，反向追踪以确定是否有利用的
可能性。常用的反汇编器有IDA Pro，反编译器有Boomerang，调试器有OllyDbg、WinDbg等。灰盒测试具有比黑盒测试更好的覆盖性，然而逆向工程非常复杂，要求熟悉汇编语言、可执行文件格式、编译器操作、操作系统内部原理以及其他各种各样的底层技巧。
5.2.4结束语
无论是黑盒测试、白盒测试还是灰盒测试得到的都是一些漏洞的疑似点，至于这些疑似点是否是漏洞，还需要人工分析。但是使用这些技术来辅助发现漏洞是必要的，节省了大量的人力，将人员的精力转移到分析几个疑似漏洞点上。白盒测试的难点是如何有效分析软件的数据操作和算法逻辑，如何判定一个漏洞；黑盒测试的难点是测试数据的选取，这一部分需要经验和知识积累；灰盒测试的难度在于逆向工程非常复杂，对测试人员的专业水平要求较高。
6结束语
漏洞挖掘是网络攻防技术的重要组成部分。本文介绍了漏洞的概念、漏洞的成因、漏洞挖掘流程等，重点研究了几种常见的漏洞挖掘方法，各种方法都有其优缺点，在实际的工作中，漏洞挖掘并不单纯的只使用一种方法，而是多种分析技术相互结合、优势互补的综合运用过程。
参考文献
[1] 王丰辉. 漏洞相关技术研究[D]. 北京：北京邮电大
学，2009.
[2] 袁江. 基于CVE 知识库的危急漏洞挖掘与分析技术研究[D]. 哈尔滨：哈尔滨理工大学，2008.
[3] 迟强，罗红，乔向东. 漏洞挖掘分析技术综述[J]. 计算机与信息技术，2009（07）.
[4] 徐良华，孙玉龙，高丰等. 基于逆向工程的软件漏洞挖掘技术[J]. 微计算机信息，2006，22（8-3）.
[5] SUTTON M，GREEN A，AMINI P. Fuzzing：Bruce Force Vulnerability Discovery[M]. Addison-Wesley Professional，2007.8-15.
[6] 文伟平，吴兴丽. 软件安全漏洞挖掘的研究思路与发展趋势[J]. 信息网络安全，2009，27（10）78-81.
作者简介：
王希忠（1968-），男，汉族，哈尔滨工程大学计算机应用技术专业，硕士研究生，现任黑龙江省电子信息产品监督检验院院长，研究员级高工，黑龙江省“数据安全与计算机安全”领军人才梯队带头人；主要研究方向和关注领域：网络与信息安全、物联网、信息系统风险评估等。
黄俊强（1974-），男，汉族，沈阳工业学院，本科，黑龙江省电子信息产品监督检验院，信息安全测评中心主任，高级工程师；主要研究方向和关注领域：网络与信息安全、风险评估与等级保护测评。
数据挖掘技术论文开题报告 毕业都是需要进行论文的写作，数据挖掘技术论文的开题报告怎么写？下面是数据挖 掘技术论文开题报告，欢迎阅读！ 数据挖掘技术综述 数据挖掘（Data Mining）是一项较新的数据库技术，它基于由日常积累的大量数据所 构成的数据库，从中发现潜在的、有价值的信息——称为知识，用于支持决策。数据 挖掘是一项数据库应用技术，本文首先对数据挖掘进行概述，阐明什么是数据挖掘， 数据挖掘的技术是什么，然后介绍数据挖掘的常用技术，数据挖掘的主要过程, 如何 进行数据挖掘,主要应用领域以及国内外现状分析。 一. 研究背景及意义 近十几年来，随着数据库系统的广泛流行以及计算机技术的快速发展，人们利用信息 技术生产和搜集数据的能力大幅度提高。千万个数据库被用于商业管理、政府办公、 科学研究和工程开发等，特别是网络系统的流行，使得信息爆炸性增长。这一趋势将 持续发展下去。大量信息在给人们带来方便的同时也带来了一大堆的问题：第一是信 息过量，难以消化；第二是信息真假难以辨认；第三是信息安全难以保证；第四是信 息形式不一致，难以统一处理。面对这种状况，一个新的挑战被提出来：如何才能不 被信息的汪洋大海所淹没，从中及时发现有用的知识，提高信息利用率呢？这时出现 了新的技术——数据挖掘（Data Mining）技术便应用而生了。 面对海量的存储数据，如何从中发现有价值的信息或知识，成为一项非常艰巨的任务。数据挖掘就是为迎合这种要求而产生并迅速发展起来的。数据挖掘研究的目的主要是 发现知识、使数据可视化、纠正数据。 二. 概述 1，数据挖掘 数据挖掘(Data Mining)就是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。这些 数据可以是结构化的,如关系数据库中的数据，也可以是半结构化的，如文本，图形， 图像数据，甚至是分布在网络上的异构型数据。发现知识的方法可以是数学的，也可 以是非数学的，可以是演绎的，也可以是归纳的。发现了的知识可以被用于信息管理、查询优化、决策支持、过程控制等，还可以进行 数据自身的维护。数据挖掘借助了多年来数理统计技术和人工智能以及知识工程等领 域的研究成果构建自己的理论体系，是一个交叉学科领域，可以集成数据数据库、人 工智能、数理统计、可视化、并行计算等技术。 2，数据挖掘技术
在计算机安全领域，安全漏洞（SecurityHole）通常又称作脆弱性（vulnerability）。 漏洞的来源漏洞的来源:（1）软件或协议设计时的瑕疵（2）软件或协议实现中的弱点（3）软件本身的瑕疵（4）系统和网络的错误配置 DNS区域传送是一种DNS 服务器的冗余机制。通过该机制，辅DNS服务器能够从其主DNS 服务器更新自己的数据，以便主DNS服务器不可用时，辅DNS服务器能够接替主DNS服务器工作。正常情况下，DNS区域传送操作只对辅DNS服务器开放。然而，当系统管理员配置错误时，将导致任何主机均可请求主DNS服务器提供一个区域数据的拷贝，以至于目标域中所有主机信息泄露. 网络扫描主要分为以下3个阶段：（1）发现目标主机或网络。（2）发现目标后进一步搜集目标信息，包括操作系统类型、运行的服务以及服务软件的版本等。如果目标是一个网络，还可以进一步发现该网络的拓扑结构、路由设备以及各主机的信息。（3）根据搜集到的信息判断或者进一步检测系统是否存在安全漏洞。 网络扫描的主要技术 (1)主机扫描：确定在目标网络上的主机是否可达，同时尽可能多映射目标网络的拓扑结构，主要利用ICMP 数据包 (2)端口扫描：发现远程主机开放的端口以及服务 (3)操作系统指纹扫描：根据协议栈判别操作系统 发现存活主机方法: ICMP 扫射ping 广播ICMP 非回显ICMP(ICMP时间戳请求允许系统向另一个系统询当前的时间。ICMP地址掩码请求用于无盘系统引导过程中获得自己的子网掩码。) TCP 扫射UDP 扫射 获取信息: (1)端口扫描: 端口扫描就是连接到目标机的TCP 和UDP端口上，确定哪些服务正在运行及服务的版本号，以便发现相应服务程序的漏洞。 (2)TCP connect()扫描: 利用操作系统提供的connect()系统调用，与每一个感兴趣的目标计算机的端口进行连接。如果目标端口处于侦听状态，那么connect()就能成功；否则，该端口是不能用的，即没有提供服务。 (3)TCP SYN扫描: 辨别接收到的响应是SYN/ACK报文还是RST报文，就能够知道目标的相应端口是出于侦听状态还是关闭状态(RST为关闭)。又叫“半开扫描”，因为它只完成了3次握手过程的一半. (4) TCP ACK扫描: 用来探测防火墙的规则设计。可以确定防火墙是简单的包过滤还是状态检测机制 (5):TCP Fin扫描: 扫描器发送一个FIN数据包 ?如果端口关闭的，则远程主机丢弃该包，并送回一个RST包 ?如果端口处于侦听状态忽略对FIN数据包的回复 ?与系统实现有一定的关系，有的系统不管端口是否打开，都回复RST（windows），但可以区分Unix和Windows (6) TCP XMAS 扫描(7) TCP 空扫描(8) UDP ICMP 端口不可达扫描
第37卷第7期测绘与空间地理信息 GEOMATICS ＆SPATIAL INFOＲMATION TECHNOLOGY Vol．37，No．7收稿日期：2014－01－22 作者简介：马宏斌（1982－），男，甘肃天水人，作战环境学专业博士研究生，主要研究方向为地理空间信息服务。 大数据时代的空间数据挖掘综述 马宏斌1 ，王 柯1，马团学 2（1．信息工程大学地理空间信息学院，河南郑州450000；2．空降兵研究所，湖北孝感432000） 摘 要：随着大数据时代的到来，数据挖掘技术再度受到人们关注。本文回顾了传统空间数据挖掘面临的问题， 介绍了国内外研究中利用大数据处理工具和云计算技术，在空间数据的存储、管理和挖掘算法等方面的做法，并指出了该类研究存在的不足。最后，探讨了空间数据挖掘的发展趋势。关键词：大数据；空间数据挖掘；云计算中图分类号：P208 文献标识码：B 文章编号：1672－5867（2014）07－0019－04 Spatial Data Mining Big Data Era Ｒeview MA Hong －bin 1，WANG Ke 1，MA Tuan －xue 2 （1．Geospatial Information Institute ，Information Engineering University ，Zhengzhou 450000，China ； 2．Airborne Institute ，Xiaogan 432000，China ） Abstract ：In the era of Big Data ，more and more researchers begin to show interest in data mining techniques again．The paper review most unresolved problems left by traditional spatial data mining at first．And ，some progress made by researches using Big Data and Cloud Computing technology is introduced．Also ，their drawbacks are mentioned．Finally ，future trend of spatial data mining is dis-cussed． Key words ：big data ；spatial data mining ；cloud computing 0引言 随着地理空间信息技术的飞速发展，获取数据的手 段和途径都得到极大丰富，传感器的精度得到提高和时空覆盖范围得以扩大，数据量也随之激增。用于采集空间数据的可能是雷达、红外、光电、卫星、多光谱仪、数码相机、成像光谱仪、全站仪、天文望远镜、电视摄像、电子 显微镜、CT 成像等各种宏观与微观传感器或设备，也可能是常规的野外测量、人口普查、土地资源调查、地图扫描、 地图数字化、统计图表等空间数据获取手段，还可能是来自计算机、 网络、GPS ，ＲS 和GIS 等技术应用和分析空间数据。特别是近些年来，个人使用的、携带的各种传感器（重力感应器、电子罗盘、三轴陀螺仪、光线距离感应器、温度传感器、红外线传感器等），具备定位功能电子设备的普及，如智能手机、平板电脑、可穿戴设备（GOOGLE GLASS 和智能手表等），使人们在日常生活中产生了大量具有位置信息的数据。随着志愿者地理信息（Volunteer Geographic Information ）的出现，使这些普通民众也加入到了提供数据者的行列。 以上各种获取手段和途径的汇集，就使每天获取的 数据增长量达到GB 级、 TB 级乃至PB 级。如中国遥感卫星地面站现在保存的对地观测卫星数据资料达260TB ，并以每年15TB 的数据量增长。比如2011年退役的Landsat5卫星在其29年的在轨工作期间，平均每年获取8．6万景影像，每天获取67GB 的观测数据。而2012年发射的资源三号（ZY3）卫星，每天的观测数据获取量可以达到10TB 以上。类似的传感器现在已经大量部署在卫 星、 飞机等飞行平台上，未来10年，全球天空、地空间部署的百万计传感器每天获取的观测数据将超过10PB 。这预示着一个时代的到来，那就是大数据时代。大数据具有 “4V ”特性，即数据体量大（Volume ）、数据来源和类型繁多（Variety ）、数据的真实性难以保证（Veracity ）、数据增加和变化的速度快（Velocity ）。对地观测的系统如图1所示。 在这些数据中，与空间位置相关的数据占了绝大多数。传统的空间知识发现的科研模式在大数据情境下已经不再适用，原因是传统的科研模型不具有普适性且支持的数据量受限， 受到数据传输、存储及时效性需求的制约等。为了从存储在分布方式、虚拟化的数据中心获取信息或知识，这就需要利用强有力的数据分析工具来将
随着信息技术在社会生活中的应用日益广泛，人们对信息安全的重要性有了更加深刻的认识。作为信息流通与传输的主要媒介，网络的安全问题无疑是信息安全中不可或缺的一环。而作为信息最初的发送方、中间的传递方、最终的接收方，主机的安全问题也占有非常重要的地位。在系统维护人员看来，只有足够安全的网络和主机，才能最大可能地保证信息安全。相应的，黑客(攻击者)也会尽可能地寻找网络和主机的漏洞，从而实施攻击来破坏信息安全。双方攻防的第一步，主要集中在对网络和主机的漏洞扫描上。 网络扫描，是基于Internet的、探测远端网络或主机信息的一种技术，也是保证系统和网络安全必不可少的一种手段。主机扫描，是指对计算机主机或者其它网络设备进行安全性检测，以找出安全隐患和系统漏洞。总体而言，网络扫描和主机扫描都可归入漏洞扫描一类。漏洞扫描本质上是一把双刃剑：黑客利用它来寻找对网络或系统发起攻击的途径，而系统管理员则利用它来有效防范黑客入侵。通过漏洞扫描，扫描者能够发现远端网络或主机的配置信息、TCP／UDP端口的分配、提供的网络服务、服务器的具体信息等。 主机漏洞扫描，主要通过以下两种方法来检查目标主机是否存在漏洞：1）在端口扫描后得知目标主机开启的端口以及端口上的网络服务，将这些相关信息与网络漏洞扫描系统提供的漏洞库进行匹配，查看是否有满足匹配条件的漏洞存在；2）通过模拟黑客的攻击手法，对目标主机系统进行攻击性的安全漏洞扫描，如测试弱势口令等。若模拟攻击成功，则表明目标主机系统存在安全漏洞。 一、漏洞扫描技术 安全扫描技术是一类重要的网络安全技术。安全扫描技术与防火墙、入侵检测系统互相配合，能够有效提高网络的安全性。通过对网络的扫描，网络管理员可以了解网络的安全配置和运行的应用服务，及时发现安全漏洞，客观评估网络风险等级。网络管理员可以根据扫描的结果更正网络安全漏洞和系统中的错误配置，在黑客攻击前进行防范。如果说防火墙和网络监控系统是被动的防御手段，那么安全扫描就是一种主动的防范措施，可以有效避免黑客攻击行为，做到防患于未然。 漏洞扫描可以划分为ping扫描、端口扫描、OS探测、脆弱点探测、防火墙扫描五种主要技术，每种技术实现的目标和运用的原理各不相同。按照TCP／IP协议簇的结构，ping扫描工作在互联网络层：端口扫描、防火墙探测工作在传输层；0S探测、脆弱点探测工作在互联网络层、传输层、应用层。ping扫描确定目标主机的IP地址，端口扫描探测目标主机所开放的端口，然后基于端口扫描的结果，进行OS探测和脆弱点扫描。 1．1 Ping扫描 ping扫描是指侦测主机IP地址的扫描。ping扫描的目的，就是确认目标主机的TCP／IP网络是否联通，即扫描的IP地址是否分配了主机。对没有任何预知信息的黑客而言，ping扫描是进行漏洞扫描及入侵的第一步；对已经了解网络整体IP划分的网络安全人员来讲，也可以借助ping扫描，对主机的IP分配有一个精确的定位。大体上，ping扫描是基于ICMP协议的。其主要思想，就是构造一个ICMP包，发送给目标主机，从得到的响应来进行判断。根据构造ICMP包的不同，分为ECH0扫描和non—ECHO扫描两种。 1．1．1 ECH0扫描 向目标IP地址发送一个ICMP ECHOREQUEST(ICMP type 8)的包，等待是否收至UICMP ECHO REPLY(ICMP type 0)。如果收到了ICMP ECHO REPLY，就表示目标IP上存在主机，否则就说明没有主机。值得注意的是，如果目标网络上的防火墙配置为阻止ICMP ECH0流量，ECH0扫描不能真实反映目标IP上是否存在主机。 此外，如果向广播地址发送ICMPECHO REQUEST，网络中的unix主机会响应该请求，而windows 主机不会生成响应，这也可以用来进行OS探测。 1．1．2 non-ECH0扫描
学习分析技术综述 一、学习分析技术的起源与发展 学习分析是一个新兴的、正在发展的学科，是技术促进学习研究中增长最快的领域之一，也是当前的研究热点。美国新媒体联盟与美国高校教育信息化协会主动学习组织合作“新媒体联盟地平线项目(The New Media Consortium's Horizon Project)”的 2010 年度和2011年度报告中，预测基于数据的学习分析技术将在未来的四到五年内成为主流，并对学习分析技术在教学、学习、研究和知识生成等方面所具有的作用进行了分析,勾勒了其广泛的应用前景。近年来,在教育技术领域，学习分析逐渐成为了迅速发展的新热点之一。我们可以看出，各种学习技术系统中己经获取并储存了大量的学习者学习行为数据，而且这些学习行为的数据还在迅速增加，这就急迫需要一种新的技术对这些数据进行分析, 为改进学习实践、增强学习效果提供依据。尽管在传统教学过程中也能够评估学生的成绩、分析教学过程,从而提高教学的质量，但是所采集的数据往往不够充分,信息化程度较低，而且分析结果用于干预教学的周期过长，效果不明显。因此，学习分析技术逐渐浮现出来，并受到越来越多的关注。［1］ 二、学习分析技术背景 在学习分析概念形成之前，相关方法、技术和工具都已经发展起来了。学习分析从一系列研究领域汲取技术，如数据统计、商业智能 (Business Intelligence)、网页分析(Web Analytics)、运筹学(Operational Research)、人工智能(AI)、教育数据挖掘(EDM )、社会网络分析、信息可视化等。数据统计历来作为一个行之有效的手段用来解决假设检验问题。商业智能以数据仓库、联机分析处理、数据挖掘等技术为基础，从不同的数据源中提取数据，将之转换成有用的信息，它与学习分析有相似之处，但它历来被定位于通过可能的数据访问和绩效指标总结使生产更高效。网页分析工具，如Google analytics通过网页访问量 ,与互联网网站、品牌等的关联做出报告，这些技术可以用来分析学生的学习资源(课程,材料等)以追踪学生的学习轨迹。运筹学通过设计优化数学模型和统计方法使目标最优化。人工智能和数据挖掘中的机器学习技术建立在数据挖掘和人工智能方法上，它能够检测数据中的模式。在学习分析中的类似技术可用于智能教学系统，以更加动态的方式对学生进行分类而不是简单地进行人口统计分类，可以通过协同过滤技术对特定的资源建立模型。社会网络分析可以分析出隐含的人与人(如在论坛上的互动)和外显的人与人(如朋友或者关注对象)之间的关系，在学习分析中可用于探索网络集群、影响力网络、参与及不参与状况。信息可视化是很多分析的重要一步(包括上面列出的那些分析方法)，它可以用来对所提供的数据进行意义建构，John Tukey1977年在他的《探索性数据分析》一书中给我们介绍了如何更好地利用信息可视化，Turkey强调使用可视化的价值在于帮助在形成正式的假设之前做检验。以上这些学习分析技术都可以对大量数据进行分析和处理,形成分析报告为教育提供帮助。［2］
业务安全漏洞挖掘归纳总结 逻辑漏洞挖掘一直是安全测试中“经久不衰”的话题。相比SQL注入、XSS 漏洞等传统安全漏洞，现在的攻击者更倾向于利用业务逻辑层的应用安全问题，这类问题往往危害巨大，可能造成了企业的资产损失和名誉受损，并且传统的安全防御设备和措施收效甚微。今天漏洞盒子安全研究团队就与大家分享Web安全测试中逻辑漏洞的挖掘经验。 一：订单金额任意修改 解析 很多中小型的购物网站都存在这个漏洞。在提交订单的时候抓取数据包或者直接修改前端代码，然后对订单的金额任意修改。 如下图所示：
经常见到的参数大多为rmb value amount
cash fee money 等 关于支付的逻辑漏洞这一块还有很多种思路，比如相同价格增加订单数量，相同订单数量减少产品价格，订单价格设定为负数等等。 预防思路 1.订单需要多重效验，如下图所演示。
2. 订单数值较大时需要人工审核订单信息，如下图所演示。 3. 我只是提到两个非常简单的预防思路，第二个甚至还有一些不足之处。这里需要根据业务环境的不同总结出自己的预防方式，最好咨询专门的网络安全公司。 二：验证码回传 解析 这个漏洞主要是发生在前端验证处，并且经常发生的位置在于 账号密码找回
支付订单等 验证码主要发送途径 邮箱邮件 手机短信 其运行机制如下图所示： 黑客只需要抓取Response数据包便知道验证码是多少。
1.response数据内不包含验证码，验证方式主要采取后端验证，但是缺点是服务器的运算压力也会随之增加。 2.如果要进行前端验证的话也可以，但是需要进行加密。当然，这个流程图还有一些安全缺陷，需要根据公司业务的不同而进行更改。
漏洞扫描实验报告
————————————————————————————————作者：————————————————————————————————日期：
南京工程学院 实验报告 题目漏洞扫描 课程名称网络与信息安全技术院（系、部、中心）康尼学院 专业网络工程 班级 K网络工程１11 学生姓名赵志鹏 学号 2４011１63８ 设计地点信息楼A21６ 指导教师毛云贵 实验时间 2014年3月13日实验成绩
漏洞扫描 一：实验目的 1.熟悉X-Sｃａn工具的使用方法 2.熟悉工具的使用方法 ３．会使用工具查找主机漏洞 ４.学会对弱口令的利用 5.了解开启主机默认共享以及在命令提示下开启服务的方法 ６.通过实验了解如何提高主机的安全性 二:实验环境 Vmｗare虚拟机，网络教学系统 三:实验原理 一.漏洞扫描简介 漏洞扫描是一种网络安全扫描技术,它基于局域网或Iｎterneｔ远程检测目标网络或主机安全性。通过漏洞扫描，系统管理员能够发现所维护的Wｅb服务器的各种ＴCP/IP端口的分配、开放的服务、Web服务软件版本和这些服务及软件呈现在Ｉnｔernｅt上的安全漏洞。漏洞扫描技术采用积极的、非破坏性的办法来检验系统是否含有安全漏洞。网络安全扫描技术与防火墙、安全监控系统互相配合使用,能够为网络提供很高的安全性。 漏洞扫描分为利用漏洞库的漏洞扫描和利用模拟攻击的漏洞扫描。 利用漏洞库的漏洞扫描包括:ＣＧI漏洞扫描、POP3漏洞扫描、FＴＰ漏洞扫描、SSH漏洞扫描和HTＴP漏洞扫描等。 利用模拟攻击的漏洞扫描包括:Ｕniｃｏｄe遍历目录漏洞探测、ＦＴP 弱口令探测、OＰENRelay邮件转发漏洞探测等。 二．漏洞扫描的实现方法 (1)漏洞库匹配法 基于漏洞库的漏洞扫描,通过采用漏洞规则匹配技术完成扫描。漏洞库是通过以下途径获取的:安全专家对网络系统的测试、黑客攻击案例的分析以及系统管理员对网络系统安全配置的实际经验。漏洞库信息的完整性和有效性决定了漏洞扫描系统的功能,漏洞库应定期修订和更新。 (2)插件技术（功能模块技术) 插件是由脚本语言编写的子程序,扫描程序可以通过调用它来执行漏洞扫描,检测系统中存在的漏洞。插件编写规范化后，用户可以自定义新插件来扩充漏洞扫描软件的功能。这种技术使漏洞扫描软件的升级维护变得相对简单。 三．弱口令 通常帐户包含用户名及对应的口令。当口令使用简单的数字和字母组合时，非常容易被破解，我们称这种口令为弱口令。Ｘ-Sｃan工具中涵盖了很多种弱口令扫描方法，包括、SSH、ＰOP3、IMAP、TＥＬNET、WＷW等。 为消除弱口令产生的安全隐患,我们需要设置复杂的密码,并养成定期更换密码的良好习惯。复杂的密码包含数字,字母(大写或小写)，特殊字符等。例如:1２3$%＾jlｃsｓ2００8或１23$%＾JLＣSS２0０8。
技术干货：逻辑漏洞挖掘经验 导语 简单说明一下：逻辑漏洞可以分为很多种：web逻辑漏洞、业务逻辑漏洞、支付逻辑漏洞等等，其中有部分漏洞都是大体相似的。 一、常见的逻辑漏洞 1.欺骗密码找回功能(构造验证码爆破) 程序根据一个验证码来确定是否是用户本人，但攻击者可以暴力猜解验证码 2.规避交易限制（修改商品价格） 攻击者篡改数据包，使得购买得商品参数错误或无法验证造成得溢出3.权限缺陷（水平越权、垂直越权） 攻击者更改数据包中用户得ID来访问指定用户得敏感信息或者冒充其他用户发布信息 4.cookie、token和session得验证问题(令牌验证时效性) 攻击者预先知道用户得ID，可以构造一个cookie、token或session 值为ture可以绕过令牌认证 5.浏览设计缺陷（顺序操作） 攻击者在购物过程中强制绕过支付过程，直接从加入购物车步骤跳到填写收货地址步骤，有绕过的情况。 二、支付逻辑漏洞
1.修改金额 2.修改商品数量 3.修改优惠金额 4.修改数量、单价、优惠价格参数为负数或者小数，无限大造成溢出 5.修改商品价格 6.支付key泄露 三、简单找了几个案例 1、密码爆破 这是最暴力最血腥的也是万般无奈之后的希望。 密码爆破往往出现再登录框需要输入账号密码的地方 提示密码不正确，可以简单的判断账号是有了。 2、、权限缺失 权限缺失可以导致任意用户查看、水平越权、垂直越权、未授权访问、任意修改用户密码等等 一般可以通过修改用户id、用户查询页面
垂直越权+任意用户修改权限 水平越权 （这里也算是令牌失效只需要修改id号就能查看到其他用户） 3、支付漏洞 这一般出现再订单提交过程中、通过抓包修改数据包达到目的、可以修改的东西很多比如：产品价格、订单信息、优惠卷金额、等等
湘潭大学 本科生专业文献综述 题目: 数据挖掘文献综述 姓名: 林勇 学院: 信心工程学院学院 专业: 自动化 班级: 一班 学号: 2010550113 指导教师: 张莹
0前言 随着计算机技术的迅猛发展，人类正在步入信息社会。面对今天浩如烟海的信息，如何帮助人们有效地收集和选择所感兴趣的信息，更关键的是如何帮助用户在日益增多的信息中自动发现新的概念并自动分析它们之间的关系，使之能够真正地做到信息处理的自动化，这已成为信息技术领域的热点问题。数据挖掘就是为满足这种要求而产生并迅速发展起来的，可用于开发信息资源的一种新的数据处理技术。 1什么是数据挖掘 数据挖掘(Data Mining)，也叫数据开采，数据采掘等，是按照既定的业务目标从海量数据中提取出潜在、有效并能被人理解的模式的高级处理过程。在较浅的层次上，它利用现有数据库管理系统的查询、检索及报表功能，与多维分析、统计分析方法相结合，进行联机分析处理，从而得出可供决策参考的统计分析数据。在深层次上，则从数据库中发现前所未有的、隐含的知识。OLAF'的出现早于数据挖掘，它们都是从数据库中抽取有用信息的方法，就决策支持的需要而言两者是相辅相成的。OLAP可以看作一种广义的数据挖掘方法，它旨在简化和支持联机分析，而数据挖掘的目的是便这一过程尽可能自动化。数据挖掘基于的数据库类型主要有：关系型数据库、面向对象数据库、事务数据库、演绎数据库、时态数据库、多媒体数据库、主动数据库、空间数据库、遗留数据库、异质数据库、文本型、Internet信息库以及新兴的数据仓库(Data Warehouse)等。而挖掘后获得的知识包括关联规则、特征规则、区分规则、分类规则、总结规则、偏差规则、聚类规则、模式分析及趋势分析等。 1.1 数据挖掘的任务 数据挖掘的两个高层目标是预测和描述。前者指用一些变量或数据库的若干已知字段预测其它感兴趣的变量或字段的未知的或未来的值；后者指找到描述数据的可理解模式。根据发现知识的不同，我们可以将数据挖掘任务归纳为以下几类： (1)特征规则。从与学习任务相关的一组数据中提取出关于这些数据的特征式，这些特征式表达了该数据集的总体特征．例如可以从某种疾病的症状中提取
漏洞挖掘技术研究 【摘要】漏洞挖掘是网络攻防技术的重要组成部分。首先介绍了漏洞的概念、漏洞的成因、漏洞的主要分类以及漏洞挖掘一般流程，然后研究了补丁分析和测试技术两种漏洞挖掘方法，重点对二进制补丁比较、白盒测试、黑盒测试等具体漏洞挖掘技术进行了分析，比较了各种漏洞挖掘技术的优缺点。 【关键词】漏洞；漏洞挖掘；测试技术 1引言 目前，无论从国家层面的网络安全战略还是社会层面的信息安全防护，安全漏洞已成为信息对抗双方博弈的核心问题之一。然而，针对具体安全漏洞，安全研究者往往进行大量的重复工作，研究效率和效果上也有相当的局限性。因此，应该加大对漏洞挖掘的研究力度，以便对各类漏洞采取更为主动合理的处理方式。 2漏洞的概念及分类 2.1什么是漏洞 任何系统和软件的运行都会假定一个安全域，这个安全域是由安全策略规定的，在该域内的任何操作都是安全的、可控的，一旦超出了该域或者违反了安全策略，系统或者软
件的运行就是不可控的、未知的。漏洞是由安全域切换到非安全域的触发点，即在计算机安全领域因设计不周而导致的系统或软件存在的缺陷，从而可以使攻击者在非授权的情况下访问或者破坏系统。漏洞是静态的、被动的，但是可触发的。 2.2漏洞的分类 每一个漏洞都有多个特征，而根据不同的特征可以将漏洞按照不同的方式分类。一般情况下，漏洞信息应包括漏洞名称、漏洞成因、漏洞级别、漏洞影响、受影响的系统、漏洞解决方案、漏洞利用类型和漏洞利用方法等。本文根据漏洞的成因对漏洞进行分类，具体可分为： 缓冲区溢出错误（Buffer Overflow），未对输入缓冲区的数据进行长度和格式的验证； 输入验证错误（Input Validation Error），未对用户输入的数据进行合法性验证； 边界条件错误（Boundary Condition Error），未对边界条件进行有效性验证； 访问验证错误（Access Validation Error），访问验证存在逻辑上的错误； 意外条件错误（Exceptional Condition Error），程序逻辑未考虑意外和特例； 配置错误（Configuration Error），系统或软件的参数或
数据挖掘综述 1、产生背景 随着计算机的产生和大量数字化的存储方法的出现，我们借助计算机来收集和分类各种数据资料，但是不同存储结构存放的大量数据集合很快被淹没，便导致了结构化数据库以及DBMS的产生。 但是随着信息时代的到来，信息量远远超过了我们所能处理的范围，从商业交易数据、科学资料到卫星图片、文本报告和军事情报，以及生活中各种信息，这也就是“数据爆炸但知识贫乏”的网络时代，面对巨大的数据资料，出现了新的需求，希望能够更好的利用这些数据，进行更高层次的分析，从这些巨大的数据中提取出对我们有意义的数据，这就是知识发现（KDD,Knowledge Discovery in Databases），数据挖掘应运而生。 2、数据库系统技术的演变 1）20世纪60年代和更早 这个时期是数据收集和数据库创建的过程，原始文件的处理2）20世纪70年代---80年代初期 有层次性数据库、网状数据库、关系数据库系统 3）20世纪80年代中期—现在 高级数据库系统，可以应用在空间、时间的、多媒体的、主动的、流的和传感器的、科学的和工程的。 4）20世纪80年代后期—现在
高级数据分析：数据仓库和数据挖掘 5）20世纪90年代—现在 基于web的数据库，与信息检索和数据信息的集成6）现在---将来 新一代的集成数据域信息系统 3、数据挖掘概念 数据挖掘（Data Mining），就是从大量数据中获取有效的、新颖的、潜在的有用的，最终可以理解的模式的非平凡过程。数据挖掘，又称为数据库中知识发现（KDD,Knowledge Discovery in Databases），也有人把数据挖掘作为数据库中知识发现过程的一个基本步骤。 数据挖掘基于的数据库类型主要有：关系型数据库、面向对象数据库、事务数据库、演绎数据库、时态数据库、多媒体数据库、主动数据库、空间数据库、遗留数据库、异质数据库、文本型、Internet信息库以及新兴的数据仓库等。 4、数据挖掘特点和任务 4.1数据挖掘具有以下几个特点： 1）处理的数据规模十分庞大，达到GB,TB数量级，甚至更大2）查询一般是决策制定者（用户）提出的即时随机查询，往往不能形成精确的查询要求，需要靠系统本身寻找其可能感兴 趣的东西。 3）在一些应用（如商业投资等）中，由于数据变化迅速，因此
2011年2月Journal on Communications February 2011 第32卷第2期通信学报V ol.32No.2 信息系统漏洞挖掘技术体系研究 张友春1,魏强2,刘增良3,周颖4 (1. 北京科技大学信息工程学院,北京 100083;2. 解放军信息工程大学信息工程学院,河南郑州 450002; 3. 解放军国防大学信指部,北京 100091; 4. 北京市海淀区环境保护局,北京 100089 摘要:首先讨论漏洞挖掘相关的术语定义,分析漏洞挖掘目标对象特点,研究漏洞挖掘的一般流程,然后利用层次结构模型方法,创造性地提出了5层漏洞挖掘技术体系架构模型,并详细描述基础层、抽象层、挖掘层、分析层和利用层的内容、作用及其相关支撑技术。最后指出漏洞挖掘技术的发展方向是兼顾各层、协同发展。 关键词:信息系统;漏洞挖掘;目标对象;体系架构;支撑性技术 中图分类号 TP393.08 文献标识码:A 文章编号:1000-436X(201102-0042-06 Architecture of vulnerability discovery technique for information systems ZHANG You-chun1, WEI Qiang2, LIU Zeng-liang3, ZHOU Ying4 (1. College of Information Engineering, University of Science and Technology, Beijing 100083, China; 2. College of Information Engineering, PLA Information Engineering University, Zhengzhou 450002, China;
南京工程学院 实验报告 题目漏洞扫描 课程名称网络与信息安全技术 院（系、部、中心）康尼学院 专业网络工程 班级 K网络工程111 学生姓名赵志鹏 学号 240111638 设计地点信息楼A216 指导教师毛云贵 实验时间 2014年3月13日 实验成绩
漏洞扫描 一：实验目的 1.熟悉X-Scan工具的使用方法 2.熟悉FTPScan工具的使用方法 3.会使用工具查找主机漏洞 4.学会对弱口令的利用 5.了解开启主机默认共享以及在命令提示下开启服务的方法 6.通过实验了解如何提高主机的安全性 二：实验环境 Vmware虚拟机，网络教学系统 三：实验原理 一．漏洞扫描简介 漏洞扫描是一种网络安全扫描技术，它基于局域网或Internet远程检测目标网络或主机安全性。通过漏洞扫描，系统管理员能够发现所维护的Web 服务器的各种TCP/IP端口的分配、开放的服务、Web服务软件版本和这些服务及软件呈现在Internet上的安全漏洞。漏洞扫描技术采用积极的、非破坏性的办法来检验系统是否含有安全漏洞。网络安全扫描技术与防火墙、安全监控系统互相配合使用，能够为网络提供很高的安全性。 漏洞扫描分为利用漏洞库的漏洞扫描和利用模拟攻击的漏洞扫描。 利用漏洞库的漏洞扫描包括：CGI漏洞扫描、POP3漏洞扫描、FTP漏洞扫描、SSH漏洞扫描和HTTP漏洞扫描等。 利用模拟攻击的漏洞扫描包括：Unicode遍历目录漏洞探测、FTP弱口令探测、OPENRelay邮件转发漏洞探测等。 二．漏洞扫描的实现方法 （1）漏洞库匹配法 基于漏洞库的漏洞扫描，通过采用漏洞规则匹配技术完成扫描。漏洞库是通过以下途径获取的：安全专家对网络系统的测试、黑客攻击案例的分析以及系统管理员对网络系统安全配置的实际经验。漏洞库信息的完整性和有效性决定了漏洞扫描系统的功能，漏洞库应定期修订和更新。 （2）插件技术（功能模块技术） 插件是由脚本语言编写的子程序，扫描程序可以通过调用它来执行漏洞扫描，检测系统中存在的漏洞。插件编写规范化后，用户可以自定义新插件来扩充漏洞扫描软件的功能。这种技术使漏洞扫描软件的升级维护变得相对简单。 三．弱口令 通常帐户包含用户名及对应的口令。当口令使用简单的数字和字母组合时，非常容易被破解，我们称这种口令为弱口令。X-Scan工具中涵盖了很多种弱口令扫描方法，包括FTP、SMTP、SSH、POP3、IMAP、TELNET、WWW等。 为消除弱口令产生的安全隐患，我们需要设置复杂的密码，并养成定期更换密码的良好习惯。复杂的密码包含数字，字母（大写或小写），特殊字符等。例如：123$%^jlcss2008或123$%^JLCSS2008。
2008年第6期牡丹江教育学院学报N o．6，2008 (总第112期)J ouR N A L oF M uD A N J I A N G co L L E G EoF E D ucA T I oN s e“aI N o．112 数据挖掘技术综述 高翔侯小静 (洛阳理工学院，河南洛阳471003) [摘要]在对数据仓库与数据挖掘的概念及数据挖掘的功用与分类进行介绍的基础上．阐述了串行关联规则算法和并行关联算法的目标与内容．详细分析了A pr i or i算法、神经网络、遗传算法等数据挖掘算法。 [关键词]数据挖掘f关联规则I apr i ori算法；神经网络l遗传算法 [中图分类号]T P31[文献标识码]A[文章编号]1009—2323(2008)06一0109一02 数据挖掘是信息技术自然进化的结果。自上世纪六十年代以来，信息技术已经从原始的文件处理发展到复杂的、功能强大的数据库系统。而数据仓库是近年来数据库研究领域中迅速发展起来的新技术。利用数据仓库技术可以将现实中的海量数据存放在异构的数据库中。 为了从数据中有效地提取和发现知识．需要对数据仓库中存储的数据进行“挖掘”。数据挖掘是从大量数据中抽取出未知的、有价值的模式或规律等知识的复杂过程。数据挖掘技术由数据清理、数据集成、数据选择、数据交换、数据挖掘、模式评估六个步骤组成。通过这六个步骤的提纯与处理向用户提供有价值的信息。数据挖掘提供的数据模式有概念描述、关联规则、分类与预测、聚类分析、异类分析、演化分析等六类。 1．数据仓库与数据挖掘 数据仓库系统在数据分析和决策方面为用户和“知识工人”提供服务。这种系统与传统的联机事务处理(0L TP)系统不同．它可以用不同的格式组织和提供数据，以满足不同用户的形形色色需求．这种系统称为联机分析处理(oL A P)系统。 数据仓库和oL A P工具均基于多维数据模型．这种模型可以以星形模式、雪花模式或事实星座模式等形式存在。星形模式是最常见的．其数据仓库包括一个大的、饱含大批数据、不含冗余的中心表(实事表)和一组附属表(维表)。在星形模式中．每维只用一个表表示，每个表包含一组属性；雪花模式是星形模式的变种，其中某些维表是规范化的，故而把数据进一步分解到附加的表中。雪花模式和星形模式的主要不同在于：雪花模式的维表可能是规范化形式．便于维护并节省存储空间，但是由于执行查询操作需要更多的连接操作，故而雪花结构可能降低浏览的性能导致系统性能也会受到一定影响。事实星座模式可以看作是多个星形模式的集合．需要多个事实表共享维表。 从结构的角度看．数据仓库模型分为企业仓库、数据集市和虚拟仓库。数据仓库和数据集市已在广泛的应用领域使用．从最初的应用于产生报告和回答预先定义的查询发展到现在已经用于知识发现，并使用数据挖掘工具进行决策。在这种意义下．数据仓库工具可以分为存取与检索工具、数据库报表工具、数据分析工具和数据挖掘工具。在此基础上信息处理与分析和数据挖掘的概念基本分离。数据挖掘不限于分析数据仓库中的数据．也可以分析事务的、文本的、空间的和多媒体数据。 数据挖掘所能发现的知识有如下几种：广义型知识，即反映同类事务共同性质的知识；特征型知识．即反映事务各方面的特征的知识；差异型知识。即反映不同事务之间属性差别的知识；关联型知识。即反映事务之间依赖或关联的知识；预测型知识，它根据历史和当前的数据推测未来数据l 偏离型知识，用于揭示事务偏离常规的异常现象。这些知识都可以在不同的概念层次上被发现，随着概念的提升．从微观到宏观．以满足不同用户、不同决策的需要。至于数据挖掘的工具和方法常用的有分类、聚类、减维、模式识别、可视化、决策树、遗传算法、不确定性处理等。 从l EE E t r ans ac t i or L s o n kno w I edge and da t a engi neer．i ng以及A C M SI G M O D I nt l．C onf．M a na gem e nt of D a t a 近年来的文献中可以看出．除了不断地提出一些新的挖掘技术外。大量的有关D M的文章集中讨论了如何提高D M 系统，尤其是关联规则挖掘的性能，这包括算法的有效性、可伸缩性和并行处理。另外，复杂数据类型挖掘已经是一个发展迅速的热点研究领域。复杂数据挖掘包括复杂数据对象的多维分析．空间数据挖掘，时序数据和其他与时间相关的数据挖掘、文本挖掘以及w eb挖掘等。 2．数据挖掘的关联规则算法研究 2．1串行关联规则算法 数据挖掘的一个重要任务是从事务数据库中发现关联规则。其中每个事务都包括一个项目集．由于事务的数据库通常都饱含大量不同的项目，因此候选集的总数很大，所以当前的关联规则发现技术都是通过要求满足一个最小支持度以尽量减小搜索空间。 A pr i or．算法是一种最有影响的挖掘布尔关联规则频繁项集的算法。它将发现关联规则的过程分为两个步骤t 第一步．通过迭代检索出事务数据库中的所有频繁项集，即支持度不低于用户设定的阈值的候选集；第二步．利用频繁项集构造出满足用户最小信任度的规则t对于每个频度项目集L，产生它的所有非空子集S，对L的每个非空子集S，如果满足兰器茜乏渊≥mI-Lco挖，'贝Ⅱ输出相关规则s 一(L—S)。图l给出了A pr i or i算法及其相关过程的伪代码。由图所述，A pr i or Lgen完成两个动作：连接和剪枝。在连接部分．L I一-与LI一，连接可能的候选．剪枝部分使用A pr i or i性质删除具有非频繁子集的候选集．非频繁子集的测试在过程has-i nf requer屯s ubs et中． 1．Fl={f r equent l一i t em se t s}I 2．F0r(k=2}R一1≠口Ik+十){ 3．C k=apri ot gen(Fk一1) [收稿日期]200—03一04 [作者简介]高翔(198l一)。女．河南洛阳人．洛阳理工学院助教．中国人民大学软件与理论专业在读硕士研究向为挖掘；侯小静(1975一)，女，河南洛阳人．洛阳理工学院讲师，硕士，研究向为计算机应用． 109
数据挖掘技术综述 随着计算机、网络技术的发展，获得有关资料非常简单易行。但对数量大、涉及面宽的数据，传统统计方法无法完成这类数据的分析。因此，一种智能化的、综合应用各种统计分析、数据库、智能语言来分析庞大数据资料的“数据挖掘” (Date Mining )技术应运而生。本文主要介绍了数据挖掘的基本概念以及数据挖掘的方法；本文对数据 掘的应用及其发展前景也进行了描述。 随着信息技术迅速发展，数据库的规模不断扩大，从而产生了大量的数据。激增的数据背后隐藏着许多重要的信息，人们希望能够对其行更高层次的分析，以便更好地利用这些数据。为给决策者提供一个统一的全局视角，在许多领域建立了数据仓库。但大量的数据往往使人们无法辨别隐藏在其中的能对决策提供支持的信息，而传统的查询、报表工具无法满足挖掘这些信息的需求。因此，需要一种新的数据分析技术处理大量数据，并从中抽取有价值的潜在知识，数据挖掘 (Data Mining )技术由此应运而生。数据挖掘技术也正是伴随着数据仓库技术的发展而逐步完善起来的数据挖掘是指从数据集合中自动抽取隐藏在数据中的那些有用信息的非平凡过程，这些信息的表现形式为：规则、概念、规律及模式等。它可帮助决策者分析历史数据及当前数据，并从中发现隐藏的关系和模式，进而预测未来可能发生的行为。数据挖掘的过程也叫知识发现的过程，它是一门涉及面很广的交叉性新兴学科，涉及到数据库、人工智能、数理统计、可视化、并行计算等领域。数据挖掘是一种新的信息处理技术，其主要特点是
对数据 库中的大量数据进行抽取、转换、分析和其他模型化处理，并从中提取辅助决策的关键性数据。数据挖掘是KDD( Knowledge Discovery in Database )中的重要技术，它并不是用规范的数据库查询语言(如SQL进行查询，而是对查询的内容进行模式的总结和内在规律的搜索。传统的查询和报表处理只是得到事件发生的结果，并没有深入研究发生的原因，而数据挖掘则主要了解发生的原因，并且以一定的置信度对未来进行预测，用来为决策行为提供有利的支持。 数据挖掘的研究融合了多个不同学科领域的技术与成果，使得目前的数据挖掘方法表现出多种多样的形式。从统计分析类的角度来说，统计分析技术中使用的数据挖掘模型有线形分析和非线形分析、回归分析、逻辑回归分析、单变量分析、多变量分析、时间序列分析、最近序列分析、最近邻算法和聚类分析等方法。利用这些技术可以检查那些异常形式的数据，然后，利用各种统计模型和数学模型解释这些数据，解释隐藏在这些数据背后的市场规律和商业机会。知识发现类数据挖掘技术是一种与统计分析类数据挖掘技术完全不同的挖掘技术，包括人工神经元网络、支持向量机、决策树、遗传算法、粗糙集、规则发现和关联顺序等。 传统的统计学为数据挖掘提供了许多判别和回归分析方法，常用的有贝叶斯推理、回归分析、方差分析等技术、贝叶斯推理是在知道新的信息后修正数据集概率分布的基本工具，处理数据挖掘中的分类问题，回归分析用来找到一个输入变量和输出变量关系的最佳模型，在回归分析中有用来描述一个变量的变化趋势和别的变量值的关系的线性回归，还有