数据挖掘和恶意软件检测
黄宗文，16721539
2016-11-20
摘要: 由于计算机网络的发展以及恶意程序编码水平的提高，传统的恶意程序检测技术的不足已经越来越明显，很难满足人们对信息安全的需求。基于行为的恶意程序检测技术是利用恶意程序的特有行为特征来检测程序恶意性的方法，它能很好地检测未知恶意程序。这种恶意程序检测技术可以很好地适应恶意程序逐渐呈现的新特点，无疑具有巨大的优越性和广阔的发展空间，应该在今后相当长时间内代表着恶意程序检测技术的发展趋势。本文介绍了基于静态分析的恶意软件检测，和基于动态行为分析的恶意软件检测，并各自介绍了它们的优劣。
关键字：数据挖掘；恶意软件检测；特征提取；静态分析；动态行为分析；分类
Data mining and malware detection
Abstract:With the development of computer network and improvement of malware programming, traditional malware detection methods seem obviously inadequate, failing to satisfy the need of people for information security. The malware detection based on behavior is a method which achieves detection through making use of the peculiar behavior features of malware. It does well in detecting the unknown malware. This malware detection technique could be adjusted to the emerging new features of malware, which has great superiority and broad space for development undoubtedly. Consequently, it could be the development tendency of malware detection in a long time. This article describes malware detection based of static analysis ,and malware detection based on dynamic behavior analysis ,and describes their pros and cons.
Key words:Data mining；Malware detection ; Feature extraction ;Static analysis ;Dynamic behavior analysis ;Classification
随着社会信息化程度的不断提高，工业、国防、教育、金融等社会各行各业的信息越来越依赖于计算机和互联网。然而频繁发生的网络安全事件给人们敲了安全警钟。计算机与网络安全问题正成为人类信息化所面临的巨大挑战，直接威胁着个人、企业和国家的利益。而目前计算机与网络安全的主要威胁隐患之一就是恶意程序。近年来，随着编程技术的普及，恶意程序制作的门槛逐步降低，恶意程序的制作呈现机械化、模块化和专业化特征。在恶意程序灰色产业链带来的巨大利益的驱使下，恶意程序产业正朝着规模化发展。恶意程序的爆炸式增长，在使企业及用户遭受到巨大的经济损失的同时，也给恶意程序分析人员带来了巨大的工作压力。传统的恶意程序分析技术已经远远不能满足新的安全需求。一方面，基于特征码的恶意程序分析技术，需要对每一个恶意程序的特征码进行提取，对于目前每天有成千上万的恶意程序产生的情况，提取特征码的工作量是巨大的且效率不高。另一方面，用户端需要定期的升级最新的病毒库，随着新恶意程序的爆炸式增长，病毒特征库的容量也要大幅增长，长此以往会拖累检测分析系统的速度。因此如何对新的恶意程序样本快速地进行检测和分类，已成为越来越多的专业计算机安全厂商所关注的焦点。
1恶意软件和检测的现状
近年来，随着编程技术的普及，恶意程序制作的门槛逐步降低，恶意程序的制作呈现机械化、模块化和专业化特征。在恶意程序灰色产业链带来的巨大利益的驱使下，恶意程序产业正朝着规模化发展。从2008 年开始恶意程序大规模爆发，每年新增木马病毒等恶意程序数量级从数十万级跃升至千万级。
图 1 2003年至2010年间恶意软件的数量增加
Fig 1 Increased volume of malware from 2003 to 2010
自从恶意程序出现以来，恶意程序的检测技术一直是计算机安全领域关注的焦点。根据恶意程序分析工具技术模块不同，恶意程序检测方法通常分为静态和动态方法。在静态方法领域，2001 年，在文件二进制特征检测的基础上首次提出了基于数据挖掘的恶意程序检测方法[1]；之后，借鉴入侵检测、恶意程序检测与分类系统设计与实现中的常用方法，越来越多的研究集中在利用数据挖掘方法对恶意程序二进制文件信息进行学习建模，然后将学习到的模型用于未知恶意程序的检测。MihaiChristodorescu在恶意程序静态分析[2]方法上提出了使用有限状态机对恶意程序进行描述，并提取了一系列用于恶意程序匹配的状态转换图，取得了良好的效果。但是随着恶意程序制作人员的技术水平不断提高，恶意程序的加密、加壳、压缩等多态及变形技术的使用使得基于静态分析的方法变得越来越困难。随后Moser指出了基于恶意程序静态分析技术的缺陷，提出了一种基于行为特征的分析检测方法。因为恶意程序为了实现其恶意功能，在程序执行过程中总是会存在一系列异常的恶意行为。
2004 年，J.Xu等人在一次国际会议上的会议论文[3]中提出应用程序的API 调用序列大致反映了程序行为。因为应用程序通过API 调用获取系统服务和访问系统资源，所以分析API 调用可以间接地反映程序的行为。J.Xu等人基于此做了大量行为分析实验后提出了一种新的恶意程序检测方法：通过对比已知恶意程序和未知可疑程序的API 调用序列，并对两类API 调用序列做相似化度量分析，从而确定未知可疑程序的恶意程度。之后，R.Koike等人利用上述方法开发了一套可以自动检测未知恶意程序行为的系统[4]。由德国的曼海姆大学分布式系统实验室开发的CWSandbox是恶意程序行为检测技术发展过程中一个具有里程碑意义的产品，它不仅具有行为捕获能力，而且可以生成检测报告。CWSandbox引入了虚拟机技术，让可疑程序在虚拟环境中运行，从而避免了可疑程序可能造成的潜在危害。并且它采用了API hook 技术提取程序运行过程中API调用序列。CWSandBox论文有一个重要贡献，它清楚的用实验比较了用户态和内核态API hook 的优缺点。内核SSDT hook具有很高的检测率，不易被反检测技术侦测到；用户态hook 实现简单，具有较强的通用性和稳定性。CWSandBox采用了用户态inline hook 的方式的来采集程序行为特征。CWSandBox实验得知绝大多数恶意程序为了实现大量传播都是直接调用的标准Windows API，因此采用用后台inline hook的方式不会影响系统检测率。Anubis是一款基于开源模拟器QEMU 的优秀的恶意程序行为监控系统，TTAnalyze是其前身。该系统采用了与CWSandbox截然不同的技术原理，在QEMU 的虚拟机监控层拦截API 调用。该系统有全自动化，无需修改被监控程序源代码，使用全系统模拟器难以被恶意程序分检测等优点。但是Anubis 和CWSandBox仅仅是根据系统采集到的API数据生成程序行为报告提供给分析人员参考，并没有对采集到的行为进行深度挖掘。2009 年胡永涛等人发表的《Win32 环境下恶意代码行为分析实验及思考》[5]文章中，全面总结了Windows平台上35种恶意行为，采用Ring3级debug的方式来hook系统API，使用支持向量机（SVM）算法做智能分析，实验检测率可达95%以上。单纯依靠主动防御的商业安全软
件的只能达到56.18%，可见采用智能算法对程序行为进行分析可以有效的提高检测率。
2恶意软件
恶意软件是指在目标计算机上运行的，执行一系列攻击者蓄意安排的攻击操作，可以破坏程序和数据完整性、可用性和计算系统机密性的程序代码和指令集合，传统恶意软件包括木马、病毒、蠕虫和后门程序等。
2.1病毒
计算机病毒的理论早在 1949 年被提出。最早的科学定义出现在Frederick Cohen 的博士论文“计算机病毒实验”中，他将计算机病毒定义为一种形式化的数学模型。简单的说，计算机病毒就是一种可以通过修改别的程序，将自身复制进其中，使其感染，以达到传染目的的计算机程序[6]。计算机病毒传染的特性和生物病毒类似，因此，它被命名为“computer virus”。计算机病毒的最重要特性就是传播性[7]，它可以通过被感染文件的复制或者执行，达到不同计算机之间的传播。另外病毒还可以通过其他类型的恶意软件，如网络蠕虫，进行不同计算机，甚至不同网络之间的传播。虽然病毒的主要特征是传播性，但是它们通常都包含很多恶意代码，这些恶意代码可以在计算机上执行命令，删除或破坏文件，终止进程或者进行别的破坏活动。
2.2 木马
特洛伊木马的名字起源于古希腊传说中的特洛伊战争。它是这样的一种恶意软件：除了良性程序所具有的基本功能外，还有一些不易被发觉的破坏作用。通常它都伪装成一般的无害的程序，并欺骗用户去执行它，从而进行一些隐蔽的破坏行为，比如可以在被感染的机器上打开网络端口，使木马的创建者远程执行命令。和病毒，蠕虫不同的是，木马不会进行自我复制传播。它不需要修改或感染其他程序软件，而是安装一个独立的可执行程序[8]。最近一些报告都显示，木马已经成为最为常见的，影响最为广泛的恶意软件之一。
2.3蠕虫
蠕虫是一种能够自我复制传播，并能够通过网络连接将其自身拷贝感染到其他计算机上的程序。蠕虫进入计算机后，一旦被激活，就会像计算机病毒那样开始工作，并寻找更多的计算机来进行感染，并且利用其它被感染的计算机，不断进行扩散。除了传播之外，它还会进行一些破坏活动，对计算机植入木马程序或者执行一些分裂性或者破坏性的活动。蠕虫可以进行网络传播，借助的工具包括电子邮件，远程执行，远程登录等等。另外，它与计算机病毒有一些相似之处，都分为潜伏，传播，触发，执行几个阶段。而与其不同的就是它具备通过网络传播的能力。
2.4后门
后门是这样一种恶意软件，它允许攻击者绕过正常的系统安全防护机制，通过非授权或者不经过系统登录，就能够获取对系统的远程连接或者控制权限。攻击者在系统上安装后门程序，主要是为了控制系统，为进一步的攻击提供更加便捷的连接操作。
2.5Rootkit
Rootkit是这样一种恶意软件，它被安装在系统中，并且可以使攻击者以管理员或root权限访问系统[9]。由于管理员权限可以使用操作系统中的任何功能和服务，因此它可以使攻击者完全控制整个系统。并且rootkit对主机的访问或修改操作都以极为隐蔽的方式进行。Rootkit能够通过修改操作系统来隐藏自己，也可以隐藏自己对操作系统进行的修改，或是擦除自己访问系统留下的痕迹。
用户无法发现rootkit的存在，也不知道系统被访问或修改过了。根据重启操作系统后是否还能继续工作进行分类，rootkit分为持续的rootkit和基于内存的rootkit。前者在系统每一次启动都会被激活；后者没有持续性，系统重启后就会失效。根据执行模式，rootkit又可被分为用户模式rootkit 和内核模式rootkit。用户模式的rootkit只能截获应用程序API，而内核模式的rootkit可以截获内核模式API，能更好的隐藏自己。
2.6僵尸网络
Bots的名字起源于robot。一旦bots感染了某一台计算机，这台计算机就被称为网络僵尸。Bots 在被感染计算机上将进行潜伏，而不做任何动作，直到它收到Bots操纵者发出的某种命令。Bots操纵者是同个僵尸网络中，所有僵尸都连接到一个远程的web服务器，如FTP服务器或IRC服务器，它可以对这些网络僵尸发出远程指令。还有一些僵尸网络采用P-2-P的方式工作。僵尸网络往往被用于发起大规模的DDoS攻击，散发垃圾邮件，或者直接盗取被感染机器的敏感信息。商用或军用的僵尸网络会产生更大的威胁，因此出现了黑客出租bots的盈利方式。当前僵尸网络已经成为网络安全领域最具挑战性的问题之一。由于它数量巨大而且分布广泛而无序，给监控和防护带来了很大难度。
2.7间谍软件、广告软件
Spyware[10]和Adware是这样一种恶意软件，它强行在计算机上安装，而这种安装往往不是计算机使用者所同意的。他们可以在计算机上强制显示广告，劫持浏览器session，或把计算机使用者所浏览的页面强制重定位到其他网站，这些重定向的网站也许含有网页木马，它会强制下载并安装这些木马。它们还可以监控用户行为，盗取用户信息，然后再把这些信息发送给恶意软件的制作者等等。
3恶意软件检测
恶意软件的检测是恶意软件研究领域的重点问题，在恶意检测之前进行的行为分析只是一个过程和手段，其目的是为了使恶意软件判定的效果更好。在行为分析中，我们已经从恶意软件中提取中信息，并对它建模。在判定过程中，通常的做法是进行特征模型的匹配。比如，对已有的恶意软件集合建立特征库。在对未知软件进行行为分析后，将分析到的特征模型和特征库中的特征模型一一匹配，如果匹配成功，则判定此软件为恶意软件。
图 2 恶意软件检测流程
Fig 2 Malware detection process
3.1基于静态特征的检测
传统杀毒软件进行病毒检测的过程。首先在行为分析时分析程序的二进制序列或者内存镜像，并从中提取特征码，它往往是一段特定的恶意二进制序列，这个恶意序列很少在非恶意程序中出现。通常，这个特定的序列是由反病毒专家人工提取的。也使用一些在静态分析时自动提取特征码的方法进行提取。在进行恶意判定时，我们用这个特定的二进制序列和已有的二进制序列特征库进行串匹配或者正则表达式匹配，如果匹配成功，则判定此程序为恶意程序，否则判定为非恶意程序。
图 3 传统恶意软件检测流程
Fig 3 Traditional malware detection process
样本分为恶意软件样本和正常文件样本，如果应用在反病毒产品中，应获取足够多的具有代表性的训练样本，考虑到只是验证方法的可行性，我们从经过杀毒软件检测无病毒的XP系统windows 目录和Program Files目下获取了正常PE文件，从VX Heavens Virus网站下载了恶意软件。
静态的信息是指从程序的源代码，程序的二进制执行文件，或者是程序的反汇编码中获取程序信息。静态信息获取的缺点在于静态信息通常是冗余的。恶意软件制作者为了增加恶意软件检测的难度，会在程序源代码中加入很多垃圾信息，使其中的有效信息提取变得更加困难，所以我们在特征提取的时候，我们使用决策树算法，把特征选择算法本身作为组成部分嵌入到学习算法中。去掉冗余的特征，留下比较有代表性的PE header20个特征和DLL30个特征。
表 1 PE标题的排名最靠前的20个特征的列表
Tab 1 List of the top ranked 20 features of the PE header
表 2 通过调用频率列出排名最靠前的30个DLL 名称 Tab 2 List of the top ranked 30 DLL names by calling frequency
我们使用的数据集是从VX Heavens Virus 获得的236756恶意软件和10592个windows 良性可执行软件组成共247348个软件的数据集。采用SVM ，J48，NB 分类器，10倍交叉验证所得的结果。
表 3 各单项及组合特征的系统性能列表 Tab 3 List of the system performance by individual and combined features
DR(Detection Rate)=
TP 100%TP FN
?+ FPR(False Positive Rate)=FP 100%TN FP
?+ OA(Overall Accuracy)=TP 100%TN TP TN FP FN +?+++ TP 真正类，FP 假正类，TN 真负类，FN 假负类。
表格中显示的结果，决策树分类器效果最佳。
3.2基于动态行为特征的检测
作者在行为分析[11]
时采用的是动态的信息捕获，在运行程序时捕获程序调用的Windows API 函数序列，并定义了一个35维的行为特征向量模型。从程序调用的API 序列中提取出35维的向量值。因此一个恶意程序被抽象为35维的特征向量。在进行恶意判定时，作者首先通过大量的恶意样本，学习出了恶意软件标准向量值，然后使用贝叶斯方法进行恶意判定。
图 4 基于行为分析的恶意软件检测流程
Fig 4 Malware detection process based on behavior analysis
图 5 基于软件虚拟化的行为分析系统架构
Fig 5 Behavioral Analysis System Architecture Based on Software Virtualization
动态的程序信息获取[12]是指在程序运行时，捕获程序的运行状态所获得的程序信息。这些运行状态包括程序的CPU 执行指令序列，系统调用（system call），应用程序接口（API），或是抽象度更高的系统服务等。和静态分析一样，动态的信息获取也有其优缺点。首先，动态信息获取比静态信息获取冗余度更低，所有的信息都是我们实时捕获的，因此它所执行的指令都是有效的。哪怕是一个无限循环，我们也认为是该程序的行为。而且，我们可以实时捕获程序的系统调用，API 等信息，它们比静态的汇编码具有更高的系统抽象度。另外，由于程序运行时必须自行解壳解密，因此动态信息获取不受加壳加密的影响，而且一些指令级的变形技术对系统抽象度更高的系统调用或是API 是无效的，所以它受变形技术的影响较小。
但是，动态信息是不完整的，程序实时的信息受到系统版本，时间，系统状态等诸多因素的影响，因此我们捕获的动态信息很可能只是程序源代码所要表现的行为的一部分，甚至是不正确的。比如，我们利用沙盒跟踪某恶意软件，希望能够知道该恶意软件在运行中做了什么。如果恶意软件具有反调试或反跟踪功能，一旦发觉到自己被运行在沙盒中，便表现出非恶意的行为，这样动态分析的目的就无法达到了。很多反跟踪，反调试手段都可以使恶意软件检测自身是否处在被调试状态或者运行在沙盒环境里。我们介绍一些动态跟踪方法，并会讨论针对这种方法的反跟踪反调试技术。
图 6检测恶意可执行文件
Fig 6 Detecting malicious executables
表 4提取的特征的平均值。每行中的粗体值突出显示有趣的离群值。
Tab 4 Mean values of the extracted features. The bold values in every row highlight interesting outliers.
表 5用于检测恶意可执行文件的AUC。每列中的粗体条目表示最佳结果。
Tab 5 AUCs for detecting the malicious executables. The bold entries in each column represent the best results.
3.3数据挖掘和恶意软件检测
恶意软件检测，主要是为了区分良性软件和恶意软件。所以是一个二分类问题，几乎所有有关分类的数据挖掘技术都可以使用。但在发现病毒特性的时候，又用到了聚类算法。常用分类算法：贝叶斯分类器，决策树，支持向量机，神经网络，k-近邻常用聚类算法：k-均值，k-中心点等等。
4结束语
本文介绍了数据挖掘技术在恶意软件中的应用的，重点介绍了两个实例，一个是基于静态特征的检测，一个是基于动态行为特征的检测。动态检测，对于新型恶意软件的检测好于静态检测，但是静态检测对于已知恶意软件检测效率较高。恶意软件也在不断发展，针对静态检测的加密，多态，变形，冗余，针对动态检测的反跟踪，反调试。可见恶意软件检测任重道远，我们应该结合静态，动态分析的优点，找到更好的检测方法。
参考文献：
[[1]]Matthew G. Schultz，Eleazar Eskin，Erez Zadok．Data Mining Methods for Detection of New Malicious
Executables[C]．IEEE Computer Society，2001：38-49．
[[2]]Usukhbayar Baldangombo,Nyamjav Jambaljav. A Static Malware Detection System Using Data Mining
Methods[J].International Journal of Artificial Intelligence & Applications,V ol.4,No.4,July 2013.
[[3]]J.Y.Xu，A.H.Sung，P.Chavez，and S.Mukkamala．Polymorphic Malicious Executable Scanner by API Sequence
Analysis[J]．Fourth InternationalConference on Hybrid Intelligent Systems，2004：42-45．
[[4]]R.Koike，N.Nakaya，and Y.Koi．Development of System for the Automatic Generation of Unknown Virus Extermination
Software[J]．in International Symposium on Applications and the Internet，2007：84-88．
[[5]]胡永涛，姚静晶，王国丰．Win32环境下恶意代码行为分析实验及思考[C]．第六届中国信息与通信安全学术会议，2009．
[[6]]P. Szor, The Art of Computer Virus Research and Defense[M]. Addison Wesly for Symantec Press, 2005
[[7]]王晓勇.计算机恶意代码传播及防御技术研究[D].西南大学，2007年5月.
[[8]]R.A.Grimes, Malicious mobile code: virus protection for Windows[M]. Sebastop ol, CA, USA: O’Reilly &Associates, Inc., 2001.
[[9]]双世勇.Windows Rootkit 检测方法研究[D].解放军信息工程大学，2005年4月.
[[10]]雷程炜.间谍软件的隐藏机制及其检测技术[D].电子科技大学，2007年4月.
[[11]]李剑.恶意软件行为分析及变种检测技术研究[D].杭州电子科技大学，2009年11月.
[[12]]M.Zubair Shafiq,S.Momina Tabish,Fauzan Mirza,Muddassar Farooq.PE-Miner:Realtime Mining of ‘Structural
Information’ to Detect Zero-Day Malicious Portable Executables[J].Information Security Research Group,5th February,2009.
恶意代码及其检测技术 1.恶意代码概述 1.1定义 1.2类型 按照恶意代码的运行特点，可以将其分为两类： 需要宿主的程序和独立运行的程序。前者实际上是程序片段，他们不能脱离某些特定的应用程序或系统环境而独立存在；而独立程序是完整的程序，操作系统能够调度和运行他们；按照恶意代码的传播特点，还可以把恶意程序分成不能自我复制和能够自我复制的两类。不能自我复制的是程序片段，当调用主程序完成特定功能时，就会激活它们；能够自我复制的可能是程序片段（如病毒），也可能是一个独立的程序（如蠕虫）。 2.分析与检测的方法 恶意代码与其检测是一个猫捉老鼠的游戏，单从检测的角度来说。 反恶意代码的脚步总是落后于恶意代码的发展，是被动的.目前基于主机的恶意代码检测方法主要有反恶意代码软件、完整性校验法以及手动检测，基于网络的检测方法主要有基于神经网络”、基于模糊识别“等方法，本文主要讨论基于主机的检测。 2.1恶意代码分析方法 2.1.1静态分析方法 是指在不执行二进制程序的条件下进行分析，如反汇编分析，源代码分析，二进制统计分析，反编译等，属于逆向工程分析方法。 （1）静态反汇编分析，是指分析人员借助调试器来对而已代码样本进行反汇编出来的程序清单上根据汇编指令码和提示信息着手分析。
（2）静态源代码分析，在拥有二进制程序的源代码的前提下，通过分析源代码来理解程序的功能、流程、逻辑判定以及程序的企图等。 （3）反编译分析，是指经过优化的机器代码恢复到源代码形式，再对源代码进行程序执行流程的分析。 2.1.2动态分析方法 是指恶意代码执行的情况下利用程序调试工具对恶意代码实施跟踪和观察，确定恶意代码的工作过程对静态分析结果进行验证。 （1）系统调用行为分析方法 正常行为分析常被应用于异常检测之中，是指对程序的正常行为轮廓进行分析和表示，为程序建立一个安全行为库，当被监测程序的实际行为与其安全行为库中的正常行为不一致或存在一定差异时，即认为该程序中有一个异常行为，存在潜在的恶意性。 恶意行为分析则常被误用检测所采用，是通过对恶意程序的危害行为或攻击行为进行分析，从中抽取程序的恶意行为特征，以此来表示程序的恶意性。 （2）启发式扫描技术 启发式扫描技术是为了弥补被广泛应用的特征码扫面技术的局限性而提出来的.其中启发式是指“自我发现能力或运用某种方式或方法去判定事物的知识和技能”。 2.2恶意代码检测方法 2.2.1基于主机的恶意代码检测 目前基于主机的恶意代码检测技术仍然被许多的反病毒软件、恶意代码查杀软件所采用。 （1）启发法 这种方法的思想是为病毒的特征设定一个阈值，扫描器分析文件时，当文件的总权值超出了设定值，就将其看作是恶意代码.这种方法主要的技术是要准
数据挖掘是一个多学科交叉研究领域，它融合了数据库技术、人工智能、机器学习、统计学、知识工程、面向对象方法、信息检索、高性能计算以及数据可视化等最新技术的研究成果。数据挖掘是目前人工智能和数据库领域研究的热点问题，所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。数据挖掘是一种决策支持过程，高度自动化地分析企业的数据，做出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，做出正确的决策。预测分析是一种统计或数据挖掘解决方案，包含可在结构化和非结构化数据中使用以确定未来结果的算法和技术。可为预测、优化、预报和模拟等许多其他用途而部署。预测分析可帮助用户评审和权衡潜在决策的影响力。可用来分析历史模式和概率，预测未来业绩并采取预防措施。 数据挖掘的含义是广泛的，每个人有每个人不同的体会，每个人有每个人的见解。但这些体会、见解是有许多共通之处的，从而可以归纳出数据挖掘的技术定义以及商业定义：从技术角度，数据挖掘(Data Mining)就是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的但又是潜在有用的信息和知识的过程。它是涉及机器学习、模式识别、统计学、人工智能、数据库管理及数据可视化等学科的边缘学科。由于每个人的思维方式不同，这个定义可以被解读为以下几个层次：①数据源必须是真实的、大量的、含噪声的；②发现的是用户感兴趣的知识；③发现的知识要可接受、可理解、可运用；④这些知识是相对的，是有特定前提和约束条件的，在特定领域中具有实际应用价值。 预测是大数据的核心，数据挖掘之后的预测分析无疑成为开拓市场的重要环节。预测分析是一种统计或数据挖掘解决方案，包含可在结构化和非结构化数据中使用以确定未来结果的算法和技术。可为预测、优化、预报和模拟等许多其他用途而部署。预测分析和假设情况分析可帮助用户评审和权衡潜在决策的影响力。可用来分析历史模式和概率，以预测未来业绩并采取预防措施。这种级别的分析可以为规划流程提供各种信息，并对企业未来提供关键洞察。不仅可提供预测分析，使用户可以执行高级分析、发布并与更广泛的用户群交流。还可以提供
正如柏拉图所说：需要是发明之母。随着信息时代的步伐不断迈进，大量数据日积月累。我们迫切需要一种工具来满足从数据中发现知识的需求！而数据挖掘便应运而生了。正如书中所说：数据挖掘已经并且将继续在我们从数据时代大步跨入信息时代的历程中做出贡献。 1、数据挖掘 数据挖掘应当更正确的命名为：“从数据中挖掘知识”，不过后者显得过长了些。而“挖掘”一词确是生动形象的！人们把数据挖掘视为“数据中的知识发现（KDD）”的同义词，而另一些人只是把数据挖掘视为知识发现过程的一个基本步骤！ 由此而产生数据挖掘的定义：从大量数据中挖掘有趣模式和知识的过程！数据源包括数据库、数据仓库、Web、其他信息存储库或动态地流入系统的数据。作为知识发现过程，它通常包括数据清理、数据集成、数据变换、模式发现、模式评估和知识表示六个步骤。 数据挖掘处理数据之多，挖掘模式之有趣，使用技术之大量，应用范围之广泛都将会是前所未有的；而数据挖掘任务之重也一直并存。这些问题将继续激励数据挖掘的进一步研究与改进！ 2、数据分析 数据分析是指用适当的统计方法对收集来的大量第一手资料和第二手资料进行分析，以求最大化地开发数据资料的功能，发挥数据的作用。是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。 数据分析有极广泛的应用范围。典型的数据分析可能包含以下三个步： 1、探索性数据分析：当数据刚取得时，可能杂乱无章，看不出规律，通过作图、造表、用各种形式的方程拟合，计算某些特征量等手段探索规律性的可能形式，即往什么方向和用何种方式去寻找和揭示隐含在数据中的规律性。 2、模型选定分析，在探索性分析的基础上提出一类或几类可能的模型，然后通过进一步的分析从中挑选一定的模型。 3、推断分析：通常使用数理统计方法对所定模型或估计的可靠程度和精确程度作出推断。 数据分析的目的是把隐没在一大批看来杂乱无章的数据中的信息集中、萃取和提炼出来，以找出所研究对象的内在规律。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。数据分析是组织有目的地收集数据、分析数据，使之成为信息的过程。这一过程是质量管理体系的支持过程。在产品的整个寿命周期，包括从市场调研到售后服务和最终处置的各
数据清洗 1.基本概念 数据清洗从名字上也看的出就是把"脏"的"洗掉",指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。因为数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个业务系统中抽取而来而且包含历史数据，这样就避免不了有的数据是错误数据、有的数据相互之间有冲突，这些错误的或有冲突的数据显然是我们不想要的，称为"脏数据"。我们要按照一定的规则把"脏数据""洗掉"，这就是数据清洗。而数据清洗的任务是过滤那些不符合要求的数据，将过滤的结果交给业务主管部门，确认是否过滤掉还是由业务单位修正之后再进行抽取。不符合要求的数据主要是有不完整的数据、错误的数据、重复的数据三大类。数据清洗是与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。 ?残缺数据 这一类数据主要是一些应该有的信息缺失，如供应商的名称、分公司的名称、客户的区域信息缺失、业务系统中主表与明细表不能匹配等。对于这一类数据过滤出来，按缺失的内容分别写入不同Excel文件向客户提交，要求在规定的时间内补全。补全后才写入数据仓库。 折叠错误数据
这一类错误产生的原因是业务系统不够健全，在接收输入后没有进行判断直接写入后台数据库造成的，比如数值数据输成全角数字字符、字符串数据后面有一个回车操作、日期格式不正确、日期越界等。这一类数据也要分类，对于类似于全角字符、数据前后有不可见字符的问题，只能通过写SQL语句的方式找出来，然后要求客户在业务系统修正之后抽取。日期格式不正确的或者是日期越界的这一类错误会导致ETL运行失败，这一类错误需要去业务系统数据库用SQL 的方式挑出来，交给业务主管部门要求限期修正，修正之后再抽取。 折叠重复数据 对于这一类数据--特别是维表中会出现这种情况--将重复数据记录的所有字段导出来，让客户确认并整理。 数据清洗是一个反复的过程，不可能在几天内完成，只有不断的发现问题， 解决问题。对于是否过滤，是否修正一般要求客户确认，对于过滤掉的数据，写入Excel文件或者将过滤数据写入数据表，在ETL开发的初期可以每天向业务单位发送过滤数据的邮件，促使他们尽快地修正错误，同时也可以做为将来验证数据的依据。数据清洗需要注意的是不要将有用的数据过滤掉，对于每个过滤规则认真进行验证，并要用户确认。 数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结 论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实 用中，数据分析可帮助人们作出判断，以便采取适当行动。 类型 在统计学领域，有些人将数据分析划分为描述性统计分析、探索性数据分析以及验证性数据分析；其中，探索性数据分析侧重于在数据之中发现新的特征，而验证性数据分析则侧重于已有假设的
基于联合数据挖掘的网络异常检测系统的研究摘要：网络攻击日趋隐蔽和复杂化，传统的检测方法具有很大的局限性。该文提出将网络管理中故障管理和性能管理相结合，根据目前网络中可获得的丰富的数据进行联合挖掘，能够全面发现网络中存在的问题。 关键词：数据挖掘异常检测网络管理 Research on Network Anomaly Detection System Based on Alliance Data Mining Abstract：The network attacks become more and more unnoticeable and complex，which can deceive the traditional detection methods.In this paper，a method focusing on how to alliance mining according to the diverse network data is discussed，combining fault management with performance management，which can discover problems in network thoroughly. Keywords：Data Mining Anomaly Detection Network Management 随着目前网络环境越来越复杂，网络攻击形式越来越多样，如何维持网络性能的稳定成为网络管理的一个难题。现实中引起网络异常的原因有很多，典型的有：网络设备故障、网络过载、恶意的拒绝服
资源Github，kaggle Python工具库：Numpy，Pandas，Matplotlib，Scikit-Learn，tensorflow Numpy支持大量维度数组与矩阵运算，也针对数组提供大量的数学函数库 Numpy : 1.aaa = Numpy.genfromtxt(“文件路径”,delimiter = “,”,dtype = str)delimiter以指定字符分割，dtype 指定类型该函数能读取文件所以内容 aaa.dtype 返回aaa的类型 2.aaa = numpy.array([5,6,7,8]) 创建一个一维数组里面的东西都是同一个类型的 bbb = numpy.array([[1,2,3,4,5],[6,7,8,9,0],[11,22,33,44,55]]) 创建一个二维数组aaa.shape 返回数组的维度print(bbb[:,2]) 输出第二列 3.bbb = aaa.astype(int) 类型转换 4.aaa.min() 返回最小值 5.常见函数 aaa = numpy.arange(20) bbb = aaa.reshape(4,5)
numpy.arange(20) 生成0到19 aaa.reshape(4,5) 把数组转换成矩阵aaa.reshape(4,-1)自动计算列用-1 aaa.ravel()把矩阵转化成数组 bbb.ndim 返回bbb的维度 bbb.size 返回里面有多少元素 aaa = numpy.zeros((5,5)) 初始化一个全为0 的矩阵需要传进一个元组的格式默认是float aaa = numpy.ones((3,3,3),dtype = numpy.int) 需要指定dtype 为numpy.int aaa = np 随机函数aaa = numpy.random.random((3,3)) 生成三行三列 linspace 等差数列创建函数linspace(起始值，终止值，数量) 矩阵乘法： aaa = numpy.array([[1,2],[3,4]]) bbb = numpy.array([[5,6],[7,8]]) print(aaa*bbb) *是对应位置相乘 print(aaa.dot(bbb)) .dot是矩阵乘法行乘以列 print(numpy.dot(aaa,bbb)) 同上 6.矩阵常见操作
《科技信息检索与利用》课程论文 题目：恶意代码及其检测技术研究 专业、班级： 学生姓名： 学号： 指导教师： 分数: 年月日
恶意代码及其检测技术研究 摘要：互联网的开放性给人们带来了便利，也加快了恶意代码的传播，随着网 络和计算机技术的快速发展，恶意代码的种类、传播速度、感染数量和影响范围都在逐渐增强，特别是人们可以直接从网站获得恶意代码源码或通过网络交流代码。本文将从恶意代码检测方法方面、蜜罐系统以及Android平台三个方面介绍恶意代码检测技术。 关键字：恶意代码；蜜罐系统；Android平台；检测技术。 1.恶意代码概述 1.1定义 恶意代码也可以称为Malware，目前已经有许多定义。例如Ed Skoudis将Malware定义为运行在计算机上，使系统按照攻击者的意愿执行任务的一组指令。微软“计算机病毒防护指南”中奖术语“恶意软件”用作一个集合名词，指代故意在计算机系统上执行恶意任务的病毒、蠕虫和特洛伊木马。随着网络和计算机技术的快速发展，恶意代码的传播速度也已超出人们想象，特别是人们可以直接从网站获得恶意代码源码或通过网络交流代码。很多编程爱好者把自己编写的恶意代码放在网上公开讨论，发布自己的研究成果，直接推动了恶意代码编写技术发展。所以目前网络上流行的恶意代码及其变种层出不穷，攻击特点多样化。 1.2类型 按照恶意代码的运行特点，可以将其分为两类：需要宿主的程序和独立运行的程序。前者实际上是程序片段，他们不能脱离某些特定的应用程序或系统环境而独立存在；而独立程序是完整的程序，操作系统能够调度和运行他们；按照恶意代码的传播特点，还可以把恶意程序分成不能自我复制和能够自我复制的两类。不能自我复制的是程序片段，当调用主程序完成特定功能时，就会激活它们；能够自我复制的可能是程序片段（如病毒），也可能是一个独立的程序（如蠕虫）。 2.分析与检测的方法 恶意代码与其检测是一个猫捉老鼠的游戏，单从检测的角度来说。反恶意代码的脚步总是落后于恶意代码的发展，是被动的.目前基于主机的恶意代码检测方法主要有反恶意代码软件、完整性校验法以及手动检测，基于网络的检测方法主要有基于神经网络”、基于模糊识别“等方法，本文主要讨论基于主机的检测。 2.1 恶意代码分析方法 2.1.1 静态分析方法 是指在不执行二进制程序的条件下进行分析，如反汇编分析，源代码分析，二进制统计分析，反编译等，属于逆向工程分析方法。 （1）静态反汇编分析，是指分析人员借助调试器来对而已代码样本进行反汇编出来的程序清单上根据汇编指令码和提示信息着手分析。 （2）静态源代码分析，在拥有二进制程序的源代码的前提下，通过分析源代码来理解程序的功能、流程、逻辑判定以及程序的企图等。
分析报告、统计分析和数据挖掘的区别 关于数据挖掘的作用，Berry and Linoff的定义尽管有些言过其实，但清晰的描述了数据挖掘的作用。“分析报告给你后见之明 (hindsight)；统计分析给你先机 (foresight)；数据挖掘给你洞察力(insight)”。 举个例子说。 你看到孙悟空跟二郎神打仗，然后写了个分析报告，说孙悟空在柔韧性上优势明显，二郎神在力气上出类拔萃，所以刚开始不相上下；结果两个人跑到竹林里，在竹子上面打，孙悟空的优势发挥出来，所以孙悟空赢了。这叫分析报告。 孙悟空要跟二郎神打架了，有个赌徒找你预测。你做了个统计，发现两人斗争4567次，其中孙悟空赢3456次。另外，孙悟空斗牛魔王，胜率是89%，二郎神斗牛魔王胜率是71%。你得出趋势是孙悟空赢。因为你假设了这次胜利跟历史的关系，根据经验作了一个假设。这叫统计分析。 你什么都没做，让计算机自己做关联分析，自动找到了出身、教育、经验、单身四个因素。得出结论是孙悟空赢。计算机通过分析发现贫苦出身的孩子一般比皇亲国戚功夫练得刻苦；打架经验丰富的人因为擅长利用环境而机会更多；在都遇得到明师的情况下，贫苦出身的孩子功夫可能会高些；单身的人功夫总比同样环境非单身的高。孙悟空遇到的名师不亚于二郎神，而打架经验绝对丰富，并且单身，所以这次打头，孙悟空赢。这叫数据挖掘。 数据挖掘跟LOAP的区别在于它没有假设，让计算机找出这种背后的关系，而这种关系可能是你所想得到的，也可能是所想不到的。比如数据挖掘找出的结果发现在2亿条打斗记录中，姓孙的跟姓杨的打，总是姓孙的胜利，孙悟空姓孙，所以，悟空胜利。 用在现实中，我们举个例子来说，做OLAP分析，我们找找哪些人总是不及时向电信运营商缴钱，一般会分析收入低的人往往会缴费不及时。通过分析，发现不及时缴钱的穷人占71%。而数据挖掘则不同，它自己去分析原因。原因可能是，家住在五环以外的人，不及时缴钱。这些结论对推进工作有很深的价值，比如在五环外作市场调研，发现需要建立更多的合作渠道以方便缴费。这是数据挖掘的价值。
Orange Orange 是一个基于组件的数据挖掘和机器学习软件套装，它的功能即友好，又很强大，快速而又多功能的可视化编程前端，以便浏览数据分析和可视化，基绑定了Python以进行脚本开发。它包含了完整的一系列的组件以进行数据预处理，并提供了数据帐目，过渡，建模，模式评估和勘探的功能。其由C++和Python开发，它的图形库是由跨平台的Qt框架开发。 RapidMiner RapidMiner,以前叫YALE (Yet Another Learning Environment)，其是一个给机器学习和数据挖掘和分析的试验环境，同时用于研究了真实世界数据挖掘。它提供的实验由大量的算子组成，而这些算子由详细的XML 文件记录，并被RapidMiner图形化的用户接口表现出来。RapidMiner为主要的机器学习过程提供了超过500算子，并且，其结合了学习方案和Weka 学习环境的属性评估器。它是一个独立的工具可以用来做数据分析，同样也是一个数据挖掘引擎可以用来集成到你的产品中。 Weka 由Java开发的Weka (Waikato Environment for Knowledge Analysis)是一个知名机器学机软件，其支持几种经典的数据挖掘任务，显著的数据预处理，集群，分类，回归，虚拟化，以及功能选择。其技术基于假设数据是以一种单个文件或关联的，在那里，每个数据点都被许多属性标注。Weka 使用Java的数据库链接能力可以访问SQL数据库，并可以处理一个数据库的查询结果。它主要的用户接品是Explorer，也同样支持相同功能的命令行，或是一种基于组件的知识流接口。 JHepWork 为科学家，工程师和学生所设计的jHepWork 是一个免费的开源数据分析框架，其主要是用开源库来创建一个数据分析环境，并提供了丰富的用户接口，以此来和那些收费的的软件竞争。它主要是为了科学计算用的二维和三维的制图，并包含了用Java实现的数学科学库，随机数，和其它的数据挖掘算法。jHepWork 是基于一个高级的编程语言Jython，当然，Java代码同样可以用来调用jHepWork 的数学和图形库。 KNIME
三大数据挖掘工具的比较用于软件选型1
数据挖掘工具的评判 刘世平姚玉辉博士/文 要做数据挖掘，当然需要工具。但若靠传统的自我编程来实现，未免有些费时费力，而且其性能也不一定比商业工具来得强和稳定。目前，世界上已经有很多商业公司和研究机构开发出了各自的数据挖掘产品，而且功能和使用简易性也在日益提高。例如：SAS 公司的Enterprise Miner以及IBM公司的 Intelligent Miner，等等。 直接采用商业数据挖掘工具来帮助项目实施，是一个很好的选择。它既节省了大量的开发费用，又可以节约维护和升级的开销。本文是目前国内第一份对主流数据挖掘工具的评估报告，该报告综合了国内一流业务专家和数据挖掘专家的意见，为帮助企业进行类似评估提供了很高的参考价值。 工具种类 数据挖掘工具包括两种： ● 数据挖掘(Mining for Data)工具：其所用的数据都存储在已经有了明确字段定义的数据库或文本文件里，我们称之为结构化的数据挖掘工具。它主要是用来进行预测、聚类分析、关联分析、时间序列分析以及统计分析等。 ● 文本挖掘(Text Mining)工具：它是用来从非结构化的文档中提取有价值的信息，这些信息都隐藏在文档里并且没有清晰的字段定义。文本挖掘主要是应用在市场调研报告中或呼叫中心(Call Center)
的客户报怨定级、专利的分类、网页的分类以及电子邮件分类等。根据著名数据挖掘网站KDnuggets统计，目前已有50多种数据挖掘工具问世。 ● 一般而言，目前市场上这些数据挖掘工具又可分成两类——企业型工具以及小型工具。 企业型数据挖掘工具：应用在需要高处理能力、高网络容量和大数据量的场合下。这些工具通常支持多种平台，并基于客户机/服务器结构。它通常可以直接连接一些复杂的数据管理系统(不像普通文本文件)，并能处理大量的数据。这类数据挖掘工具的另一个特点是它通常提供了多种数据挖掘算法，并有能力解决多种应用问题。企业数据挖掘工具的实例有IBM的Intelligent Miner和SAS Enterprise Miner等。 ● 小型数据挖掘工具：它与企业型的工具着眼点不同。小型数据挖掘工具或者是针对低端、低消费的用户，或者是为解决特定的应用问题提供特定的解决方案。比如Oracle公司的 Darwin，Insightful 公司的Insightful Miner，等等。 工具选择 如何在众多工具中挑选出最适合本公司的呢？这的确是一个非常具有挑战性的工作。由于各个公司的背景、财务、挖掘水平各不相同，对数据挖掘工具的需求也就各不一样。到目前为止，可供参考的权威评估报告非常少。最近的一份完整而权威的数据挖掘工具评
Android恶意软件检测方法分析 摘要：文章首先就Android恶意软件的安装和触发特点进行分析，通过分析Android平台中的恶意行为，制定了Android恶意代码检测方案。结合Android平台的特点，分析了现有的恶意软件检测行为，并指出了现有Android恶意软件检测方法的不足和未来发展趋势。 关键词：Android；恶意软件；检测 当前恶意检测方法主要包含静态分析和动态检测技术，静态分析主要是利用程序自身的静态结构、代码来判断其是否具有恶意性，其中涉及反编译、静态系统调用、逆向分析和模式匹配等相关技术。而动态检测主要是通过手机监视程序来对恶意行为进行检测监视。但是这两种技术在判断恶意软件时，仍然存在一些缺陷，没有充分结合实际应用中恶意软件变种、升级等问题。基于Android恶意软件的特征情况，本文提出了静态的综合检测方法以及动态分析技术，更好地解决Android系统的安全问题。 1 Android恶意软件的基本特征 为深入了解Android恶意软件的特征，文章从软件的安装方式、触发方式以及恶意负载种类等几个方面进行描述，同时为后文中检测Android恶意软件提供技术基础。
1.1 安装方式 Android恶意软件通常在形式上比较吸引用户注意，伪 装成一些实用软件，进而让手机用户下载安装，迅速蔓延传播。恶意软件在手机中的安装传播方式主要分为三种：重打包下载、更新包下载、偷渡软件下载以及其他方式进入手机。 1.1.1 重打包下载 在一些流行的软件中植入恶意代码，然后进行重新编译，提供给Android手机软件官方市场，这种恶意软件隐藏特征 非常强，很难分辨出来，，它们挂上合法安全的命名，具有 欺骗性，在软件安装时运用了代码混淆技术和运行时解密技术。 1.1.2 更新包下载 在下载手机中已有的软件更新包时，恶意软件会在apk 文件中植入恶意代码，运行更新包时，通过运行动态获取并下载安装恶意代码，一般运用静态扫描无法检测出更新包中的恶意负载。 1.1.3 偷渡软件下载 利用未开发的软件吸引用户在不安全的小网站中下载 安装偷渡软件，其实这些偷渡软件就是伪装后的恶意软件，对手机Android系统存在很大的威胁。 1.1.4 其他方式 利用间谍软件安装入Android手机系统中，伪装成手机
大数据、数据分析和数据挖掘的区别 大数据、数据分析、数据挖掘的区别是，大数据是互联网的海量数据挖掘，而数据挖掘更多是针对内部企业行业小众化的数据挖掘，数据分析就是进行做出针对性的分析和诊断，大数据需要分析的是趋势和发展，数据挖掘主要发现的是问题和诊断。具体分析如下： 1、大数据(big data)： 指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产; 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样的捷径，而采用所有数据进行分析处理。大数据的5V特点(IBM提出)：Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)Veracity(真实性) 。 2、数据分析：
是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。 数据分析的数学基础在20世纪早期就已确立，但直到计算机的出现才使得实际操作成为可能，并使得数据分析得以推广。数据分析是数学与计算机科学相结合的产物。 3、数据挖掘(英语：Data mining)： 又译为资料探勘、数据采矿。它是数据库知识发现(英语：Knowledge-Discovery in Databases，简称：KDD)中的一个步骤。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统(依靠过去的经验法则)和模式识别等诸多方法来实现上述目标。 简而言之： 大数据是范围比较广的数据分析和数据挖掘。 按照数据分析的流程来说，数据挖掘工作较数据分析工作靠前些，二者又有重合的地方，数据挖掘侧重数据的清洗和梳理。 数据分析处于数据处理的末端，是最后阶段。 数据分析和数据挖掘的分界、概念比较模糊，模糊的意思是二者很难区分。 大数据概念更为广泛，是把创新的思维、信息技术、统计学等等技术的综合体，每个人限于学术背景、技术背景，概述的都不一样。
数据挖掘和恶意软件检测 黄宗文，16721539 2016-11-20 摘要: 由于计算机网络的发展以及恶意程序编码水平的提高，传统的恶意程序检测技术的不足已经越来越明显，很难满足人们对信息安全的需求。基于行为的恶意程序检测技术是利用恶意程序的特有行为特征来检测程序恶意性的方法，它能很好地检测未知恶意程序。这种恶意程序检测技术可以很好地适应恶意程序逐渐呈现的新特点，无疑具有巨大的优越性和广阔的发展空间，应该在今后相当长时间内代表着恶意程序检测技术的发展趋势。本文介绍了基于静态分析的恶意软件检测，和基于动态行为分析的恶意软件检测，并各自介绍了它们的优劣。 关键字：数据挖掘；恶意软件检测；特征提取；静态分析；动态行为分析；分类 Data mining and malware detection Abstract:With the development of computer network and improvement of malware programming, traditional malware detection methods seem obviously inadequate, failing to satisfy the need of people for information security. The malware detection based on behavior is a method which achieves detection through making use of the peculiar behavior features of malware. It does well in detecting the unknown malware. This malware detection technique could be adjusted to the emerging new features of malware, which has great superiority and broad space for development undoubtedly. Consequently, it could be the development tendency of malware detection in a long time. This article describes malware detection based of static analysis ,and malware detection based on dynamic behavior analysis ,and describes their pros and cons. Key words:Data mining；Malware detection ; Feature extraction ;Static analysis ;Dynamic behavior analysis ;Classification 随着社会信息化程度的不断提高，工业、国防、教育、金融等社会各行各业的信息越来越依赖于计算机和互联网。然而频繁发生的网络安全事件给人们敲了安全警钟。计算机与网络安全问题正成为人类信息化所面临的巨大挑战，直接威胁着个人、企业和国家的利益。而目前计算机与网络安全的主要威胁隐患之一就是恶意程序。近年来，随着编程技术的普及，恶意程序制作的门槛逐步降低，恶意程序的制作呈现机械化、模块化和专业化特征。在恶意程序灰色产业链带来的巨大利益的驱使下，恶意程序产业正朝着规模化发展。恶意程序的爆炸式增长，在使企业及用户遭受到巨大的经济损失的同时，也给恶意程序分析人员带来了巨大的工作压力。传统的恶意程序分析技术已经远远不能满足新的安全需求。一方面，基于特征码的恶意程序分析技术，需要对每一个恶意程序的特征码进行提取，对于目前每天有成千上万的恶意程序产生的情况，提取特征码的工作量是巨大的且效率不高。另一方面，用户端需要定期的升级最新的病毒库，随着新恶意程序的爆炸式增长，病毒特征库的容量也要大幅增长，长此以往会拖累检测分析系统的速度。因此如何对新的恶意程序样本快速地进行检测和分类，已成为越来越多的专业计算机安全厂商所关注的焦点。 1恶意软件和检测的现状 近年来，随着编程技术的普及，恶意程序制作的门槛逐步降低，恶意程序的制作呈现机械化、模块化和专业化特征。在恶意程序灰色产业链带来的巨大利益的驱使下，恶意程序产业正朝着规模化发展。从2008 年开始恶意程序大规模爆发，每年新增木马病毒等恶意程序数量级从数十万级跃升至千万级。
数据分析与挖掘实验报告
《数据挖掘》实验报告 目录 1.关联规则的基本概念和方法 (1) 1.1数据挖掘 (1) 1.1.1数据挖掘的概念 (1) 1.1.2数据挖掘的方法与技术 (2) 1.2关联规则 (5) 1.2.1关联规则的概念 (5) 1.2.2关联规则的实现——Apriori算法 (7) 2.用Matlab实现关联规则 (12) 2.1Matlab概述 (12) 2.2基于Matlab的Apriori算法 (13) 3.用java实现关联规则 (19) 3.1java界面描述 (19) 3.2java关键代码描述 (23) 4、实验总结 (29) 4.1实验的不足和改进 (29) 4.2实验心得 (30)
1.关联规则的基本概念和方法 1.1数据挖掘 1.1.1数据挖掘的概念 计算机技术和通信技术的迅猛发展将人类社会带入到了信息时代。在最近十几年里，数据库中存储的数据急剧增大。数据挖掘就是信息技术自然进化的结果。数据挖掘可以从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的，人们事先不知道的但又是潜在有用的信息和知识的过程。 许多人将数据挖掘视为另一个流行词汇数据中的知识发现（KDD）的同义词，而另一些人只是把数据挖掘视为知识发现过程的一个基本步骤。知识发现过程如下： ·数据清理（消除噪声和删除不一致的数据）·数据集成（多种数据源可以组合在一起）·数据转换（从数据库中提取和分析任务相关的数据） ·数据变换（从汇总或聚集操作，把数据变换和统一成适合挖掘的形式） ·数据挖掘（基本步骤，使用智能方法提取数
据模式） ·模式评估（根据某种兴趣度度量，识别代表知识的真正有趣的模式） ·知识表示（使用可视化和知识表示技术，向用户提供挖掘的知识）。 1.1.2数据挖掘的方法与技术 数据挖掘吸纳了诸如数据库和数据仓库技术、统计学、机器学习、高性能计算、模式识别、神经网络、数据可视化、信息检索、图像和信号处理以及空间数据分析技术的集成等许多应用领域的大量技术。数据挖掘主要包括以下方法。神经网络方法：神经网络由于本身良好的鲁棒性、自组织自适应性、并行处理、分布存储和高度容错等特性非常适合解决数据挖掘的问题，因此近年来越来越受到人们的关注。典型的神经网络模型主要分3大类：以感知机、bp反向传播模型、函数型网络为代表的，用于分类、预测和模式识别的前馈式神经网络模型；以hopfield 的离散模型和连续模型为代表的，分别用于联想记忆和优化计算的反馈式神经网络模型；以art 模型、koholon模型为代表的，用于聚类的自组
数据挖掘主要工具软件简介 Dataminning指一种透过数理模式来分析企业内储存的大量资料，以找出不同的客户或市场划分，分析出消费者喜好和行为的方法。前面介绍了报表软件选购指南，本篇介绍数据挖掘常用工具。 市场上的数据挖掘工具一般分为三个组成部分： a、通用型工具； b、综合／DSS／OLAP数据挖掘工具； c、快速发展的面向特定应用的工具。 通用型工具占有最大和最成熟的那部分市场。通用的数据挖掘工具不区分具体数据的含义，采用通用的挖掘算法，处理常见的数据类型，其中包括的主要工具有IBM 公司Almaden 研究中心开发的QUEST 系统，SGI 公司开发的MineSet 系统，加拿大Simon Fraser 大学开发的DBMiner 系统、SAS Enterprise Miner、IBM Intelligent Miner、Oracle Darwin、SPSS Clementine、Unica PRW等软件。通用的数据挖掘工具可以做多种模式的挖掘，挖掘什么、用什么来挖掘都由用户根据自己的应用来选择。 综合数据挖掘工具这一部分市场反映了商业对具有多功能的决策支持工具的真实和迫切的需求。商业要求该工具能提供管理报告、在线分析处理和普通结构中的数据挖掘能力。这些综合工具包括Cognos Scenario和Business Objects等。 面向特定应用工具这一部分工具正在快速发展，在这一领域的厂商设法通过提供商业方案而不是寻求方案的一种技术来区分自己和别的领域的厂商。这些工
具是纵向的、贯穿这一领域的方方面面，其常用工具有重点应用在零售业的KD1、主要应用在保险业的Option＆Choices和针对欺诈行为探查开发的HNC软件。 下面简单介绍几种常用的数据挖掘工具： 1. QUEST QUEST 是IBM 公司Almaden 研究中心开发的一个多任务数据挖掘系统，目的是为新一代决策支持系统的应用开发提供高效的数据开采基本构件。系统具有如下特点： (1)提供了专门在大型数据库上进行各种开采的功能：关联规则发现、序列模式发现、时间序列聚类、决策树分类、递增式主动开采等。 (2)各种开采算法具有近似线性（O(n)）计算复杂度，可适用于任意大小的数据库。 (3)算法具有找全性，即能将所有满足指定类型的模式全部寻找出来。 (4)为各种发现功能设计了相应的并行算法。 2. MineSet MineSet 是由SGI 公司和美国Standford 大学联合开发的多任务数据挖掘系统。MineSet 集成多种数据挖掘算法和可视化工具，帮助用户直观地、实时地发掘、理解大量数据背后的知识。MineSet 2.6 有如下特点： （1）MineSet 以先进的可视化显示方法闻名于世。MineSet 2.6 中使用了6 种可视化工具来表现数据和知识。对同一个挖掘结果可以用不同的可视化工具以各种形式表示，用户也可以按照个人的喜好调整最终效果, 以便更好地理解。MineSet 2.6 中的可视化工具有Splat Visualize、Scatter Visualize、Map
第24卷第4期2010年7月甘肃联合大学学报(自然科学版) Journal of G ansu Lianhe University (Natural Sciences )Vol.24No.4 J ul.2010 收稿日期:2010205211. 作者简介:王晓燕(19802),女,江苏泗洪人,宿迁市广播电视大学讲师,硕士,主要从事数据库研究. 文章编号:16722691X (2010)0420068204 几种常用的异常数据挖掘方法 王晓燕 (江苏省宿迁广播电视大学,江苏宿迁223800) 摘 要:主要讨论了常用的异常数据挖掘方法,简要地介绍了异常数据挖掘的定义、功能、方法等,详细的介绍了使用统计、距离、偏离技术、密度和高维持数据进行异常数据挖掘的方法并分析了其各自的特点.关键词:异常数据挖掘;异常点数据;方法中图分类号:TP311.13 文献标识码:A 引言 在数据挖掘的过程中,数据库中可能包含一些数据对象,它们与数据的一般行为或模型不一致,这些数据对象被称为异常点,对异常点的查找过程称为异常数据挖掘,它是数据挖掘技术中的一种.异常数据挖掘又称孤立点分析、异常检测、例外挖掘、小事件检测、挖掘极小类、偏差检测等.孤立点可能是“脏数据”,也可能是与实际对应的有意义的事件.从知识发现的角度看,在某些应用里,那些很少发生的事件往往比经常发生的事件更有趣、也更有研究价值,例外的检测能为我们提供比较重要的信息,使我们发现一些真实而又出乎预料的知识.因此,异常数据的检测和分析是一项重要且有意义的研究工作[1,2]. 异常数据挖掘的简介 异常数据挖掘有着广泛的应用,如欺诈检测,用异常点检测来探测不寻常的信用卡使用或者电信服务;预测市场动向;在市场分析中分析客户的极低或极高消费异常行为;或者在医疗分析中发现对多种治疗方式的不寻常的反应等等.通过对这些数据进行研究,发现不正常的行为和模式,有着非常重要的意义. 对异常点数据的挖掘可以描述如下:给定一个n 个数据点或对象的集合,以及预期的异常点的数目k ,目标是:发现与剩余的数据相比是显著相异的、异常的或者不一致的头k 个对象.异常点数据挖掘的任务可以分成两个子问题: (1)给出已知数据集的异常点数据的定义; (2)使用有效的方法挖掘异常点数据.对数 据模式的不同定义,以及数据集的构成不同,会导致不同类型的异常点数据挖掘,实际应用中根据具体情况选择异常数据的挖掘方法. 常用的异常数据挖掘方法及其特点 基于统计的方法 利用统计学方法处理异常数据挖掘的问题已经有很长的历史了,并有一套完整的理论和方法.统计学的方法对给定的数据集合假设了一个分布或者概率模型(例如正态分布),然后根据模型采用不一致性检验来确定异常点数据.不一致性检验要求事先知道数据集模型参数(如正态分布),分布参数(如均值、标准差等)和预期的异常点数目. “不一致性检验是如何进行的?”一个统计学的不一致性检验检查两个假设:一个工作假设(working hypot hesis )即零假设以及一个替代假设(alternative hypot hesis )即对立假设.工作假设是描述总体性质的一种想法,它认为数据由同一分布模型即H :O i ∈F ,i =1,2,…n;不一致性检验验证O i 与分布F 的数据相比是否显著地大(或者小).如果没有统计上的显著证据支持拒绝这个假设,它就被保留.根据可用的关于数据的知识,不同的统计量被提出来用作不一致性检验.假设某个统计量T 被选择用于不一致性检验,对象O i 的该统计量的值为V i ,则构建分布T ,估算显著性概率S P (V i )=Prob (T >V i ).如果某个S P (V i )足够的小,那么检验结果不是统计显著的,则O i 是不一致的,拒绝工作假设,反之,不能拒绝假设.
对数据挖掘的认识 一、数据挖掘的理解 数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据集中识别出有效的、新颖的、潜在有用的，以及最终可理解的知识的非平凡过程。这个定义包括几层含义：数据源必须是真实的、大量的、含噪声的；发现的是用户感兴趣的知识；发现的知识要可接受、可理解、可运用；并不要求发现放之四海皆准的知识，仅支持特定的发现问题。数据挖掘，简单地可理解为通过对环境数据的操作，从数据中发现有用的知识。它是一门涉及面很广的交叉学科，包括机器学习、数理统计、神经网络、数据库、模式识别、粗糙集、模糊数学等相关技术。就具体应用而言，数据挖掘是一个利用各种分析工具在海量数据中发现模型和数据间关系的过程，这些模型和关系可以用来做出预测。 从商业角度上看，数据挖掘是一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。数据挖掘与传统的数据分析(如查询、报表、联机应用分析)的本质区别是数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先前未知，有效和可实用三个特征。先前未知的信息是指该信息是预先未曾预料到的，既数据挖掘是要发现那些不能靠直觉发现的信息或知识，甚至是违背直觉的信息或知识，挖掘出的信息越是出乎意料，就可能越有价值。 二、数据挖掘的主要方法 数据挖掘技术主要来源于四个领域：统计分析、机器学习、神经网络和数据库。所以，数据挖掘的主要方法可以粗分为：统计方法、机器学习方法、神经网络方法和数据库方法。 统计方法主要包括：回归分析（多元回归、自回归等）、判别分析（贝叶斯判别、费歇尔判别、非参数判别等）、聚类分析（系