Web应用漏洞检测系统的设计与实现

摘要

随着互联网技术的迅猛发展，基于Web的应用程序不断增多，广泛应用于生活、工作等领域，Web应用程序具有使用简单、开发方便和共享方便等优点。Web应用程序往往是对互联网开放的，用户只需要通过浏览器就可以访问到目标站点，所以，如果目标站点存在一定的安全漏洞，就很容易被攻击者所利用。Web漏洞往往会造成巨大的危害：机密信息被窃取、目标服务器被控制等。造成Web攻击事件的根本原因是Web应用程序存在漏洞，要减缓甚至阻止攻击的事件的发生，应在Web应用程序投入使用之前就发掘其存在的漏洞，尽早修复Web 应用程序的漏洞。

针对Web应用程序的漏洞问题，本文的主要目标是设计并实现一个使用简单、功能强大、性能良好的Web应用漏洞检测工具。该工具能够检测出包括SQL注入和XSS漏洞在内的常见Web漏洞，误报率、漏报率较低，具有较高的检测效率和正确率，并且能够生成扫描结果报告。

首先，本文分析了国内外的研究现状，对现有的Web应用漏洞检测工具进行了分析。研究了Web应用的相关技术，主要包括HTTP协议和网络爬虫技术。分析了SQL注入漏洞和XSS漏洞的原理和分类，并总结了它们的攻击技巧。在XSS漏洞检测过程中，先用合法字符串作为检测脚本进行探测，再根据其结果选择用攻击性的检测脚本进行进一步的测试，能够有效提高检测效率。

在以上的知识基础上，本文的重点工作是对Web应用漏洞检测系统进行了详细的需求分析和设计，把系统划分为几个功能模块，编写代码实现了本文的Web应用漏洞检测系统，详细分析了系统的具体实现原理和过程。最后对系统进行了功能测试和性能测试，测试结果表明该系统的功能和性能都基本达到了预期的要求，能够有效的帮助用户发现漏洞。

关键词：web安全；漏洞检测；SQL注入；XSS

ABSTRACT

With the rapid development of Internet technology, Web-based applications are widely used in life, work and so on. Web-based applications are simple to use, easy to develop and share, so it is very popular. Web applications are open to the internet user which makes us only use a browser to access to the target web. So, if there are some vulnerabilities in the target site, it is easy to be exploited by attackers. Vulnerabilities often cause great harm, for example, confidential information is stolen, web servers are under control by victims and so on. The main reason why webs are attacked is that there are some bugs in web applications. So, in order to slow down or prevent the occurrence of attack, we should find the bugs in web applications before they are put into use and repair the bugs.

The main object of this paper is to design and implement a simple to use, powerful, good performance of Web application vulnerability detection tool. The tool can detect common Web vulnerabilities including SQL injection and XSS vulnerabilities. What’s more, the tool has a low rate of false positives, high detection efficiency and accuracy, and can generate the scan results report.

First of all, this paper analyzed the current research results and the existing Web application vulnerability detection tools. The paper did the research on some knowledge about web application, including HTTP protocol and web crawler technology. What’s more, the paper analyzed the principles, classification and attack skills about SQL injection and XSS vulnerabilities. In the process of XSS vulnerability detection, we firstly used the detection script probed with legal string, and then used the aggressive detection scripts for further test according to previous result. As a result, it can effectively improve the detection efficiency.

Based on above knowledge, the main point of paper was to analyzeand designe the web application detection system detaily, dividing the system into several functional modules. After that, I implemented the system through coding, and described the specific implementation theory and processes of the system. Finally, I tested the system including function and efficiency, and the resulte showed that the Web application vulnerabilities detection system achieved expected target which could help users find vunlnerablities effectively.

KEYWORDS：Web Security; Vulnerabilities Detection; SQL Injection; XSS

目录

摘要 ........................................................................................................................... I ABSTRACT .............................................................................................................. II 1 绪论. (1)

1.1研究背景 (1)

1.2研究意义 (3)

1.3国内外研究现状 (4)

1.4研究内容 (5)

1.5论文结构 (6)

2 WEB应用相关技术 (7)

2.1HTTP协议 (7)

2.2网络爬虫 (9)

2.2.1 网络爬虫的原理 (9)

2.2.2 爬虫的爬行策略 (10)

2.3SQL注入漏洞 (11)

2.3.1 SQL注入的原理 (11)

2.3.2 SQL注入的分类 (12)

2.3.3 SQL注入的攻击技巧 (15)

2.4XSS漏洞 (17)

2.4.1 XSS漏洞的原理 (17)

2.4.2 XSS漏洞的分类 (17)

2.4.3 XSS漏洞的攻击技巧 (20)

2.5PYTHON概述 (22)

2.6本章小节 (22)

3 系统需求分析与设计 (23)

3.1系统总体需求分析 (23)

3.2功能需求分析 (24)

3.3性能需求分析 (27)

3.4系统总体架构设计 (27)

3.5系统功能模块设计 (29)

3.5.1 配置文件模块 (29)

3.5.2 调度模块 (29)

3.5.3 网络爬虫模块 (30)

3.5.4 SQL注入模块 (32)

3.5.5 XSS模块 (34)

3.5.6 报告生成模块 (36)

3.6本章小节 (37)

4 系统的实现 (38)

4.1系统主界面 (38)

4.2配置文件模块的实现 (38)

4.3网络爬虫模块的实现 (39)

4.3.1 URL提取 (40)

4.3.2 表单提取 (43)

4.4SQL注入模块的实现 (44)

4.4.1 测试脚本库 (44)

4.4.2 SQL注入模块的实现过程 (47)

4.5XSS模块的实现 (51)

4.5.1 测试脚本库 (51)

4.5.2 XSS模块的实现过程 (52)

4.6报告生成模块的实现 (54)

4.7本章小节 (56)

5 系统测试 (57)

5.1系统测试环境 (57)

5.2系统功能测试 (57)

5.3系统性能测试 (60)

5.4系统测试结论 (61)

5.5本章小节 (61)

6 总结与展望 (62)

6.1总结 (62)

6.2展望 (62)

参考文献 (64)

独创性声明 (66)

学位论文数据集 (67)

1 绪论

1.1 研究背景

进入二十一世纪以来，随着计算机技术的迅猛发展，我国在网络建设方面取得了令人瞩目的成就，基于Web的应用程序在不断增多，应用于日常生活、工作等各个领域，如：网上商城、办公系统、网上银行、微博等。Web应用程序使得信息共享变得更加简单，将各种信息汇集到一起，无形地把世界的各个角落连接在一起。通过互联网，用户可以根据自己的需求轻易地获得海量的新闻消息、资料等，同时也可以随时随地地分享自己的资源、消息。

与传统的C/S架构的应用程序相比较，基于B/S架构的Web应用程序使用户的操作变得更加简单、方便，用户不需要安装特定的客户端程序，所有操作都在浏览器上完成。用户只需要点击相应的按钮，浏览器就会向服务器发送HTTP请求，服务器端接收到请求后会对其进行处理，并将处理后的结果发送回给客户端的用户。基于Web的应用使得用户不需要安装过多的软件，降低了对用户电脑的要求，而且交互性更强，深受用户的喜欢。同时，开发者维护应用程序也变得更加方便、成本更低，升级程序的时候只需要在服务器端更新程序，而不需要升级客户端的应用程序。

Web应用程序极大地丰富了人们的生活方式，也给社会带来了很大的价值。但是，Web应用程序也带来了不少安全问题，由于其开放性，使得其更加容易受到黑客的攻击，并且传统的防护设备对其没有防护效果。Web应用受到攻击会造成很多的危害，比如：用户的个人信息被泄露，网上银行的钱被非法盗取，网站的网页内容被篡改，服务器瘫痪无法提供正常的服务等。互联网和新闻媒体时常会报道关于Web应用程序的安全攻击事件，给企业和用户造成了巨大的损失。2011年年底，CSDN中文社区的数据库被黑客窃取并公布在互联网，里面包含大量用户的账号、密码等个人信息，随后，人人网、开心网等社交网站的用户信息也被泄露，不法分子可以利用这些信息来从事诈骗等不法行为，严重危害用户的财产安全和隐私安全。2014年年底，超过10万条的12306火车票网站的用户数据被泄露，因为这些数据包括身份证、电话号码等敏感信息，如果被不法分子利用，造成的危害可想而知。根据分析，12306网站的信息泄露是由数据库撞库造成的，黑客利用已知的用户和密码信息来尝试登陆其他的网站，因为很多的用户在不同的站点使用相同的账号、密码。另外，索尼游戏和索尼影业在2011年和2014年分别遭

受黑客的攻击，造成了公司的巨大经济损失。由于黑客能从中谋取暴力，使得攻击事件时常发生。

Web应用程序遭受攻击的根本原因是Web应用的源代码存在漏洞或者服务器端配置不正确，一方面是开发人员缺乏安全意识、技术和经验等，另一方面是Web 应用程序通过80端口提供服务的，传统的防火墙无法阻止黑客的攻击，因为黑客也是通过合法的80端口进行攻击的。常见的Web应用漏洞包括SQL注入、XSS 漏洞、上传漏洞、敏感信息泄露、逻辑漏洞等，根据全球顶尖的Web应用安全研究组织OWASP发布的最新一期的报告显示，排名前十的漏洞为：

(1) 注入漏洞

注入攻击又分几种，最常见的注入攻击有SQL注入，其能直接导致目标站点的数据被窃取，攻击威力十分大。另外，还包括XML注入、LDAP 注入以及系统命令注入等。造成注入攻击的根本原因是程序没有对用户输入的数据进行安全检查和过滤，使得服务器执行了用户输入的恶意命令。

(2) 失效的身份验证和会话管理

如果Web应用程序的身份验证机制或者会话管理的程序设计不当，会使攻击者可以绕过目标程序的身份认证机制，从而攻击者可以在不需要知道其用户的密码情况下登录他们的账户，比如：如果用户的cookies设计不当，使得伪造其他用户的cookies成为可能，从而绕过登录验证机制。

(3) XSS漏洞

XSS漏洞是一种客户端漏洞，其攻击对象主要是客户端用户。XSS攻击是指在页面中插入恶意的脚本代码，通常是JavaScript代码，当用户访问包含有攻击代码的页面时就会触发其中恶意代码。XSS漏洞主要被用于盗取用户的会话认证消息cookies、网页挂马等。

(4) 不安全的直接对象引用

不安全的直接对象引用是指没有对目录、文件做任何保护或者访问控制，导致攻击者可以直接访问未授权的数据。

(5) 安全配置错误

安全的配置错误主要是由没有正确配置服务器造成的，比如：列目录的漏洞就是一个例子，很多时候默认配置是不安全的。

(6) 敏感信息泄露

敏感信息泄露的漏洞主要是指Web应用程序没有正确保护用户的敏感数据，如用户的密码、个人信息等。比如一些粗心的程序员会在登录页面的注释内容中写着管理员的账号和密码。

(7) 功能级访问控制缺失

功能级访问控制缺失是指没有正确地做好访问控制，比如有的页面只有管理员登录后才能操作，但由于没有做相应的限制，用户在不需要登录的情况下就可以访问到这个页面并能进行相应的操作。

(8) CSRF漏洞

跨站请求伪造漏洞（CSRF漏洞）是指攻击者可以利用已授权用户的浏览器给目标站点发送HTTP请求，因为应用程序不含有不可预测的因子，导致攻击者伪造各种操作的请求成为可能。

(9) 使用含有已知漏洞的组件

为了重复利用一些Web应用程序的功能，把他们开发成Web组件，比如：Web 开发框架，函数库文件等，当使用存在漏洞的组件时就可能遭受攻击。

(10) 未验证的重定向和转发

有些情况下，Web应用程序会把用户重定向其他页面，如果没有对跳转页面进行验证或者验证不正确，攻击者可以利用这个漏洞来将用户重定向到挂马的网站或者钓鱼网站。

Web应用的安全问题是一个迫切的问题。根据国家互联网应急中心发布的《2014年我国互联网网络安全态势报告》数据显示，我国的网络安全形势不容乐观，和2013年相比，2014年在CNCERT上通报的漏洞事件增长了3倍，还有很多未被纰漏的漏洞。我国的互联网市场和网名数量在高速增长，截止2014年12月底，网站数量达360多万个，互联网服务商达1000多家。在这个信息化迅速发展的时代，应该足够重视网络安全问题。

1.2 研究意义

在斯诺登事件发生之后，我国也从国家层面上高度重视网络安全的问题，并在2014年成立了中央网络安全和信息化领导小组。网络安全不仅关系到国计民生，还与国家安全密切相关，涉及到国家政治、军事和经济各个方面，甚至影响到国家的安全。随着计算机的广泛应用，网络安全的重要性尤为突出。

面对日益严峻的Web安全问题，大家也开始逐渐重视安全问题，为了提高Web 应用程序的安全性，很多个人和企业开始给服务器部署一些针对Web层面的防火墙，也就Waf，能够从一定程度上防御攻击事件的发生，但还是存在被攻击的可能性，因为很多情况下黑客可以绕过Waf。要彻底避免Web应用程序的漏洞，最理想的情况是开发一个没有漏洞的Web应用程序，但对于大部分的开发者来说，这是很难实现的。最可行的办法是在目标程序上线投入使用之前，尽可能早的发现其存在的漏洞，便于开发者能够及时的修复漏洞。所以，开发一个Web应用漏洞

检测系统是很有意义的事情。

Web应用漏洞检测系统通过主动扫描目标Web应用程序来发现其存在的漏洞，检测的基本原理是模拟黑客攻击的过程，向服务器发送包含特定测试脚本的HTTP 请求，然后通过分析响应包的信息来判断其是否存在漏洞。要求Web应用漏洞检测系统能够发现常见的Web漏洞，本文以SQL注入、XSS漏洞为主要研究对象，漏洞检测完毕后能够生成扫描报告，为开发者和运维人员提供参考。为了能够准确可靠地检测出目标站点的漏洞，需要对各种Web漏洞的原理有较深的理解。所以，本文将在研究Web应用的漏洞的前提下，开发一个可靠的Web应用漏洞检测系统，本课题有较大的研究意义。

1.3 国内外研究现状

随着Web应用漏洞导致的攻击事件越来越多，逐渐被大家重视，不少公司和组织投入到Web漏洞扫描器开发中，有商业的，也有免费并开源的。通常情况下，比较出名的扫描器都能检测出常见的Web应用漏洞，包括SQL注入漏洞、XSS漏洞、列目录等，但不同的扫描器都有各自的特点和差异，主要表现在扫描速度、漏报率、误报率、功能强大程度方面。

在国外，对Web漏洞检测工具的研究比较早，首先对它们进行分析。

(1) AWVS（Acunetix Web Vulnerability Scanner）

AWVS是一款商业性质的Web应用程序漏洞检测工具，功能比较强大，能够检测出常见的Web应用漏洞，包括SQL注入漏洞、XSS漏洞、CSRF漏洞等，能够生成扫描报告，另外，它也包括一些模糊测试的模块。但该工具是商业化的，普通用户是没法使用的，并且它的扫描速率比较慢。

(2) IBM Rational AppScan

AppScan是由IBM公司开发的漏洞检测工具，也是属于商业性质的。该工具的特点是能够检测出缓冲区溢出（buffer overflow）及最新的Flash/Flex 应用漏洞等。AppScan的缺点是占用内存大，误报率相对较高。

(3) Nessus

Nessus是目前使用人数最多的漏洞扫描工具之一，它有多个版本，包括免费版、商业版等，免费版的能够满足大部分普通用户。Nessus漏洞扫描器的漏洞库很庞大，并且实时更新，能检测出大部分的漏洞。Nessus是基于B/S模式的扫描系统，操作界面美观，能够生成详细的扫描报告，并且能够给出漏洞的详细情况和修复意见。

(4) w3af

w3af是世界上著名的安全公司Rapid7的Web安全主管Andres riancho负责的一个开源扫项目，可以用于扫描Web应用程序的漏洞。w3af是由Python编写的，项目包括130多个插件，可以用于检测SQL注入、文件包含、XSS等漏洞。用户可以根据需求添加相应的插件，但对于初学者来说可能比较麻烦一些，配置相对较复杂。

(5) Nikto

Nikto是一款开源的Web应用程序漏洞扫描器，由Chris Sullo等人开发，开发所用的语言是Perl，只有安装Perl编译环境才能运行。该工具包含1200多种服务器版本和200多种特定服务器问题。但是该软件更新频率比较慢，无法检测出最新的漏洞。

由此可见，不同的扫描器都有各自的优缺点。一般而言，商业性质的扫描器具有庞大的漏洞库，漏洞检测率相对较高，能提供详细的扫描报告，功能更加强大，但是源码是不公开的，并且价格昂贵。开源的扫描器代码是公开的，并且是免费的，用户根据需求开发必要的插件，可扩展性好，但是包含的漏洞库少，扫描准确率相对较低。

在国内，对Web应用的漏洞的研究起步较晚，所以相应的漏洞检测工具也相对较少。国内比较著名的Web漏洞扫描工具主要有绿盟的极光、安恒的明鉴、启明星辰的天镜，这三款产品都是商业性质的。绿盟的极光综合运用了包括NSIP在内的多种领先的技术，能够高效、准确地发现目标站点存在的安全漏洞，并采用风险评估模型将风险量化，提供专业的解决方案；启明的天境是能够全面地扫描各种Web应用的漏洞，能够给出预防措施和修复建议，有效审核风险控制策略；安恒的明鉴最大的特点是不仅具有强大的漏洞扫描功能，还提供了强大的渗透测试和安全审计功能，并且，系统的误报率和漏报率等各项关键指标均达到国际领先水平。

1.4 研究内容

针对现有Web应用比较严峻的安全形势，本文的主要目标是设计并实现一个使用简单、功能强大、性能良好的Web应用漏洞检测工具。该工具能够检测出包括SQL注入和XSS漏洞在内的常见Web漏洞，误报率、漏报率较低，具有较高的检测效率和正确率，并且能够生成扫描结果报告。

本文的主要研究内容如下：

(1) 研究了HTTP协议等常见的Web技术。

(2) 研究了包括SQL注入、XSS漏洞等常见的Web应用漏洞，分析了漏洞的

原理、攻击技巧等内容。

(3) 研究了网络爬虫技术，分析了网络爬虫的原理等内容。

(4) 研究了Web应用漏洞的检测技术，设计并实现了Web应用漏洞检测系统，并通过实验验证了该工具的有效性。

1.5 论文结构

第一章：绪论。介绍了本文的研究背景、研究意义和研究内容，并分析了国内外研究现状。

第二章：Web应用相关技术。本章介绍了Web应用相关技术，包括HTTP协议和网络爬虫技术，并详细分析了SQL注入漏洞和XSS漏洞的原理、分类以及攻击技巧等内容。

第三章：系统需求分析与设计。本章对系统进行了需求分析和设计，重点介绍了系统的功能需求和性能需求，并且详细设计了各个功能模块。

第四章：系统的实现。详细描述了各个功能模块的实现过程。

第五章：系统的测试。对系统进行了测试，主要包括系统的功能测试以及性能测试，并通过实验验证了系统的有效性。

第六章：总结和展望。对论文的研究内容进行了总结，分析了其优缺点，并提出了将来的工作。

2 Web应用相关技术

本章节将介绍一些Web应用相关的技术，包括HTTP协议和网络爬虫技术，介绍用来开发本文系统的开发语言Python，重点对SQL注入漏洞和XSS漏洞进行详细的分析。这些技术知识和原理都是开发Web应用漏洞检测系统的前提，也是必须的。

2.1 HTTP协议

本文所研究的Web 应用漏洞检测系统是基于HTTP协议的，爬虫模块和漏洞检测模块都是基于HTTP 协议实现的。漏洞检测过程是构造并发送带有一定特征的HTTP请求，然后分析服务器发送回来的响应包的内容来判断是否存在漏洞，所以深入研究HTTP协议是很有必要的。

HTTP协议（Hypertext Transfer Protocol）是访问Web应用程序的通信协议。最早的时候，HTTP协议只是应用于单纯地获取静态资源，随着Web技术的发展，HTTP协议还能用于发送、删除等操作。

HTTP协议是使用TCP协议作为传输机制，工作在应用层，它是无状态、无连接的协议，其默认端口为80端口。HTTP协议由两部分组成：请求和响应，其工作模型如图2-1所示。

图2-1 HTTP协议模型

Figure 2-1 HTTP protocol model

(1) HTTP请求

HTTP请求通常由三部分组成：请求行、请求头以及请求实体。以下是一个登陆某网站的请求信息：

POST /Manage/Login.aspx HTTP/1.1

Host: https://www.doczj.com/doc/da10717118.html,

User-Agent: Mozilla/5.0 (X11; Linux i686; rv:31.0) Gecko/20100101 Firefox/31.0 Iceweasel/31.5.0

Accept: textml,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8

Accept-Language: en-US,en;q=0.5

Accept-Encoding: gzip, deflate

Referer: http://example/Manage/Login.aspx

Cookie: https://www.doczj.com/doc/da10717118.html,_SessionId=0kl5oszdeofldgqpwxhlbhpx Connection: keep-alive Content-Type: application/x-www-form-urlencoded

Content-Length: 815

name=test&password =passwd&LoginButton=login

其中第一行为请求行，POST代表该请求为POST请求，“/Manage/Login.aspx”代表目录，“HTTP/1.1”表示HTTP协议的版本；最后一行是请求实体，即向服务端传输的参数；中间部分则是HTTP请求头内容，请求头与请求实体之间用空行（两个CRLF）隔开。

HTTP请求的方法有多种，包括GET请求、POST请求、Head请求、Trace请求、PUT请求、OPTIONS请求等，其中GET请求和POST请求是最常用的方法，GET请求一般用于获取服务器端的资源，而POST请求则主要用于向服务器端传送数据，安全性更强。

(2) HTTP响应

HTTP响应主要包括三部分：状态行、响应头、响应实体。以下是一个HTTP 响应信息：

HTTP/1.1 200 OK

Date: Fri, 15 May 2015 12:45:59 GMT

Server: Microsoft-IIS/7.0

X-Powered-By: https://www.doczj.com/doc/da10717118.html,

Cache-Control: private

Content-Type: text/html; charset=utf-8

Content-Length: 36286

.dtd">