1.3 本文研究观点
网站是否存在WEB 应用程序漏洞，往往是被入侵后才能察觉；如何在攻击发动之前主动发现WEB应用程序漏洞？答案就是：主动防御，即利用WEB应用弱点扫描技术，主动实现对WEB应用的安全防护。
本文主要针对B/S架构WEB应用系统中典型漏洞、流行的攻击技术、AJAX的隐藏资源获取、验证码图片识别等进行研究，提出了一种新的面向WEB的漏洞检测技术，能够较完整得提取出AJAX的资源，有效识别验证码。
2. WEB应用风险扫描架构
WEB应用风险扫描技术架构主要分为URL获取层、检测层、取证与深度评估层三个层次，其中：
URL获取层：主要通过网络爬虫方式获取需要检测的所有URL，并提交至检测层进行风险检测；
风险检测层：对URL获取层所提交的所有URL页面进行SQL注入、跨站脚本、文件上传等主流WEB应用安全漏洞进行检测，并将存在安全漏洞的页面和漏洞类型提交至取证与深度评估层；
取证与深度评估层：针对存在安全漏洞的页面，进行深度测试，获取所对应安全漏洞的显性表现，（如风险检测层检测出该网站存在SQL注入漏洞，则至少需可获取该网站的数据库类型）；作为该漏洞存在的证据。
3. 网络爬虫技术—URL获取
网络爬虫是一个自动提取网页的程序，它通过指定的域名，从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。
网络爬虫的工作流程较为复杂，首先根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，根据搜索策略从队列中选择下一步要抓取的网页URL，并重复，直到达到预设的停止条件。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询、检索和取证及报表生成时做为源数据。
为了更加高速、有效地获取网站中所有的URL链接，在本WEB应用风险扫描技术研究中，所采用的网络爬虫技术着重解决以下三个问题：
(1) 对抓取目标的描述或定义；
