简介
互联网是现今生活中必不可少的一部分，并被广泛使用在商业和个人的应用中。以往难以获取的信息现在通过点击一个按钮就可以轻松地访问到。在过去的几年里，互联网的数据呈爆发性地增长，同时增长也带来了网络安全和生产率的新挑战。
攻击者总是寻找新的、复杂的方法通过利用Web漏洞来获取他们想要的信息。随着Web2.0和云计算技术的出现，攻击者已经从试图“推送”他们的攻击过渡到“拉动”攻击。拉动式的攻击发生是最终用户不知不觉地被欺骗把威胁拉到网络中。攻击者通过恶意软件去感染合法的和不知名的网站（例如那些包含色情信息的网站）就是其中的一个例子。URL过滤原本用于避免对不恰当内容的访问，然而随着Web 2.0威胁的进化，现在URL过滤成为了任何安全架构中关键的一个保护层。
Web 2.0和社交网站正变得越来越多样化。许多网站都是在单个Web页面里包含多项内容和媒体文件。正因为如此，域名合法的网站（例如微软的live.spaces.com或Facebook.com）常被嵌入恶意代码或链接到恶意网站。所以，企业需要的URL过滤技术既要有足够广泛的覆盖面又要能在合法的网页中区分出相应的威胁。
早期的URL过滤
在1990年代中期，URL过滤依赖于用于定义黑名单和白名单来控制对网站的访问。这些黑白名单基本上由每个公司的IT部门来管理。然而，这个方法有许多的缺陷。所有网站的分类都是由单个人或少数几个人自由地决定。这种方法既需要集中的资源又缺乏客观的标准。一个用户认为可接收的资源可能并不适用于其他人。
不准确的网站分类导致许多应该允许访问的站点被屏蔽，同时一些应该禁止访问的站点却被允许通过了过滤器。随着时间的推移，手动设置的黑白名单已经不能适应Web增长的速度和复杂性。
在1990年代后期，URL过滤技术开始利用安装在本地数据库上的分类引擎。分类引擎本身通常位于互联网上的远程服务器，结果被发送到作为客户端的本地数据库。这种方法仍旧是现今标准的URL过滤解决方案的首选架构。在这种架构中，URL及其内容根据分类引擎预先定义好的类别进行分析和分类（例如，包括赌博、色情和网上购物等），并存储在集中的主数据库中，然后通过更新本地用户数据库来保持与主数据库的信息同步。相对于手动配置黑白名单，这种类型的URL过滤可以集成到公司的域来加强每个用户/组策略的粒度是一种改进。然而，随着互联网的增长，这些数据库的规模也随之增长。本地数据库的更新周期无法跟上Web的快速增长。
传统的URL过滤
在2000年代早期，URL过滤解决方案尝试通过以启发式内容分析的替换URL匹配方法来解决本地数据库规模的问题。这些基于会话的启发将分析在网页头部和HTML主体内的文本来决定是否禁止对这个页面的访问。理论上，这是个处理困扰了前几代URL过滤的一个很好的解决方案；然而，在实践中它依旧有自身的问题。许多基于网页内容分析的启发性实践并没有足够快地执行实时发送文本内容给最终用户。不断增长的延迟在这些解决方案中常常可见并使Web浏览的体验变得让人难以接受。另外一个问题是基于启发式的解决方案无法适应Web 2.0日益多样化的内容。大部分Web 2.0的动态内容不能很准确地通过这些分类引擎对内容和文本进行分析，从而导致许多的错误分类。
