|
谷歌开发实时索引系统:数秒内抓取内容更新
http://www.cww.net.cn 2010年3月4日 13:29 新浪科技
据国外媒体今日报道,谷歌正在开发一套系统,使得任何规模的网站发布者都能够向谷歌自动提交内容,从而使其内容在发布后几秒钟内被谷歌索引。 新的篇章 美国搜索引擎技术网站SearchEngineLand主编丹尼·苏利文(DannySullivan)认为,这将为谷歌掀开新的篇章。 谷歌PubSubHubbub(以下简称“PuSH”)实时同步协议开发主管布伦特·斯拉特金(BrettSlatkin)去年秋天曾表示,他希望谷歌有朝一日能够用PuSH协议来索引网络内容,而不再借助已经使用多年的爬虫技术。谷歌高级产品经理狄伦·凯西(DylanCasey)周二在加州圣克拉拉举行的搜索营销大会(SearchMarketing Expo)上表示,该公司很快就将为网站所有者提供一种标准的方式,使之可以获得与PuSH类似的效果。 运作方式 PuSH是一种基于ATOM格式的同步系统。使用该系统时,网站首先要公布一个Hub,每当有内容更新时,该网站便会通过这个Hub发出通知。而用户注册后就相当于告诉该Hub:“当该网站有内容更新时,请将立刻将其发送给我。”这样一来,注册用户就无需不停地访问原始网站来查看是否有内容更新,只需要等待Hub的通知即可。当网站发布了新的内容后,便会自动告知Hub,而Hub则会将这些内容发送给所有的注册用户。整个过程只需几秒钟。 如果谷歌借助PuSH来部署一套索引程序,便可以要求所有网站部署这一技术,并申报各自所使用的Hub,这就像在传统RSS服务中提供RSSfeed一样。之后,谷歌便可以借助这些Hub来获知网站是否有内容更新。 但业内人士认为,PuSH协议不太可能代替现有的爬虫程序。事实上,必须要通过爬虫技术来获取网站的PuSHfeed,但这种实时协议却能够对谷歌现有的索引技术起到极大的促进作用。 苏利文认为,谷歌必须要部署一种垃圾信息控制机制,而不能不加审查地收录所有实时信息。他表示,这种情况曾在搜索引擎发展初期出现过,而且造成了极大的问题。 优势所在 从运算角度来讲,PuSH将为谷歌带来更高的效率。但斯拉特金认为,更重要的在于此举对于小型网站的影响。目前,谷歌爬虫对许多小型网站的抓取频率仅为一周一次。而有了PuSH系统,这些网站便可以将新内容实时提交给谷歌。 内容更为丰富、速度更快、效率更高的互联网将对所有人有益,而从中获益的搜索引擎也不止谷歌一家。PuSH是一种开放协议,雅虎和必应也可以访问。斯拉特金说:“我的主管一直在告诉我,要对这一协议采取开放的推广方式,即使对竞争对手也要如此。”(鼎宏) 编 辑:徐亮
|
每日新闻排行 企业黄页 会议活动 |