首页 >> 通信新闻 >> 滚动新闻 >> 正文
 
谷歌开发实时索引系统:数秒内抓取内容更新
http://www.cww.net.cn   2010年3月4日 13:29    新浪科技    

    据国外媒体今日报道,谷歌正在开发一套系统,使得任何规模的网站发布者都能够向谷歌自动提交内容,从而使其内容在发布后几秒钟内被谷歌索引。

    新的篇章

    美国搜索引擎技术网站SearchEngineLand主编丹尼·苏利文(DannySullivan)认为,这将为谷歌掀开新的篇章。

    谷歌PubSubHubbub(以下简称“PuSH”)实时同步协议开发主管布伦特·斯拉特金(BrettSlatkin)去年秋天曾表示,他希望谷歌有朝一日能够用PuSH协议来索引网络内容,而不再借助已经使用多年的爬虫技术。谷歌高级产品经理狄伦·凯西(DylanCasey)周二在加州圣克拉拉举行的搜索营销大会(SearchMarketing Expo)上表示,该公司很快就将为网站所有者提供一种标准的方式,使之可以获得与PuSH类似的效果。

    运作方式

    PuSH是一种基于ATOM格式的同步系统。使用该系统时,网站首先要公布一个Hub,每当有内容更新时,该网站便会通过这个Hub发出通知。而用户注册后就相当于告诉该Hub:“当该网站有内容更新时,请将立刻将其发送给我。”这样一来,注册用户就无需不停地访问原始网站来查看是否有内容更新,只需要等待Hub的通知即可。当网站发布了新的内容后,便会自动告知Hub,而Hub则会将这些内容发送给所有的注册用户。整个过程只需几秒钟。

    如果谷歌借助PuSH来部署一套索引程序,便可以要求所有网站部署这一技术,并申报各自所使用的Hub,这就像在传统RSS服务中提供RSSfeed一样。之后,谷歌便可以借助这些Hub来获知网站是否有内容更新。

    但业内人士认为,PuSH协议不太可能代替现有的爬虫程序。事实上,必须要通过爬虫技术来获取网站的PuSHfeed,但这种实时协议却能够对谷歌现有的索引技术起到极大的促进作用。

    苏利文认为,谷歌必须要部署一种垃圾信息控制机制,而不能不加审查地收录所有实时信息。他表示,这种情况曾在搜索引擎发展初期出现过,而且造成了极大的问题。

    优势所在

    从运算角度来讲,PuSH将为谷歌带来更高的效率。但斯拉特金认为,更重要的在于此举对于小型网站的影响。目前,谷歌爬虫对许多小型网站的抓取频率仅为一周一次。而有了PuSH系统,这些网站便可以将新内容实时提交给谷歌。

    内容更为丰富、速度更快、效率更高的互联网将对所有人有益,而从中获益的搜索引擎也不止谷歌一家。PuSH是一种开放协议,雅虎和必应也可以访问。斯拉特金说:“我的主管一直在告诉我,要对这一协议采取开放的推广方式,即使对竞争对手也要如此。”(鼎宏)

编 辑:徐亮
关键字搜索:谷歌  搜索引擎  
相关新闻
每日新闻排行
企业黄页
会议活动