解决雅虎蜘蛛爬行太多抓取频繁方法分享

 汤树东   2011-02-11 09:25   1581 人阅读  10 条评论

  其实,网站接受搜索引擎蜘蛛爬行多,并不意味着流量就一定多,不过,如果百度、谷歌等蜘蛛爬行多了,收录与流量一定会多。
  
  本站最近尝试过,发现,如果雅虎的蜘蛛爬行来得太多,抓取频繁了,会影响百度与、谷歌等蜘蛛爬行的来访次数。
  
  网上搜过一些原因,主要是雅虎的蜘蛛爬行多了,会影响服务器的负载。不过,总不能因为这样,就屏掉这个雅虎的蜘蛛爬行吧。
  
  笔者,尝试了各种方法。引来百度与谷歌的蜘蛛爬行,但就是不成功,详细查看了蜘蛛爬行监测文件,发现雅虎蜘蛛(Yahoo!Slurp和Yahoo!ChinaSlurp)访问量最大,大约是百度蜘蛛(BaiduSpider)的5倍,是谷歌蜘蛛(googlebot)的10倍,而实际上网站来自雅虎的流量简直都在5%以下。
  
  于是,想到了一个方法,就是将雅虎的蜘蛛爬行的次数与速度减少。这样就不会影响百度与谷歌等搜引擎的蜘蛛爬行了。
  
  方法这里分享下:首先打开TXT记事本,将以下代码复制进去,然后另存为robots.txt,最后将robots.txt上传到你的网站或博客所在主机的根目录:
  
  User-agent:Yahoo-Slurp
  Crawl-delay:300
  
  注明一下User-agent表示搜索引擎的代理蜘蛛,Yahoo-Slurp是雅虎蜘蛛的名字;Crawl-delay表示爬虫延时,300表示时间。
  
  这样,笔者发现,当雅虎的蜘蛛少了,百度与谷歌的则迅速增加了,而且谷歌的来得最多,而且频繁。流量也跟着上去了。(文/汤树东)

本文地址:https://tomtang55.us.to/post/833.html
版权声明:本文为原创文章,版权归 汤树东 所有,欢迎分享本文,转载请保留出处!

评论已关闭!