标题：让Baiduspider迅速抓取网站每个页面
出处：北京SEO_北京SEO培训 - 【元创SEO】
时间：Sun, 04 Sep 2011 14:10:25 +0000
作者：元创
地址：http://www.yuan-chuang.cc/read.php/838.htm

内容：
让Baiduspider迅速抓取网站每个页面

百度推出了很多自己的产品，仔细想想，他自己也是利用这些产品数据来更好的解决搜索服务的，百度统计，百度收藏，博客等，
下面说下如何用百度收藏来解决网站的收录问题

一个网站有很多的页面，有些页面Baiduspider可能抓取不到，这个时候怎么办呢？让这个url出现在网络上（免费发外链论坛），尽可能快得呗蜘蛛发现
如何去做？

我们可以申请一批百度账号，然后把这些页面url添加到每个账号下的百度收藏里面（如果是大量页面，百万级别的，可以开发工具来做，期待有人解决，呵呵） 
用一批百度账号做收藏，是为了增加爬虫发现的几率和到达网站的几率，用百度的收藏夹，是为了解决百度爬虫的发现页面的速度和时间 
做百度收藏的测试结果如下：看日志 
220.181.51.210 - - [02/Sep/2011:10:03:02 -0400] "GET / HTTP/1.1" 200 83160 "-" "Baiduspider-favo+(+http://www.baidu.com/search/spider.htm)" 
61.135.190.72 - - [02/Sep/2011:10:03:02 -0400] "GET / HTTP/1.1" 200 83160 "-" "Baiduspider-favo+(+http://www.baidu.com/search/spider.htm)" 

ps：百度搜藏 的蜘蛛为 Baiduspider-favo 

我们可以吧这个测试拓展，通过百度收藏添加更多的url，那么蜘蛛获得你网站的url的几率和数量是不是很加大很多的，增加了页面在spider的曝光率，那么收录也有可能呗解决。以上思路仅供参考，欢迎提出新方法! 


文章来源地址：http://www.16ok.net/bbs/read.php?tid-14.html


Generated by Bo-blog 2.1.1 Release