算法自动采集列表自动推荐（把tab导航里的链接爬一遍）

　　算法自动采集列表自动推荐（把tab导航里的链接爬一遍）

　　算法自动采集列表自动推荐（把tab导航里的链接爬一遍，就知道哪些页面会有哪些信息了）seo优化（通过爬虫爬行来对页面进行分类分析，进而将该页面信息放到合适的位置，

　　1、规范管理信息，包括爬虫，爬取规则。

　　2、利用信息工具进行有效信息的分类，设置不同的列表显示格式。

　　3、目录分类。需要时做点抓取。

　　google爬虫不是工具而是目的。不是说，爬虫有多重要。而是说，用什么样的爬虫会有更大价值。google爬虫分为几种。一种是自动爬取，另一种是采集，最后是代理ip爬取（免费的，商业模式）等。用相应的spider，spider如果有多个，可以逐一选择爬取。如果有那么多，可以选择多个不同spider一起爬取（根据需要可选择爬取完自动触发抓取，或按某种策略）。

　　我做爬虫最好的办法是说服一个爬虫来按你的要求自动抓取，总之的方法就是不能让google抓取你自己的网站，因为某些操作会发生概率性的事件，就是不知道你的网站是个什么样的东西。既然已经决定你的网站要爬取了，这个时候采集比爬虫要好的多了，比如javaweb页面（这个页面是经google压缩过的），采集，最后只需要改下url即可。

　　又比如一些重要页面，重要文章，也可以抓取完再抓取。网站的话可以抓几个重要页面爬取，然后再抓大的页面，慢慢来。