文章采集站里面有个proxywiki的功能，你只要写一个.php把想爬的站点

　　文章采集站里面有个proxywiki的功能，你只要写一个.php把想爬的站点

　　文章采集站里面有个proxywiki的功能，你只要写一个index.php脚本把想爬的站点按照条件设置成速度快，推荐好站爬，一般常用的站点都会在里面爬，开发的过程都是要想办法找到爬站地址，再按照这个网站写的代码爬去网站，只要设置够简单，

　　更新一下，有个方法也不是爬到全站，但可以百度一下。

　　2),logical(b

　　2)),

　　0)&a2=a2&b2=b

　　2))

　　网站日志中，有sitemap提供的url地址，

　　试试猪八戒

　　搜搜福步上看看

　　我一般都是百度一下。最新鲜的。

　　要看你用什么爬虫软件

　　可以尝试用百度的lookup进行网站爬取不过这个一般要辅助其他软件比如雅虎网中国，

　　百度搜：百度搜索指数，这个可以看到你所有爬虫爬取的东西，当然也可以看到搜索的竞争网站。我们看百度这个指数的时候，一般是这样得到的：某种标签（常见的是标签名或编号）在互联网中的总数量，以及这个编号在互联网中的分布。当然，标签都有一定的限制。例如专门的site可以搜索包含这个标签的网站，ip访问也可以搜索这个标签的网站。

　　百度日志，把浏览的网站打出ip、url，发布出来，别人爬就可以了。