关键字文章采集器java抓包代理大部分都支持fiddler代理

　　关键字文章采集器java抓包代理大部分都支持fiddler代理

　　关键字文章采集器java抓包代理大部分都支持fiddler代理，然后还可以使用工具，比如七牛云，万网，

　　代理服务器用localhost也没问题，

　　爬虫请求第一步必然是http转码，以apache为例，http=1。0转成http=1。1时会有etag，请求get和post在没有etag的情况下会自动到apache，不过可以通过seleniumhttp=1。0转成http=1。1会有servername，请求get和post没有etag时会直接到iis或者nginx。

　　在python中可以用selenium抓log以python3.4为例,在ide上可以用：get_log()方法get_log()方法里面有pagenum(),或者page_max()两个参数,即页面最多可以容纳多少个文件

　　可以用scrapy或者gunicorn做这些，

　　有一个可以抓取一切网站的爬虫，是个人写的，叫：csdn爬虫，使用起来也不复杂，

　　可以用scrapy爬一些blog或者小公司的商业商城的。

　　直接用httpclient即可，用webdriver。

　　可以自己开发scrapy或者爬虫框架，然后自己构建抓取服务器。开发scrapy原因很简单，scrapy相比google/facebook这种存在*敏*感*词*feed的上层应用，代码代码量小，