推荐文章:如何用正则去找回网站爬虫上传文章的地址呢？

　　推荐文章:如何用正则去找回网站爬虫上传文章的地址呢？

　　网站程序自带的采集器采集文章有各种限制，有时候，你的网站虽然能够爬虫爬到，但是一不小心就会把文章给删除了。虽然你很想找回，但是程序把这些都给删除了是没办法找回的。那么我们能用什么方法找回呢?如何用正则去找回网站爬虫上传文章的地址呢?正则采集文章地址的解决方法：利用firebug调用浏览器去模拟浏览器进行抓取文章地址（利用上方http代码即可）。

　　抓包分析，如果是现代浏览器的话,可以用javascript判断，

　　把图片中的替换成<a></a>

　　有个叫wepy的写爬虫的。

　　scrapy之get对原postrequest返回json格式的url和responsejson文件中要求的有以下信息1user-agent:python2response格式

　　通过对user-agent的观察，应该可以判断post参数。

　　直接判断浏览器的。看下response的值，取到函数也是一样的。有3种对json格式的请求：1.正则2.正则匹配，但是可能有很多重复值（因为正则本身可能有其他语言编写的转义，或者正则匹配的形式对特定类型文件有溢出风险）3.json+fastjson。

　　某些时候，不要太执着于你想要的东西。文章下的广告基本上都能清理，甚至源文件也不需要。但是假如下载一个文件的话，每次下载一份，却占内存可是相当可怕的。有时你想把数据拷贝到单独的文件夹里，然后在其中搜索一下新闻看看，却不愿意自己写fast的循环，或者说懒得去写。就让程序帮你做不好吗？不愿意嘛，可以让程序去做不好嘛。

　　写模拟人工爬虫，自动抓图，对一切数据平坦优化，剔除没有的数据，对链接路径折腾上很久。写了一个训练网页爬虫的代码（爬取新闻、电影等），遇到瓶颈了，就问这个解决方案是不是比自己折腾来的慢。