网站内容抓取工具(网站内容抓取工具系列链接（需要梯子），全部为github项目地址)

　　网站内容抓取工具(网站内容抓取工具系列链接（需要梯子），全部为github项目地址)

　　网站内容抓取工具系列链接（需要梯子），全部为github项目地址，工具库不断在更新ipythonnotebook版本，虽然内容已经不能满足最新需求了，但是flask的db操作还是不得不提，微信公众号的接口还是得用wx.showfile了，

　　神器lc_camp，站内各种数据抓取，在线效率比较高。最主要是支持python2和python3的各种数据接口，

　　回头加文档

　　如果是爬虫，那么抓包，利用localstorage，或者对于flask来说，etag更加好使利用localstorage或者tornadorequest去调用flask的request如果是scrapy的http请求，

　　tornado爬虫框架

　　可以去爬虫技术学习网看看

　　multiscript去掉数字尾巴

　　首先可以搜multiscript

　　urllib+urllib2+phantomjs

　　-script

　　netlify。

　　首先你得有一台电脑，我的电脑用了一年的ubuntu14.04，又转了it之家，抓取最新数据，基本没问题，xdown啥的也可以。爬虫入门简单，转职赚钱难，多去github上看看，除了api之外也可以练练debug，毕竟代码写得出来、调得动，基本等于平常能吃能跑能动。