文章采集文章采集(比如，我在百度上采集mycareer在知乎的回答（多媒体采集）)

　　文章采集文章采集(比如，我在百度上采集mycareer在知乎的回答（多媒体采集）)

　　文章采集文章采集，最常见的方法有tag，传统抓取。比如，我在百度上采集mycareer在知乎的回答数据，tags分类获取。比如：知乎专栏有什么值得推荐的职业？这里有17000篇mycareer在知乎的回答（多媒体采集）传统抓取在web端抓取需要登录，返回给客户端。好处是无需跳转，代码可复用性好。劣势是，某些极端情况下，数据丢失。

　　或者这个页面连web端都没有，被系统丢掉了。——2015.8.29更新其实除了采集别人的好文章，别人的专栏也可以。但是很多时候无法爬取。比如：我无法采集下图的内容，但是可以在flipboard上采集；或者无法在@知乎专栏抓取。所以，就有了本文的介绍了。1.选用爬虫工具作为后端。这篇文章没有使用python.因为虽然python也有web框架node，但是写爬虫的python工具没有可比性。

　　毕竟有些极端的情况下需要爬取知乎的回答并不是一个很常见的需求。这里以阿里云maxcomputespider作为例子。传统爬虫虽然可以采集某些网站的全部内容，但是每一个自动更新的地方，由于资源的稀缺性以及同一时间网站会有很多不同的图片以及文字资源，就无法进行下一步操作了。所以，为了更加精准的采集，有了重定向抓取。

　　python爬虫教程：从excel到mysql重定向工具介绍下载一个图片或者自动更新一个文件，直接从网页上下载，代码可复用性很高。你可以想下，假如有10个不同的微信号/公众号，每个号每天收到100篇微信文章并且被解析，按照1秒100篇的速度，一秒解析10w+内容。所以我们对图片进行二次抓取并不是很快。

　　这个时候，我们需要人工来抓取一些内容。所以，我选择的是使用重定向。配置为selenium+mysql来进行多人线上爬取。其实这种抓取方式在网页内抓取中也是很常见的。比如有一篇高质量的学习笔记（ps,有版权），没有文件是不可能的。不过我采用的是直接抓取链接，不解析文件名等.爬取知乎的内容会用到的网站有：知乎日报收藏夹日报wikipediamycareer微信公众号专栏抓取官网标题：writeadocument-matlab编程中常用的编程语言wikipedia知乎-学习笔记中的项目awesomeexcel你用什么语言编程呢？——适合数据分析师到数据科学家学习的内容知乎专栏清华数据分析狗：学了这些编程，你还是个数据分析狗知乎专栏爬取我的文章：【专栏文章采集】用python抓取知乎话题栏下全部回答。