海外网页抓取工具:followthemoon.但是需要翻墙才能访问哈

　　海外网页抓取工具:followthemoon.但是需要翻墙才能访问哈

　　文章句子采集软件，其他的比如暴风影音的软件等等可以用。excel格式的话那就用excel吧。一般网站上都会有用txt格式存储网站的链接，需要的时候提取就可以。

　　昨天刚刚发现一款海外网页的抓取工具:followthemoon.但是需要翻墙才能访问哈，对翻墙很有要求的朋友注意哈！但不得不说这款工具还是很强大的，

　　我试了edithwaves他们家一些专题类的东西

　　油猴-脚本之王推荐这个吧有大部分你需要的功能

　　阿北在微博推荐了无觅，

　　链接

　　可以试试「netcloud」，他可以存储网站上的所有网页。也是专注于国外网站爬取，发现有部分国内网站不能访问，但是不影响大部分用户使用。爬取后放入我们自己的webpagebase中()。

　　postman

　　国内的很多第三方平台，楼上说的都对，有个值得推荐的公司叫skyrailblog，他们的正规资质值得我们信赖的。

　　edit

　　比edithwaves的爬虫器多更丰富的功能。edit是别的很多网站都能爬，

　　1.redisoakr2.中国最早做网站抓取的。

　　用没有代理的代理软件来抓

　　好吧还是推荐一下followthemoon。这个需要翻墙，支持国内国外多种语言。效果不错，可以直接爬。

　　qtrescue的抓取专家我目前用的是rescueweb，网站抓取的方面还是有些限制，只能去登录提取链接。我现在正在尝试像他们提供很多软件都不能抓取到的网站，比如很有名的网易云音乐。不过话说回来，毕竟是开源项目，去github就可以看到源代码，并且很简单。