网站内容抓取工具(Java网站内容抓取工具推荐-supervisor爬虫)

　　网站内容抓取工具(Java网站内容抓取工具推荐-supervisor爬虫)

　　网站内容抓取工具推荐-supervisor

　　爬虫是一门技术，有很多种不同的工具，

　　用excel做是因为用excel做比较简单，前期在备注数据的时候用excel相对其他任何语言都要简单方便一些。我曾经参加过一个培训大概是用flash做了一下几分钟的视频演示视频，你可以借鉴参考一下。

　　关于比较全面的学习python爬虫，

　　如果是数据量比较少的网站，

　　网站url结构总要再定义一下吧。要确定需要抓取的url的情况下。不同情况选择工具不同。不然每个工具都能满足。最好先把工具的细节研究清楚，最后组合起来用，如果是在网站使用，不同的工具会限制你的爬虫场景。

　　网站随着数据量增大可以分为各种不同的，

　　excel不够灵活吧。可以学习下java，掌握了java后期换成python这类型的就挺方便。

　　看你预算和时间了，抓太简单的可以用excel,抓完用python把数据表定义好，总要有这个数据库吧？然后python读一下就可以了，复杂一点的就用爬虫，肯定要针对某一个目标去抓取，要考虑目标类型的限制，想怎么抓去，针对不同类型的抓取工具工作方式大体也不一样。另外excel没有权限控制。基本上初学爬虫到scrapy这种框架还要适应个1-2个月不等，比较麻烦。