网页内容抓取工具(网页内容抓取工具，好用，不占硬盘存储和网速)

　　网页内容抓取工具(网页内容抓取工具，好用，不占硬盘存储和网速)

　　网页内容抓取工具，好用，不占硬盘存储和网速，自带sql查询语言，适合一些初学者。支持安卓手机和苹果ios手机，已内置laravel语言，建议两端通吃。

　　我这里有一个网页抓取工具，

　　两个都用过，用pc推荐网页采集器，在网上广泛宣传，手机同样推荐网页采集器，它会提供相应的功能，不多说。爬虫是发现页面的规律，目前抓取不容易出现重复的页面。

　　初学，推荐beautifulsoup，如何得到页面信息，实现内容抓取。然后laya，正则表达式实现爬虫的到页面抓取。然后python自带，推荐python爬虫程序设计，http权威指南。当然，如果不喜欢看书，那可以使用爬虫工具。

　　pc上推荐scrapy()是一个高级的开源爬虫框架。目前大部分linux下应用基本都是基于scrapy开发的。scrapy已经包含了所有可爬取任务的爬虫功能。如果觉得scrapy还不够好，可以选择python的scrapy框架。

　　推荐用mysql

　　pc端的话推荐网页抓取器，手机端的推荐米筐，不太清楚你的专业，但数据可视化看你对哪方面用的多，linux下的shell编程的话直接lsb_release，python对win的虚拟机支持不错，虽然不如win系统做的好，但python是一个大数据容器。

　　hyperloglog手机端的话tornadolibtornado很简单，很容易学，感兴趣可以试试。