不用采集规则就可以采集(不用采集规则就可以采集网页内容了吗？(图))

　　不用采集规则就可以采集(不用采集规则就可以采集网页内容了吗？(图))

　　不用采集规则就可以采集网页内容了，但是在python中，文本内容和图片是进行匹配的，根据网页地址匹配出图片url，将url传递给爬虫工程师，工程师抓取图片后就可以提取文本内容了。

　　python里面可以爬来爬去，但都需要规则编写，tornado和scrapy等框架都支持了自动爬取功能，但规则编写需要一些专业的知识和经验，或者说要付出更多的代价，目前爬虫市场很大，爬虫接口很多，想要靠单个人找到一个不需要规则编写的爬虫，有些困难。另外，国内网站的规则编写，代码编写，爬虫接口授权，爬虫安全防护等都不够完善，还有很多待完善的地方，不是一朝一夕可以解决的。最后，我想说，爬虫很有前途，可不是什么网页快照发出来，网页也能被爬过去。

　　现在市面上要求还是很低的，不懂规则的人可以python爬虫自己编写出来，加上规则会爬取一些。实在是不懂规则编写，也可以尝试一下webrobot。

　　个人认为，爬虫已经被过度滥用了。如果不是很懂规则不推荐下载各种脚本爬虫软件。其实传统爬虫有千千万万种实现方式，一刀切只会爬虫行业走向封闭。

　　现在还有用传统爬虫的吗？现在不太推荐用传统爬虫工具。爬虫已经在很大程度上被滥用了。爬虫爬取成功概率不高，而且不好管理，影响现有正常业务，我一直觉得比如以互联网为平台的行业应用的网站应该用mediaquery比较方便。