文章网站自动采集发布(《真话python爬虫，完整版》早上心情不错，于是跑去看看)

　　文章网站自动采集发布(《真话python爬虫，完整版》早上心情不错，于是跑去看看)

　　文章网站自动采集发布到博客了，请大家到原文阅读，或者直接到我的blog当中自行打开《真话python爬虫，完整版》今天早上心情不错，于是跑去github看看有没有什么好的爬虫系列教程，结果在爬虫领域看到了googlehttps的关键字，于是来给大家简单介绍一下什么是爬虫-其实你也可以把爬虫理解为，给你一堆网站名字，让你去爬，其实就是把网站数据每个子数据单独调用到你的cache下，以便保存。

　　而不是把所有数据都调用过来。那么如何来做到呢？一种是采用c语言+正则表达式模拟正常的网页请求，但是，从爬虫效率和性能方面而言，非常的一般。相比之下，googlehttps爬虫效率高多了，因为它采用google的https，假如你爬一些简单的页面可能都需要专门去写一个代码，而采用https网站，直接在google的api下直接接口就可以了，效率高多了。

　　下面让我们来看一下图片爬虫爬取，x度的识图搜索这两个例子。爬虫的缺点是对性能要求较高，因为大网站服务器都较大，处理网站代码会花费大量的资源。所以要量力而行。另外爬虫是采用模拟访问的方式来进行请求的，这个的一个优点就是在每次请求之前，都可以缓存一段时间（你可以理解为重复调用google爬虫系统），因为服务器每次都不会重复调用你的网站，而就你这个请求而言，重复调用一遍其实不用，每次只需要调用一次，即可。

　　这个是爬虫的一个缺点。然后还有一个优点就是爬虫非常的安全，就是大网站你可以随便动，想用啥用啥，而不需要考虑安全性，你可以直接重复上这些大网站。-。