巧用爬虫框架爬取几百页源代码都没问题

　　巧用爬虫框架爬取几百页源代码都没问题

　　文章采集系统分享到微信公众号：flowerpu.用后台接口采集，经过测试，是可以直接从指定网站获取网页数据的，最直接的方法是把网页数据，做一个下载工具，如excel导入数据库。其他方法也是经过测试，有时效性，比如获取一批复制模板，这个后台同意可用，但不一定能下载全部数据。所以推荐的方法是借助爬虫框架，如scrapy实现分页采集网页。scrapy爬虫框架主要分为两个部分：分页和分页采集。

　　一、分页数据怎么采集分页，是你想看某个页面的哪个数据，必须从页面的源代码中提取出来。这一步的工作，是不断浏览页面，获取某个链接下的某个数据，然后，从数据库导出。这个过程非常的费时，特别是爬取test/cookiedata/cookiedata.py里面的数据时，连续获取几十页都要手动操作。有了scrapy分页数据，可以方便非常多。

　　一个网站如果有多个test/cookiedata/cookiedata.py里面，可以方便的按页面查看分页的结果，比如一页有100个数据，分别标记为#1，#2，#3，#4，#5，#6等等，如下图：有了分页数据，接下来就是分页数据怎么采集了。

　　二、分页采集分页数据采集，是对页面进行采集，从指定页面获取一些数据，主要分为两个步骤：第一，打开分页链接。第二，从页面中查找，需要的数据。我们分页数据采集，是通过scrapy爬虫框架实现的。

　　三、scrapy爬虫框架用于分页的分页采集框架，如scrapyfilm一个爬虫框架，爬取几百页源代码都没问题，这里主要分享如何使用此框架爬取整个页面的分页数据。scrapyfilm采集页面源代码，如下图：简单讲讲，爬取整个页面分页数据，需要参数的具体用法。在python中获取一个网页，要使用requests库。

　　爬取页面里面，有两个请求，一个是selector请求，一个是headers请求。我们写爬虫，都会写一个scrapyfilm爬虫，这个爬虫，主要是模拟爬取一个网页代码，爬取出来的页面，其实也就是一个请求。如下图：我们假设要爬取的页面是：，打开分页页面，如下图：可以看到，爬取出来是一个链接，链接上面包含一些需要爬取的页面：，接下来，我们就需要把这个链接，和整个页面都采集下来，爬取出来后，把页面文件里面的分页数据采集出来。

　　整个爬取过程，

　　1、获取页面的page标记

　　2、获取分页数据

　　3、跳转到指定的页面，获取对应的页面分页数据。scrapyfilm爬虫，并不像我们平时使用excel中导入数据进行爬取，它采用的请求页面，并返回对应页面的内容，然后返回结果，还可以重复提取页面分页数据。

　　如下图：主要分为三步：

　　1、获取这个页面的index这个