实用文章:如何利用Scrapy爬虫框架抓取网页全部文章信息（下篇）

　　实用文章:如何利用Scrapy爬虫框架抓取网页全部文章信息（下篇）

　　这个

　　天

　　鸡

　　汤

　　天长魂远，梦魂难到关山。

　　/前言/

　　在上一篇文章中，我们解析了列表页面中所有文章的URL，交给Scrapy去下载，在这个文章中我们将提取下一个的URL页面交给Scrapy Scrapy下载，具体教程如下。

　　/执行/

　　1、首先在网页中找到“下一页”的相关链接，如下图所示。与网页交互以查找“下一页”URL。

　　可以看到下一页的链接存在于a标签下的nextpage-numbers属性下的href标签中，而且这个属性是唯一的，所以可以很容易的定位到链接。

　　2、可以在scrapyshell中调试，然后将满足条件的表达式写入代码中，如下图所示。

　　在上图中，可以通过两种方式提取目标信息。推荐第二种方式，其中.next.page-numbers表示同一个类下有两个属性，可以更快更准确的定位标签。需要注意的是，这两个属性直接使用的是点号。连线不留空格，初学者容易出错。另外，在前面的文章中提到了extract_first("")函数，它的默认值为空，如果没有匹配到目标信息，则返回None。

　　3.获取到下一页的链接后，需要对其进行判断，以防万一，具体代码如下图所示。

　　至此，我们已经提取了下一页的URL，交给Scrapy去下载。需要注意的是，除了URL拼接部分，回调回调函数是这里的parse()函数，意思是回调下一页的文章列表页，而不是文章详情页面，需要特别注意。

　　4、接下来我们可以调试整个爬虫，在爬虫主文件中设置断点，如下图，然后在main.py文件中点击运行Debug，

　　5、稍等片刻，等待调试结果出来，如下图，结果就清楚了。

　　6、至此，我们基本完成了所有文章的提取，简单回顾一下整个爬取过程。首先我们在parse()函数中获取文章的URL，然后交给Scrapy去下载。下载完成后，Scrapy调用parse_detail()函数提取网页中的目标信息。本页提取完成后，提取下一页的信息，将下一页的URL交给Scrapy下载，然后回调parse()函数提取文章列表的URL在下一页，像这样来回迭代直到最后一页，整个爬虫就停止了。

　　7、使用Scrapy爬虫框架，我们可以获取整个网站的所有文章内容。中间的具体下载实现不需要我们手动完成，感受一下Scrapy爬虫的威力。?

　　目前我们刚刚遍历了整个网站，知道了目标信息的提取方法。暂时我们还没有将目标数据保存到本地或数据库中。我们会继续和下面的文章约好~~~

　　/概括/

　　本文基于 Scrapy 爬虫框架，使用 CSS 选择器和 Xpath 选择器来解析列表页面中的所有 文章 URL，遍历整个 网站 获取数据 采集，至此，我们有能够实现全网文章采集的数据都没了。

　　干货内容:百晓生 | SEO如何分析一个网站？

　　今天的问题：SEO如何分析网站？请问如何分析网站，从哪些角度全面分析网站的具体情况。谢谢。

　　白小生·音频版答案

　　白小生·文字版内容：

　　1

　　分析是SEO的重要职业基础

　　可以说，懂得分析一个网站是SEO人员的核心基本功之一。在我之前的文章中，我也说过没有网站的策略或技巧可以隐藏在资深的SEO面前。唯一不能复制的是项目本身的资源和优势。不管你使用什么方法，什么技术，什么策略。资深SEO人员可以分析，抄袭第一时间跟进。这就是分析能力。

　　2

　　要理解分析，首先要有SEO经验作为基础

　　假设没有分析一个网站的工具，是否可以分析出网站的近似权重；网站的价值，网站的潜力如何，网站的竞争基础优势如何等等。这方面的修为，只有多看多分析才能积累。这是分析能力的基础。这个属于Dao级别，可以逐步积累，现在市面上的SEO工具很多。这些工具可用于辅助网站表面数据的分析。下面三点，我会讲一下具体的技术方面。

　　3

　　见网站基本和过去

　　早期的 SEO 人，比如 2003 年左右做 SEO 的人。当时没有那么多工具，而且 SEO 教程也少之又少。当时我们主要通过查看网站之前的历史记录来分析网站。因为单看域名的注册时间，是无法确定网站的操作历史的。二是通过各种google搜索命令查看网站出现在谷歌数据库中的域名信息，采集网站在网上的一般行为路径信息，看看有没有特别的优化轨迹。三、直接通过google查看网站的外链数据。

　　4

　　查看网站的排名和流量

　　排名和流量的数据水平可以直接反映网站的权重。现在分析网站的排名和流量就很简单了。市场上有许多具有此类功能的工具。但是第三方工具只是一个参考，看看大致的样子。这里有一个小建议。看排名的时候，最好点击10字左右的具体排名结果页面看看。看看你分析的网站，还有哪些其他的网站排在一起。

　　5

　　查看 网站 的 SEO 策略

　　最后一步是看网站的优化技巧和优化策略。所以，回到你的分析本身的 网站 。查看网站的所有页面，页面的所有细节，不要错过任何一个小链接细节。在SEO这件事上，任何地方的链接都可能是SEO的战略布局。因此，您必须从里到外检查 网站 的各个方面。

　　我的观点是SEO，懂分析，也算是进入这个行业。

　　这些 文章 有助于进一步理解：

　　一起学习最新的网络营销推广技巧

　　掌握最新的营销趋势

　　转载 l 合作 l 投稿