scrapy分页抓取网页(讲讲如何抓取网页表格里的数据？(图))

　　scrapy分页抓取网页(讲讲如何抓取网页表格里的数据？(图))

　　今天我们讲讲如何抓取web表单中的数据。首先，我们来分析一下网页上的经典表格是如何组成的。

　　经典表就是这些知识点，不多说了。下面我们写一个简单的表单Web Scraper爬虫。

　　1.制作站点地图

　　我们今天的做法网站是

　　%C9%CF%BA%A3&txtDaoDa=%B1%B1%BE%A9

　　爬虫的内容是抓取上海到北京的所有列车时刻表。

　　我们首先创建一个收录整个表的容器，Type选为Table，表示我们要抓取表。

　　具体参数如上图所示，因为比较简单，就不多说了。

　　在此面板下向下滚动，您会发现一个不同的面板。仔细看就会发现，这些数据其实就是表数据类型的分类。在这种情况下，他列出了列车号、出发站和行驶时间的分类。

　　在Table列的类别中，每行内容旁边的选择按钮默认是打勾的，这意味着这些列的内容会被默认捕获。如果您不想抓取某种类型的内容，只需取消选中相应的复选框即可。

　　当你点击保存选择器按钮时，你会发现Result键的一些选项报错，说invalid format无效：

　　解决这个错误非常简单。一般来说，Result键名的长度是不够的。您只需要添加一个空格和一个标点符号。如果还是报错，尝试改成英文名：

　　解决错误并保存成功后，我们就可以按照Web Scraper的爬取例程爬取数据了。

　　2.我为什么不建议你使用Web Scraper的Table Selector？

　　如果按照刚才的教程，你会觉得很流畅，但是查看数据的时候你会傻眼。

　　刚开始爬的时候，我们先用Data preview预览数据，会发现数据很完美：

　　取完数据后，在浏览器的预览面板中预览，会发现车号一栏的数据为空，表示没有取到相关内容：

　　我们把抓到的CSV文件下载下来，在预览器中打开后，会发现出现了车次的数据，但是出发站的数据又为空了！

　　这不是作弊！

　　我一直在研究这个问题很长时间。应该是Web Scraper对中文关键词索引的支持不友好，所以会抛出一些奇怪的bug，所以不建议大家使用它的Table功能。

　　如果真的要抓取表格数据，我们可以使用之前的方案，先创建一个Element类型的容器，然后在容器中手动创建子选择器，这样我们就可以避免这个问题。

　　以上只是原因之一。另一个原因是在现代 网站 中，很少有人使用 HTML 原创表单。

　　HTML 提供了表格的基本标签，例如，和其他标签，这些标签提供了默认样式。优点是在互联网刚刚发展的时候，可以提供开箱即用的表格；缺点是款式太单一，不易定制。后来很多网站用其他标签来模拟表格，就像PPT把各种大小的立方体组合成一个表格，方便定制：

　　为此，当你使用Table Selector来匹配一个表时，你可能生死不匹配，因为从Web Scraper的角度来看，你看到的表是*敏*感*词*的，根本不是真品，所以自然不是。认可。

　　3.总结

　　我们不建议直接使用Web Scraper的Table Selector，因为它对中文支持不是很友好，也不太适合现代网页的匹配。如果需要抓取表格，可以使用前面创建父子选择器的方法。

　　在之前的文章文章中，我们介绍了Web Scraper对于各种翻页的解决方案，比如，和。今天我们说的是一种比较常见的翻页机。

　　我想解释一下什么是寻呼机。我发现浏览一堆定义非常麻烦。这不是每个人都上网的第一年。看看图片吧。找了个功能最全的例子，支持数字页码调整，上一页下一页，指定页码跳转。

　　今天我们将学习如何通过Web Scraper来处理这种类型的翻页。

　　实际上，在本教程的第一个示例中，豆瓣的这个电影列表使用分页器来拆分数据：

　　但当时，我们正在寻找定期抓取的网络链接，我们没有使用寻呼机来抓取它们。因为当网页的链接有规律的变化时，控制链接参数爬取的代价是最低的；如果网页可以翻，但链接变化不规律，就得去翻页了。

　　要说这些理论有点无聊，我们举一个不规则的翻页链接的例子。

　　8月2日是蔡徐坤的生日。为了庆祝，微博上的粉丝们给了坤坤一份300W转发。微博的转发数据碰巧被传呼机分割了。我们来分析一下微博的转发。信息页，看看这类数据是如何用 Web Scraper 爬取的。

　　这条微博的直接链接是：

　　看了这么多他的视频，为了表达我们的感激之情，我们可以点进来增加坤坤的阅读量。

　　首先，我们来看看第 1 页的转发链接，它看起来像这样：

　　第 2 页看起来像这样，并注意有一个额外的 #_rnd36 参数：

　　#_rnd36

　　第 3 页上的参数是 #_rnd39

　　#_rnd39

　　第 4 页上的参数是 #_rnd76：

　　#_rnd76

　　多看几个链接，可以发现这个转发的网页的网址是不规则的，所以只能用pager翻页加载数据。下面开始我们的实际教学环节。

　　1.创建站点地图

　　我们首先创建一个SiteMap，这次命名为cxk，起始链接是

　　2.创建容器选择器

　　因为我们要点击pager，所以我们选择Element Click作为外层容器的类型。具体参数说明见下图。之前我们已经详细解释过了，这里就不多说了。

　　容器的预览如下图所示：

　　寻呼机选择过程如下图所示：

　　3.创建子选择器

　　这些子选择器比较简单，类型都是文本选择器。我们选择了三种类型的内容：评论用户名、评论内容和评论时间。

　　4.获取数据

　　可以按照Sitemap cxk -> Scrape的操作路径抓取数据。

　　5.一些问题

　　如果你看了我上面的教程，马上爬取数据，你可能遇到的第一个问题是300w的数据，我能把它全部爬下来吗？

　　听起来不切实际。毕竟Web Scraper针对的数据量比较小。数以万计的数据被认为是太多了。无论数据有多大，都要考虑爬取时间是否过长，数据如何存储，如何处理。Web Scraper的反爬虫系统（比如突然弹出验证码，这个Web Scraper就无能为力了）。

　　考虑到这个问题，如果你再看一遍之前的教程，你可能想用：nth-​​of-type(-n+N)来控制N条数据的获取。如果你尝试，你会发现这个方法根本没有用。

　　失败的原因实际上涉及对网页的一些了解。如果你有兴趣，你可以阅读下面的解释。不感兴趣的可以直接看最后的结论。

　　正如我之前提到的，他们新加载的数据被添加到当前页面上。您不断向下滚动，数据不断加载。同时网页的滚动条会越来越短，这意味着所有的数据都在同一个页面上。.

　　当我们使用：nth-​​of-type(-n+N)来控制加载次数时，其实相当于在这个页面上设置了一个计数器。当数据累积到我们想要的数量时，它就会停止爬行。

　　但是对于使用翻页设备的网页来说，每次翻页就相当于刷新当前网页，这样每次都会设置一个计数器。

　　比如你想抓取1000条数据，但是页面第一页只有20条数据，抓到最后一条，还有980条数据；然后当翻页时，设置一个新的计数器，并抓取第 2 页的最后一个。一条数据还是980，翻页计数器复位，又变成1000了……所以这种控制数字的方法是无效的。

　　所以结论是，如果你想早点结束对pager类网页的抓取，只有这种断网的方法。当然，如果你有更好的计划，可以在评论中回复我，我们可以互相讨论。

　　6.总结

　　Pager 是一种很常见的网页分页方式。我们可以通过 Web Scraper 中的 Element click 处理此类网页，并通过断开网络来结束抓取。

　　● 简易数据分析（六）：Web Scraper 翻页——抓取「滚动加载」类型网页● 简易数据分析（二）：Web Scraper 初尝鲜，抓取豆瓣高分电影● 简易数据分析 （一）：源起、了解 Web Scraper 与浏览器技巧

　　·结尾·