抓取网页生成电子书(行行网电子书多线程爬取-撸代码代码非常简单-写在前面 )

　　抓取网页生成电子书(行行网电子书多线程爬取-撸代码代码非常简单-写在前面

)

　　星星网电子书多线程爬取——写在前面

　　最近想找几本电子书看，翻了翻，然后找到了一个叫周渡的网站，网站很好，简单清爽，有书很多，而且都是在百度上打开的，网盘可以直接下载，更新速度也还行，就爬了上去。这篇文章可以文章学习，这么好的分享网站，尽量不要爬，会影响别人访问速度。需要数据的可以在我的博客下评论，我会发给你，QQ，邮箱什么的。

　　这个网站页面的逻辑很简单。我翻阅了图书详情页面，它看起来是这样的。我们只需要循环生成这些页面的链接，然后就可以爬取了。为了速度，我使用多线程。， 你可以试试看。如果想爬取后面的数据，就在本博客下方发表评论，不要乱搞别人的服务器。

　　11393.html11.html。…

　　星星网电子书多线程爬取-代码

　　代码非常简单。以我们之前的教程做铺垫，用很少的代码就可以实现完整的功能。最后将采集的内容写入csv文件，（什么是csv，百度知道）这段代码是IO密集型操作，我们使用aiohttp模块来编写。

　　步骤1

　　连接 URL 并启动线程。

　　上面的代码可以同步开启N个多线程，但是这样很容易导致其他人的服务器瘫痪。因此，我们必须限制并发数。对于以下代码，请尝试将其放在指定位置。

　　第2步

　　为了处理捕获的 Web 源代码并提取我们想要的元素，我添加了一个使用 lxml 提取数据的方法。

　　第 3 步

　　数据格式化后，将其保存为 csv 文件，然后收工！

　　星星网电子书多线程爬取——运行代码并查看结果