网页小说抓取 ios(IDM下载器实现小说文件的批量下载!(组图))
优采云 发布时间: 2021-11-03 14:04网页小说抓取 ios(IDM下载器实现小说文件的批量下载!(组图))
今天看到一本很不错的小说,本来想下载的,结果发现这本小说有十几本合集。如果一个一个下载肯定会很麻烦,我就忍不住想到了Internet Download Manager(简称IDM)。使用IDM的网站爬取功能就可以实现小说文件的批量下载!
IDM下载器可以批量下载文件。它不像网盘那样需要提前保存文件,而是可以借助网页链接直接抓取文件并下载。是不是很棒?今天给大家介绍一下如何使用IDM批量下载小说文件。
第一步:百度“txt小说下载”,进入小说下载网,复制链接地址。
打开搜狗浏览器,在百度上搜索“txt小说下载”,选择一本小说网站(这里以以下书网为例),进入网页后点击你想阅读的小说类型,并进入小说列表网页。然后复制这个接口的链接地址。
图1:图书网站小说列表页面
第二步:运行IDM的“网站爬取”功能。
回到软件主界面,点击界面右上角的“Site Capture”按钮,将刚才复制的链接地址粘贴到“Start Page/Address”栏中。如果小说网站需要登录才能下载,可以点击“授权”,填写账号和密码,点击下方“转发”按钮。
图2:网站抓取-链接输入页面
第三步:建议将“探索指定链接深度”修改为“5”。
在第2步点击“前进”,进入第3步后,将“探索指定链接深度”中根站点“2”的深度改为根站点“5”的深度,选择“前进”按钮.
这一步是因为从当前的网站到你下载小说的网页,需要跳转到该网页4次。链接深度是指需要重定向的网页数量,加上当前网页的这个链接,即如果要下载小说资源,需要填写根站深度“5”。如果您需要下载的网页只能通过跳转到该网页一次才能下载,则需要将链接深度更改为2。
图 3:网站爬取的第 2 步和第 3 步
步骤4:添加txt作为捕获文件的类型
因为IDM的抓包过滤器只收录图片、视频、音频、PDF、压缩文件等文件类型,没有TXT文件类型,所以需要添加TXT。单击添加过滤器,选择添加按钮,然后添加TXT文件类型,名称可自行填写,然后选择“确定”。
图 4:文件过滤器添加类型页面
第五步:选择txt文件类型。
单击确定后,您将返回文件过滤界面。这时候需要把“All Files”改成刚才添加的txt文件,然后点击Forward抓取小说文件。
图 5:更改抓取文件类型页面
经过以上步骤,就可以成功抓取并下载小说文件了!需要注意的是,有些小说文件不是txt格式的,而是doc格式的。可以把doc格式放在txt格式后面,用逗号隔开,这样就可以同时抓取doc和txt小说格式了!
以上就是使用IDM批量下载小说所有内容。如果您想了解更多关于 IDM 教程,请访问 Internet 下载管理器中文网站。