你可以用它来做什么——批量采集多个页面
优采云 发布时间: 2021-08-20 05:23你可以用它来做什么——批量采集多个页面
kk 网页信息bulk采集export 工具是批量采集 多页信息,允许任何网页有导出功能的工具。该软件轻巧简单。集合了批量访问URL、POST提交访问、页面信息采集,3个简单的功能,可以实现强大复杂繁琐的批量信息采集和网页操作。
软件说明
顾名思义,它可以采集网页上的任何信息,并帮助您将其导出到您的计算机。同时,您还可以同时添加多个页面,让它批量帮您采集您需要的信息。
采集收到的信息可以导出为文本txt和表格.xlsx格式。这样,他不仅可以在任何网页上插上翅膀,让网页支持导出特定信息,还可以批量导出多个页面的这些信息。
网页信息批量提取工具,由于您自己的工作需要,管理后台订单和产品列表不支持导出。总结的时候,一一复制粘贴到excel中,难免很繁琐。 1 分钟内可以完成的工作需要手动完成。数小时内重复这些机械化动作。所以为了解决这些问题,2017年发布了第一个版本,让有相同需求的同学能够更高效的处理问题。
支持截取网页上的部分信息并导出,也支持从截取信息片段列表中匹配多条信息。
更好:
1、 请求通过 post 获取数据
2、自定义网页头协议头,伪装任意浏览器访问
3、还可以设置爬取间隔,防止采集快速被其他网站server拦截
4、将采集的结果导出到excel或txt
它不仅具有采集信息的功能,如果你有自己的网站,还可以帮你将这些信息或电脑excel中的信息发布到你的网站。
你可以用它做什么:
1、采集网页中的多条信息(标题/URL/时间等),导出
2、batch采集多个网页信息,导出
3、 批量访问打开的页面。比如有的站长需要批量提交收录给百度。一个一个打开太麻烦了。
高效工作
批量自动访问多个网页(支持get/post)
请求网页时,也可以根据设置从网页中截取需要的信息
拦截信息列表一键导出
软件功能
支持模拟浏览器/登录cookie等协议头访问
支持设置爬取频率,防止该频率被服务器服务
支持多种格式(.txt/.xls/clipboard)导出到电脑
使用场景
账号挂断:模拟登录后,定时自动刷新/批量请求访问多个网页
采集Export:批量导出添加的QQ群的QQ号码
批量删除:使用批量发帖功能自动删除自己的微博、QQ空间等信息
批量更新:回调回访客户记录到excel,批量更新回访信息到对应用户的crm
订单导出:公司后台没有导出功能,采集订单的详细信息会自动导出到电脑
导出采集:访问论坛采集大量帖子,将帖子导出到电脑,方便查找整理
User采集:提取并导出网站用户的id/注册时间等信息
批量更新:在论坛发大量帖子,批量删除或批量设置帖子255权限
使用说明
那么,怎么用呢,来采集一条网站的帖子发到我的网站上
只需几步:
1、write文章page 抓取文章title 和内容规则,写下来。
2、使用“小工具”中的序列URL生成工具生成一系列列表URL。例如:list/1.html、list/2.html、list/3.html、...、list/999.html,你可以从别人的list页面看到有多少页网站,生成多个列表URL,页面数量多。
3、在匹配列表页写入并获取所有文章规则:即从列表页中取出所有文章链接,进行匹配,然后导出
4、然后输出第三步导出的文章 URL作为采集目标,输出到URL框。然后填写步骤1中的规则,这些页面的文章title和链接信息采集就可以自动发布了。
这里,目前网站某列文章的所有标题和链接都由采集发送并导出为excel,那么如何将这个excel发布到我的网站?
5、在excel中手动将cell合成为post提交的信息格式。如:title=kkno1&content=com
6、Submit URL 填写文章publishing后端的post接收URL,在软件中填写协议头的cookie信息(模拟网站Administrator登录后端),然后填写步骤5帖子参数 生成的帖子提交格式,然后点击批处理,软件可以自动批量发帖模式,将此类信息一一提交到帖子接收页面,实现自动发布功能。
从采集到发布的完整过程。看起来步骤很多,但实际上只匹配了3个。