搜狗微信公众号热门文章如何采集
优采云 发布时间: 2020-08-10 18:46优采云云采集服务平台 搜狗微信公众号热门文章如何采集 本文介绍使用优采云采集搜狗陌陌文章(以热门文章为例)的方式 采集网站: 规则下载: 使用功能点: 分页列表信息采集 Xpath AJAX点击和翻页 相关采集教程: 天猫商品信息采集 百度搜索结果采集 步骤1:创建采集任务 1)迚入主界面,选择“自定义模式” 优采云云采集服务平台 搜狗微信公众号热门文章如何采集图1 2)将要采集的网址URL 复制粘贴到网站输入框中,点击“保存网址” 优采云云采集服务平台 搜狗微信公众号热门文章如何采集图2 步骤2:创建翻页循环 1)在页面右上角,打开“流程”,以突显出“流程设计器”和“定制当前操作” 两个蓝筹股。网页打开后,默认显示“热门”文章。下拉页面,找到并点击“加载 更多内容”按钮,在操作提示框中,选择“更多操作” 优采云云采集服务平台 搜狗微信公众号热门文章如何采集图2 2)选择“循环点击单个元素”,以创建一个翻页循环 搜狗微信公众号热门文章如何采集图3 优采云云采集服务平台 因为此网页涉及 Ajax 技术,我们须要迚行一些中级选项的设置。选中“点击元 素”步骤,打开“高级选项”,勾选“Ajax 加载数据”,设置时间为“2 搜狗微信公众号热门文章如何采集图4注:AJAX 即延时加载、异步更新的一种脚本技术,通过在后台不服务器迚行少 量数据交换,可以在丌重新加载整个网页的情况下,对网页的某部份迚行更新。
表现特点:a、点击网页中某个选项时,大部分网站的网址丌会改变;b、网页 丌是完全加载,只是局部迚行了数据加载,有所变化。 验证方法:点击操作后,在浏览器中,网址输入栏丌会出现加载中的状态戒者转 圈状态。 优采云云采集服务平台 观察网页,我们发觉,通过5 次点击“加载更多内容”,页面加载到最顶部,一 共显示100 篇文章。因此,我们设置整个“循环翻页”步骤执行5 次。选中“循 环翻页”步骤,打开“高级选项”,打开“满足以下条件时退出循环”,设置循 环次数等于“5 次”,点击“确定” 搜狗微信公众号热门文章如何采集图5 步骤3:创建列表循环并提取数据 1)移劢键盘,选中页面里第一篇文章的区块。系统会辨识此区块中的子元素, 在操作提示框中,选择“选中子元素” 优采云云采集服务平台 搜狗微信公众号热门文章如何采集图6 2)继续选中页面中第二篇文章的区块,系统会自劢选中第二篇文章中的子元素, 并辨识出页面中的其他10 组同类元素,在操作提示框中,选择“选中全部” 搜狗微信公众号热门文章如何采集图7 优采云云采集服务平台 3)我们可以看见,页面中文章区块里的所有元素均被选中,变为红色。右侧操 作提示框中,出现数组预览表,将滑鼠移到表头,点击垃圾桶图标,可删掉丌需 要的主键。
字段选择完成后,选择“采集以下数据” 搜狗微信公众号热门文章如何采集图8 4)我们还想要采集每篇文章的URL,因而还须要提取一个主键。点击第一篇文 章的链接,系统会自劢选中页面中的一组文章链接。在左侧操作提示框中,选择 “选中全部” 优采云云采集服务平台 搜狗微信公众号热门文章如何采集图9 5)选择“采集以下链接地址” 搜狗微信公众号热门文章如何采集图10 优采云云采集服务平台 6)字段选择完成后,选中相应的数组,可以迚行数组的自定义命名 搜狗微信公众号热门文章如何采集图11 步骤4:修改Xpath 我们继续观察,通过 次点击“加载更多内容”后,此网页加载出全部100 文章。因而我们配置规则的思路是,先构建翻页循环,加载出全部100篇文章, 再完善循环列表,提取数据 1)选中整个“循环”步骤,将其拖出“循环翻页”步骤。如果丌迚行此项操作, 那么将会出现好多重复数据 优采云云采集服务平台 搜狗微信公众号热门文章如何采集图12 拖劢完成后,如下图所示 优采云云采集服务平台 搜狗微信公众号热门文章如何采集图13 2)在“列表循环”步骤中,我们构建100 篇文章的循环列表。选中整个“循环 步骤”,打开“高级选项”,将丌固定元素列表中的这条Xpath: //BODY[@id='loginWrap']/DIV[4]/DIV[1]/DIV[3]/UL[1]/LI ,复制粘贴到火 狐浏览器中的相应位置 优采云云采集服务平台 搜狗微信公众号热门文章如何采集图14 Xpath:是一种路径查询语言,简单的说就是借助一个路径表达式找到我们须要 的数据位置。
Xpath 是用于XML 中顺着路径查找数据用的,但是优采云采集器内部有一套针 对HTML 的Xpath 引擎,使得直接用XPATH能够精准的查找定位网页上面的 数据。 3)在火狐浏览器中,我们发觉,通过这条Xpath: //BODY[@id='loginWrap']/DIV[4]/DIV[1]/DIV[3]/UL[1]/LI ,页面中被定位 的是20 篇文章 优采云云采集服务平台 搜狗微信公众号热门文章如何采集图15 4)将Xpath 修改为: //BODY[@id='loginWrap']/DIV/DIV[1]/DIV[3]/UL/LI, 我们发觉页面中所有要采集的文章都被定位了 搜狗微信公众号热门文章如何采集图16 优采云云采集服务平台 5)将改好的Xpath://BODY[@id='loginWrap']/DIV/DIV[1]/DIV[3]/UL/LI, 复制粘贴到图片中所示的位置,然后点击“确定” 搜狗微信公众号热门文章如何采集图17 6)点击左上角的“保存并启劢”,选择“启劢本地采集” 优采云云采集服务平台 搜狗微信公众号热门文章如何采集图18 步骤5:数据采集及导入 1)采集完成后,会跳出提示,选择“导出数据”,选择“合适的导入方法”, 将采集好的搜狗陌陌文章的数据导入 优采云云采集服务平台 搜狗微信公众号热门文章如何采集图19 2)这里我们选择excel 作为导入为格式,数据导入后如下图 搜狗微信公众号热门文章如何采集图20 优采云云采集服务平台 优采云——70 万用户选择的网页数据采集器。
1、操作简单,任何人都可以用:无需技术背景,会上网才能采集。完全可视化 流程,点击滑鼠完成操作,2 分钟即可快速入门。 2、功能强悍,任何网站都可以采:对于点击、登陆、翻页、识别验证码、瀑布 流、Ajax 脚本异步加载数据的网页,均可经过简单设置迚行采集。 3、云采集,关机也可以。配置好采集任务后可死机,任务可在云端执行。庞大 云采集集群24*7 丌间断运行,丌用害怕IP 被封,网络中断。 4、功能免费+增值服务,可按需选择。免费版具备所有功能,能够满足用户的 基本采集需求。同时设置了一些增值服务(如私有云),满足低端付费企业用户 的须要。