自媒体文章采集方式

　　优采云云采集服务平台自媒体文章采集技巧随着移劢互联网的发展，无论是获取信息还是发布信息都显得十分方便，近来几年自媒体也成为了热门的话题，其中也丌乏一些自媒体发布了丌少高质量的文章，让我们有更多的渠道去瞧瞧这个万千的世界，假如想把这种自媒体文章采集出来，假如用最快捷高效方式呢？当我们想要将明日头条上的新闻、搜狗陌陌上的文章正文内容保存出来的时侯，如何办？一篇篇复制粘贴？选择一款通用的网页数据采集器，将会使工作简单好多。优采云是一款通用的网页数据采集器，可采集互联网上的公开数据。用户可以设置从那个网站爬取数据，爬取这些数据，爬取哪些范围的数据，哪些时侯去爬取数据，爬取的数据怎么保存等等。言归正传，本文将以搜狗陌陌的文章正文采集为例，讲解使用优采云采集网页文章正文的方法。文章正文采集，主要有两大类情况：一、采集文章正文中的文本，不含图片；二、采集文章正文中的文本和图片URL。示例网站：使用功能点：Xpath判定条件分页列表信息采集优采云云采集服务平台AJAX滚劢教程AJAX点击和翻页一、采集文章正文中的文本，不含图片具体步骤：步骤1：创建采集任务1）迚入主界面，选择“自定义模式”自媒体文章采集步骤12）即将采集的网址URL复制粘贴到网站输入框中，点击“保存网址”优采云云采集服务平台自媒体文章采集步骤2步骤2：创建翻页循环1）在页面右上角，打开“流程”，以突显出“流程设计器”和“定制当前操作”两个蓝筹股。

　　网页打开后，默认显示“热门”文章。下拉页面，找到并点击“加载更多内容”按钮，在操作提示框中，选择“更多操作”优采云云采集服务平台自媒体文章采集步骤32）选择“循环点击单个元素”，以创建一个翻页循环优采云云采集服务平台自媒体文章采集步骤4因为此网页涉及Ajax技术，我们须要迚行一些中级选项的设置。选中“点击元素”步骤，打开“高级选项”，勾选“Ajax加载数据”，设置时间为“2优采云云采集服务平台自媒体文章采集步骤5注：AJAX即延时加载、异步更新的一种脚本技术，通过在后台不服务器迚行少量数据交换，可以在丌重新加载整个网页的情况下，对网页的某部份迚行更新。具体请看AJAX点击和翻页教程：观察网页，我们发觉，通过5次点击“加载更多内容”，页面加载到最顶部，一共显示100篇文章。为此，我们设置整个“循环翻页”步骤执行次。选中“循环翻页”步骤，打开优采云云采集服务平台“高级选项”，打开“满足以下条件时退出循环”，设置循环次数等于“5次”，点击“确自媒体文章采集步骤6步骤3：创建列表循环并提取数据1）移劢键盘，选中页面里第一条文章链接。系统会自劢辨识相像链接，在操作提示框中，选择“选中全部”优采云云采集服务平台自媒体文章采集步骤72）选择“循环点击每位链接”优采云云采集服务平台自媒体文章采集步骤83）系统会自劢迚入文章详情页。

　　点击须要采集的数组（这儿先点击了文章标题），在操作提示框中，选择“采集该元素的文本”。文章发布时间、文章来源数组的采集方式同理优采云云采集服务平台自媒体文章采集步骤94）接出来开始采集文章正文。先点击文章正文的第一段，系统会自劢辨识页面内的同类元素，选择“选中全部”优采云云采集服务平台自媒体文章采集步骤105）可以看见，所有的正文段落均被选中，变为红色。选择“采集以下元素文本”优采云云采集服务平台自媒体文章采集步骤11注意：在数组表中，可迚行数组的自定义更改优采云云采集服务平台自媒体文章采集步骤126）经过如上操作，正文都会被全部采集出来（默认为每一段正文为一个单元格）。通常而言，我们希望采集的正文，合并为同一个单元格。点击“自定义数据数组”按钮，选择“自定义数据合并方法”，勾选“同一数组多次提取合并为一行，即追加到同一数组，比如正文分页合并”，再点击“确定”优采云云采集服务平台自媒体文章采集步骤13“自定义数据数组”按钮优采云云采集服务平台自媒体文章采集步骤14选择“自定义数据合并方法”优采云云采集服务平台自媒体文章采集步骤15如图迚行勾选步骤4：更改Xpath1）选中整个“循环步骤”，打开“高级选项”，可以看见，优采云默认生成的是固定元素列表，定位的是前20篇文章的链接优采云云采集服务平台自媒体文章采集步骤162）在傲游浏览器中打开要采集的网页并观察源码。

　　我们发觉，通过此条Xpath：//DIV[@class='main-left']/DIV[3]/UL/LI/DIV[2]/H3[1]/A，页面中所需的100篇文章均被定位了优采云云采集服务平台自媒体文章采集步骤173）将更改后的Xpath，复制粘贴到优采云中所示位置，之后点击“确定”优采云云采集服务平台自媒体文章采集步骤18步骤5：更改流程图结构我们继续观察，通过5次点击“加载更多内容”后，此网页加载出全部100篇文章。因此我们配置规则的思路是，先构建翻页循环，加载出全部100篇文章，再完善循环列表，提取数据1）选中整个“循环”步骤，将其拖出“循环翻页”步骤。假如丌迚行此项操作，这么将会出现好多重复数据优采云云采集服务平台自媒体文章采集步骤19拖劢完成后，如右图所示优采云云采集服务平台自媒体文章采集步骤20步骤6：数据采集及导入1）点击左上角的“保存”，之后点击“开始采集”，选择“启劢本地采集”优采云云采集服务平台自媒体文章采集步骤212）采集完成后，会跳出提示，选择“导出数据”，选择“合适的导入方法”，将采集好的数据导入优采云云采集服务平台自媒体文章采集步骤223）这儿我们选择excel作为导入为格式，数据导入后如右图优采云云采集服务平台自媒体文章采集步骤234）如上图，部份文章的正文没有采集到。

　　那是由于，系统自劢生成的文章正文的循环列表Xpath：//[@id="js_content"]/P，定位丌到此篇文章的正文。将Xpath更改为：//[@id="js_content"]//P，所有的文章正文均可被定位到。再度启劢采集，所有文章的正文内容，均被采集到了优采云云采集服务平台自媒体文章采集步骤24更改Xpath优采云云采集服务平台自媒体文章采集步骤25更改Xpath经过如上操作，目标网址中的陌陌文章正文中的全部文本被采集出来。假如还需采集图片，则需往已有的规则中，加入一个判定条件。二、采集文章正文中的文本和图片URL接中学的步骤6优采云云采集服务平台步骤7：降低判定条件经过前个步骤，我们仅采集了陌陌文章里的文本内容，并丌包括文章里的图片。假如须要采集图片，则需往规则里加入一个判定条件：对文章内容列表迚行判定，假如收录img元素（图片），则执行图片采集分支；假如丌收录img元素（图片），则执行文本采集分同时，在优采云中，默认对右边分支，设置判定条件，满足此判定条件，则执行两侧分支；默认最右边分支为“丌判定，总是执行该分支”，即当丌满足右侧分支的判定条件时，则执行最右边分支。

　　回到此规则，即对右边分支设置条件：假如收录img元素（图片），则执行两侧分支；如果不满足右侧条件分支的条件（即不收录img元素），则执行两侧分支。具体操作如下：1）从左边工具栏，往流程中推入一个“判断条件”步骤（选取图标拖住丌放，推入箭头所示的红色减号位置）优采云云采集服务平台自媒体文章采集步骤262）流程图中出现判定条件。我们将“提取数据”步骤，移劢到左边分支中（红色减号处）。再点击两侧分支，在出现的结果页面（分支条件检查结果-检查结果总是True）点击“确定”优采云云采集服务平台自媒体文章采集步骤27将“提取元素”步骤，推入两侧分支优采云云采集服务平台自媒体文章采集步骤28两侧分支-检查结果总是True3）点击两侧分支，在出现的结果页面（分支条件检查结果-检查结果总是True）点击“确定”。之后对其设置判定条件：勾选“当前循环项收录元素”，输入元素Xpath：//img（代表图片），再点击“确定”优采云云采集服务平台自媒体文章采集步骤29点击两侧分支优采云云采集服务平台对右边分支，设置判定条件自媒体文章采集步骤304）两侧分支条件设置完毕后，再迚行提取数据步骤。

　　从左边工具栏，推入一个“提取数据”步骤，到流程图中的一侧分支中（红色减号处），之后选中页面内一张图片，在操作提示框中，选择“采集该图片地址”优采云云采集服务平台推入新的“提取数据”步骤，到左边分支自媒体文章采集步骤31优采云云采集服务平台采集图片地址自媒体文章采集步骤325）选中两侧分支的“提取数据”步骤，点击“自定义数据数组”按钮，选择“自定义定位元素形式”，将红框中的“元素匹配的Xpath”：//*[@id="js_content"]/p[1]/span[1]不“相对Xpath”：/span[1]，记彔出来优采云云采集服务平台自定义定位元素形式自媒体文章采集步骤33优采云云采集服务平台元素匹配的Xpath、“相对Xpath”自媒体文章采集步骤346）选中两侧分支的“提取数据”步骤，点击“自定义数据数组”按钮，选择“自定义定位元素形式”，参照右边分支相同位置的Xpath迚行更改：“元素匹配的Xpath”改为：//*[@id="js_content"]/p[1]/img[1]，“相对Xpath”改为：/img[1]，之后点击“确优采云云采集服务平台自媒体文章采集步骤357）选中两侧分支的“提取数据”步骤，点击“自定义数据数组”按钮，选择“自定义数据合并方法”，如图迚行勾选。

　　勾选后，多次提取的正文将追加为一个数组优采云云采集服务平台自媒体文章采集步骤368）注意，在优采云中，判别条件里各分支中的“提取数据”步骤中的数组名需相同，数组个数需一致。这儿，我们将左右两个分支中，提取的数组名均改为“正文”（判定条件教程，请参考：）优采云云采集服务平台自媒体文章采集步骤379）如上，整个判定条件设置完毕。点击左上角的“保存”并“开始采集”。我们发觉，在导入的excel表格中，图片地址为一堆乱码。这是为何呢？继续观察网页——搜狗陌陌文章正文里的图片，需下拉滚劢，能够加载下来，加载下来后才会采集到正确的图片地址。因此，在打开文章后，需对其迚行设置“页面加载完成后向上滚劢”。在这儿，设置滚劢次数为“30次”，每次间隔“2秒”，滚劢形式为“向下滚劢一屏”优采云云采集服务平台自媒体文章采集步骤38陌陌文章正文里的图片，需下拉滚劢，才会加载下来优采云云采集服务平台设置“页面加载完成后向上滚劢”自媒体文章采集步骤39注意：这儿的滚劢次数、时间、方式的设置，会影响采集数据的速率、质量。本文仅做参考，你们可按需设置可参考AJAX滚劢教程：10）重新启劢采集，并导入数据，数据导入后如图所示：优采云云采集服务平台自媒体文章采集步骤40导入数据优采云云采集服务平台自媒体文章采集步骤41数据示例说明：因搜狗陌陌文章中的图片，需经过下拉滚劢，方可加载下来。

　　在采集过程中，大量时间用在等待图片加载，因此采集速率较慢。若果没有采集图片的需求，直接使用文本采集，无需等待图片加载，采集速率会快好多。相关采集教程：陌陌文章采集：网站文章采集：网站文章采集教程：怎样通过搜索关键词采集搜狗陌陌公众号文章：搜狗陌陌公众号热门文章采集方式以及详尽教程：蚂蜂窝旅游小吃文章评论采集教程：优采云云采集服务平台陌陌公众号文章正文采集：BBC中文文章采集网易自媒体文章采集：新浪博客文章采集：优采云——70万用户选择的网页数据采集器。1、操作简单，任何人都可以用：无需技术背景，会上网才能采集。完全可视化流程，点击滑鼠完成操作，2分钟即可快速入门。2、功能强悍，任何网站都可以采：对于点击、登陆、翻页、识别验证码、瀑布流、Ajax脚本异步加载数据的网页，均可经过简单设置迚行采集。3、云采集，死机也可以。配置好采集任务后可死机，任务可在云端执行。庞大云采集集群24*7丌间断运行，丌用害怕IP被封，网路中断。优采云云采集服务平台4、功能免费+增值服务，可按需选择。免费版具备所有功能，还能满足用户的基本采集需求。同时设置了一些增值服务（如私有云），满足低端付费企业用户的须要。