UC头条文章采集.docx 33页

　　UC头条文章采集-文本+图片UC 头条是UC浏览器团队潜力构建的新闻资讯推荐平台，拥有大量的新闻资讯内容，并通过阿里大数据推荐和机器学习算法，为广大用户提供优质贴心的文章。很多用户可能有采集UC头条文章采集的需求，这里采集了文章的文本和图片。文本可直接采集，图片需先将图片URL采集下来，然后将图片URL批量转换为图片。本文将采集UC头条的文章，采集的数组为：标题、发布者、发布时间、文章内容、页面网址、图片URL、图片储存地址。采集网站：/使用功能点：Xpathxpath入门教程1/tutorialdetail-1/xpathrm1.htmlxpath入门2/tutorialdetail-1/xpathrm1.html相对XPATH教程-7.0版/tutorialdetail-1/xdxpath-7.htmlAJAX滚动教程/tutorial/ajgd_7.aspx?t=1步骤1：创建UC头条文章采集任务1）进入主界面，选择“自定义模式”2）将要采集的网址URL复制粘贴到网站输入框中，点击“保存网址”3）在页面右上角，打开“流程”，以突显出“流程设计器”和“定制当前操作”两个蓝筹股。网页打开后，默认显示“推荐”文章。

　　观察发觉，此网页没有翻页按键，而是通过下拉加载，不断加载出新的内容因此，我们选中“打开网页”步骤，在中级选项中，勾选“页面加载完成后向上滚动”，滚动次数依照自身需求进行设置，间隔时间依照网页加载情况进行设置，滚动形式为“向下滚动一屏”，然后点击“确定”（注意： 间隔时间须要针对网站情况进行设置，并不是绝对的。一般情况下，间隔时间>网站加载时间即可。有时候网速较慢，网页加载太慢，还需依照具体情况进行调整。具体请看：优采云7.0教程——AJAX滚动教程/tutorial/ajgd_7.aspx?t=1）步骤2：创建翻页循环及提取数据1）移动滑鼠，选中页面里第一条文章链接。系统会手动辨识相像链接，在操作提示框中，选择“选中全部”2）选择“循环点击每位链接”3） 系统会手动步入文章详情页。点击须要采集的数组（这里先点击了文章标题），在操作提示框中，选择“采集该元素的文本”文章发布时间、文章作者、文章发布时间、文章正文内容采集方法同上。以下采集的是文章正文步骤3：提取UC头条文章图片地址1）接下来开始采集图片地址。先点击文章中第一张图片，再点击页面中第二张图片，在弹出的操作提示框中，选择“采集以下图片地址”2）修改数组名称，再点击“确定”3）现在我们早已采集到了图片URL，接下来为批量导入图片做打算。

　　批量导入图片的时侯，我们想要同一篇文章中的图片放进同一个文件中，文件夹以文章标题命名。首先，我们选中标题，在操作提示框中，选择“采集该元素的文本”选中标题数组，点击如图所示按键选择“格式化数据”点击添加步骤选择“添加前缀”在如图位置，输入前缀：“D:\UC头条图片采集\”，然后点击“确定”以同样的形式添加后缀“\”，然后点击“确定”4）修改数组名为“图片储存地址”，最后展示出的“D：\UC头条图片采集\文章标题”即为图片保存文件夹名，其中“D：\UC头条图片采集\”是固定的，文章标题是变化的步骤4：修改Xpath1）选中整个“循环”步骤，打开“高级选项”，可以看见，优采云默认生成的是固定元素列表，定位的是前13篇文章的链接2）在火狐浏览器中打开要采集的网页并观察源码。我们发觉，通过此条Xpath：//DIV[@class='news-list']/UL[1]/LI/DIV[1]/DIV[1]/A，页面中所需的所有文章均被定位了3）将修改后的Xpath，复制粘贴到优采云中所示位置，然后点击“确定”步骤5：文章数据采集及导入1）点击左上角的“保存”，然后点击“开始采集”，选择“启动本地采集”注：本地采集占用当前笔记本资源进行采集，如果存在采集时间要求或当前笔记本未能长时间进行采集可以使用云采集功能，云采集在网路中进行采集，无需当前笔记本支持，电脑可以死机，可以设置多个云节点平摊任务，10个节点相当于10台笔记本分配任务帮你采集，速度增加为原先的十分之一；采集到的数据可以在云上保存三个月，可以随时进行导入操作。

　　采集完成后，会跳出提示，选择“导出数据”，选择“合适的导入方法”，将采集好的数据导入这儿我们选择excel作为导入为格式，数据导入后如下图步骤6：将图片URL批量转换为图片经过如上操作，我们早已得到了要采集的图片的URL。接下来，再通过优采云专用的图片批量下载工具，将采集到的图片URL中的图片，下载并保存到本地笔记本中。图片批量下载工具：/s/1c2n60NI1）下载优采云图片批量下载工具，双击文件中的MyDownloader.app.exe文件，打开软件2）打开File菜单，选择从EXCEL导出（目前只支持EXCEL格式文件）3）进行相关设置，设置完成后，点击OK即可导出文件选择EXCEL文件：导入你须要下载图片地址的EXCEL文件EXCEL表名：对应数据表的名称文件URL列名：表内对应URL的列名称，在这里为“图片URL”保存文件夹名：EXCEL中须要单独一个列，列出图片想要保存到文件夹的路径，可以设置不同图片储存至不同文件夹，在这里为“图片储存地址”可以设置不同图片储存至不同文件夹，在这里我们早已于前期打算好了，同一篇文章中的图片会放进同一个文件中，文件夹以文章标题命名4）点击OK后，界面如图所示，再点击“开始下载”5）页面下方会显示图片下载状态6）全部下载完成后，找到自己设定的图片保存文件夹，可以看见，图片URL早已批量转换为图片了，且同一篇文章中的图片会放进同一个文件中，文件夹以文章标题命名本文来自：/tutorialdetail-1/ucnewscj.html相关采集教程：新浪博客文章采集：/tutorialdetail-1/sinablogcj.html微信公众号热门文章采集（文本+图片）：/tutorialdetail-1/wxcjimg.html文章采集：/blog/224-2.html自媒体文章采集：/tutorialdetail-1/wyhcj.html公众号文章采集：/tutorialdetail-1/wxcjimg.html今日头条采集：/tutorialdetail-1/jrtt-7.html优采云——90万用户选择的网页数据采集器。

　　1、操作简单，任何人都可以用：无需技术背景，会上网才能采集。完全可视化流程，点击滑鼠完成操作，2分钟即可快速入门。2、功能强悍，任何网站都可以采：对于点击、登陆、翻页、识别验证码、瀑布流、Ajax脚本异步加载数据的网页，均可经过简单设置进行采集。3、云采集，关机也可以。配置好采集任务后可死机，任务可在云端执行。庞大云采集集群24*7不间断运行，不用害怕IP被封，网络中断。4、功能免费+增值服务，可按需选择。免费版具备所有功能，能够满足用户的基本采集需求。同时设置了一些增值服务（如私有云），满足低端付费企业用户的须要。