DEDECMS之九 文章采集

　　到好多网友都为织梦（DEDECMS）的采集教程头痛，的确，官方出的教程很宽泛了，什么都没说，换个网站你哪些都做不了，这个教程是最详细的教程，让你一看即会！

　　一、列表采集

　　第一步、我们打开织梦后台点击采集——采集节点管理——增加新节点

　　

　　第二步、这里我们以采集普通文章为例，我们选择普通文章，然后确定

　　

　　第三步、进入了采集的设置页面，填写节点名称。

　　第四步、打开你想要采集的文章列表页。

　　这里以这个网站为例，打开这个页面，

　　右键——查看源文件找到目标页面编码，就在charset旁边）

　　

　　第五步、填写页面的基本信息，填完后如图

　　

　　第六步、填写列表网址获取规则瞧瞧文章列表第一页的地址。

　　对比第二页的地址

　　我们发觉了她们不仅49_后面的数字不一样，其他的都一样，所以我们可以这样写

　　(*).html

　　就是把1换成了(*)因为这儿只有2页，所以我们就填从1到2每页递增其实是1了，2-1...是等于1吧

　　这里我们就填写完了

　　

　　可能你们采集的有些列表没有规则，那就只有手工指定列表网址了，如图

　　每行写一个页面地址

　　

　　第七步、填写文章网址匹配规则了,回到文章列表页

　　右键查看源文件找到区域开始的HTML，就是找文章列表开始的标志。

　　我们很容易的找到了如图中的“新闻列表”。从这里开始，后面就是文章列表里，再找文章列表结束的HTML

　　就是这个了，一个很容易找到的标志

　　如果链接中富含图片：

　　不处理采集为缩略图这儿按照自己的须要选择

　　

　　

　　二、内容页采集

　　第八步、对区域网址进行再度筛选：

　　(使用正则表达式)必须收录：(优先级低于前者)

　　不能收录：打开源文件，我们可以太清楚的看见，文章链接都是以.html结束的所以，我们在必须收录前面填.html假如遇见有些列表很麻烦，还可以填写旁边的不能收录

　　点击保存设置步入下一步，可以看见我们获得的文章网址

　　看到这种就是对的了，我们保存信息步入下一步设置内容数组获取规则

　　我们瞧瞧文章有没有分页，随便步入一篇文章看看。。我们听到这儿的文章没有分页

　　所以这儿的我们就默认了

　　我们如今来找文章标题等等随意步入一篇文章，右键查看源文件

　　看看那些

　　依照源码填写

　　

　　

　　

　　

　　第九步、填写文章内容的开始，结束和里面的一样，找到开始和结束标志.

　　开始部份如图

　　结束部份如图

　　最后填写如图

　　

　　

　　

　　第十步、你想过滤文章中的哪些内容就到过滤规则里写吧，比如要过滤文章中的图片，

　　选择常用规则，如图

　　再勾选IMG，如图

　　然后确定

　　这样我们就把正文中的图片过滤了

　　

　　

　　第十一步、设置完毕后点保存设置并预览，如图

　　这样一个采集规则就写好了，很简单吧有些网站很难写，可要多下点工夫了哦

　　我们点保存并开始采集——开始采集网页一会的工夫就采集完了

　　看看我们采集到的文章

　　

　　

　　

　　

　　最后、导出数据

　　首先选择要导出到的栏目，按“请选择”那里即可在弹出的窗口中选择你须要导出的栏目发布选项这儿通常默认即可，除非你不想马上发布。每批导出默认是30条，这里更改与否都无所谓，附带选项通常选“排除重复标题”，至于手动生成HTML那种选项建议先别生成，因为我们还要去批量提取摘要和关键字。

　　文章标题

　　匹配规则：[内容]

　　过滤规则：{dede:trimreplace=""}_XXX网站{/dede:trim}

　　

　　来自百度

　　三、采集规则补充（一）文字过滤与替换的方式

　　1.去除超链接，这种最常用。

　　{dede:trim replace=”}]*)>{/dede:trim}

　　{dede:trim replace=”}{/dede:trim}

　　如果填成这样，那就把链接的文本也一起除去了

　　{dede:trim replace=”}]*)>(.*){/dede:trim}

　　2.过滤JS调用广告，比如GG的广告，就加个这样的：

　　{dede:trim replace=”}{/dede:trim}

　　3.过滤div标签。

　　这个很重要，如果没过滤干净则可能让发布下来的文章版面错位， 目前大多数遇见采集后错位的诱因在此。

　　{dede:trim replace=”}

　　{/dede:trim}

　　{dede:trim replace=”}

　　{/dede:trim}

　　有的时候也须要这样子过滤：

　　{dede:trim replace=”}

　　(.*)

　　{/dede:trim}

　　4.其它的过滤规则可以照以上规律进行推出。

　　5.过滤摘要和关键字使用，经常要用到。

　　{dede:trim replace=”}{/dede:trim}

　　6.简单替换。

　　{dede:trim replace=’替换后的词句’}要替换的词句{/dede:trim}

　　7.去掉src

　　{dede:trim replace=""}src="([^"]*)"{/dede:trim}

　　（二）内容页指定作者、来源

　　指定value值即可实现：

　　{dede:item field='writer' value='小军' isunit='' isdown=''}

　　{dede:match}{/dede:match}

　　{dede:function}{/dede:function}

　　{/dede:item}

　　{dede:item field='source' value='军事网' isunit='' isdown=''}

　　{dede:match}{/dede:match}

　　{dede:function}{/dede:function}

　　{/dede:item}

　　（三）内容页分页采集

　　在“内容分页导航所在的区域匹配规则：”，填写规则，如