帝国cms网站采集内容分页教程

优采云 发布时间: 2020-07-22 08:00

  

  一、全部列出式

  全部列表式只需看第一页的页面HTML代码,这一页的所有分页链接都列下来了。

  1、我们以“中华网内容分页()”为例:

  

  可以看见这条新闻总共有3条分页。

  2、查看源代码:

  

  这一页里不仅早已采集到的第1条分页外,还包括了第2条和第3条分页,所有的分页都列下来了。

  3、取得 分页区域正则([!--smallpageallzz--]):

  

  4、取得 分页链接正则([!--pageallzz--]):

  

  二、上下页导航式

  上下页导航式是分页采集的难点,他须要所有页面都符合分页正则才行,在不熟悉的情况下,我们可以用第1页和第2页的代码来进行对比剖析之后确定分页正则。

  1、我们以下网站的内容分页为例:

  

  可以看见这条新闻总共有20条分页。

  2、查看源代码:

  

  这一页里不仅早已采集到的第1条分页外,还包括了第2,第3,第4,第5,第6,第7,第8,第20条分页,但是第9到第19条分页并没有列下来,这时候我们拿用第1页和第2页的代码来进行对比剖析,来确定分页正则:

  (1)第1页代码:

  

  (2)第2页代码:

  

  从这两幅图片可以见到她们有着相同的“分页区域开始代码”,“分页链接”格式,“分页区域结束代码”,那么就可以确定“分页区域正则”,“分页链接正则”。

  3、取得 分页区域正则([!--smallpageallzz--]):

  

  4、取得 分页链接正则([!--pageallzz--]):

  

  5、为了便捷教程显示,newstext我采集了标题而不是采集内容,预览结果:

  

  注意事项:

  第一、在第一页的页面HTML代码里,内容分页链接全部列下来的情况下我们使用“全部列出式”。在第一页的页面HTML代码里,内容分页链接没有全部列下来的情况下我们使用“上下页导航式”。

  第二、用全部列举式时,采集规则正确并且莫名其妙的出现重复的分页,这时可以借助替换法把它过滤掉(下一讲我们再说)。

  第三、用上下页导航式时帝国cms采集分页教程,老是采到第1页帝国cms采集分页教程,其他页连个影子都没有见过,这是因为分页区域正则([!--smallpagezz--])截取错误。

  第四、用上下页导航式时,可以采集到前几页了,但是接下来这前几页全部重复循环究竟,这也是由于分页区域正则([!--smallpagezz--])截取错误,截取范围过大,导致重复截取前几个分页链接。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线