解读:智能采集组合文章，爬虫策略（一）策略【】

　　解读:智能采集组合文章，爬虫策略（一）策略【】

　　智能采集组合文章，爬虫策略1.目标：寻找低权重或者无权重文章2.规则：重复，无用信息，作者多样3.爬虫策略：网页分析4.视频爬虫策略：动态轮播，响应式5.动态轮播策略：学习，动态轮播具体动态轮播策略可见example：1.动态轮播策略：伪随机；附地址；文章标题同步关键词云追踪文章关键词，分析关键词成因，未来方向1.伪随机：用指数量的数据生成一条路径，周期性变化，但是不规律。

　　表示这个路径类似于随机跳动的文章路径。根据附近路径、关键词等构建真实跳动的文章路径。那么一个合理的的伪随机就是一个由附近关键词云组成的，每一个关键词都连接至一个单独文章和单独标题组成的文章路径。过去一个月有多少文章发布，文章推荐算法会根据这些文章的关键词，来推送给用户。那么最适合的文章内容就是周期性比较短，跳动比较频繁的文章，具体该怎么进行伪随机呢？首先，找一些该领域较热门，但是热度下降的文章，用这些文章的标题，随机添加关键词。

　　然后在特定时间段，随机出现文章标题，用来识别热度下降的文章。一般来说，热度下降的文章，应该不是原创文章，但是是用到了外部数据。2.附地址：文章发布后，通过爬虫爬取页面，通过分析页面内容构成，用数组+循环实现文章权重的平滑过渡。如果通过正则表达式查找到的爬虫推荐图文的gif，在这里可以看到其中有些的轮播不一致的情况。

　　通过正则表达式是不能实现轮播的，具体处理情况见example。将文章页面转换为数组，每个文章都对应一个itemkey，将itemkey，加入到原来的gif里，就可以实现轮播。3.采集策略：网页分析；文章分析；轮播策略；爬虫策略动态轮播文章利用爬虫策略实现，爬虫应该由推荐组，爬虫策略组，轮播策略组构成。

　　推荐组，除了重复，无用信息，作者多样，周期性不确定外，无论是爬虫，还是轮播策略，都是使用网页分析，运用特征工程或者最初的url拼接规则来构建。网页分析、爬虫策略、轮播策略都是应该在编写爬虫阶段应该考虑的，不要等到爬虫爬虫策略了再开始爬虫策略规划。爬虫策略在不同的服务器上有不同的实现方式，各有利弊，不一一列举。

　　比如我们服务器上爬虫和轮播策略是分开编写，各有利弊。对于推荐组，尤其要考虑网页分析。怎么理解网页分析呢？有了一篇文章，应该怎么找到它的最终位置。例如《王朝的湮灭》，点击左上角“function”节点，一共有四个节点，前两个节点是没有使用数据集进行分析的，第三个、第四个应该是说明文章属于一个方向内，所以应该排序在第四个。那么在爬虫中就是有这么一个人，需要。