如何文章采集(如何文章采集，一种方法是不上传图片，自动爬)

　　如何文章采集(如何文章采集，一种方法是不上传图片，自动爬)

　　如何文章采集，一种方法是不上传图片，自动爬，一种是首先上传图片，再采集。相比之下，后者更方便，操作也更简单。后文会讲到如何合理设置采集速度。一些情况下，发现某篇文章关注人数过少，但排名还在靠前，就会自己去采集，即使知道不是原创文章，但不知道哪里可以看到。可能是自己网站关注人数很多，所以搜不到。又或者采集速度慢，来不及看是原创还是转载。

　　采集有一个名词：中继器，中继器是把爬虫任务串并到原始文章中继处理，只要原始文章的链接变化了，爬虫中继器就会中继到新的链接。简单的说，中继器是一种工具，可以简单理解为非关键词中继器，借助关键词中继器，爬虫可以伪原创，爬取速度快。比如爬取豆瓣时，抓取出来的文章就是原来文章的伪原创。文章采集所以下面重点介绍下文章采集的几种常见方法。

　　利用中继器，如何采集关键词，中继器自己爬，还是爬到后再去爬，是在平时思考的问题。我认为在采集任务开始之前，务必思考清楚这个问题。不然后期任务速度会非常慢。经常有编辑这样说，“请问该文章采集关键词是什么？”很多时候，由于采集任务没有做好思考就去采集，导致调研不足，错失采集良机。举一个例子，爬出来的文章出现含有超链接，其实大部分时候是因为网站内嵌的广告导致的，重点抓取网站内嵌广告的url，再去提取规律。

　　即使你爬出来一段有大量xxx的文章，也不能保证它的上一篇或者几篇也出现这样的xxx，万一后面发生了xxx，把你前面抓取的文章全部挤压下去。关键词找不到，下面用两种方法，如果抓中文，用xpath；抓英文，用altrua，或者抓英文标题的特征文字来抓，一般都能抓到。比如通过url爬取，实现方法是：|index.html|comments||send|dates|info|proxy-sz-tx-dealer[elinkedhere]爬取网页有一个错误信息，大部分是获取不到核心ip地址，爬虫中继器只能爬下面有url的网页，需要其他的网页用浏览器抓包来抓到下一页的ip，这时就要注意，抓包要小心。

　　实在不行用代理ip的方法，通过一个代理ip抓取后下一个代理ip，放到公网ip池里面，然后再抓下面内容的内容就可以抓到了。有一个好办法，把爬虫发到一个公众号上，然后有需要这篇文章的，搜索即可。可能你一篇文章并不会写一遍内容，会导致爬虫不断抓取新的url，导致爬虫速度慢，一个在本地，一个在爬虫池，两个点两个方向，是两个点并同一个网页，然后再分开抓取，但是爬虫速度大大加快，一般两三秒下一篇。最后一种方法，