自动文章采集软件的基本用爬虫抓取不到，试问网站有这么多？

　　自动文章采集软件的基本用爬虫抓取不到，试问网站有这么多？

　　自动文章采集软件每次添加完都会再做一次同步。再次同步之后采集文章就会采集到上一次同步的数据库了，文章还会继续在采集软件上。

　　采集者用了发在新浪博客上的大量连载，绝大部分，都丢失了。（大部分的基本用爬虫抓取不到，采集不到，试问网站有这么多？）至于某些连载，多次同步后，且上传后多次未修改，自然丢失。我觉得主要原因是有些外来内容和网站对站内专有内容有种排斥。比如“九大明星”中“杨幂”某期连载，有新浪认证的时尚博客就是给与不予，以至于第二天有人用它填充其它内容的时候，一时未能找到不予的依据。

　　没有采集关注量的全部内容。看到知乎上内容较新颖有趣，但难以满足产出者，转而发布给公众号。

　　每次采集完网站会做一次同步，也就是说每个采集者都有一个独立的数据库，一次采集后采集的数据库和原始数据库就有部分数据是重复的，重复的部分采集者并不知道。

　　是新浪就没有采集

　　当然有啊，现在新浪开放平台文章也是可以自动采集的，这个可以去百度api_新浪博客参考一下。不过做爬虫的话还是尽量不要选择新浪做爬虫，新浪博客用的都是原创的内容，而公众号是转载的。这就容易导致采集到网站上了，然后跳转发给个人或者公众号去了。