关键字文章采集器(3.为什么采集一段时间之后，无法采集？这可能采集多了)

　　关键字文章采集器(3.为什么采集一段时间之后，无法采集？这可能采集多了)

　　1.为什么一段时间后不能采集采集？

　　这可能是采集受搜索引擎限制较多，重启软件继续采集，如果不改，只能在搜索引擎解封后继续采集。百度的屏蔽时间一般是半小时到几个小时。

　　但是，即使验证码被屏蔽，软件也会弹出手动输入的验证码（百度、谷歌）

　　2.不同批次的关键词采集 为什么结果中有一些重复的网址？

　　尤其是只引用#domain#或#top-level domain#后，这种部分URL重复的情况更为常见。这也是正常的，因为网站的每个内页可能收录很多主题，而不同的关键词可能会采集去到网站的不同内页，当域name是引用的，同一个网站的不同内页的域名结果自然是一样的。

　　另*敏*感*词*内。如果两个采集的结果中有重复的URL，可以合并在一起，用软件去重（优采云·text deduplication scrambler）。

　　3.为什么采集返回的URL主题与关键词不匹配？

　　这是因为在引用#domain# 或#top-level domain# 后，取的是域名部分。域名打开网站的首页，采集的原网址可能不是首页，而是网站文章的文章内页，内页收录关键词主题，可以通过搜索引擎收录和软件采集获取。但是获取域名后，您打开的域名首页可能不收录关键词。

　　为了比较采集是否正确，可以在保存模板中输入：#title#，保存为htm文件。采集完成后，可以打开文件查看对比。