关键词智能采集器(3.为什么采集一段时间之后，无法采集?这可能采集多了被搜索引擎限制)

　　关键词智能采集器(3.为什么采集一段时间之后，无法采集?这可能采集多了被搜索引擎限制)

　　1.为什么采集一段时间后就不行了采集？

　　可能是采集受搜索引擎限制比较多。一般可以通过改IP来继续采集（比如用VPN改IP）。如果不改，只能在搜索引擎解封后继续采集。百度的屏蔽时间通常是半小时到几个小时。

　　但是，即使验证码被屏蔽，软件也会弹出手动输入的验证码（百度、谷歌）

　　2.不同批次关键词采集为什么结果中有一些重复的网址？

　　尤其是只引用#domain#或#top-level domain#后，这种部分URL重复的情况更为常见。这也是正常的，因为网站的每个内页可能收录很多主题，不同的关键词可能会采集到网站的不同内页，当域名引用，同一个网站的不同内页的域名结果自然是一样的。

　　另*敏*感*词*内。如果两个采集的结果中有重复的URL，可以合并在一起，用软件去重（优采云·text deduplication scrambler）。

　　3.为什么采集返回的URL主题与关键词不匹配？

　　这是因为在引用#domain# 或#top-level domain# 后，取的是域名部分。域名打开网站的首页，采集的原网址可能不是首页，而是网站文章的文章内页，内页收录关键词的主题，所以可以通过搜索引擎收录和软件采集获取。但是获取域名后，您打开的域名首页可能不收录关键词。

　　为了比较采集是否正确，可以在保存的模板中输入：#Title#

　　, 保存为htm文件，采集后可以打开文件查看对比。