关键词采集器(关键词网址采集器绿色版批次关键词采集结果为什么会引用部分网址重复)

　　关键词采集器(关键词网址采集器绿色版批次关键词采集结果为什么会引用部分网址重复)

　　关键词URL采集器 绿色版是一款可以帮助用户按关键词到采集网站的软件。在该软件中，用户可以快速执行Collect指定的关键词网站，以减少其他网页的外观。

　　总体介绍

　　输入关键字采集各搜索引擎的网址、域名、标题、描述等信息，支持百度、搜狗、谷歌、必应、雅虎、360等。每个关键词600到800，采集例子，关键词可以带搜索引擎参数，就像在网页中输入关键词搜索一样，比如百度中的搜索结果URL必须收录bbs的关键词，那么输入“关键词 inurl:bbs。”

　　资料参考

　　#URL#：采集的原创URL

　　#Title#：URL对应的页面标题

　　#Domain#：原创URL的域名部分，如“”中的“”

　　#顶级域名#：取原网址的顶级域名部分，如“”中的“”

　　#Description#：页面标题下方的一段描述性文字

　　常见问题

　　1.为什么一段时间后不能采集采集？

　　这可能是采集受搜索引擎限制较多，重启软件继续采集，如果不改，只能在搜索引擎解封后继续采集。百度的屏蔽时间一般是半小时到几个小时。

　　但是，即使验证码被屏蔽，软件也会弹出手动输入的验证码（百度、谷歌）

　　2.不同批次的关键词采集 为什么会有一些重复的网址？

　　尤其是只引用#domain#或#top-level domain#后，这种部分URL重复的情况更为常见。这也是正常的，因为网站的每个内部页面可能收录很多主题，而不同的关键词可能会采集去不同的网站内部页面，当域name是引用的，同一个网站的不同内页的域名结果自然是一样的。

　　另*敏*感*词*内。如果两个采集的结果中存在重复的URL，可以将它们合并在一起，使用软件去重（优采云·text deduplication scrambler）。

　　3.为什么采集返回的URL主题与关键词不匹配？

　　这是因为在引用#domain# 或#top-level domain# 后，取的是域名部分。域名打开网站的首页，采集的原网址可能不是首页，而是网站文章的文章内页，内页收录关键词的主题，所以可以通过搜索引擎收录和软件采集获取。但是获取域名后，您打开的域名首页可能不收录关键词。

　　为了比较采集是否正确，可以在保存模板中输入：，另存为htm文件，采集后可以打开文件查看比较。

　　更新日志

　　1. 转型支持OEM代理

　　2.添加必应和雅虎采集；多重变化

　　3. 将 Bing、Yahoo、Google 更改为 https 请求，以避免 采集 在某些情况下失败。

　　4.添加百度新闻采集。

　　5.一些更新。

　　6. 添加了 关键词 分割线选项。

　　7.修复百度最新修改无法采集的问题。

　　8.修复Bing的改动采集失效问题；修复部分电脑无法使用xmlhttps的问题（涉及谷歌、必应、雅虎）。