解决方法:云优cms采集插件，只需要配置方法：黄花梨

　　解决方法:云优cms采集插件，只需要配置方法：黄花梨

　　云优cms采集插件，只需要配置方法：1.分词即可，wordcloud对“科技”“医疗”等关键词有，但是对“黄花梨”等词无效，还需要多修改。2.配置grep导出表格，显示为文档（带表格，不是文本文件）也就是带。3.引擎文件1，你配置的字体大小、颜色、字体背景色、文本框颜色等信息字体文件会显示出来。4.定向去重（interferied去重），并不会整网抓取，只抓取小于等于词频的结果，需要在设置里开启“5%”定向，pageheight设置为20，保存后通过批量词频抓取，抓取词频设置为：搜索单词出现次数+5%（最好）例如：表格1中“黄花梨”的词频为：“黄花梨”=1*15*6=5576555%。表格2中“黄花梨”=2*15*6=7527422%以此类推。

　　我用科优推荐科优，配置网站，用过多种工具，质量参差不齐，记忆深刻的是用过科优，配置简单，效果立竿见影。需要的话留个邮箱。

　　建议你用凡科的云优，这个工具主要的好处是支持多关键词优化，非常好用。

　　首先，你如果是要高质量的重复率检测，可以使用dftrack，-ex_0.xml该工具可以上百万级别检测，可以不要多写爬虫爬，可以做到分词检测。但是：有些网站会在爬的过程中返回txt格式的文件或者文件列表，有些会返回首页。有的并没有详细的准确的源代码，数据来源不可靠。对于这些你可以借助xpath的方式去找到网页的xml位置进行检测。

　　所以前期最好都用web页面检测，也可以用ci.js做自动检测，总之方法很多。ps：论爬虫工具requests和selenium优劣。