关键字文章采集器(优采云万能文章采集器万能算法介绍及功能说明：什么是高精度)

　　关键字文章采集器(优采云万能文章采集器万能算法介绍及功能说明：什么是高精度)

　　优采云万能文章采集器是一个基于高精度文本识别算法的互联网文章采集器。支持按关键词采集百度等搜索引擎新闻源（）和平移（），支持采集在网站栏下指定所有文章。

　　软件介绍：

　　优采云软件独家打造智能通用算法，可以精准提取网页文本部分，保存为文章。

　　支持删除标签、链接和邮箱等格式。还有插入关键词的功能，可以识别标签或标点旁边的插入，可以识别英文空格间距的插入。

　　还有一个文章翻译功能，即可以将文章从一种语言如中文转成另一种语言如英文或日文，再由英文或日文转回中文，即一个翻译周期，可以设置翻译周期为循环多次（翻译次数）。

　　采集文章+翻译伪原创可以满足各领域站长朋友的文章需求。

　　一些公关处理和信息调查公司所需的专业公司开发的信息采集系统往往花费数万甚至更多，而优采云的这个软件也是一个信息采集系统功能与市面上昂贵的软件差不多，但价格只有几百元，大家可以试试看。

　　功能说明：

　　什么是高精度文本识别算法？该算法由优采云独立开发。它可以从网页中提取文本部分。通常，准确率可以达到 95%。如果进一步设置最小字数，采集的文章的准确率（正确性）可以达到99%。同时，文章的标题也达到了99%的提取准确率。当然，当一些网页布局混乱、不规则时，可能会降低准确性。

　　文本提取模式 文本提取算法有 3 种模式，标准、严格和精确标签。在大多数情况下，标准模式和严格模式是相同的提取结果。以下是特殊情况：

　　标准模式：即一​​般提取，大部分时间可以准确提取文本，但是一些特殊页面会导致提取一些不必要的内容（但是这种模式可以更好的识别出类似百度体验的文章页面）

　　严格模式：顾名思义，比标准模式要严格一点，可以很大程度上避免提取不相关的内容作为文本，但是对于百度体验页等特殊的分段页面（不是通用的）

　　段，但有多个独立的带格式的 div 段），一般只能提取某个段落，而标准模式可以提取所有段落。

　　精确标签：不使用标准和严格模式时，可以精确指定目标正文的标签头。此模式仅适用于网络批处理。

　　因此，可以根据实际情况切换模式。您可以使用本地批量读取网页正文功能来测试哪种架构适合给定的网页。

　　采集采集时的处理选项可以同时进行翻译、过滤、查词等处理。对于已经 采集good文章 可以使用“本地批处理”处理。其中，翻译功能是将中文翻译成英文，然后再翻译回中文，也产生了伪原创的效果。支持原格式翻译，即不改变文章原标签结构和排版格式。

　　采集目标是一个 URL。您可以在 URL 模板中插入 #URL# 和 #title# 以组合引用

　　分页采集并将相对路径转换为绝对路径勾选“自动采集分页”合并分页文章采集，编辑框设置值为采集最大值分页数。建议设置一个限制值，例如 10 页，以避免 采集 页数过多和合并后的 文章 体积过大。如果需要采集全部分页，可以设置为0。并且文章中的所有相对路径都会自动转换为绝对路径，以保证图片等的正常显示。

　　多线程支持多线程高速采集网页。可以根据网速来确定。电信2m可以有5个线程，电信4m可以有10个线程，以此类推，但需要适当设置。过多的设置可能会严重影响采集的效率，甚至影响系统的效率。如果还有其他消耗流量的软件，比如在线视频播放，当采集运行时，可以适当减少线程数。

　　处理重复的 文章 标题和 文章 内容

　　程序可以智能判断和过滤重复文章当采集接收到的文章标题（文件名）与本地保存的文章标题相同时，< @优采云会先判断两个文章的相似度，当相似度大于60%时，判断优采云是一样的文章，然后比较两个文章的文本两个 文章，自动使用带有更多文本的 文章 写入相同的文件名。这样的生成不计入生成计数。当相似度小于60%时，优采云判断为不同文章，会自动重命名标题（取3到5个随机字母到标题末尾）并保存到一个文件。

　　文章虽然快速过滤器优采云研究了一种准确率很高的文本提取算法，但难免还是有很少的提取错误。这些错误主要是：目标页面的主体是在线视频，或者主体内容太简短，无法表征主体。因此，可以通过设置提取最终结果的字数来提高准确性（在“文本中的最小字数”参数中，这个字数是程序去除标签、行后的纯文本字数） , 和文本中的空格）。文章快速过滤器是为了快速查看采集good文章，方便对提取错误文本的文章进行判断和删除。同时，

　　生成的文章数量不固定。百度和搜搜默认每页100条结果，谷歌默认每页10条结果。有的网站访问速度超时（尤其是google收录很多都被墙了网站），或者设置了文本的最小字数，或者程序忽略了本地同名文件类似内容文章，或者过滤黑名单和白名单等，都会导致实际生成文章数低于每页最大搜索结果数。总的来说，百度采集的质量最好，生成的文章数接近搜索结果数。

　　变更日志：

　　1.12：继续增强网络批处理的URL列采集器识别文章URL的能力，支持多种地址格式同时匹配

　　1.11：增强网络批处理的列URL采集器对文章URL的识别能力

　　1.10：修复翻译功能翻译失败的问题