详细介绍:文章采集插件特点介绍

　　详细介绍:文章采集插件特点介绍

　　内容

　　12

　　文章采集

插件

　　插件插件介绍广播

　　简单配置后，可实现24小时不间断采集、伪原创、发布，是站长建立站组的首选插件。

　　自其

　　

" />

　　今年6月19日正式发布，得到了广大站长好友的支持，下载量超过3万次，已被12000多个不同域名使用，活跃用户超过8000人，是同类软件用户数量最多、口碑最好的梦想采集

插件。我们一直在努力打造一款优秀的基于DedCms的抓取插件，希望能给站长朋友带来实实在在的流量和经济效益。

　　【自动聚合内容DEDE插件】首篇帖子中的“更新记录”见证了我们一直在完善程序，只有不断改进，才能更好地为站长服务。一路走来，

　　花了将近半年的时间，在这段时间里，我们不断修改程序和采集效果测试，不断将新的搜索引擎优化思路融入插件中，功能越来越完善，采集效率越来越高，采集效果也越来越好。

　　文章集插件广播功能介绍

　　（1）无需编写采集规则即可设置关键词自动采集与传统的采集

　　模式不同，梦采集器

可以根据用户设定的关键词进行泛采集，泛采集的优点在于通过采集关键词的不同搜索结果，实现对一个或几个采集站点的采集，而无需采集指定站点或多个采集站点，降低了采集

站点被搜索引擎判断为镜像站点被搜索引擎惩罚的风险。

　　（2）多种伪原创和优化方法，提高收录率和关键词排名自动

　　

" />

　　标题、段落重排、高级混淆、自动内部链接、内容过滤、URL过滤和同义词替换等方法手段，增强采集

文章的原创性，提高搜索引擎索引、网站权威性和关键词排名。

　　（3）插件自动采集，无需人工干预

　　当用户访问您的网站时，触发程序运行，根据设置好的关键词通过搜索引擎（可自定义）采集

网址，然后自动抓取网页内容，程序通过对网页的准确计算和分析，丢弃不是文章内容的网址页面，提取出优秀的文章内容， 最后是伪原件，导入，生成，所有这些操作程序都是全自动的，无需人工干预。在采集

大量内容时，也可以进行手动采集

以加快采集

速度。

　　（4）效果明显，站组优先

　　Dream Collector可以通过简单的配置自动采集

和发布，熟悉DedeCms的网站管理员可以轻松上手。百

　　度百科内容由网友共同编辑，如发现您的词条内容不准确或不完整，欢迎使用我的词条编辑服务（免费）参与更正。立即前往>>

　　解决方案:NVIDIA Triton系列文章（1）：应用概论

　　推理

　　识别是人工智能最重要的落地应用，其他与深度学习相关的数据采集

、标注、模型训练等工作都是为了获得更好的最终推理性能和效果。

　　几乎每个深度学习框架都可以执行单独的推理工作，包括 Tensorflow、Pytorch、MXNet 和 YOLO 独有的暗网框架等通用框架，此外还有 ONNX 开发推理平台、NVIDIA TensorRT 加速推理引擎，还提供了推理相关的 C/C++ 和 Python 开发接口，这是大多数技术人员熟悉的方法。

　　在垂直应用方面，NVIDIA 的 DeepStream 智能分析工具非常适合用于固定类型和长期统计分析的场景，包括人流/交通流分析、工业流水线质量巡检等各种交通场景，在早期可视化推理功能的基础上，增加了对话推理功能，使使用范围更加完整。

　　上述推理方法通常适用于识别固定类型和固定输入源的使用场景，广泛应用于交通运输、工业自动化、无人设备等领域。

　　但是，这种方法并不适合用于网络相关的服务应用，包括在线产品推荐、图像分类、聊天机器人等应用，因为在线服务需要同时面对未知数量和类型的数据源，而通过HTTP协议传输数据的延迟问题也是严重影响用户体验的因素， 这是大多数网络服务提供商引入AI智能识别技术所面临的共同问题。

　　NVIDIA Triton 推理服务器的最大价值在于为服务级智能应用提供完整的解决方案，因此需要首先解决以下三个关键问题：

　　1.通用性强：

　　（1） 广泛支持各种计算处理器：包括采用 NVIDIA GPU 的 x86 和 ARM CPU 设备，以及纯 CPU 设备的推理计算。

　　（2）广泛支持各种训练框架文件格式：包括TensorFlow 1.x/2.x、PyTorch、ONNX、TensorRT、Rapids fil（用于XGBoost、Scikit-learn Random Forest、LightGBM）、OpenVINO、Python等。（

　　3）广泛支持多种模型类型：包括卷积神经网络（CNN）、递归神经网络（RNN）、决策树、随机森林和图神经网络。

　　2. 易于部署：

　　（1） 在横向扩展云或数据中心、企业边缘甚至嵌入式设备（如 NVIDIA Jetson）上运行。

　　（2）支持裸机和虚拟化环境进行AI推理，包括基于Docker技术的VMware vSphere和Kubernetes管理。

　　（3）可以托管在多种人工智能云平台上，包括亚马逊SageMaker、Azure ML、谷歌顶点AI、阿里巴巴AI、腾讯TI-EMS等平台。

　　3. 性能优化：

　　（1） 动态批处理：推理优化的一个因素是批量大小，即一次处理多少个样本，GPU 在更高的批次中提供高吞吐量。但是，对于实时应用程序，服务的真正限制不是批量大小甚至吞吐量，而是为最终客户提供出色体验所需的延迟。

　　（2）模型并发执行：GPU是能够同时执行多个工作负载的计算设备，NVIDIA Triton推理服务器通过在GPU上同时运行多个模型来最大化性能并减少端到端延迟，这些模型可以是来自不同框架的相同或不同的模型。GPU 内存大小是同时运行的模型数量的唯一限制，这会影响 GPU 利用率和吞吐量。

　　以上是NVIDIA Triton推理服务器的基本特征，以

　　符合上面列出的特点，是相对复杂的内容，这是本系列文章的内容供读者一一探讨，但在讲解技术内容之前，我们可以先看看有哪些比较有代表性的成功案例，这样大家就可以对Triton推理服务器的使用场景有进一步的了解。

　　案例 1：Microsoft Teams 会议系统使用 Triton 来提高实时字幕生成和转录性能

　　Microsoft Teams 是*敏*感*词*信和协作的关键工具，每月有近 2.5 亿活跃用户，Azure 认知服务提供 28 种语言的字幕和听录，实时字幕可帮助与会者实时跟踪对话，转录可帮助与会者查看想法或审查他们以后无法参加的会议，实时字幕对聋人特别有用， 听力障碍或异国情调的与会者。

　　基础语音识别技术充当认知服务中的 API，开发人员可以使用该 API 自定义和运行自己的应用程序，例如客户服务呼叫听录、智能家居控制或第一响应者的 AI 助手。认知服务为 Teams 生成听录和字幕，将语音转换为文本，并识别说话人。它还识别术语、名称和其他会议上下文，以提高字幕的准确性。

　　Microsoft Teams首席项目经理Shalendra Chhabra表示：“这样的AI模型非常复杂，需要数千万个神经网络参数来识别数十种不同的语言。但是模型越大，实时运行就越困难，成本效益越高。"

　　为了提高服务质量，Microsoft 使用 NVIDIA Triton 开源推理服务软件来帮助团队使用认知服务优化语音识别模型，以及由认知服务提供支持的高度高级语言模型，以极低的延迟提供高度准确、个性化的语音转文本结果，同时确保运行这些语音转文本模型的 NVIDIA GPU 充分利用其计算资源， 消耗更少的计算资源，同时为客户提供更高的吞吐量以降低成本。

　　

" />

　　NVIDIA GPU 和 Triton 软件可以帮助微软在不牺牲低延迟的情况下，通过强大的神经网络实现高精度，确保实时语音到文本的转换，并且启用转录后，与会者可以轻松地在会议后赶上错过的内容。

　　Triton 推理服务器有助于简化 AI 模型部署并解锁高性能推理，用户甚至可以为自己的应用程序开发自定义后端。以下是帮助 Microsoft 将团队的字幕和转录功能扩展到更多会议和用户的三个关键功能：

　　流推理

　　：新的流式推理功能 - 通过上下跟踪语音上下文来提高延迟敏感字幕的准确性，并帮助 Azure 认知服务协作定制语音转文本应用程序。

　　动态批处理：批量大小是指神经网络同时处理的输入样本数量，通过 Triton 的动态批处理功能，将单个推理请求自动组合成一个批处理，从而在不影响模型延迟的情况下更好地利用 GPU 资源。

　　并发模型执行：实时字幕和转录需要多个深度学习模型同时运行，而 Triton 使开发人员能够在单个 GPU 上同时执行这些操作，包括使用不同深度学习框架的模型。

　　案例2：Triton帮助微信加速视觉应用，提高可靠性

　　在这种情况下，Triton 推理服务器和 TensorRT 推理加速引擎通过 NVIDIA 的 GPU 执行，帮助微信的二维码光学识别 （OCR） 计算减少了 46% 的时间，将系统的故障率降低了 81%，并使用的服务器数量减少了 78%。

　　腾讯微信是一种跨平台的通信工具，支持通过移动网络发送语音、图像、视频和文本。截至 2021 年 6 月，微信在全球拥有超过 12 亿活跃用户，使其成为中国活跃用户最多的社交软件。

　　微信识别是一款专注于物品识别的AI产品，通过*敏*感*词*捕捉物体，更高效、更智能地获取信息。2020年，微信识别拓展了更多的识别场景，推出了微信版图片搜索，打开微信扫一扫，向左滑动切换到“识别事物”功能，瞄准自己想知道的物品前面，就可以得到对应的物品信息，包括条目百科、相关信息、相关商品。

　　2021年1月，微信发布的8.0更新支持图片文本提取功能，用户可以通过在聊天界面和朋友朋友圈中长按图片提取图片的中文单词，然后一键转发、复制或采集

。

　　在物体识别过程中，包括检测，

　　图像召回、信息提炼等环节，二维码扫描的使用频率也很高，主要包括识别和检测，两者都有非常大的计算量。但是，在使用 Pytorch 进行模型推理时，它遇到了以下三个主要问题：

　　请求延迟大，影响用户体验;

　　视频内存占用大量内存，单个 NVIDIA T4 GPU 卡可以部署的型号数量相对较少，导致推理请求的并发性不上升，请求失败的概率太高。

　　使用的模型变化频繁，业务需要更换模型后需要能够快速加速并带来在线部署。

　　为了解决上述问题，微信团队采用Triton推理服务器综合解决方案结合TensorRT加速推理，主要技术内容如下：

　　通过使用 TensorRT 加速微信识别和 OCR 的模型，当两者都使用 FP32 时，Pytorch 的延迟降低了约 50%;

　　在OCR的识别和检测阶段，在保证准确性的前提下，采用TensorRT结合NVIDIA T4 GPU的FP16张量核心，将识别延迟降低50%，检测延迟降低20%。

　　在微信对象识别的分类检测任务中，使用 NVIDIA T4 GPU 的 int8 张量核心结合 QAT 进一步大幅提升了性能。

　　通过使用 FP16 和 int8低精度模式下，推理延迟大大降低，内存占用量大大降低，在FP16模式下，单模型内存消耗仅为FP32模式的

　　40%-50%，而在int8模式下，单模型内存消耗仅为FP32模式的30%左右。在增加部署在单个 T4 卡上的模型数量的同时，它大大提高了单个 GPU 上推理请求的并发性。

　　Triton的动态批处理和多实例功能帮助微信在满足时延要求的同时，提高系统的整体并发容量，减少系统故障81%;

　　TensorRT加速了单个模型的推理，Triton快速部署了加速的模型，满足了业务快速部署修改模型的需求，大大降低了工程师的工作量。

　　通过使用 NVIDIA 的 TensorRT 加速微信对象识别和 OCR 模型，它可以节省高达 64% 的视频内存，同时将单个推理的延迟降低 50% 以上。结合Triton的动态批处理和多实例能力，OCR的整体延迟降低了46%，系统故障率降低了81%。用户体验大幅提升，服务器数量减少高达78%，大大降低服务成本。

　　

" />

　　案例三：腾讯PCG利用Triton加速在线推理，提升设备性能

　　腾讯平台与内容

　　事业群（以下简称腾讯PCG）负责公司互联网平台与内容文化生态的融合发展，整合软件、空间等社交平台，App Treasure、浏览器等流量平台，以及新闻资讯、视频、体育、直播等内容业务， *敏*感*词*和电影产业，推动跨平台、多形式的IP开发，为更多用户打造海量优质数字内容体验。

　　腾讯PCG机器学习平台部旨在构建并持续优化符合PCG中台战略的机器学习平台和系统，提升PCG机器学习技术应用的效率和价值，构建业务领先的模型训练系统和算法框架，提供涵盖数据标注、模型训练、评估、上线的全流程平台服务， 实现高效迭代，输出内容理解与处理领域行业领先的元能力和智能策略库。

　　该机器学习平台服务于PCG的所有业务产品，并面临着上述三个主要挑战的综合需求：

　　1.服务众多，场景复杂：

　　（1）业务开发语言包括C++和Python;

　　（2）模型格式很多，包括ONNX、Pytorch、TensorFlow、TensorRT等;

　　（3）模型预处理涉及图像下载等网络IO;

　　（4）多模型融合过程比教学复杂，涉及循环调用;

　　（5）支持异构推理;

　　2、当模型推理结果异常时，难以方便地调试和定位问题;

　　3. 需要与公司内部现有的协议/框架/平台集成。

　　基于以上挑战，腾讯PCG选择了NVIDIA的Triton推理服务器来解决模型推理引擎在新场景下面临的挑战，提高了用户研究效率，大大降低了服务成本。

　　NVIDIA 的 Triton 推理服务器是一款开源软件，对于所有推理模式都可以简化它在任何框架和任何 GPU 或 CPU 上的运行方式，从而在生产环境中使用推理计算，并支持多模型集成，以及 TensorFlow、PyTorch、ONNX 等深度学习模型框架，可以很好地支持多模型联合推理场景， 构建视频、图片、语音、 整个推理服务流程大大降低了多模型服务的开发和维护成本。

　　通过将Triton编译成动态链接库，可以轻松链接到公司内部框架中，对接公司的平台治理系统，符合C语言规范的API也大大降低了用户的访问成本，借助Python后端和自定义后端，用户可以自由选择使用C++或Python语言进行二次开发。

　　英伟达·达利

　　是一个GPU加速的数据增强和图像加载库，使用Triton的DALI后端可以替代原来的图像解码，缩放等操作，Triton的FIL后端可以取代Python XGBoost模型推理，进一步提高服务器端推理性能。

　　在

　　NVIDIA Triton 推理框架，借助 DALI/FIL/Python 和 TensorRT 等后端，整体推理服务的吞吐能力提升高达 6 倍，延迟降低高达 40%。帮助腾讯PCG在各种业务场景下以更低的成本构建高性能推理服务，同时缩短整个系统链路的响应时间，优化用户体验，总成本降低20%-66%。

　　通过以上三个成功案例，很明显，面对复杂的智能识别应用场景，尤其是当模型来自不同的训练平台，面对不同的前端开发语言时，Triton推理服务器可以发挥非常有效的集成功能。

　　在下面的文章中，我们将带您从宏观角度了解 Triton 推理服务器的应用架构和所需的支持资源，然后构建 Triton 使用环境，包括构建模型仓库、安装服务器/用户软件，然后执行一些实用的基础示例，以及结合 NVIDIA 的 TensorRT 和 DeepStream 等推理工具， 让更多的开发者可以使用Triton来整合更多的AI推理资源。

　　上海鑫宏智能科技*敏*感*词*（ZENTEK）是英伟达的核心合作伙伴。我们提供英伟达最新的软硬件产品和解决方案，为人工智能、高性能计算、数字孪生等领域的客户需求提供专业服务。