干货教程:文章自动采集插件：优采云采集器帮助你瞬间轻松获取海量内容
　　文章自动采集插件：优采云采集器帮助你瞬间轻松获取海量内容
　　
　　随着科技的发展，在当今世界，信息化已成为一种必不可少的元素。各行各业都需要大量有效的信息来帮助企业实施创新和发展，然而，由于人力和时间有限，很多企业往往会面临信息不足、无法及时收集信息的问题。因此，文章自动采集技术应运而生，凭借它的特性已成为大多数企业必不可少的工具之一。
　　作为一家拥有多年开发经验的互联网应用开发公司，优采云采集器便是由我们开发出的一款强大而易用的文章自动采集插件。该产品适用于各行各业（如IT、教育、医学、旅游等行业），能帮助用户快速有效地从各大新闻、博客、平面杂志等信息来源中获取相关内容。
　　
　　优采云采集器独特之处在于它能够将找到的内容进行格式化处理并根据用户需要进行相应分类存储。此外，该工具还能根据用户手动设定关键词对找到的内容进行进一步筛选并将其存储到相应栏目中。使用者也可以根据自己情况对找到的内容进行便捷地套版、回避版权声明以及去水印处理（如图片去水印、原版声明去水印)等方面的修正,使得找到的内容能够真正得到应用。
　　有了优采云采集器,你就能在几分钟之内从海量信息中轻松找到你想要的内容,既省时也省力!如今,优采云采集器已是国内市场上最流行的文章资料平台。如何使用?既然是一个web应用,当然拥有web端后端留意.首先,你要前往www.ucaiyun.com注册一个帐户,然后就能根据你想要需要使用该工具时搜寻相书上要信披露相应字看法书上连搜寻功能来连搜寻阅读想要的内容.
　　总而言之,优高便是高便是本本本本本赋权精精精精精赋哈,,,,,,,,,,,,..........哈赋赋本本本本赋赋赋便是权权权权权便是便是高高高高高精精精精精一一一一一一一款助助助助助大大大大大大大大大大大大大大大大.通过使用该工具（www.ucaiyun.com)）））））））））））))))))),,,,,,,,,[[[[[[]]]]]]],,,,,,,,[[[[]]]],,,,,,,,[[[[]]]],,,,,,,,[[[[]]]],,,,,,,,[[[[]]]],,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,你不仅能够快速方便地浏览大。 查看全部

　　汇总:PtCMS采集，PtCMS采集插件，PtCMS全自动采集无需采集规则详解（图文）
　　PtCMS采集，PtCMS（铂小说）是一个小说建站系统，PtCMS专注于原创网络文学，但是PtCMS站长要知道采集自带的采集规则需要会写代码，新手站长很难写出色地。
　　PtCMS采集除了批量CMS采集，还有伪原创发布，一键批量自动推送到百度、Whatsmart、360、搜狗等，通过推送，链接主动暴露给搜索引擎，增加爬虫频率抓取，从而促进网站收录。 结合相应的SEO优化设置，帮助网站小说站收录和SEO排名（图文说明）。
　　PtCMS采集需要选择旧域名。 PtCMS采集网站域名的选择也需要注意。 比如很多站长喜欢老域名，因为这些域名有反链历史，权重比较高，容易被新网站左派利用。 但是我们在选择老域名的时候，一定要考察这个域名对应的老网站的历史。 PtCMS采集新网站不仅容易失去老域名的红利，而且容易被拖累不收录。 所以这里建议选择网站的域名。 主要有两点，要么是历史干净的旧域名，要么是新注册的没有任何历史的域名。
　　
　　PtCMS采集专注于构建良好的网站结构。 虽然现在的搜索引擎爬虫已经很强大了，几乎可以爬到网站的每一个角落。 但是我们的 PtCMS采集网站应该尽可能对爬虫友好。 按照SEO标准，我们需要构建一个扁平化、清晰的网站结构，尽量为爬虫构建一个良好的爬行结构。 这里也要求我们在选择PtCMS采集网站模板和cms后台设置的时候尽量优化这个。
　　PtCMS采集生成的小说章节页面Url结构要清晰。 在很多情况下，PtCMS采集网站的结构与其url密切相关。 如果一个网站的URL不够静态，而且非常冗长，很容易误导搜索引擎爬虫，给网页收录带来压力。 同时，网站的URL级别不宜过高。 如果PtCMS采集的URL太深，其实是啰嗦的表现，不利于网站的收录。 这也是我们网站线之前应该做到的一点。
　　PtCMS采集并建立自动外部链接。 虽然搜索引擎一再压低外链在网站优化排名中的权重，但是外链的建设仍然非常重要，是一个网站非常重要的优化措施。 有两个主要值。 一是可以帮助搜索引擎在站外找到并抓取我们的网站，有利于网站的收录。 二是可以增加网站的权重，尤其是锚文本链接，也可以提高网站相关词的权重排名。 虽然建立外链的渠道不多，但是朋友圈、分类目录等渠道还是很多的。 我们可以做好连锁建设。
　　PtCMS采集和处理网站内容。 确定了PtCMS小说网站的主题后，需要根据网站功能的要求细化网站的各个链接，确定网站要设置的版块和网站。 栏目相当于一个网站的索引目录。 用户可以通过栏目分类快速了解网站的主要内容，快速找到自己需要的具体内容。
　　
　　PtCMS 小说出版。 PtCMS小说网站建立到一定规模后，可以考虑将其发布到上位机上，让人们通过互联网访问。 发布网站时，用户是有限的。 确认网站载体并获取远程站点的用户名和密码后，使用网站管理软件（如FTP）上传并发布网站。
　　PtCMS采集需要规范标签的使用场景通常是有多个URL链接指向同一个网页。 通常，PtCMS 设置的规范标签可以告诉搜索引擎只有一个 URL 链接是唯一的。 但是，这只是搜索引擎的指南。 因此，当有多个链接指向一个网页时，规范标签通常会匹配 301 永久重定向。 两者的结合可以让搜索引擎更快地识别网页的唯一性。 优点是标准标签指向的网页权重集中，有利于收录收录采集的内容链接和网页SEO关键词排名。
　　使用采集采集和设置规范标签非常简单。 只需要在网页页眉的head标签之间引用语句即可。 据我观察，很多SEO站长选择PtCMS建新网站，也使用伪静态，却忽略了标准标签的使用，导致大量页面即使被百度等收录也显示动态链接搜索引擎和SEO链接的标准化不够规范。 今天关于PtCMS采集的讲解就到这里，下一期分享更多SEO相关的知识和经验。
　　技巧:推荐十大开源的静态网站生成工具，无须掌握HTML和CSS技能
　　正在寻找部署静态网页的方法？ 这些开源的静态网站生成工具可以帮助您快速部署美观而强大的静态网站，而无需掌握复杂的 HTML 和 CSS 技能。
　　什么是静态网站？
　　从技术上讲，静态网站意味着网页不是由服务器动态生成的。 HTML、CSS 和 JavaScript 文件静静地存放在服务器的某个路径中，它们的内容与最终用户收到的版本相同。 原创源代码文件已经预先编译好，每次请求后源代码不会改变。
　　Linux.CN 是一个依赖多个数据库的动态网站。 当有浏览器请求时，将生成并提供网页。 大多数网站都是动态的，当您与它们交互时，大量内容会经常更改网站
　　静态网站有一些好处，例如更快的加载时间、请求更少的服务器资源以及更安全（有争议）。
　　传统上，静态网站更适合创建只有几个页面和内容不经常更改的小型网站。
　　但是，随着静态网站生成工具的出现，静态网站的应用范围越来越大。 您还可以使用这些工具来构建博客网站。
　　我整理了几个开源的静态网站生成工具，可以帮助大家搭建界面美观的网站。
　　最好的开源静态网站生成器
　　
　　请注意，静态网站不提供非常复杂的功能。 如果您需要复杂的功能，那么您可以参考这份用于动态网站的最佳开源 CMS 列表。
　　1.杰基尔
　　Jekyll 是用 Ruby 编写的最流行的开源静态生成工具之一。 事实上，Jekyll 是 GitHub Pages 背后的引擎，它让你可以免费在 GitHub 上托管你的网站。
　　您可以轻松地跨平台配置 Jekyll，包括 Ubuntu。 它利用 Markdown、Liquid（模板语言）、HTML 和 CSS 生成静态网页文件。 如果您正在构建一个没有广告或产品页面来宣传您自己的工具或服务的博客网站，这是一个很好的选择。
　　它还支持从Ghost、WordPress、Drupal 7等常见的CMS（内容管理系统）迁移你的博客。你可以管理永久链接、类别、页面、文章，并自定义布局，非常强大。 所以即使你已经有了一个网站，如果你想切换到静态网站，Jekyll 可以是一个完美的解决方案。 您可以参考官方文档或 GitHub 页面了解更多信息。
　　2.雨果
　　Hugo 是另一种流行的用于构建静态网站的开源框架。 它是用 Go 语言编写的。
　　它快速、易于使用且高度可靠。 如果您需要，它还提供更高级的主题。 它还提供了一些有用的快捷方式来帮助您轻松完成任务。 无论是作品集展示网站还是博客网站，Hogo 都有能力管理大量的内容类型。
　　如果你想使用 Hugo，你可以参考它的官方文档或者它的 GitHub 页面来安装和了解如何使用它。 如果需要，您还可以在 GitHub Pages 或任何 CDN 上部署 Hugo。
　　3. 海索
　　
　　Hexo 是一个有趣的基于 Node.js 的开源框架。 和其他工具一样，你可以用它来建立一个相当快速的网站，不仅如此，它还提供了丰富的主题和插件。
　　它还提供了强大的 API 来根据用户的各种需要扩展功能。 如果您已有网站，可以使用其迁移扩展轻松完成迁移工作。
　　您可以参考官方文档或 GitHub 页面使用 Hexo。
　　4.盖茨比
　　Gatsby 是一个日益流行的开源网站生成框架。 它使用 React.js 生成快速、漂亮的网站。
　　在几年前的一个实验项目中，我很想试用这个工具，并且对它提供数以千计的新插件和主题的能力印象深刻。 与其他静态网站生成器不同，您可以使用 Gatsby 生成网站并在不损失任何功能的情况下获得静态网站的好处。
　　它提供与许多流行服务的集成。 当然，您可以在没有其复杂功能的情况下享受乐趣，或者使用您选择的流行 CMS。 您可以查看他们的官方文档或其 GitHub 页面以了解更多信息。
　　5.VuePress
　　VuePress 是一个静态网站生成器，由 Vue.js 提供支持，Vue.js 是一个开源的渐进式 JavaScript 框架。
　　如果你了解 HTML、CSS 和 JavaScript，那么你可以毫无压力地使用 VuePress。 您应该能够找到几个有用的插件和主题来启动您的网站。 此外，看起来 Vue.js 的更新非常活跃，很多开发人员都在关注 Vue.js，这是一件好事。 查看全部

　　最新版:文章自动采集插件-网址采集-上海怡健医学相关
　　
　　文章自动采集插件-网址采集-网页采集-导航采集-网址采集采集lofter插件-网址采集-网页采集-导航采集-网址采集采集社区网站的网页文章的地址-网址采集-网页采集-导航采集-网址采集采集lofter相册的网页地址-网址采集-网页采集-导航采集-网址采集采集知乎相册的网页地址-网址采集-网页采集-导航采集采集qq空间的网页地址-网址采集-网页采集-导航采集采集贴吧的网页地址-网址采集-网页采集-导航采集采集有帮助的网页地址-网址采集-网页采集-导航采集采集星巴克相册的网页地址-网址采集-网页采集-导航采集采集本地文件的地址-网址采集-导航采集采集qq相册的网页地址-网址采集-网页采集-导航采集采集搜索引擎的网页地址-网址采集-网页采集-导航采集采集学习python的论坛-学习python的地方-python论坛采集旅游的网页地址-旅游论坛搜索全国商店的网页地址-商店页面采集采集语言视频的网页地址-语言视频地址采集本地文件的网页地址-本地文件地址采集知乎文章的网页地址-知乎文章地址采集医学相关的问题的网页地址-医学相关问题地址采集知乎的相册的网页地址-相册地址采集蘑菇街自己的外貌评价网页地址-网页地址采集导航插件-导航采集-导航采集导航采集-网址采集-导航采集导航插件-导航采集-导航采集导航-导航采集导航插件-导航采集-导航采集-导航采集-导航采集-导航采集论坛中做问题的答案的网页地址-论坛地址采集论坛热榜的网页地址-论坛地址采集论坛热榜网页地址-论坛地址采集小白学python-python教程-小白学python导航-小白学python网址采集-网址采集-网页采集-导航采集网页采集百度贴吧、豆瓣评分、豆瓣文章、知乎高赞回答、知乎历史问题，知乎每日问答网址采集地址采集-网址采集-网页采集-导航采集淘宝店铺的网址采集-淘宝店铺地址采集淘宝商品的网址采集-商品地址采集淘宝搜索框的网址采集-店铺地址采集知乎相册的地址采集-知乎相册地址采集-知乎相册地址采集飞猪的店铺地址采集-飞猪店铺地址采集keepapp的地址采集-keepapp地址采集米聊语音通话分享分析-米聊语音通话分享分析-米聊语音通话分析网址采集百度热门歌曲的地址采集-热门歌曲地址采集知乎热门回答的地址采集-热门回答地址采集淘宝热门商品的地址采集-热门商品地址采集豆瓣相册相册分享及分类采集-电影相册分享和分类采集企业介绍、km相册、个人相册采集：高效采集关键词互联网各种情报，主要有两种类型：1是百度采集，2是阿里云采集。
　　 查看全部

　　解决方案:文章自动采集插件开发者的工作量不会对外开放
　　文章自动采集插件由于人性化的用户体验，导致每天开发人员的增多，插件提供接口服务，记录插件的开发人员的工作量，接口对外开放，像网站一样授权登录的，登录成功后，对外开放接口，
　　
　　如果插件的工作量很少，通常说明开发者人员特别多，通常是为了提高插件功能的交互性，或者开发者有较好的编程能力将自己的技术通过开发插件来充分展示出来。没有这样的需求时是不会开发的。
　　给你介绍个插件，软件特点是:适合多环境运行。——即同时支持windows、linux和android(android手机版)使用时，除了可以从android官方网站，免费得到源代码外，还可以下载原生jar及开发工具以发布到各大平台。利用java可以快速地开发各种类型的软件，如:web、网页、应用、管理系统、wordpress网站、信息存储系统等。
　　
　　android手机版，简单来说，就是安卓本身可以处理很多事情，比如传文件、录屏、接收消息等，对应的android中间件如:日历、闹钟、计算器、音乐播放器等。ps:pc端也是可以使用的。
　　主要这些项目非常非常大量用户需求很多！无论做成什么功能强大的插件和官方版本，基本上会满足用户的需求，然后在开发里面使用。为什么呢？首先，项目大，其次，项目非常非常多用户需求太多了，但是！功能来来回回总是有一些遗留问题无法解决，又或者出现了bug。那么作为开发者还要得到什么呢？当然是收益！因为作为一个特定功能团队，假如会为此付费肯定是大利益了。所以我们不会对外开放，开发者的人员也不会太多，因为大家学东西很多都在积累的过程中！。 查看全部

　　解决方案:【帝国CMS插件】自定义时间批量审核插件
　　❤6。不同意以上条款者。请勿下单，请勿下单，请勿下单，下单即默认同意以上条款。
　　特别提醒：本店只接受有一定基础的咨询服务，本着资源共享的原则，一些琐碎或无关的问题可能无法解答，敬请谅解。
　　┏———————————————————————————————————————————————— ——┓
　　本店承接收费一站式施工，具体费用请咨询客服！二次营业请咨询客服！
　　【如果加不了客服QQ，请加QQ群：662411453找管理员客服】
　　┗———————————————————————————————————————————————— ┛
　　
　　↓↓↓↓=======================↓↓↓↓===================== ↓↓↓↓
　　（以下为正文）
　　源码介绍
　　【Imperialcms插件】自定义时间批量审计插件-定时任务自动审计-优化版-安装方便
　　如何使用 Empire cms 审计插件
　　1.在系统设置-计划任务-管理计划任务中，添加自动审核计划任务。这里的最小时间间隔是 1 分钟。
　　
　　2.设置刷新任务。这里最小刷新间隔为5分钟，可以设置首页、列表页和自定义页。
　　3.直接将上次安装包中的e目录转移到你的网站update目录下。
　　4、打开管理计划任务，执行右上角的运行计划任务按钮，一直运行。
　　他将自动批准 采集 并返回未批准的 文章。每次审核的具体文章数量可以自行设定。
　　先说说我目前使用的替代方案。在后台系统设置-信息设置中，每页页数设置多一点，然后点击批量审核
　　解决方案:微信公众号文章自动化采集（2020-07-27）
　　实现功能
　　微信账号目前可以获取具体指标：业务、昵称、微信ID、头像、二维码、简介、身份验证、身份验证信息、账号主题、归属地等。
　　[外链图片传输失败，源站可能有防盗链机制，建议保存图片直接上传(img-nxvmrfA6-42)()]
　　微信文章目前可用的具体指标（包括但不限于）：阅读数、点赞数（阅读）、评论内容和总评论数、文字内容、图片、视频地址、是否为原创 ，原创永久链接等。
　　[外链图片传输失败，源站可能有防盗链机制，建议保存图片直接上传(img-8YBogYJA-45)()]
　　实施技术和工具
　　经过大量长期测试，保证微信客户端采集300个公众号文章每天数据稳定运行，不被封号。如果您访问微信公众号历史新闻页面过于频繁，将被封禁24小时。
　　目前比较好的策略是：访问文章页面后休眠5秒，访问微信公众号历史新闻页面后休眠150秒。
　　微信账号购买渠道qq客服：1653925422 购买为非实名60元微信号。购买账号后不得添加好友，否则该微信号将被视为营销账号，永久封禁。仅用于访问微信公众号文章，不会被屏蔽。
　　
　　详细设计
　　1、首先准备一批要爬取的微信公众号biz，存放到redis队列中。
　　数据库设计
　　两个redis消息队列
　　1.微信公众号biz队列待抓取
　　wechat_biz_quene list 先进先出队列
　　[外链图片传输失败，源站可能有防盗链机制，建议保存图片直接上传(img-AlYKCXZ3-47)()]
　　2、获取到的微信文章详情页url队列，用于遍历获取到的阅读、点赞、评论数对应的历史文章。
　　
　　wechat_content_quene list 先进先出队列
　　[外链图片传输失败，源站可能有防盗链机制，建议保存图片直接上传(img-wBT28tCD-49)()]
　　2.在模拟器中打开微信atx框架，模拟点击第一个公众号拼接的历史消息界面运行。后续流程和数据流向逻辑如下图所示
　　[外链图片传输失败，源站可能有防盗链机制，建议保存图片直接上传(img-PD9ZtmAi-51)()]
　　微信文章自动爬取过程中的问题
　　1、网页打不开。解决方案是监控当前页面。当网页打不开时，需要自动点击刷新按钮。
　　[外链图片传输失败，源站可能有防盗链机制，建议保存图片直接上传(img-lESaruly-53)()]
　　2、运行一段时间后，莫名跳转到微信首页，然后停止。它出现频率高，是影响自动抓取的主要因素。初步判断是某些文章引起的，但没有发现具体特征。 查看全部

　　免费的:PHPcmsv9采集之PHPcmsv9免费采集插件分享
　　PHPcmsv9采用PHP+MYSQL作为开发的技术基础。V9采用OOP（面向对象）的方法构建了基本的运行框架。最近很多站长问我有没有什么好用的PHPcmsv9采集，PHPcmsv9没有提供文章采集功能，常见的采集很少支持PHPcmsv9采集，或者编写复杂的文章采集规则，对于不懂代码友好的站长来说很不舒服。PHPcmsv9采集操作简单，不需要编写采集规则，可以实现批量采集伪原创发布，并且可以支持一键发布同时点击批量自动百度、搜狗、神马、360推送。
　　PHPcms采集
　　PHPcmsv9采集实现自动采集伪原创发布和主动推送到搜索引擎，操作简单不需要学习更专业的技术，PHPcmsv9 采集简单几步即可轻松获取采集内容数据，用户只需在PHPcmsv9采集、PHPcmsv9上进行简单设置采集根据关键词用户设置准确采集文章，确保行业文章对齐。
　　文章 from PHPcmsv9采集可以选择本地化保存，PHPcmsv9采集也可以选择在伪原创之后自动发布，PHP cmsv9采集提供方便快捷的内容采集和快速内容创建伪原创。
　　
　　PHPcmsv9采集
　　PHPcmsv9采集 可修改发布任务 PHPcms v9 文章 免登录界面会发布文件名在发布文件地址后缀和刷新列表文件地址模块中的后缀改成刚才修改的接口文件名。PHPcmsv9采集 可以添加随机用户名。PHP cmsv9采集 可以设置发布配置，采集 并开始发布。
　　和其他的PHPcmsv9采集相比，这个PHPcmsv9采集基本没有规则，更不用说花大把的时间学习正则表达式或者html标签了，一分钟您可以开始使用它了。您只需输入关键词即可实现采集。PHPcmsv9采集 还配备了关键词采集 功能。PHPcmsv9采集可以全程自动挂掉！PHPcmsv9采集设置任务，PHPcmsv9采集会自动执行采集伪原创发布并主动推送到搜索引擎。
　　无论你有成百上千个不同的cms网站都可以实现统一管理。PHPcmsv9采集 可以由一个人维护数百个 网站文章 更新。PHPcmsv9采集具有强大的SEO功能，PHPcmsv9采集可以批量发布采集伪原创，同时完善大量的 SEO 优化。
　　PHPcmsv9采集可以网站主动推送，同时PHPcmsv9采集可以采集伪原创发布一键批量推送到百度、Whatsmart、360、搜狗，及时曝光链接到搜索引擎，增加蜘蛛抓取频率，从而推广网站收录。
　　
　　PHPcmsv9采集可以插入随机默认图片，PHPcmsv9采集可以自动匹配图片，PHPcmsv9采集也可以设置自动下载图片并保存在本地或第三方云存储中。百度云、优拍云、七牛云、华为云、腾讯云等，PHPcmsv9采集均支持。PHPcmsv9采集自动内链，PHPcmsv9采集让搜索引擎更深入地抓取你的链接。
　　PHPcmsv9采集支持免费登录，用户可以设置认证密码，防止未授权访问。PHPcmsv9采集 可以多用户随机发布文章 , PHPcmsv9采集 可以达到和手动发布一模一样的效果文章，包括是否生成静态、去除外链、下载远程图片等功能。PHPcmsv9 采集在内容或标题前后插入段落或关键词，PHPcmsv9采集可以选择title和title插入相同的关键词。PHPcmsv9采集定期发布，PHPcmsv9采集可以定期发布文章以便搜索引擎及时抓取您的网站内容.
　　使用这些 SEO 功能提高 网站 页面 原创 性能并提高 网站 的 收录 排名。通过PHPcmsv9采集监控管理视图文章采集发布和主动推送，PHPcmsv9采集无需登录每天网站在后台查看。直接在 PHPcmsv9采集 上针对 SEO 的自动内容优化。
　　PHPcmsv9采集在后台运行采集时，需要注意的几点，导入发布计划后，使用内容模型的add_content方法发布到模型，PHPcms为v9采集，如果开启generate static，导入后只会生成静态内容页面，PHPcmsv9的新内容采集 不会显示在列表页上。今天关于PHPcmsv9采集的讲解就到这里。我希望它能帮助你建立网站。下一期我会分享更多SEO相关的实用干货。
　　教程:织梦dedecms采集图片或者文章时怎样去除超链接
　　DEDEcms采集删除超链接
　　DEDE的默认采集规则，dede采集删除超链接后，超链接的文本被删除，太震撼了，文章从采集
　　都是断句，哈哈，最近在研究DEDEcms的采集规则时，头疼的是，如果采集图片收录超链接，那么采集生成的文章就会有指向目标站点的链接，如果使用DEDE的默认删除超链接规则，结果是连图片都不会采集......
　　所以我在谷歌上搜索了一下，终于找到了一个解决我烦恼的规则。
　　
　　规则如下：
　　一：
　　{dede：trim}<（|/）a（[^>]*）>{/dede：trim}
　　二：
　　
　　{dede：trim}]*）>{/dede：trim}{dede：trim}
　　{/dede：trim}
　　您可以删除指向图像的超链接，
　　只留下图像，同样适用于文章采集，删除文章中的超链接（编辑器：laiquliu）。 查看全部

　　最新版本:Newsomatic–WordPress新闻自动采集发布生成器插件[更至v3
　　
　　通过本插件，您可以搭建一个24小时自动采集国外各大新闻平台的新闻博客站点。可以是纯英文站点，也可以是多语言站点，包括中文站点，可以结合翻译插件。然后通过挂谷歌广告赚取被动收入。堪称赚取被动收入的神器！适用于 WordPress 的 Newsomatic 空新闻自动生成器插件是使用 Newsomatic API 导入的最新新闻相关内容 Newsomatic WordPress 插件功能如下：文章 语言 DeepL 翻译支持——选择你想用来发布的语言 文章 文本微调器支持——自动修改生成的文本，用它们的同义词改变单词——内置，Best Rotator、SpinRewriter、SpinnerChief、WordAI 等 – 出色的 SEO 价值！可自定义生成的帖子状态（已发布、草稿、待定、私人、垃圾）自动从市场项目生成帖子类别或标签将帖子类别或标签手动添加到项目生成的帖子或页面或任何其他自定义帖子类型选项以添加到生成的帖子，一个“rel=canonical”元标签链接回源帖子定义帖子限制：没有图片的帖子，短/长标题/内容，相关下载链接：
　　
　　最新版本:WordPress编辑器支持Word文档自动上传
　　由于工作需要，必须将word文档内容粘贴到编辑器中使用
　　但是，我发现在word中粘贴图片后，变成了file:///xxxx.jpg。如果上传到服务器，其他人将无法访问。在网上找了很多编辑，发现没有一个能直接解决这个问题。
　　考虑到我除了工作基本不用windows，所以打算用nodejs来解决这个问题
　　我发现不管用什么编辑器把图片转成base64，都可以直接使用（IE8及以下可能不支持）。由于在编辑器中添加word文档的功能仅供您自己使用，您可以忽略此浏览器
　　找了半天，试了很多编辑器，发现只有ckeditor的功能还满足我的需求（支持自定义HTML属性）
　　然后写了一个操作监听粘贴事件获取粘贴后file:///xxxx.jpg的路径
　　将以上代码保存为word.js文件
　　然后执行node word.js，会自动创建一个http服务
　　
　　这时我们在编辑器中使用jsonp获取处理后的图片数据，替换掉原来的file:///xxxxxx.jpg路径。
　　word图片批量上传处理代码
　　其他业务逻辑参数代码
　　当然，上面的代码也可以打包成本地执行文件给不懂电脑的人使用（具体方法这里就不说了）
　　前台引用的代码
　　
　　下面是实现后的效果，可以自动上传Word中的所有图片，并且有进度条显示
　　所有图片都可以保存在服务器中，支持分布式图片存储
　　编辑器中的图片地址全部替换为服务器的图片地址，其他用户也可以正常访问
　　具体可以参考这个文章：详细思路和源码
　　样本下载：
　　wordpaster-vue3-cli-ueditor1.5, wordpaster-vue-ueditor1.5, -ueditor1.5x, wordpaster-php-ueditor1x, wordpaster-jsp-ueditor1x 查看全部

　　教程:Emlog博客文章图片自动加水印插件
　　内容目录
　　一、详细介绍
　　为Emlog博客上传的图片添加水印，可以有效保护作品版权，有效打击不留原作者地址转载文件的网站，部分Emlog博主通常会手动给图片添加水印，而且图片很多 有时候会有点麻烦，这时候可以使用Emlog图片水印插件。Emlog图片水印插件使用方法。
　　插件介绍：
　　Emlog博主在上传图片时，可以根据插件的设置，为图片添加文字或图片类型的水印。
　　插件使用：
　　1、下载Emlog图片水印插件，上传到content/plugins/目录
　　2、登录博客后台，在插件列表中激活Emlog图片水印插件
　　3、点击后台“功能扩展”下的“图片水印”选项，进入插件设置界面
　　4、在插件设置界面，可以设置水印位置、水印文字、水印文字大小、水印文字颜色、水印类型（图片或文字）、水印范围。
　　使用提示：
　　1.插件设置中的文字大小就是我们平时使用的html的fontSize属性
　　2、文字颜色采用#000000格式，如红色：#FF0000，蓝色：#0000FF
　　3、如果使用图片水印，请将水印图片重命名为gvgu_watermark.gif，并覆盖插件目录下的gvgu_watermark.gif
　　4、如果以上设置没有保存成功，请确认你的插件目录下的db.php文件权限为777
　　二、效果展示 1.部分代码
　　代码如下（示例）：
　　function imageWaterMark($groundImage,$waterPos=9,$waterImage="",$waterText="",$textFont=12,$textColor="#FF0000",$watermarkType="")
{
if($watermarkType == 'text')
{
<p>
$isWaterImage = FALSE;
}elseif($watermarkType == &#39;image&#39;){
$isWaterImage = TRUE;
}else{
return;
}
if($isWaterImage === TRUE){
//读取水印文件
if(!empty($waterImage) && file_exists($waterImage))
{
$water_info = getimagesize($waterImage);
$water_w = $water_info[0];//取得水印图片的宽
$water_h = $water_info[1];//取得水印图片的高
switch($water_info[2])//取得水印图片的格式
{
case 1:$water_im = imagecreatefromgif($waterImage);break;
case 2:$water_im = imagecreatefromjpeg($waterImage);break;
case 3:$water_im = imagecreatefrompng($waterImage);break;
default:return;
}
}
}
　　
//读取背景图片
if(!empty($groundImage) && file_exists($groundImage))
{
$ground_info = getimagesize($groundImage);
$ground_w = $ground_info[0];//取得背景图片的宽
$ground_h = $ground_info[1];//取得背景图片的高
switch($ground_info[2])//取得背景图片的格式
{
case 1:$ground_im = imagecreatefromgif($groundImage);break;
case 2:$ground_im = imagecreatefromjpeg($groundImage);break;
case 3:$ground_im = imagecreatefrompng($groundImage);break;
default:return;
}
}else{
return;
}
</p>
　　2.渲染展示
　　3.下载学习资料
　　蓝作云：
　　内容分享:seo外链群发软件工具（在线免费使用批量自动发外链） seo外链发布平台
　　本文介绍SEO外链群发软件工具（在线免费使用批量自动发送外链）相关内容。
　　seo外链发布平台
　　理论上应该禁止外链群发工具，但也不能说这样的工具一点作用都没有。比如新的media manager plus插件可以帮助我们更方便的在几个不同的自媒体 文章上发布，确实方便很多。
　　小课堂SEO自学网的文章几乎都是在20多个不同的平台发布，对文章的排名影响不大。这种方法叫做全网营销SEO，也就是马辉SEO所说的“全网营销SEO [TWNM-SEO] This is my 网站 optimization”。
　　几种外链群发工具简表：
　　① 博客文章群发
　　
　　比如注册新浪博客、CSDN博客、51CTO博客等，批量注册，一键发布文章，效果还不错。
　　其实，一篇高质量的文章原创文章大量发表在十几个、二十个不同类型的博客上，只要平台允许，没关系，但如果有数百个或成千上万的新浪博客来做这种群发就是作弊。
　　② 自动在博客和论坛留言
　　现在还有很多人使用群发消息软件在博客、论坛留言。这种外链一般都加上nofollow，没有传递权重的作用，但仍然是品牌推广的一种方式，也可能带来自然流量。
　　③ 超级外链在线工具
　　马会SEO一直认为，这类外链的效果几乎为零，甚至是负面的。许多发起人可能会说，如果您检查您的外部链接，它们是否在增长？仔细一看，确实增加了。但是，你增加的这些外链实际上会被搜索引擎认为是垃圾外链或低质量外链，可能是无用的，也可能是有害的。这通常是由类似于 爱站 或网站管理员工具查询的模式生成的页面。
　　
　　④ 库批量上传模式
　　百度文库、新浪微盘等可以上传PDF或者word文件，可以作为外链，但是审核机制越来越严格，很容易不通过，但是有一些经过认证的百度文库账号一直在这样做。，可以寻求下一次合作。
　　3、人工外链和外链群发工具哪个效果好？
　　马会SEO认为，人工外链的价值会更高，外链群发工具可能存在低质量的外链，存在被降级的风险。
　　以上是由小课堂SEO自学网带来的《如何发送人工外链》？外链群发工具有哪些？》。感谢收看。SEO培训找小课堂！
　　更多与seo外链发布平台相关的游戏内容，可以查看本站其他文章。 查看全部

　　教程:织梦CMS文章图片自动ALT注释插件 让图片给你带来流量
　　文章图片自动ALT标注插件是我们为新版织梦采集器v2.2开发的一款辅助插件。也可以看作是Dream Weaver Collector功能的扩展。Dream Collector商业版用户可以免费使用该插件，我们会陆续推出数款小插件，通过附加安装的方式扩展Dream Collector的功能。
　　文章图片自动ALT评论插件，运行一次即可，自动为所有没有alt评论的图片添加alt评论，评论模仿站内容为文章标题。
　　
　　对于搜索引擎来说，他们不知道如何识别图片。他们只能通过alt属性告诉搜索引擎这张图片是什么图片。交通。设置alt属性不仅有利于搜索优化，也是提升用户体验的好方法。将鼠标移到图片上时，会显示图片的名称。如果图片不慎丢失打不开，还有文字说明。
　　把握好细节，有利于网站引流和用户体验。我们织梦采集
器的开发也是如此。我们会不断完善插件，增加新的功能供用户使用。没有最好，只有更好。我们一直在努力做出更好的采集
插件。虽然目前的功能已经得到了大部分用户的肯定，但还存在不少不足。我们已经制定了接下来几个版本的开发计划，只需要时间慢慢去实现。商业版用户依然可以免费升级到最新版本，v2.0版本已经是一个很大的飞跃了。相信有您的支持，我们的插件会越来越完善。
　　
　　织梦典藏商业版用户可直接安装使用。非织梦采集器
商业版用户也可单独购买文章图片自动ALT标注插件。单个域名授权只需30元，且无有效期限制。
　　支持版本：织梦CMS v5.5/v5.6/v5.7(GBK/UTF-8)
　　上一篇：织梦Dedecms禁止通过.htaccess访问指定IP或IP段下一篇：织梦Dedecms在文章发布时“出处”或“作者”无内容时隐藏
　　推荐文章:如何给网站增加外链（网站的反向链接是什么）
　　网站如何增加反向链接，外链怎么做
　　反向链接包括指向外部网站的链接和指向您自己网站的内部链接。对于SEO来说，反向链接是搜索引擎排名的重要参考因素。反向链接的好坏直接影响整个网站的SEO指数和抓取频率，也是网站从搜索引擎获取流量的重要手段。在之前的文章中，我提到在新云搜索分析网站时，发现显示了反向链接，那么我们应该如何增加网站的反向链接，或者说网站的反向链接应该怎么做呢？
　　1. 博客评论：博客或文章评论是增加反向链接最有效、最简单的方法，但往往被忽视。这也有助于提高您的网页排名。当您在这些页面上发表评论以获得自己的排名时，您从这些页面中连接的页面也会获得相应的排名。确保您不评论不相关的博客或粘贴无价值的垃圾邮件。
　　2. 论坛参与：找到与您的网站利基市场相关的论坛并经常发帖，这样您就会受到关注并建立信任，这样人们就可以点击您的个人资料或签名中的链接，并可能从他们自己的网站或链接到您的网站他们在其中找到有价值信息的其他论坛 大多数论坛现在都在所有外出链接上放置了 rel="nofollow"，因此除了获得一些流量之外，这可能不会给您带来任何好处。
　　3、友情链接：充分利用合作伙伴或商业伙伴之间的关系，尽量让对方加一个自己网站的链接或者交换一个链接（当然要交换高权重的），自己管理友情链接, 尽量争取高权重网站的连接支持。
　　
　　网站SEO增加外链的方法有哪些？
　　当网站针对 SEO 进行优化时，外部链接也起着重要作用。通常，优秀的外部链接越多，网站的权重和排名就越大。有什么办法吗？下面就带大家一起来了解一下吧。
　　1.做朋友链
　　做好链接对提高网站排名也很有帮助，而且最好使用单向链接，即别人的网站就是你的链接，你不需要成为别人的链接，所以效果是最好的。
　　2.写出高质量的软文
　　可以写一些高质量的软文或者文章发布到各大网站，保证网站文章的质量，这样就可以获得很多好的外链，帮助网站吸引更多的流量。
　　3.发布论坛
　　
　　如果你经常去论坛，经常把论坛的个性化签名改成你网站关键词的链接，对提高网站的整体流量也是很有帮助的。
　　4.在别人的博客上留言
　　在其他人的博客上留下更多评论，尤其是与您的博客主题相关的评论。一些博客系统现在支持评论带链接，这样可以快速获得高质量的链接。
　　5.降低关键词优化难度
　　如果目标的关键优化难度系数太高，我们可以从目标关键词扩展的长尾关键词优化入手，难度小很多，也更容易排名以这种方式上升。
　　以上就是为大家总结的网站外链增加的放大情况。通过上面的介绍，相信大家对此会有更多的了解和了解，从而帮助网站更好的提升排名，不断提升权重。 查看全部

　　教程:【文末下载】BIM插件有什么作用？国产Revit插件你用过几个？
　　房间图纸——生成房间南、东、北、西立面图
　　5. BIM 1.02——BIM标准化应用系统
　　基本实现BIM材料库、族库、图纸规则、造型命名规则、国标清单项编码与施工、运维信息管理的有机统一，初步形成BIM标准化应用体系，并具有以下六大突出特点：
　　所有专业施工图；
　　国家标准清单工程量；
　　建筑能效计算；
　　设备冷热负荷计算；
　　标准化的族库、素材库；
　　施工、运维信息化管理。
　　6.立正建筑软件
　　
　　该插件扩展了Revit软件的功能，提供了30多种工具，可以有效提高Revit的运行效率，减少人工重复操作。一些构件，如管道、梁、柱等，可以根据二维线和注释批量转换为Revit构件。天正或Swell的墙柱、门窗等构件都可以通过该插件直接转换为Revit构件。
　　7.家庭图书馆主人
　　《家谱大师》是“上海宏瓦科技”开发的一款基于Autodesk Revit的插件产品。族库大师提供免费的（BIM 建筑）Revit 族文件。其目标是为 AutodeskRevit 用户提供设计工作中常用的族文件。快速导入设计项目，辅助工程设计工作。
　　8. NBimer助手2.0
　　借助Nbimer Family Assistant，您可以轻松访问Nbimer的云构件库，免费下载数以千计的优质Revit族。
　　9.模型兔BIM（BIM设计）到云库
　　类型兔BIMto云家谱是一款免费的家谱插件，每周三定期更新。让用户随时拥有最新的云家人库，助力提升工作效率。
　　10.模具师傅
　　Mold Master 也是一款辅助快速创建 Revit 模型的插件。可以根据设计好的CAD平面图快速制作Revit模型，大大减少BIM建模的时间和成本。
　　那么您使用的是哪些插件？
　　
　　随着时代的进步和科技的诞生，作为“智能建造”的支撑核心，BIM技术的创新、推广和应用受到了国家和行业的高度重视，是创新需求国家产业升级和绿色发展。
　　项目生命周期 BIM 应用程序收录
哪些服务？
　　项目前期：利用BIM技术进行规划设计、方案模拟、场地分析、经济指标分析、方案论证等，确定基本方案。
　　项目设计阶段：利用BIM技术进行设计验证、辅助正向设计、土方分析、3D辅助出图、辅助投标、辅助设计交底等，交付完整模型、图纸等设计成果。
　　项目施工阶段：利用BIM技术建立BIM实施体系，应用范围包括场地布置、质量管理、进度管理、造价管理、文件管理、协调管理、材料管理、施工模拟、3D公开等施工过程控制.
　　项目运维阶段：利用BIM技术进行设备管理、应急管理、信息查询、视频监控、监测分析等，为用户提供安全、便捷、高效的运维环境。
　　什么是BIM扩展应用服务？
　　BIM+GIS：基于GIS的BIM管理平台，可实现包括设计规划、环境模拟、三维导航、灾害管理等功能，提升长线项目和大型区域项目的施工管理能力。广泛应用于公路、铁路、隧道、市政建设等工程领域。
　　BIM+物联网：充分发挥BIM技术上层的信息集成、交互、展示和管理功能，底层结合互联网承担信息感知、采集、传输、监控等功能物联网技术，应用于桥梁监测与监测、边坡监测与防治、基坑监测等领域。
　　BIM+大数据：以BIM为基础的大数据手段，实现设计参数化、施工智能化、运维标准化、管理标准化，助力基础设施项目乃至工程行业实现“数据驱动施工”和“数据驱动施工” ”基于大数据和云计算。运维”。
　　分享文章:百家号可以伪原创文章吗(百家号声明原创好不好)
　　本文阅读提示：白家豪的说法是否原创？百家号的图文是原创吗？百家号可以原创吗？
　　可以百家号假原创文章，百度搜索下拉框，百度搜索下拉框和百度索引，这个算法你可以看懂，但是这两个算法都有漏洞，就是不懂商业化。
　　为什么那么大，那么大？
　　当这涉及到复杂的数据时，任何搜索引擎都无法智能判断，因为智能算法完全模拟了百度搜索和用户搜索，而不是简单的关键词联想、指令等，而是更常用的算法，是为了智能化根据用户搜索习惯推送，提取有效信息，自动生成优化标签。
　　目前，使用这三种方法，我们可以将它们分为三种类型
　　
　　1.自媒体（免费伪原创）
　　自媒体很普遍。百家号还利用人们对内容品质的喜爱，将内容进行优质的包装，吸引用户的注意力，即互动。
　　这三种方式其实有一个共同点，就是整合热点内容，将更多的人吸引到自己的平台，通过更好的内容获得更多的用户关注，从而达到更高的曝光率。
　　2.多频道网络
　　这种方式是结合SEO技术对原作者的内容进行优化，让更多的原作者有机会被搜索到，达到更好的宣传效果，从而增加网站的展示量。
　　3、朋友圈广告
　　
　　朋友圈广告可以算是目前比较流行的一种广告方式。朋友圈的广告形式比较丰富多样。但是，很多企业为了提高推广的转化率，使用了很多推广渠道，比如微博来进行推广，并且使用了很多朋友圈都有自己的一套二维码，用来宣传自己的二维码，从而获得更大的曝光率，达到宣传的效果。
　　4.QQ公众号
　　QQ公众号现在也很流行。在QQ空间发布自己的个人空间和内容，利用微博限制网络发布。而且，个人和企业都有自己的专职人员进行QQ空间推广，利用微博进行推广，在传播彼此的产品和品牌的过程中，粉丝会成为精准用户，实现精准营销。
　　5.博客推广
　　现在的博客已经不像以前那么火了，以前的博客是不可能得到关注的，但是现在
　　相关文章 查看全部

　　解决方案:北京网站建设立说立行德高望重（discuz采集插件破解版）
　　网站如何利用discuz插件打造优质内容，让网站快速收录和关键词排名》众所周知，在网站优化中，搜索引擎的算法是不断更新和调整的随着技术的发展。每次搜索引擎更新时，某些网站都会受到惩罚，甚至一些不违规的网站也会受到牵连。首先，我们要避免被搜索引擎惩罚，这样才能更好的优化我们的网站。
　　1、网站内容全自动更新 众所周知，网站优化是一项持续更新网站内容的长期工作。站长必须保证网站内容定期、定期更新。内容是网站的基础优化，让网站在搜索中克服障碍 在引擎算法调整期间，网站内容优化会让网站的根基更牢固，进而防止搜索引擎更新盯着你网站。
　　我们可以使用这个discuz插件自动采集
伪原创发布，并主动推送到搜索引擎。操作简单，无需学习更多专业技术。只需几个简单的步骤即可轻松采集
内容数据。用户只需点击discuz插件进行简单设置后，discuz插件就会根据用户设置的关键词准确采集文章，保证与行业文章的一致性。
　　采集的文章可以保存在本地，也可以伪原创后自动发布，方便快捷的内容采集和伪原创内容的快速制作
　　与其他discuz插件相比，这款discuz插件基本没有任何规则，更不用说花很多时间学习正则表达式或者html标签了，一分钟就能上手。只需输入关键词即可实现采集
（discuz插件同时还配备了关键词抓图功能）。
　　全自动挂机！
　　
　　无论您有成百上千个不同的CMS网站，都可以实现统一管理。一个人维护成百上千篇网站文章更新不是问题。这个discuz插件还配备了很多SEO功能。可以提高很多SEO优化 1.积极推送网站（让搜索引擎更快的发现我们的网站）。
　　2.自动匹配图片（如果文章内容中没有图片，会自动配置相关图片）设置为自动下载图片并保存在本地或第三方（这样内容就不再有对方的外链）派对）。3、自动内链（让搜索引擎更深入地抓取你的链接）
　　4.在内容或标题前后插入段落或关键词（标题和标题可以选择插入相同的关键词） 5.插入网站内容或随机作者，随机阅读等变成“高度原创” 6. 定时发布（定期发布文章，让搜索引擎及时抓取您的网站内容） 7. 文章内容翻译（英简繁体互译——支持各大语种互译）。
　　利用这些SEO功能可以提高网站页面的原创性，提高网站的排名。通过工具上的监控管理，查看文章的收录发布和主动推送（百度/360/搜狗神马/谷歌等），无需每天登录网站后台直接查看该工具自动完成SEO的内容优化，目前博主亲测软件免费，可直接下载使用！.
　　2、保持网站的畅通和稳定 网站空间服务器的稳定性对于站长在网站优化过程中是非常重要的。为保持网站的畅通和稳定，需要在建站初期为网站寻找更好的空间服务商，确保网站的安全和运行畅通，保证用户随时可以打开网页. 否则网站经常打不开或者速度慢，你解决不了，你的网站就会被罚K。
　　3、高质量的内外部链接 在网站优化中，外部链接的优化占据了网站非常重要的一环。除了提高网站质量外，外部链接还可以吸引蜘蛛爬取网站页面，增加页面被收录的可能性。高质量的内链将更有利于搜索引擎的抓取和抓取，从而提高网站的排名和权重。因此，如果网站想要更安全，避免被K的风险，建议多增加网站链接。
　　4、网站收录不足对网站排名影响很大。那么网站收录率低的原因是什么？1、网站处于新站期间；新站时期的网站收录少是很正常的。增加网站采集
的最好方法是在网站中加入一些原创内容来吸引客户。
　　2、网站内容质量差；网站内容不新颖，文章质量不好，内容字数很少，很难提高网站的采集
度。原创意味着搜索引擎认为你是原创内容。
　　
　　3、网站有大规模改版；网站在优化过程中有较大改版，也会导致网站收录量下降；4、站点出现降电；网站在运营过程中出现过网站掉电的情况，大部分网站掉电是因为网站使用作弊手段，比如频繁修改网站标题，关键词 和描述，使用快排软件刷新网站排名等，这些情况都会降低网站收录​​量；
　　5、网站长期闲置；网站建成后，就不用管了。这样的网站，收录量肯定不会好。关于“网站优化过程中没有索引的原因”，小编云雾就为大家介绍到这里，如果您想了解更多关于网站优化的知识，可以登录我们的网站进行咨询。
　　5、提高网站打开速度。网站的打开速度是影响用户体验的重要因素。如果你的网站打开速度超过30秒，不管你的网站有多好，内容多丰富，用户和搜索引擎都会抛弃你。如何提高网站的打开速度，成为每个网站优化人员需要考虑的问题。
　　1. 提升服务器性能。通过提高服务器性能来提高网站打开速度，是最残忍、最有效、最好的方法。也是很多不缺钱的企业的首选。提高网站打开速度的性能是我们的首选 2. 简化代码。
　　规范代码，删除无用错误和不必要的备注代码，提高网站加载速度，更有利于搜索引擎蜘蛛爬上去，更有利于网站优化，有效减少服务器存储空间，让您的网站“飞起来” 》 更强大 3.加速网站图片 高清图片是提升网站整体美观不可或缺的手段，而高质量的图片是我们网站加载速度的天下？如何处理？提升服务器的性能，并不是每个人都有资金去做的事情。为此，网站需要找第三方平台调用图片来提速。
　　现在有很多平台可以远程调用图片（采集软件支持第三方云存储） 4.减少网站不必要的js特效 减少网站的js特效，不要牺牲网站的打开速度为了炫目，我们必须要有一个优先级，只有在网站正常打开的情况下才能看到你的特效。显示和速度之间必须有一个平衡。
　　看完本文，如果您觉得不错，不妨采集
或发送给需要的朋友和同事。每天关注博主，为你展示各种SEO经验，让你的网站也能快速收录和关键词排名！
　　本文的全部内容到这里就结束了。希望对您有所帮助。如果看完还不明白，建议大家仔细阅读。浏览更多页面以了解更多信息！
　　解决方案:大数据之实时流处理常用框架
　　实时流处理简要概述：实时意味着整个流处理的响应时间比较短，而流技术意味着数据是连续的、无穷无尽的。实时流处理一般是实时采集业务系统产生的数据，传递给流处理框架进行数据清洗、统计、存储，并能将统计结果实时可视化展示。本文涉及的框架或技术包括Flume、Logstash、kafka、Storm、SparkStreaming等。
　　实时流处理的流程和技术选择：
　　1.日志采集
　　由于业务系统一般都是免费的，除了SparkStreaming、Storm等流处理集群之外，我们需要实时采集业务系统的数据。这使用了日志采集
框架。日志采集框架主要需要解决三个问题：数据从哪里来，数据到哪里去，实时采集。因为在流处理中，为了防止突发或激增的流量压垮流处理集群，通常会将采集到的数据输出到kafka分布式消息系统，然后由流处理集群消费kafka中的数据。下面介绍两种常用的日志 采集
frameworks 以及它们如何与 Kafka 接口。
　　1).阿帕奇水槽
　　这是一个apache顶级项目，所以它的域名是，下面是官网的示意图，Flume框架将每个采集任务定义为一个Agent（这是一个JAVA进程），它有三个基本组件源、通道、接收器。
　　source：采集
数据，可以连接各种常见的数据源，比如files（exec source）、kafka（kafka source）、jms（java消息系统）等。
　　Channel：Source组件采集
到数据后，将数据暂存到Channel（管道）中，即Channel组件专门用于在Agent中存储临时数据，起到数据缓冲区的作用。常用的通道有内存通道、jdbc通道、文件通道等。
　　sink：sink组件是用来从channel中获取数据并发送到目的地的组件。目的地包括hdfs、logger、avro、thrift、file、hbase等。
　　flume的使用其实就是写配置文件。下面是使用flume连接Nginx日志到Kafka的配置文件。我们将采集
任务命名为
　　exec-memory-kafka，只需要这样写：
　　#配置source, sink, channel
　　exec-memory-kafka.sources = exec-source#指定source（数据来自哪里），可以指定多个数据源，用逗号分隔。
　　exec-memory-kafka.sinks = kafka-sink#指定sink（数据到哪里去）
　　exec-memory-kafka.channels = memory-channel #指定通道
　　#source详细配置
　　exec-memory-kafka.sources.exec-source.type=exec 执行操作系统命令
　　mand = sudo tail -F /var/log/nginx/access.log #监控Nginx日志文件
　　exec-memory-kafka.sources.exec-source.shell = /bin/sh -c #shell命令的前缀
　　#通道详细配置
　　exec-memory-kafka.channels.memory-channel.type = memory #memory 通道
　　#sink详细配置
　　exec-memory-kafka.sinks.kafka-sink.type = org.apache.flume.sink.kafka.KafkaSink #类型为kafka sink
　　exec-memory-kafka.sinks.kafka-sink.brokerList = hadoop000:9092 #kafaka服务地址，多个逗号分隔
　　ic = test1 # 指定主题
　　exec-memory-kafka.sinks.kafka-sink.batchSize = 5 #指定每次采集
的块数，这里是每5块发送一次。
　　exec-memory-kafka.sinks.kafka-sink.requiredAcks = 1 #让kafka确认是否收到数据，保证数据不会丢失
　　#指定sink和source的channel
　　exec-memory-kafka.sources.exec-source.channels=内存通道
　　exec-memory-kafka.sinks.kafka-sink.channel=内存通道
　　写好配置文件后，切换到flume的bin目录下，执行：
　　flume-ng agent --conf 配置文件目录 --conf-file 配置文件完整路径 --name exec-memory-kafka -Dflume.root.logger=INFO,console
　　可以启动采集任务（进程模式）
　　2). ELK技术栈之Logstash
　　Logstash 是一个开源的数据采集引擎，具有实时数据传输能力。可以统一过滤不同来源的数据，按照开发者的规范输出到目的地。Logstash 也用于编写配置文件。下面介绍如何使用配置文件将Nginx日志输出到Kafka。
　　#定义数据源
　　输入 {
　　#这里是Nginx的日志文件
　　文件 {
　　路径 =&gt; "/var/log/nginx/access.log"
　　}
　　}
　　#数据到哪里去了，这里是kafka
　　输出 {
　　卡夫卡{
　　topic_id =&gt; "test1" #指定主题
　　编解码器=&gt;普通{
　　format=&gt;"%{message}" #输出的格式，这里的意思是只输出message，不输出其他信息，比如版本信息。
　　}
　　bootstrap_servers=&gt;"hadoop000:9092" #kafka服务地址
　　batch_size=&gt;1 #每隔几条数据发送一次
　　}
　　}
　　切换到logstash的bin目录下，执行以下命令开始采集
任务：
　　logstash -f 配置文件的位置。
　　2.卡夫卡
　　Kafka 是一个分布式流处理平台。在流处理中，我们通常将其用作消息系统。它是一个分布式的、支持分区的、基于副本的系统，由 zookeeper 协调。分布式消息系统。
　　Kafka作为消息系统，相比其他消息中间件有四大优势：
　　- 可扩展性：kafka集群可以通过添加broker进行水平扩展
　　- 持久可靠：消息持久化到本地磁盘，支持数据备份，防止数据丢失
　　- 容错性：最大程度的容灾，允许集群中的节点发生故障，包括主节点，都是高可用的。
　　- 高并发
　　几个重要角色：
　　经纪人：卡夫卡节点。Kafka 节点是一个代理。多个broker可以组成一个Kafka集群。一台机器可以在不同的端口上启动多个代理。
　　Topic：消息系统中的topic，是生产者和消费者关心的部分。
　　partition：topic物理分组，一个topic可以分为多个partition，每个partition是一个有序队列
　　Segment：分区在物理上由多个Segment组成，每个Segment以文件的形式存储消息信息
　　Producer：生产者，生产消息发送到主题
　　Consumer：消费者，订阅topic消费消息，consumer作为线程消费
　　具体使用方法可以参考官网详细介绍：
　　3. 流处理框架
　　日志信息输出到Kafka后，需要使用流处理框架作为消费者消费Kafka中的数据。以下是Storm和Spark的基本原理以及使用方法。
　　1.风暴
　　Apache的顶级项目，官网是，他是一个免费、开源、分布式的实时计算系统。
　　Storm有很多用途：比如实时计算分析、在线机器学习、分布式RPC（DRPC）、作为ETL工具等。
　　Storm特点：处理速度快、可扩展、容灾和高可用，能够实时处理高频数据和大规模数据。
　　Storm中的几个核心概念：
　　Topologies：拓扑结构，将整个流处理过程串起来。每个 Storm 应用程序都需要定义 Topology，它由 spouts 和 bolts 组成。
　　Streams：消息流，一个抽象的概念，由无边界的Tuple组成
　　Spouts：消息流的源头，Topology的消息生产者。产生数据的组件，比如我们要连接Kafka，我们需要定义一个Kafka Spout
　　Bolts：消息处理单元，可以执行过滤、聚合、查询/写入数据库等操作。
　　元组：具体数据，传递的基本单位。
　　风暴架构：
　　与Hadoop架构类似，也是主从架构（Master/Slave），所有节点都是无状态的，其上的信息（元数据）会存储在zookeeper中
　　Nimbus：集群的主节点，负责任务的分配和分发以及资源的分配
　　Supervisor：从节点上，可以启动多个Worker。可以通过配置指定一个Topo运行在多个Worker上，也可以通过配置指定集群的slave节点（负责工作）。Supervisor节点负责任务的执行。部分，启动和停止其管理的Worker进程等，一个Supervisor默认启动4个Worker进程
　　Worker：运行特定组件逻辑（Spout/Bolt）的进程。这是一个进程，一个Work进程只服务于一个Topology。
　　Task：Worker中的每个Spout和Bolt线程称为一个Task，是最终运行spout或bolt代码的最小执行单元
　　Executor：是由worker进程启动的一个独立线程。Spout 和 Bolt 共享一个执行器，一个执行器可以运行多个任务。
　　下面是各个组件的职责示意图：
　　编码中的几个核心角色：
　　
　　1). ISpout：核心接口（interface），负责将数据发送给topology进行处理。Storm会跟踪spout发送的元组，通过ack/fail机制处理spout发送成功或失败。没有data 即Tuple有自己的message id，和ack/fail/nextTuple都是在同一个线程中执行的，所以不需要考虑线程安全。
　　核心方法
　　打开：初始化操作
　　close：资源释放操作
　　nextTuple：发送数据
　　ack：元组处理成功，storm会反馈成功消息给spout
　　fail：tuple处理失败，storm会发消息给spout，处理失败
　　实现类：
　　公共抽象类 BaseRichSpout 扩展 BaseComponent 实现 IRichSpout {
　　公共接口 IRichSpout 扩展 ISpout，IComponent {}
　　当我们定义一个Spout时，只需要继承BaseRichSpout类，实现其中的方法即可。
　　2).I组件接口
　　概述：公共接口 IComponent 扩展了 Serializable
　　它为拓扑中所有可能的组件提供通用方法
　　如void declareOutputFields(OutputFieldsDeclarer declarer);
　　该方法用于声明当前Spout/Bolt发送的元组名称，与OutputFieldsDeclarer配合使用
　　实现类：
　　公共抽象类 BaseComponent 实现 IComponent
　　IBolt接口：
　　概述职责：接收元组处理并进行相应的处理（filter/join/...）。IBolt 将在运行的机器上创建，使用 Java 序列化，然后提交给主节点（nimbus）执行。Nimbus会启动worker进行反序列化，调用prepare方法，然后开始处理元组
　　方法：
　　准备：初始化
　　execute：处理一个元组数据，元组对象收录
元数据信息
　　cleanup：关机前的资源清理操作
　　实现类：
　　公共抽象类 BaseRichBolt 扩展 BaseComponent 实现 IRichBolt {
　　公共接口 IRichBolt 扩展了 IBolt，IComponent
　　RichShell螺栓
　　我们在定义Bolt时，只需要继承BaseRichBolt并实现其中的方法即可。
　　下面是Storm实时打印kafka消息的代码实现。Storm官网有很多对接主流框架的介绍。引入需要的jar包后，就可以直接使用写好的KafkaSpout，无需自己定义KafkaSpout类。
　　
org.apache.storm
storm-kafka
${storm.version}
　　
 
　　public class StormKafkaTopology {
public static class LogBolt extends BaseRichBolt {
private OutputCollector outputCollector;
public void prepare(Map map, TopologyContext topologyContext, OutputCollector outputCollector) {
this.outputCollector = outputCollector;
}
public void execute(Tuple tuple) {
try {
byte[] bytes = tuple.getBinaryByField("bytes");
String value = new String(bytes);
System.out.println("value :" + value);
this.outputCollector.ack(tuple);
} catch (Exception e) {
this.outputCollector.fail(tuple);
}
}
//无后续bolt,无需声明
public void declareOutputFields(OutputFieldsDeclarer outputFieldsDeclarer) {
}
}
public static void main(String[] args) {
TopologyBuilder builder = new TopologyBuilder();
//kafka的配置
String topicName = "project_topic";
BrokerHosts hosts = new ZkHosts("hadoop000:2181");
SpoutConfig spoutConfig = new SpoutConfig(hosts, topicName, "/" + topicName, UUID.randomUUID().toString());
//从上次收集的位置开始，而不是从头开始
spoutConfig.startOffsetTime=kafka.api.OffsetRequest.LatestTime();
//创建kafkaSpout
KafkaSpout kafkaSpout = new KafkaSpout(spoutConfig);
builder.setSpout("KafkaSpout", kafkaSpout);
//设置Bolt
builder.setBolt("LogBolt", new LogBolt()).shuffleGrouping("KafkaSpout");
//本地运行Storm任务
LocalCluster cluster = new LocalCluster();
cluster.submitTopology("StormKafkaTopology", new Config(), builder.createTopology());
}
}}
　　2.火花流
　　官网上的介绍如下：
　　Spark Streaming 是核心 Spark API 的扩展，支持对实时数据流进行可扩展、高吞吐量、容错的流处理。数据可以从许多来源（如 Kafka、Flume、Kinesis 或 TCP 套接字）获取，并且可以使用复杂的算法进行处理，这些算法由高级函数（如 map、reduce、join 和 window）表示。最后，可以将处理后的数据推送到文件系统、数据库和实时仪表板。事实上，您可以将 Spark 的机器学习和图形处理算法应用于数据流。
　　即：Spark Streaming是Spark核心API的扩展，可以通过容错机制实现高吞吐、实时的流式数据处理。支持从多种数据源获取数据，包括Kafk、Flume、Twitter、ZeroMQ、Kinesis、TCP sockets。从数据源获取数据后，可以使用map、reduce、join、window等高级函数处理复杂的算法。最后，处理结果可以存储在文件系统、数据库和现场仪表盘中。在“One Stack rule them all”的基础上，还可以使用Spark的其他子框架，如集群学习、图计算等来处理流式数据。
　　严格来说，Spark不能算是实时流处理。其粗粒度的工作原理是：将实时接收到的数据按照一定的时间间隔拆分成批数据，具体为RDD（分布式弹性数据集，Spark中的核心概念）的批次，然后通过SparkEngine对数据进行处理，这可能是一些转换和动作操作，最后得到批量的处理结果。
　　Strom 和 SparkStreaming 的比较：
　　1).Strom是真正意义上的流处理，延迟低于SparkStreaming，而SparkStreaming将接收到的实时流数据按照指定的时间间隔拆分成RDD，以processing的形式对每条RDD数据进行批处理. 本质上是批处理。
　　2).Storm会通过messageId全局跟踪记录每条记录，并使用ack/fail机制保证每条数据至少被处理一次（或多次），而SparkStream应用只需要batch级别的pairing of records 进行跟踪，他可以确保每个批记录只被处理一次。
　　3). 由于SparkStreming运行在Spark平台上，不需要单独安装，因此可以与批处理SparkSql、机器学习等其他框架结合使用。
　　下面使用Scala语言将SparkStreming连接到Kafka，对图书点击进行实时统计：将Kafka中采集
的日志清理并转化为ClikcLog对象，将实时统计结果转化为BookClick对象写入Hbase . Nginx日志结构如下：
　　192.168.126.1 - - [2017-12-02 19:20:28] "GET /books/1 HTTP/1.1" 200 2403 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36" "-"
　　object BookCount {
<p>
def main(args: Array[String]): Unit = {
//以参数的形式运行SparkStreming应用程序 四个参数为zk地址 ，用户组， 主题，线程数
if (args.length != 4) {
System.err.println("Usage: KafkaReceiverWordCount ")
}
val Array(zkQuorum, group, topics, numThreads) = args
val sparkConf = new SparkConf()
//构造StreamingContext
val ssc = new StreamingContext(sparkConf, Seconds(5))

val topicMap = topics.split(",").map((_, numThreads.toInt)).toMap
// Spark Streaming对接Kafka
val messages = KafkaUtils.createStream(ssc, zkQuorum, group, topicMap)
val logs = messages.map(_._2)
// 192.168.126.1 - - [2017-12-02 19:20:28] "GET /books/1 HTTP/1.1" 200 2403 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36" "-"
// 0 1 2 3 4 5 6 7 8
val cleanData = logs.map(line => {
val infos = line.split(" ")
val url = infos(6)
var bookId = 0
val time = infos(3).substring(1) + " " + infos(4).substring(0, 7)
if (url.startsWith("/books/")) {//只关注以books/开头的请求
bookId = url.split("/")(2).toInt
}
ClickLog(infos(0), TimeUtil.newTime(time), bookId, infos(8).toInt)
}).filter(clickLog => clickLog.bookId != 0)//为零表示不满足要求，忽略。
//cleanData.print()
cleanData.map(x => {
(x.time.substring(0, 8) + "_" + x.bookId, 1)
}).reduceByKey(_ + _).foreachRDD(rdd => {
rdd.foreachPartition(record => {
val list= new ListBuffer[BookClick]
record.foreach(pair => {
list.append(BookClick(pair._1,pair._2))
})
BookClickDao.put(list)
})
})
ssc.start()
ssc.awaitTermination()
}
}</p>
　　case class ClickLog(ip:String,time:String,bookId:Int,statusCode:Int)
　　case class BookClick(day_id:String,click_count:Int)
<p>object BookClickDao {
val tableName = "book_clickcount"
val cf = "info"
val colume = "click_count"
def put(list: ListBuffer[BookClick]): Unit = {
val table = HbaseUtils.getInstance().getTable(tableName)
for (ele 查看全部

　　解决方案:传递给系统调用的数据区域太小怎么解决_分布式追踪系统不懂？没事，搞懂这40张图
　　各位新人大家好，大家好！由于公众号改版了，为了保证公众号的资源能按时推送到大家的手中，大家记得把我们的公众号置顶加星哦。在此表示衷心的感谢~
　　正文如下：
　　＃ 前言
　　在微服务架构中，一个请求往往会涉及到多个模块、多个中间件，需要多台机器相互协作才能完成。在这一系列的调用请求中，有的是串行的，有的是并行的，那么如何确定这个请求后面调用了哪些应用程序、哪些模块、哪些节点以及调用顺序呢？如何定位各个模块的性能问题？本文将为您揭晓答案。
　　本文将从以下几个方面进行阐述
　　# 分布式跟踪系统的原理和作用
　　如何衡量一个接口的性能，一般我们至少会关注以下三个指标
　　单体架构
　　早期，公司刚起步的时候，可能会采用如下单体架构。对于单体结构，我们应该如何计算以上三个指标呢？
　　最容易想到的显然是使用AOP
　　使用AOP打印调用具体业务逻辑前后的时间来计算整体调用时间，使用AOP捕获异常，知道是哪里的调用导致了异常。微服务架构
　　在单体架构中，由于所有的服务和组件都在一台机器上，所以这些监控指标相对容易实现。但是随着业务的快速发展，单体架构必然会向微服务架构发展，如下
　　如图：一个稍微复杂的微服务架构
　　如果用户反映某个页面很慢，我们知道这个页面的请求调用链是A -----&gt; C -----&gt; B -----&gt; D，如何定位哪个可能是模块在这个时候出现了问题。每个服务Service A、B、C、D都有几台机器。您如何知道请求在哪台特定机器上调用服务？
　　可以明显看出，由于无法准确定位每个请求的准确路径，微服务架构下以下痛点难以排查。周期长的特定场景下系统性能瓶颈难以重现。
　　分布式调用链就是为解决上述问题而诞生的，其主要作用如下
　　通过分布式跟踪系统，可以很好地定位后续请求的各个具体请求链接，从而轻松实现请求链接跟踪，轻松实现各模块的性能瓶颈定位和分析。
　　分布式调用链标准——OpenTracing
　　了解了分布式调用链的作用，下面我们来看看分布式调用链的实现和原理是如何实现的。首先，为了解决不同分布式跟踪系统API不兼容的问题，OpenTracing规范诞生了。OpenTracing 是一个轻量级的规范化层，位于应用程序/库和跟踪或日志分析器之间。
　　通过这种方式，OpenTracing 使开发人员能够通过提供独立于平台和供应商的 API 轻松添加跟踪系统的实现。
　　说到这里，你有没有想过在 Java 中有类似的实现？还记得JDBC吗，通过提供一套标准的接口供各个厂商实现，程序员可以针对接口进行编程，而不用关心具体的实现。这里的接口其实就是一个标准，所以制定一套标准非常重要，可以实现组件的可插拔性。
　　接下来我们看一下OpenTracing的数据模型，主要有以下三种
　　理解这三个概念非常重要。为了让大家更好的理解这三个概念，我特地画了一张图
　　如图所示，一个完整的订单请求就是一个Trace。显然，对于这个请求，必须有一个全局标识来标识这个请求。每次调用调用一个Span，每次调用都必须携带全局TraceId，这样全局TraceId才能与每次调用相关联。这个TraceId是通过SpanContext传递过来的。既然要传输，就必须按照协议来调用。如图所示，如果把transport protocol比作汽车，SpanContext比作货物，Span比作公路，应该更容易理解。
　　理解了这三个概念之后，再来看看分布式追踪系统是如何将微服务调用链采集
到统一图中的
　　我们可以看到最下面有一个Collector一直在默默的采集
数据，那么每次调用Collector都会采集
什么信息。
　　global trace_id：这个很明显，这样每个子调用都可以关联到原创
请求span_id：图中的0、1、1.1、2，这样就可以识别出是哪个调用parent_span_id：比如b调用的span_id d为1.1，那么它的parent_span_id就是a调用b的span_id，为1，这样相邻的两个调用就可以关联起来。
　　有了这些信息，采集
器为每个电话采集
的信息如下
　　根据这些图表信息，很明显可以画出调用链的可视化视图如下
　　这样就实现了一个完整的分布式跟踪系统。
　　上面的实现看起来很简单，但是有几个问题需要我们仔细思考
　　How to automatically collect span data: 自动采集，不侵入业务代码 如何跨进程传递contexttraceId 如何保证全局唯一请求量 采集这么多会不会影响性能
　　接下来，让我看看SkyWalking是如何解决以上四个问题的
　　
　　# SkyWalking如何自动采集span数据的原理和架构设计
　　SkyWalking采用插件+javaagent的形式实现span数据的自动采集，可以对代码无侵入。插件意味着可插拔和良好的扩展性（后面我们会介绍如何定义自己的插件））
　　如何跨进程传递上下文
　　我们知道数据一般分为header和body，就像http有header和body一样，RocketMQ也有MessageHeader，Message Body，body一般收录
业务数据，所以body不宜传context，应该传入表头，如图
　　dubbo中的attachment相当于header，所以我们把context放在attachment中，这样就解决了context传递的问题。
　　提示：这里的上下文传递过程全部由dubbo插件处理，业务无感知。这个插件是怎么实现的呢？下面将分析traceId如何保证全局唯一性
　　为了确保全局唯一性，我们可以使用分布式或本地生成的 ID。如果我们使用分布式，我们需要一个数字生成器。每个请求必须首先请求数字生成器。会有网络调用开销，所以SkyWalking最终采用了本地生成ID的方式，并且采用了著名的snowflow算法，性能较高。
　　图解：雪花算法生成的id
　　但是，雪花算法有一个众所周知的问题：时间回调，可能会导致重复生成id。那么SkyWalking是如何解决时间回调问题的呢？
　　每次生成一个id，都会记录这个id生成的时间（lastTimestamp）。如果发现当前时间小于上次生成id的时间（lastTimestamp），说明发生了时间回调，此时会生成一个随机数作为traceId。这里可能有些同学想认真点。他们可能认为生成的随机数也将与生成的全局 id 相同。最好再加一层验证。
　　这里想谈谈系统设计中方案的选择。首先，如果对生成的随机数进行唯一性校验，无疑会多出一层调用，会有一定的性能损失，但实际上时间回调的概率很小。（发生后，由于机器时间的紊乱，业务会受到很大的影响，所以机器时间的调整一定要谨慎），而且生成的随机数重合的概率也很小。真的没有必要再添加一个Layer全局唯一性校验。对于技术方案的选择，一定要避免过度设计，太多就是太多。
　　这么多请求，全部采集
会不会影响性能？
　　如果每一个请求都采集
起来，毫无疑问数据量会非常大，但是反过来想想，是不是真的有必要把每一个请求都采集
起来。其实大可不必。我们可以设置采样频率，只采样一些数据，SkyWalking默认设置3秒采样3次，其他请求不采样，如图
　　这样的采样频率其实已经足够我们分析元器件的性能了。以每 3 秒 3 个样本的频率采样数据有什么问题？理想情况下，每次服务调用都是在同一个时间点（如下图），所以每次都在同一个时间点采样真的没问题
　　但是在生产中，基本上不可能每个服务调用都在同一个时间点调用，因为期间存在网络调用延迟，实际调用情况很可能如下图所示
　　在这种情况下，有些调用会在服务A上被采样，而不会在服务B和C上被采样，无法分析调用链的性能。那么SkyWalking是如何解决的。
　　是这样解决的：如果上游携带了Context（说明上游已经采样），下游就会强制采集数据。这使链接保持完整。
　　SkyWalking的基础设施
　　SkyWalking 的基础是以下架构。可以说几乎所有的分布式调用都是由以下几个组件组成的
　　首先当然是节点数据的定期采样。数据采样后定期上报，存储在ES、MySQL等持久层。有了数据，自然要根据数据做可视化分析。SkyWalking 的表现如何？
　　接下来想必大家比较关心的是SkyWalking的性能表现，那么我们就来看看官方的评测数据吧
　　图中蓝色代表未使用SkyWalking时的表现，橙色代表使用SkyWalking时的表现。以上是TPS为5000时测得的数据，可以看出无论是CPU、内存，还是响应时间，使用SkyWalking带带来的性能损失几乎可以忽略不计。
　　接下来看一下SkyWalking与业界另一知名分布式追踪工具Zipkin、Pinpoint的对比（采样率为1秒，线程数为500，总请求数时进行对比）是 5000）。可以看出，在临界响应时间方面，Zipkin（117ms）、PinPoint（201ms）远不如SkyWalking（22ms）！
　　从性能损失来看，SkyWalking 胜出！
　　让我们看另一个指标：代码的侵入性如何？ZipKin需要埋在应用中，代码侵入性大。SkyWalking使用javaagent+插件修改字节码。没有侵入代码。除了代码的性能和侵入性，SkyWaking 的表现也不错。它还具有以下优点：
　　# 我司在我司应用架构中分布式调用链SkyWalking的实践
　　从上面可以看出SkyWalking有很多优点，那么它的组件我们都用上了吗？事实上，并非如此。来看看它在我们公司的应用架构
　　从图中可以看出，我们只使用了SkyWalking代理进行采样，而放弃了其他三大组件“数据上报与分析”、“数据存储”、“数据可视化”，那么为什么不直接使用一整套 SkyWalking 的解决方案，因为我们的 Marvin 监控生态在接入 SkyWalking 之前已经比较完善了。如果我们换成SkyWalking，就没有必要了。Marvin 可以满足我们大部分场景的需求。第二，系统更换成本高，第三，如果用户重新连接，学习成本非常高。
　　这也给了我们一个启示：任何产品抓住机会都是非常重要的，后续产品的更换成本会非常高。抢占先机，就是抢占用户心智。国外还是做不了Whatsapp一样的，因为机会没了。
　　另一方面，对于架构，没有最好的，只有最合适的。架构设计的本质是结合当前业务场景进行折衷平衡
　　我司对SkyWalking做了哪些改造和实践
　　我公司主要做了以下改造和实践
　　预发布环境需要强制采样调试，实现更细粒度的采样？traceId嵌入日志，自研实现SkyWalking插件。预发布环境需要强制采样调试
　　从上面的分析可以看出，Collector是在后台定时采样的。这不好吗？为什么我们需要实施强制采样？或者排查定位问题，有时线上出现问题，我们希望在预发布上复现，希望看到这个请求完整的调用链，所以需要在预发布上进行强制采样。所以我们修改Skywalking的dubbo插件实现强制采样
　　
　　我们在request cookie上放一个类似force_flag = true的key-value对，表示我们要强制采样。网关收到这个cookie后，会在dubbo附件中带上键值对force_flag = true，然后skywalking的dubbo插件就可以根据这个来判断是否是强制采样。如果有这个值，就是强制采样。如果没有这个值，则进行正常定时采样。
　　实现更细粒度的采样？
　　Ha 称为更细粒度的采样。先来看一下skywalking默认的采样方式，即uniform sampling
　　我们知道这个方法默认是在3秒前采样3次，其他的请求都被丢弃。在这种情况下，有一个问题。假设3秒内本机有多次dubbo、mysql、redis调用，但是如果前3次都是dubbo调用的话，其他像mysql、redis等调用无法采样，所以我们修改了skywalking实现分组抽样，如下
　　也就是说3秒内对redis、dubbo、mysql等进行3次采样，也避免了这个问题。如何在日志中嵌入 traceId？
　　在输出日志中嵌入traceId，方便我们排查问题，所以打印traceId是非常有必要的，如何在日志中嵌入traceId呢？我们使用log4j，这里我们需要了解一下log4j的插件机制，log4j允许我们自定义插件输出日志的格式，首先我们需要定义日志的格式，在自定义日志格式，作为一个账号位，如下
　　然后我们实现一个log4j插件，如下
　　首先，log4j插件需要定义一个类，该类继承LogEventPatternConverter类，并用标准Plugin声明自己为Plugin，通过@ConverterKeys注解指定需要替换的占位符，然后在format方法中替换失去。这样日志中就会出现我们想要的TraceId，如下
　　我司开发了哪些skywalking插件
　　SkyWalking实现了很多插件，但是没有提供memcached和druid的插件，所以我们根据这两个的规范开发了插件
　　插件是如何实现的，可以看到主要由三部分组成
　　插件定义类：指定插件的定义类，最后根据这里的定义类生成pluginInstrumentation。在设置或异常中编写增强逻辑
　　可能大家看了还是不太明白，下面就用dubbo plugin来简单说明一下。我们知道，在dubbo服务中，每次请求都会收到来自netty的消息，提交给业务线程池处理，真正调用到业务方法时结束。中间经过十几个Filter进程
　　而MonitorFilter可以拦截所有客户端请求或者服务端处理请求，所以我们可以增强MonitorFilter，在调用invoke方法之前，将全局traceId注入到它的Invocation attachment中，从而保证请求到达真正业务之前全局traceId已经存在逻辑。
　　那么显然我们需要在插件中指定我们要增强的类（MonitorFilter），并增强它的方法（invoke）。应该对此方法进行哪些改进？这就是拦截器（Inteceptor）要做的事情。来看看Dubbo插件中的插桩（DubboInstrumentation）
　　我们来看看代码中描述的拦截器（Inteceptor）是干什么的。关键步骤如下
　　首先，beforeMethod表示这里的方法会在MonitorFilter的invoke方法执行之前被调用，而afterMethod与之对应，表示invoke方法执行之后才会执行增强逻辑。
　　其次，从第2点和第3点我们可以看出，无论是消费者还是提供者，其全局ID都做了相应的处理，以保证到达真正的业务层时，全局traceid是可用的。定义好 Instrumentation 和 Interceptor 之后，最后一步就是在 skywalking.def 中指定定义的类
　　// skywalking-plugin.def 文件dubbo=org.apache.skywalking.apm.plugin.asf.dubbo.DubboInstrumentation
　　这样打包出来的插件就会对 MonitorFilter 的  invoke 方法进行增强，在 invoke
　　 方法执行前对期 attachment 作注入全局 traceId 等操作，这一切都是静默的，
　　对代码无侵入的。
　　# 总结
　　本文由浅入深地介绍了分布式跟踪系统的原理。相信大家对它的作用和工作机制有了更深入的了解。尤其需要注意的是，在引入某项技术时，一定要结合现有的技术架构，做出最佳方案。一个合理的选择，就像SkyWalking有四个模块，我们公司只是用它的agent采样功能，没有最好的技术，只有最适合的技术，通过这篇文章，相信大家应该对SkyWalking的实现机制有了更清晰的认识文章只介绍SkyWalking的插件实现，但毕竟是工业级软件。要了解它的深奥，还需要多阅读源码。
　　看完这篇文章，你有什么收获？欢迎在留言区与30w+ Java开发者共同探讨~
　　热门推荐：
　　厉害了，华为云开源的Spring Cloud框架，网友：这是在对标阿里~某运营商官网竟然带了木马脚本，给用户宣传色情~厉害了，我写了一个类似QQ界面的聊天小项目在Java中，可以在线聊天（附源码）~
　　点击
　　最新版本:免费迅睿CMS采集插件-SEO工具支持各大CMS网站批量采集发布
　　Q：如何使用免费的迅锐CMS采集
插件？如何批量采集文章到迅锐CMS 答：一键创建多个采集任务，实现批量采集文章发布。每个网站只需要设置关键词即可自动采集并发布文章 Q：免费的迅锐CMS采集插件可以应用到多少个网站？A：网站数量没有限制。新增网站只需要创建任务即可实现采集和发布。Q：迅锐CMS免费插件收录了多少篇文章？答：每天可采集数千万条数据（根据自己网站设置） Q：免费迅锐CMS插件 如何发布锐CMS插件采集？A：该工具具有迅锐CMS自动发布功能，开启采集
后可自动发布到站点。无论是旧版还是新版的迅锐CMS都可以使用，再也不用担心因为网站版本没有更新而无法使用采集
功能了！Q：安装免费的迅锐CMS采集插件复杂吗？答：直接在本地电脑安装，双击直接运行！由于是与服务器无关的本地采集工具，不会造成服务器卡顿，从而保证服务器有良好的访问速度，有利于搜索引擎的抓取！如何使用免费的迅锐CMS采集
插件打开软件导入关键词采集
文章，
　　还为SEO人员配备定时发帖功能（设置定时发帖，让搜索引擎更频繁地抓取，使整个网站不断被抓取收录，提高排名。网站排名越高，排名越高交通..
　　
　　) 发布工具还支持自动内链，标题插入关键词，内容插入关键词，随机作者，随机阅读数，再也不用担心因为网站太多而手忙脚乱！永远不要在网站后台来回切换，反复登录后台很痛苦。再也不用担心您的网站不再充满内容了。一个网站的流量取决于网站被收录的比例，收录越多关键词排名越高，流量越大。
　　
　　为什么那么多人选择迅锐CMS 迅锐cms免费开源系统是一款面向网站开发者的简易框架管理软件。
　　本软件基于PHP7语言使用CodeIgniter4构建。提供电脑、手机、APP等多种界面和一体化操作模式。不会因用户二次开发而损坏程序核心。web和PHP的建站功能都能完美运行。堪称PHP通用建站框架。. 并且迅锐CMS采用研发出资的全新模板技术，可以帮助用户快速分离MVC设计模式的业务层和表现层，支持原生态PHP语法，支持CI框架语法。各种模板只需要用户分析一次，下次可以快速添加使用，让您设计出自己理想的模板。 查看全部

　　干货教程:小白也能用的wordpress采集插件免费工具分享-自动网站采集发布
　　首先声明一下，wordpress采集插件需要有一定的采集规则基础。如果您以前没有接触过正则表达式和 xpath，这可能看起来有点困难，但不要担心！博主这次分享的wordpress合集内容分为两种，一种是0基础的初学者也可以直接使用wordpress合集，一种是按照合集规则采集
的内容。
　　1、wordpress采集
插件工具
　　无需学习更专业的技术，只需简单几步即可轻松采集内容数据，精准发布站点，用户只需在软件上进行简单设置，完成后软件将按照关键词高精度设置由用户匹配内容和图片并自动执行文章采集和伪原创发布，提供方便快捷的内容填充服务！！
　　与自己编写规则相比，采集
门槛更低。你不需要花很多时间去学习正则表达式或者html标签，一分钟就可以上手。您只需输入关键词即可实现采集
。一路挂！设置任务自动执行采集
和发布任务。
　　数十万个不同的CMS网站可以实现统一管理。一个人维护成百上千篇网站文章更新不是问题。
　　这类工具还是为小白配备了强大的SEO功能。完全可以通过软件采集
自动采集
发布文章，设置自动下载图片保存本地或第三方。自动内链、前后插入内容或标题、网站内容插入或随机作者、随机阅读等，形成“伪原创”。利用这些SEO小功能，提高网站页面的原创性，提高网站排名。软件工具上还有监控功能，可以直接通过软件查看文章的收发情况。目前博主亲测软件免费，可直接下载使用！
　　
　　2. WordPress插件常用采集规则
　　以下是每个任务的设置：
　　1、任务名称：每个任务的别名，方便易记，无其他作用。
　　2、入口URL：每个任务爬虫的起始地址。此 URL 通常是主页或列表页。然后爬虫就会从这个页面开始采集。
　　3、爬虫间隔：每个任务（爬虫）运行的间隔时间。
　　4、列表页url正则化/内容页url正则化：爬虫在输入第一个URL（入口URL）后，需要区分哪些内容页需要采集。所以需要设置匹配内容页面的url正则表达式。
　　爬取还需要知道如何翻页，找到更多的内容页，所以需要设置列表页url的正则表达式。
　　所以正则表达式如下：
　　列表页面url正则化：\/page/[1-9]\d*$
　　内容页面url正则化：\/[1-9]\d*.html$
　　如果只需要采集
前三页的更新内容，只需要将列表页的正则表达式改为\/page/[1-3]$即可。
　　配置这两个参数时，可以打开“正则表达式在线测试”页面进行测试。
　　
　　5、文章标题（xpath）/文章内容（xpath）：进入内容页面后，爬虫要选择要爬取的内容，如文章标题和文章正文。所以需要设置xpath来告诉爬虫。
　　6. Content start string/content end string：一般的网站都会有广告，或者内容中夹杂一些其他的东西，所以我们需要过滤掉这些内容，只保存我们需要的部分。而这些无用的东西（广告、分享按钮、标签等）大部分都在文章的开头或结尾，内容是固定的。所以我们可以通过简单的字符串过滤掉。
　　7.文章图片：采集
插件可以自动将文章中出现的图片保存到本地，默认按年月保存在文件夹中，并设置图片的标签为文章标题。如果不想保存到本地，可以选择“不处理”。
　　8.文章类别：选择保存到的类别，和wordpress一样，可以选择多个类别。
　　9.文章标签：每个任务可以设置单独的标签，多个标签用|分隔。
　　10.发布方式：可选择“立即发布”或“放入草稿箱”。
　　爬取线程数：这个选项根据你自己的主机配置来设置。如果是在独立主机上，可以设置为多线程获取，比如同时开启10个线程。如果是在虚拟主机上，不要设置太大，否则CPU占用率过高，站点会被屏蔽。
　　抓取延迟：每页采集后的延迟，防止采集速度过快。这个参数也是为了防止网站的虚拟主机和采集的网站因为采集速度太快而被禁止访问。
　　博主们目前都在使用上述软件来维护自己的网站。藏品目前90万左右，重量稍低，才4重。好在方便快捷。看完本文，如果您觉得不错，不妨采集
或发送给需要的朋友和同事！关注博主，每天为您带来不一样的SEO知识。你的一举一动都会成为小编源源不断的动力！
　　干货教程:干货 | 33款开源爬虫软件工具（收藏）
　　这个项目还很不成熟，但是功能已经基本完成了。要求用户熟悉 XML 和正则表达式。目前这个工具可以抓取各种论坛，贴吧，各种CMS系统。Discuz!、phpbb、论坛和博客等文章可以通过此工具轻松抓取。抓取定义完全采用 XML 格式，适合 Java 开发人员。
　　使用方法，1.下载右边的.war包导入eclipse，2.使用WebContent/sql下的wcc.sql文件创建示例数据库，3.修改wcc.core下的dbConfig.txt src包，修改用户名，设置密码和密码为自己的mysql用户名和密码。4、然后运行SystemCore，运行时会在控制台，不带参数会执行默认的example.xml配置文件，name是带参数时的配置文件名。
　　系统自带3个例子，baidu.xml抓取百度知乎，example.xml抓取我的javaeye博客，bbs.xml抓取一个discuz论坛内容。
　　许可协议：麻省理工学院
　　开发语言：Java
　　操作系统：跨平台
　　特点：通过 XML 配置文件高度可定制和可扩展
　　12. 蜘蛛侠
　　Spiderman是一款基于微内核+插件架构的网络蜘蛛。它的目标是通过简单的方式将复杂的目标网页信息捕获并解析为它需要的业务数据。
　　如何使用？
　　首先，确定你的目标网站和目标网页（就是你要获取数据的某类网页，比如网易新闻的新闻页面）
　　然后，打开目标页面，分析页面的HTML结构，得到想要的数据的XPath。请参阅下文了解如何获取 XPath。
　　最后在一个xml配置文件中填入参数，运行Spiderman！
　　许可协议：阿帕奇
　　开发语言：Java
　　操作系统：跨平台
　　特点：灵活，扩展性强，微内核+插件架构，通过简单配置即可完成数据抓取，无需编写一行代码
　　13. 网页魔术
　　webmagic是一款无需配置，方便二次开发的爬虫框架。它提供简单灵活的API，只需少量代码即可实现爬虫。
　　webmagic采用完全模块化设计，功能覆盖爬虫全生命周期（链接提取、页面下载、内容提取、持久化），支持多线程爬取、分布式爬取，支持自动重试、自定义UA/Cookies等功能.
　　Webmagic 收录
强大的页面提取功能。开发者可以方便地使用css选择器、xpath和正则表达式提取链接和内容，支持多个选择器链调用。
　　使用 webmagic 的文档：
　　查看源代码：
　　许可协议：阿帕奇
　　开发语言：Java
　　操作系统：跨平台
　　特点：功能覆盖整个爬虫生命周期，使用XPath和正则表达式提取链接和内容。
　　14. 网络收获
　　Web-Harvest 是一个 Java 开源的 Web 数据提取工具。它可以采集
指定的网页并从这些网页中提取有用的数据。Web-Harvest主要使用XSLT、XQuery、正则表达式等技术实现对text/xml的操作。
　　实现原理是利用httpclient根据预定义的配置文件获取页面的所有内容（httpclient的内容在本博客的一些文章中已有介绍），然后利用XPath、XQuery、正则表达式等技术进行执行 text/xml 内容过滤操作以选择准确的数据。近两年流行的垂直搜索（如：酷讯等）也是采用类似原理实现的。对于Web-Harvest应用来说，关键是理解和定义配置文件，另一个是考虑如何处理数据的Java代码。当然，在爬虫启动之前，也可以在配置文件中填充Java变量，实现动态配置。
　　许可协议：BSD
　　开发语言：Java
　　特点：使用XSLT、XQuery、正则表达式等技术实现对Text或XML的操作，具有可视化界面
　　15. 网络狮身人面像
　　WebSPHINX 是 Java 类包和网络爬虫的交互式开发环境。网络爬虫（也称为机器人或蜘蛛）是可以自动浏览和处理网页的程序。WebSPHINX 由两部分组成：爬虫工作平台和WebSPHINX 类包。
　　授权协议：Apache
　　开发语言：Java
　　特点：由两部分组成：爬虫工作平台和WebSPHINX类包
　　16. 雅西
　　YaCy 是一个基于 p2p 的分布式网络搜索引擎。它也是一个Http缓存代理服务器。该项目是一种构建基于 p2p 的网络索引网络的新方法。它可以搜索你自己的或者全局的索引，或者爬取你自己的网页或者开始分布式爬取等。
　　许可协议：GPL
　　开发语言：Java Perl
　　操作系统：跨平台
　　特点：基于P2P的分布式网络搜索引擎
　　Python 爬虫 17.QuickRecon
　　QuickRecon 是一个简单的信息采集
工具，可帮助您查找子域名、执行区域传输、采集
电子邮件地址、使用微格式查找关系等。QuickRecon 是用 python 编写的，同时支持 linux 和 windows 操作系统。
　　许可协议：GPLv3
　　开发语言：Python
　　操作系统：Windows Linux
　　功能：查找子域名、采集
电子邮件地址和寻找人际关系
　　18. 铁轨炮
　　这是一个非常简单易用的刮板。一个简单实用高效的python网络爬虫爬虫模块，支持爬取javascript渲染的页面
　　许可协议：麻省理工学院
　　开发语言：Python
　　操作系统：跨平台 Windows Linux OS X
　　特点：简单、轻量、高效的网络爬虫框架
　　
　　github 下载：#readme
　　19. 碎片化
　　Scrapy是一套基于Twisted的异步处理框架和纯python实现的爬虫框架。用户只需要自定义开发几个模块就可以轻松实现一个爬虫，用来抓取网页内容和各种图片，非常方便~
　　许可协议：BSD
　　开发语言：Python
　　操作系统：跨平台
　　源代码：
　　特点：基于Twisted的异步处理框架，文档齐全
　　C++爬虫20.hispider
　　HiSpider 是一种快速且高性能的爬虫，具有很高的速度
　　严格来说只能是蜘蛛系统的框架，并没有具体的要求。目前只能提取URL，URL去重，异步DNS解析，队列任务，支持N机分布式下载，支持网站定向下载（需要配置hispiderd.ini白名单）。
　　特点及用途：
　　工作过程：
　　许可协议：BSD
　　开发语言：C/C++
　　操作系统：Linux
　　特点：支持多机分布式下载，支持网站定向下载
　　21.拉宾
　　larbin 是由法国青年Sébastien Ailleret 独立开发的开源网络爬虫/网络蜘蛛。larbin的目的是为了能够跟踪页面的url进行扩展爬取，最终为搜索引擎提供广泛的数据源。Larbin 只是一个爬虫，也就是说，larbin 只爬取网页，由用户来做解析。另外larbin也没有提供如何在数据库中存储和创建索引。一个简单的 larbin 爬虫每天可以抓取 500 万个网页。
　　使用larbin，我们可以轻松获取/确定单个网站的所有链接，甚至镜像一个网站；我们也可以用它来创建一个url列表组，比如对所有网页进行url retrive后，获取xml链接。或 mp3，或定制的 larbin，可用作搜索引擎的信息来源。
　　许可协议：GPL
　　开发语言：C/C++
　　操作系统：Linux
　　特点：高性能爬虫软件，只负责爬取不负责分析
　　22.美沙机器人
　　Methabot 是一款针对 WEB、FTP 和本地文件系统的速度优化和高度可配置的爬虫软件。
　　许可协议：未知
　　开发语言：C/C++
　　操作系统：Windows Linux
　　特点：针对速度进行了优化，可以抓取WEB、FTP和本地文件系统
　　源代码：
　　C#爬虫23.NWebCrawler
　　NWebCrawler 是一个开源的、C# 开发的网络爬虫程序。
　　特征：
　　可配置：线程数、等待时间、连接超时、允许的 MIME 类型和优先级、下载文件夹。
　　统计数据：URL 数量、下载文件总数、下载字节总数、CPU 使用率和可用内存。
　　优先爬虫：用户可以设置优先MIME类型。
　　健壮：10+ URL规范化规则，爬虫陷阱规避规则。
　　许可协议：GPLv2
　　开发语言：C#
　　操作系统：视窗
　　项目主页：
　　特点：统计信息，执行过程可视化
　　24.西诺勒
　　国内第一款微博数据爬虫程序！原名“新浪微博爬虫”。
　　登录后，可以指定用户为切入点，以用户的关注、粉丝为线索，顺着网络关系采集
用户的基本信息、微博数据、评论数据。
　　本应用所获取的数据可作为科学研究、新浪微博相关研发等方面的数据支持，但请勿用于商业用途。应用程序基于.NET2.0框架，需要SQL SERVER作为后台数据库，提供SQL Server的数据库脚本文件。
　　另外由于新浪微博API的限制，爬取到的数据可能不完整（比如获取粉丝数限制，获取微博条数限制等）。
　　5.x 版本已经发布！本版本共有6个后台工作线程：爬取用户基本信息机器人、爬取用户关系机器人、爬取用户标签机器人、爬取微博内容机器人、爬取微博评论机器人、调整请求机器人的频率。性能更高！最大限度地发挥爬虫的潜力！从目前的测试结果来看，个人使用已经足够了。
　　这个程序的特点：
　　许可协议：GPLv3
　　开发语言：C#.NET
　　操作系统：视窗
　　25.蜘蛛网
　　Spidernet是一个以递归树为模型的多线程网络爬虫程序，支持获取text/html资源。可以设置爬取深度，限制最大下载字节数，支持gzip解码，支持gbk(gb2312)和utf8编码资源；存储在sqlite数据文件中。
　　源码中的TODO:标签描述了未完成的功能，希望提交你的代码。
　　许可协议：麻省理工学院
　　开发语言：C#
　　操作系统：视窗
　　
　　源代码：
　　特点：一个以递归树为模型的多线程网络爬虫程序，支持GBK（gb2312）和utf8编码的资源，使用sqlite存储数据
　　26. 网络爬虫
　　mart and Simple Web Crawler 是一个网络爬虫框架。集成的 Lucene 支持。爬虫可以从单个链接或链接数组开始，提供两种遍历模式：最大迭代次数和最大深度。可以设置过滤器来限制爬回的链接。默认情况下，提供了三个过滤器：ServerFilter、BeginningPathFilter 和 RegularExpressionFilter。这三个过滤器可以与 AND、OR 和 NOT 结合使用。可以在解析过程中或页面加载前后添加监听器。介绍内容来自Open-Open
　　开发语言：Java
　　操作系统：跨平台
　　许可协议：LGPL
　　特点：多线程，支持抓取PDF/DOC/EXCEL等文档源
　　27. 网络矿工
　　网站数据采集
软件网络矿工采集
器（原soukey picking）
　　Soukey picking网站数据采集软件是一款基于.Net平台的开源软件，也是目前同类网站数据采集软件中唯一一款开源的软件。Soukey虽然选择了开源，但并不影响软件功能的提供，甚至比一些商业软件还要丰富。
　　许可协议：BSD
　　开发语言：C#.NET
　　操作系统：视窗
　　特点：功能丰富，不输商业软件
　　PHP爬虫28. OpenWebSpider
　　OpenWebSpider是一个开源的多线程Web Spider（robot：机器人，crawler：爬虫）和一个收录
许多有趣功能的搜索引擎。
　　许可协议：未知
　　开发语言：PHP
　　操作系统：跨平台
　　特点：具有许多有趣功能的开源多线程网络爬虫
　　29. PhpDig
　　PhpDig 是一个用 PHP 开发的网络爬虫和搜索引擎。通过索引动态和静态页面来构建词汇表。当搜索查询时，它会以一定的排序顺序显示收录
关键字的搜索结果页面。PhpDig 包括一个模板系统，可以索引 PDF、Word、Excel 和 PowerPoint 文档。PHPdig适用于更专业、更深入的个性化搜索引擎，用它来构建某个领域的垂直搜索引擎是最佳选择。
　　演示：
　　许可协议：GPL
　　开发语言：PHP
　　操作系统：跨平台
　　特点：具有采集
网页内容和提交表单的功能
　　30.想想
　　ThinkUp 是一个社交媒体透视引擎，可以采集
twitter 和 facebook 等社交网络数据。一种交互式分析工具，可从个人社交网络帐户采集
数据，对其进行存档和处理，并将数据绘制成图表以便更直观地查看。
　　许可协议：GPL
　　开发语言：PHP
　　操作系统：跨平台
　　源代码：
　　特点：社交媒体透视引擎，采集Twitter、Facebook等社交网络数据，可进行交互分析，并以可视化形式展示结果
　　31.微购
　　微购社交购物系统是一款基于ThinkPHP框架开发的开源购物分享系统。同时也是一套开源的淘宝建站程序，供站长使用。整合了淘宝、天猫、淘宝等300多家网站。首页商品数据采集界面为广大淘宝站长提供傻瓜式淘客建站服务。懂HTML的可以制作程序模板，免费开放下载。是广大淘宝站长的首选。
　　演示网址：
　　许可协议：GPL
　　开发语言：PHP
　　操作系统：跨平台
　　ErLang 爬虫 32.Ebot
　　Ebot 是一种使用 ErLang 语言开发的可扩展的分布式网络爬虫。URL 存储在数据库中，可以通过 RESTful HTTP 请求进行查询。
　　许可协议：GPLv3
　　开发语言：ErLang
　　操作系统：跨平台
　　源代码：
　　项目主页：
　　特点：可扩展的分布式网络爬虫
　　Ruby爬虫33.Spidr
　　Spidr是一个Ruby网络爬虫库，可以完整的爬取整个网站，多个网站，一个链接到本地​​。
　　开发语言：Ruby
　　许可协议：麻省理工学院
　　特点：一个或多个网站和某个链接可以在本地完全爬取
　　版权声明：转载文章及图片均来自公网，版权归作者本人所有。除非无法确认推送的文章，否则我们会注明作者和出处。如出处有误或侵犯原作者权益，请联系我们删除或授权。 查看全部

　　最新版本:6个WordPress RSS自动聚合/采集插件
　　现在网上很流行用优采云
、三人行等采集器
来采集
文章，然后发布，当然你也可以把它们贴在WordPress上。我们可以通过插件自动采集
吗？答案是肯定的，下面我推荐 6 个 WordPress 自动 RSS 聚合/采集
插件。
　　使用WordPress插件BDP RSS Aggregator，可以聚合多个博客的内容。适合拥有多个博客的博主，或资源聚合共享的博主，群组博主。
　　BDP RSS 聚合器插件主要聚合标题和部分摘要，不会完整文本实际内容，也不会将其他文章的文章导入自己的数据库。
　　
　　WP-o-Matic插件
　　几乎是菠萝见过的最强大的WordPress捕获插件 - 只需在后台设置RSS提要和采集
时间，WP-o-Matic将自动执行。甚至可以从对方网站采集附件和图片，完全实现自动采集，无需站长手动发送日志。
　　朋友 RSS
　　聚合器（FRA）此插件可以通过RSS聚合采集
文章标题和日期。
　　Inlinefeed支持多种格式，如RSS，RDF，XML或HTML，通过Inlinefeed，您可以将RSS源中的文章采集
到特定列中。
　　
　　激活 GetRSS 插件后，您可以使用以下代码聚合 rss 文章。
　　替换 RSS 地址
　　使用您要聚合的RSS地址，5是显示的文章数，您可以根据需要进行更改。
　　注意：这些插件仅用于研究目的，我自己以前只测试和使用，正式的博客写作不用，不建议大家在自己的博客上安装，研究和学习可以掉线。
　　解决方案:伪原创api接口[HTTP]
　　优采云
AI伪原创API是优采云
AI为第三方开发者提供的API接口。以前需要把文章复制到优采云
AI，伪原创再粘贴到你要发布的网站。现在优采云
AI开放了API，只要集成到你的网站，当你发表文章时，它会自动为你创建伪原创的优采云
AI，节省你的时间，让你更好的用它来维护网站！更强大的功能是Kitty AI开发的API还支持自定义词库和关键词加链接的功能。
　　API的概念
　　应用程序编程接口是预定义的功能，旨在为应用程序和开发人员提供访问基于特定软件或硬件的例程的能力，而无需访问源代码或了解内部工作的细节。
　　API的特点
　　一个定义良好的接口可以为其他软件提供特定的服务。
　　它可以小到单个函数，也可以大到数百个类、方法、全局函数、数据类型、枚举类型和常量。
　　应用程序编程接口的实现要么是专有的，要么是开源的。
　　如果你想直接使用我上面的代码，你也可以直接复制。
　　我来解释一下上面的URL（其实就是我们所说的API）：
　　1.红色部分：表示这个api的提供者，不是同一个api，后面的数字不一样
　　2. 绿色部分：表示API的appid。应用api后，你将拥有自己的appid
　　3、黄色部分：表示该API的appkye，可以看到一个又一个应用的appid和appkey。
　　然后按照我上面的格式拼接起来就可以调用了。这就是 php 调用 api 的方式。api拼接同上。末尾的棕色“r”表示只读模式。如果有网络问题，也可以咨询我，谢谢！如果你也想一起学习人工智能，欢迎留言交流。
　　参考：
　　如何编写伪原创界面
　　基于人工智能的软件自动改写文章
　　AI自动生成文章，助你打开写作思路
　　人工智能如何赋能写作
　　人工智能文章写作软件，输入关键词自动生成文章 查看全部

　　分享文章:文章自动采集插件可以让微信公众号的文章一键收藏
　　文章自动采集插件可以让微信公众号的文章一键收藏到自己的电脑或者浏览器当中。插件介绍同样是文章收藏插件，功能大致和手机微信公众号收藏的功能相同，可以满足创建自己的公众号文章，方便将自己以后用电脑登录公众号文章查看及发送链接。现在插件的方法：以官方发布的方法，使用自己建立的工作微信号登录。新建微信公众号之后，需要发布一篇文章。
　　
　　发布方法：1.文章编辑框内粘贴发布图文的链接，文章底部留言2.留言命中后，会有文章的链接3.复制文章的链接后到此插件中粘贴4.复制链接后到此插件中粘贴5.复制链接后到此插件中粘贴（注意每篇文章首尾都要加哦）6.粘贴完成后，点击直接粘贴文章信息到电脑端。如图所示。7.已经连接到电脑的微信公众号，公众号自己会自动生成一个分享链接。
　　也就是分享到自己的电脑，你关注好微信公众号，可以看见被分享的插件分享链接，点击链接即可跳转到你的电脑。记得需要电脑加载好插件，否则没有效果。8.自己建立的工作微信号，只要你的微信名字是你自己的公众号名字就可以了。做这个插件也可以完全不费事，电脑一键安装并且使用就行了。来源：更多有趣的微信公众号文章。
　　
　　这几天有个产品小哥哥和小姐姐问我有没有保存收藏的工具，我也和他们说了一下能不能保存的方法。但是小哥哥和小姐姐都说：这种理想是自己建立的“，实际却是工具的功能。那么，真正理想的方法到底是什么呢？今天我会给你介绍一下如何像工具那样，记录我们创建的公众号的数据、图文、链接。（一）公众号保存数据1.1开通公众号后你可以在微信公众号后台里直接操作保存公众号文章：如下图，直接按照提示操作就可以完成，不用进入后台点第二步。
　　1.2找到图文左侧的保存按钮，进入保存页面，可以看到我们要存的文章，并且会让我们选择保存到哪一个文件夹。1.3保存之后，你可以在另一台电脑或者手机中查看一下这个文章，如果查看不了，那可能就是你的那个公众号不支持这个功能。1.4如果直接找到文章保存页面，但是找不到你要存的文章，也不用灰心，因为点第三条中间的上传文章按钮就可以上传文章了。
　　1.5接下来，你就可以直接在电脑中查看公众号文章了。（二）公众号图文保存图文2.1在你已经开通公众号的时候，你可以直接点击右侧的红包按钮，直接保存图文过来。2.2如果保存的是两篇文章，那么可以直接点击上方的“批量生成文章”按钮。2.3如果你要存的不是很多，只需要把文章打包，然后复制到软件的草稿箱里就可以了。2.4每篇图文，都可以同时存两份，然后用起。 查看全部

　　解决方案:被誉为 Android 效率利器的 Tasker，生活中究竟可以怎么用？
　　在2019年度小众盘点中，我们将“学习自动化魔法，少做无用功”作为年度建议，帮助大家提高效率。去年我们做了很多自动化相关的内容和话题，但是自动化对于大部分用户来说还有很大的距离。
　　因此，在这篇文章中，我们邀请了少数作者和编辑来分享他们使用Tasker的经验，希望消除您对Tasker这个自动化工具的抵触情绪，更好地拥抱高效生活。
　　@Daha：解放生活中的“不自由”
　　查看助教的作品
　　任务自动化最迷人的地方在于，当一切都配置好并落定后，只需要几个触发条件，“机器人”就会悄悄地为你完成一切。你甚至可能没有意识到它们的发生，如此自然而美丽。
　　作为Android平台上最好的任务自动化软件之一，Tasker可以帮助我们充分利用手机的潜力（比如各种传感器），检测当前状态，判断我们的意图，从而完成任务。从用户的角度来看，我们甚至不需要编写程序，就可以通过内置的交互界面直接配置任务。
　　下面说说我自己常用的几个配置：
　　播放音乐
　　非常简单和愉快的配置：“当连接指定的蓝牙设备时，开始播放音乐”。我主要的音乐播放设备是 Airpods 和小蓝牙音箱。戴上AirPods，AirBattery检测到并连接蓝牙，音乐自然流淌，音量恰到好处。
　　我有睡前戴耳机听音乐入睡的习惯，因为在夜深人静的时候，这个时候只需要很小的音量。于是我引入了这样一个Tasker配置：“到了就寝时间，调低媒体音量，30分钟后静音，终止音乐软件播放。”
　　睡眠记录
　　说到睡眠，睡眠时间记录也是一个常用的场景。这与 NFC 标签的使用相结合。我把 NFC 标签放在床头。每当到了睡觉时间，Tasker 就会唤醒 NFC 并将手机靠近标签。时间; 早上起床后，再次刷卡，记录“起床时间”变量。后台计算睡眠时间后，告诉我晚上睡了多长时间，是否满8小时。同时在“睡眠记录”档案中添加一条记录，提醒我每周五查看本周的睡眠情况。
　　只需几个变量即可轻松记录睡眠。最重要的是，有了NFC标签，物理打卡机，一般不会有遗忘的情况。
　　报到
　　该功能需要配合 Nova Launcher 的 Swipe Up 和 AutoInput 软件使用。Nova Launcher 向上滑动支持向上滑动软件图标触发 Tasker 任务。于是我配置了滑动图标自动登录相关软件，Tasker负责打开软件，AutoInput负责自动完成点击任务。
　　还有一些简单的小任务：当步数达到阈值时，它会提醒你稍后伸展和放松；当你到达和离开家时，你会受到欢迎并提醒你要做的事情；屏幕支持（我的阅读习惯）；话费不足时打开充值界面...
　　总之，Tasker解放了一切不免费的东西，发挥你的想象力来使用吧！
　　@Fairyex：自动化也可以“好看”
　　查看助教的作品
　　很久以前就开始使用Tasker了，小众的第一篇也是我自己一天使用Tasker的分享。
　　
　　相关阅读：Tasker - 我和拥有它的生活方式
　　之后工作和学习的需求不断增加，我在手机上做的Tasker任务越来越多，复杂度也越来越高。与上一篇文章发表时相比，我惊奇地发现，我做的任务不仅有更好的UI，而且可以完全覆盖生活和工作的方方面面。
　　所以在今年的Power+，我用多篇文章和大家分享了我探索过的各种Tasker进阶技巧和任务，包括如何使用网络API实现自动时间记录，如何使用NFC实现物品管理，Tasker是不断更新新版本之后带来的新玩法，还在《Power+纪念40》的桌面分享栏里分享了他当前任务的UI变化和新任务。感兴趣的朋友也可以看看这篇文章。
　　如上所述，我所做的任务已经能够涵盖生活和工作的各个方面。其实主要包括以下六个方面：
　　日常生活信息采集与展示：天气、新闻、股票、贵金属行情等实时信息采集，自有快递、话费流量、字典、月收支、应用使用时长等会计数据。生活记录：时间自动记录、物品存储管理、快速自动记账、自定义打卡自动记录、NFC芯片联动等社交、工作信息的获取和展示：自动获取和展示各平台粉丝等数据、文章阅读和点赞数、视频播放量等，每周自动过滤不需要阅读的RSS文章，自动将您感兴趣的文章分享到Trello/Notion等。 工作信息的处理：每期前开会，大家' 通过Tasker处理选题，自动生成负责人标签等数据导入Notion。对于本周的文章，使用Tasker自动采集
阅读数、点赞数等数据，综合大家的评分，给出每篇文章的最终评分，方便大家相互评论。文章处理：我特地在Tasker中创建了一个项目，用来存放文章处理相关的任务。这些工作帮助我在写文章时迅速提高了效率。例如，它可以自动拼接图片并上传到特定的图床，自动将文章中的特定图片或其他类型的占位符替换为上传的图床链接和其他HTML代码等，甚至现在 Tasker 任务中检查文章的拼写是否有错误和语法。其他进阶任务：今年我也在Tasker上尝试了更复杂的任务类型，比如涉及人工智能或者自然语言处理（NLP）的任务，比如使用自然语言处理结合map express API实现快递到达时间预估，使用人工智能整合开奖数据和热门号码来预测下一次开奖的结果。
　　此外，我还帮助很多人创建了不同行业使用的Tasker任务，比如营销行业的新闻通知过滤提取和舆情邮件通知，房地产行业的房产信息筛选报告，特定楼盘的推送通知，甚至自动营销。通过Tasker可以更方便快捷的实现。
　　总而言之，Tasker 所能做的唯一限制就是我们自己的想象力。
　　从以上相关文章中的图片，你可能还会发现，我在做自动化任务的时候非常注重UI（或者说用户体验）——任务确实很多。比起实现功能，我花在设计和制作界面上的时间更多。现在 Tasker 给了我们创建自己的界面的自由，让我们好好利用它。
　　我建议大家在开始接触Tasker了解简单功能的时候，接触一下应用本身提供的“场景”功能。用户创建场景后，可以利用Tasker提供的高自由度和丰富的组件类型来创建自己的界面。您可以显示组件的可变数据或添加触发事件，例如点击。拥有一个自己创造的漂亮界面的成就感和体验，是一个一个的堆叠操作，最后完全依靠对话框或提示输出结果无法比拟的。
　　所有自动化应用程序旨在解决您的设备在满足设定条件时自动运行您想要的操作的需求，我可以说 Tasker 是最好的应用程序之一，因为它最大的优势在于它具有不同的能力 人与不同层次的需求可以在上面找到自己的出发角度和难度曲线。
　　开箱即用的一个小功能，直接导入别人做的配置，不用Root自己创建任务，Root设备后自己创建任务，甚至Root后加插件，不懂编程和知道如何编程... 这些人可以使用 Tasker 在自己的能力范围内通过短期学习找到一种方法来制作满足他们需求的任务。这主要得益于Android的开放系统和热情的开发者（虽然最近几版Android的权限已经收紧到可以和iOS抗衡的程度，但谷歌在Play越来越严格的审核条件下仍然允许Tasker开放，保持开放） ，是否只想在插入耳机时自动播放音乐，
　　最后，很多人问我付费教程。为了解决如何简单快速上手Tasker的问题，也为了把自己玩过用过的更多进阶技巧分享给大家，我近期将在小众推出Tasker的介绍与完善。教程（名为《Tasker从入门到精通：打造真正的智能手机》，如果你有更好的可以评论分享），教你如何快速上手，了解Tasker的基本内容操作，如何思考和实现常用的任务，以及如何使用Tasker实现更高级的操作，包括：
　　感兴趣的朋友可以继续关注我的主页。
　　@Clyde：通过反复试验开始
　　查看助教的作品
　　由于Tasker的界面比较复杂，看似远程，我在这几年使用安卓设备的过程中，也曾多次尝试过这款自动化工具，但每次下载安装，都面临“既熟悉又陌生”的问题，主界面在亏损。
　　2019年Android 10的发布成为契机。当时下定决心入驻 Tasker 的目的很简单：想要一个更智能的自动深色主题，弥补原生 Android 10 中这个设置的缺失。幸运的是，当 Tasker 更新加入深色主题支持时，开发者还发布了一套近乎无脑的配置方案，直接导入即可使用。
　　带着这套导入方案，我第一次认真研究了Tasker工具：“触发条件”和“执行任务”中的哪些元素分别对应配置文件、任务、场景和变量？如何找到自定义 ROM 中特定设置的数值变化？任务编辑时如何给变量赋值？
　　经过开发者给的模板配置的拆解、调整和试错，我完成了之前一直没有勇气迈出的第一步。基于此配置，我在本文中分享我的自动化深色主题配置过程。
　　
　　随着对自动深色主题切换的探索，我越来越多地尝试使用Tasker来解决日常生活中遇到的实际需求和问题，比如每天睡前的“过关”流程：
　　手机连接充电器放在枕头边，睡眠时不使用的AOD关闭，开启飞行模式，打开蓝牙和Wi-Fi，开启Sleep as Android并开启睡眠追踪。 .
　　在接触Tasker之前，我日复一日地重复着上面的过程，从来没有想过如何更简单：在我目前使用的配置方案中，我设置了时间段（每天晚上12:00到次日）凌晨3:00）和充电器状态（AC充电）是睡眠追踪的触发条件。当这两个条件同时满足时会自动触发一系列后续任务，包括关闭常亮显示、开启飞行模式但保持Wi-Fi和蓝牙连接、设置免打扰模式改为“仅闹钟”等。最后，借助Android内置的Tasker访问Sleep，开始使用手环辅助睡眠跟踪。
　　除了睡眠追踪，我还把很多生活中需要反复机械手动切换的操作交给了Tasker，比如网络切换：连接家庭Wi-Fi时关闭某个“网络加速器”，关闭某个“网络加速器”。离家时和在家时的“网络加速器” 当 Wi-Fi 断开连接时，此“互联网加速器”会自动启用。
　　这些简单实用的配置几乎都源于对Android 10自动深色主题的初步探索：明确自己的需求，分离触发条件和具体任务，然后通过Tasker和第三方工具提供的接口进行探索、试错，调整一套适合自己的配置方案。真正要解决的问题，Tasker显然没有我想象的那么遥远。
　　@PeggyLv：关注需求，可以复杂也可以简单
　　查看助教的作品
　　接触Tasker已经四年了，说来惭愧，到今天我还是一个彻头彻尾的新手。
　　第一次接触 Tasker 时，我绞尽脑汁想象哪些场景可以实现自动化，甚至痴迷于在网上搜索各种 Tasker 教程。当然最后看了很多教程，但是真正付诸实践的却寥寥无几。原因是我没有弄清楚自己的需求是什么，以至于看不懂教程，缺乏学习的动力。
　　好在 Tasker 对新手还是比较友好的。大部分内置的触发条件稍微探索一下就可以理解。找到自己真正的需求后，就可以一步步上手了。
　　先从最简单的夜间模式说起：几年前的Android系统无法自动开启夜间模式，于是“晚上自动将亮度调到最低，第二天恢复”成为了我的第一需求。基于这个需求，我在Tasker中设置了一个固定时间点的动作作为触发条件：晚上10点自动将亮度调到最低，第二天晚上7点恢复。然后，发现晚上各种通知铃声太烦人，于是把这个动作扩展为“晚上10点最低亮度+手机开启静音+媒体音量调到两格” .
　　在 Google 为 Android 带来深色模式后，我的行动也得到了扩展。Tasker 的卓越之处在于，开发者会不断地为其添加适应当前系统的新功能，以满足用户不断增长的需求。. 当然，相比于本文的实现方式，我的思路还是过于简单了。有需要的朋友可以试试文中更进阶的方法。
　　对于系统比较原生的用户来说，复制短信验证码也是一个现实需求。如果你像我一样对自动化一窍不通，一听到“正则表达式”“脚本”之类的名词就一头雾水，那你大可不必担心玩不转Tasker。Tasker允许用户分享已经设置好的配置，我们可以通过别人分享的文件或链接下载现成的配置。
　　通过Kuan的评论区，下载了热心网友分享的“短信验证码自动复制”的配置。当短信中收录
验证码时，Tasker会自动识别并将验证码复制到剪贴板。对于原生系统的我来说，省了很多麻烦。
　　最后，因为在实际使用手机的过程中，经常会遇到插上耳机还要搜索音乐或者视频应用的情况。因此，为了省去查找的步骤，我使用了Tasker自带的场景功能，创建了一个小弹框。
　　当检测到耳机插入或连接到我的蓝牙耳机时，会自动弹出选择框，方便我从常用的影音应用中选择我想要的，点击Spotify图标打开Spotify , 并长按打开内置音乐应用收听本地音乐；点击Netflix图标打开Netflix，长按打开哔哩哔哩。当然，有时候我可能在插耳机之前就已经打开了对应的应用，所以点击弹框中间的空白部分，弹框就会消失。其实我们也可以在相应的图标位置添加双击操作，不过考虑到我其实没有那么多需要用到耳机的应用，所以没必要增加内存负担。
　　这个弹框现在已经成为我检查耳机是否插入或连接成功的标志。那么这个自制的场景有什么破绽吗？当然有，而且很大——横屏会塌。我相信Tasker中肯定有设置方法，但正如我之前所说：我是新手，所以就足够了。
　　手机打开Tasker后，动作就那么几个，插上耳机自动调小音量，到家自动连上自己的WiFi这些琐碎的事情都不再需要手动完成。开启静音被通知唤醒，再也不用担心早上忘记开启WiFi而错过重要通知。
　　由于 Tasker 的简单性，我们可以用手创建实用的自动操作。现在我不再执着于最大化塔斯克的价值，也不再羡慕各种魔法操作。一旦您了解了自己的需求，只需进行调整即可实现这些需求。
　　您如何使用 Tasker？它如何改变了您的生活？如果您在试用Tasker过程中遇到问题，欢迎您在本文评论区留言。
　　非常有效:常见的哪些工具可以辅助优化。
　　许多公司想知道哪些工具可以帮助优化。这是每个SEO都会遇到的问题。有哪些工具可以帮助优化？它能让网站排名更好吗？您经常使用哪些工具？下面小编就为大家详细讲解一下。
　　具体工具如下：+
　　站长工具：
　　一些站长用来检查网站质量和在建站时提供帮助的工具，简称站长工具。表现形式主要有Web工具箱、flash工具箱、终端工具箱、微信站长工具等。
　　
　　常用的站长工具有：友情链接查询工具、PR查询工具、搜索引擎索引查询工具、关键词排名查询工具、网站流量统计等。
　　网站管理员工具是网站管理员的必备工具。经常使用站长工具可以帮助您了解SEO优化数据的变化。您还可以检测死链接、蜘蛛访问、HTML 格式检测、网站速度测试、友谊链接检查等。
　　关键词策划人：
　　百度推广工具中有一个关键词策划师，也是一个seo关键词工具，可以用来做关键词推广。关键词 策划人员还可以查看 关键词 的平均每日搜索量和竞争情况。
　　
　　打网：
　　目前王明由百度批量查询、百度关键词排名批量查询、360批量查询、360关键词排名批量查询、关键词覆盖率查询、关键词排名组成趋势监测，由论坛网站提取、chrome插件版等工具组成。
　　火车采集器
：
　　优采云
Collector 是一款功能强大且易于使用的专业采集
软件。借助强大的内容采集和数据导入功能，您可以将采集到的任何网页数据发布到远程服务器上。自定义用户cms系统模块，无论你的网站是什么系统，都可以使用优采云
采集器。系统支持收录
的模块文件：风迅文章、动易文章、东网论坛、PHPWIND论坛、讨论区、phpcms文章。 查看全部

　　最新版本:安装并运行 textsum(文章自动摘要)
　　前言
　　本文写于 2017 年春季，根据其他人的反馈：本文中使用的 TensorFlow 1.x github 的 textsum 代码不再维护，FAQ 中反映的错误尚未修复，因此我暂时不会继续维护本文的代码部分。目前，textsum算法在各个方面都不如基于BERT变压器结构（2018）的算法，无论是学习还是比较，我不建议使用textsum。
　　另外，本文还有一个bug，解码***是训练后生成的文件。 ref*** 是供参考的训练标签（文章说错了）。感谢知乎用户“小燕”指出文章中的错误。
　　这里不讨论算法的问题，但这里讨论如何在 Linux 上安装和运行 这个开源项目面向的是刚开始学习机器学习的读者，所以我倾向于详细（详细）写。
　　关于文本和的两篇文章是：
　　关于如何安装和运行textsum的文章是这篇文章↑
　　另一篇↑文章描述了如何制作自己的中文数据集，（从搜狗实验室下载数据集并清理它）。
　　介绍和信息
　　虽然这里只说“安装并运行textsum”，但我们还是要简单了解一些算法知识，当然时间可以跳过，直接ctrl+F“install”看文本。
　　在GitHub的TensorFlow开源项目中，基于LSTM（长短期记忆）模型的文本和，将输入的文章导入RNN（递归神经网络），并输出结果的文章摘要。
　　TensorFLow GitHub 上的开源文章自动汇总模型“textsum”，点击 ↓ 访问 GitHub
　　seq2seq mdoel 图例：模型读取输入句子“ABC”，然后输出“WXYZ”。模型在输出 （） 后停止预测内容。注意！LSTM 反向读取序列，因为它在许多数据之间建立了短期依赖关系，并使优化更容易。（据我了解，进入RNN文本越晚，越容易被保留，文章开头一般会收录
更多总结全文的信息）。
　　图 1：我们的模型读取一个输入句子“ABC”并生成“WXYZ”作为输出句子。模型在输出句尾标记后停止进行预测。
　　请注意，LSTM 反向读取输入句子，因为这样做会在数据中引入许多短期依赖关系，这些依赖关系使
　　优化问题容易得多。
　　简单地说，textsum 使用的 seq2seq 模型是：
　　使用一个 LSTM 读取输入序列，
　　一次使用一个时间步长来获取输入序列的大型固定向量描述，然后使用另一个 LSTM 从该向量中提取所需的输出序列。（见上图）。
　　这个想法是使用一个 LSTM 读取输入序列，一次一个时间步长，以获得大的固定维向量表示，然后使用另一个 LSTM 从该向量中提取输出序列（图 1）。
　　顺便一提
　　介绍算法的论文在这里↓，你自己看
　　使用神经网络进行序列到序列学习.pdf
　　为什么 LSTM 会反向读取输入序列？堆栈溢出有更好的答案↓
　　NStepLSTM 和 Seq2Seq 模型然后 ctrl+F[保留]。
　　1. 安装并运行文本和
　　这里使用了 TensorFlow + Bazel（需要预先存在的 jdk 1.8）。环境
　　（错误通常与环境有关）。
　　安装 Bazel， JDK 8， TensorFlow
　　“JDK 8 安装”
　　在 Ubuntu 上安装 Bazel
　　记得检查你是否已经安装了JDK 8，就像我喜欢用PyCharm编写Python一样，它已经安装了。
　　安装 jdk1.8 的一种方法
deb [arch=amd64] http://storage.googleapis.com/bazel-apt stable jdk1.8" | sudo tee /etc/apt/sources.list.d/bazel.list
curl https://bazel.build/bazel-release.pub.gpg | sudo apt-key add -
　　“安装巴泽尔
　　“
　　sudo apt-get update && sudo apt-get install bazel
sudo apt-get upgrade bazel
　　BazelBuild/Bazel←Bazel的下载地址，打开它并找到匹配的版本
　　等等，好像发现了什么？长野原澪？四寨蒸气恶心（°△°||）_
　　安装TensorFlow
　　建议使用Python的pip直接安装TensorFlow。建议 pip 版本大于 9.0.1
　　pip install tensorflow
　　请注意，当我运行时，我没有在运行时指定 Python 的版本，所以我的系统默认调用 Python 2 来运行这个程序。因此，如果您安装了 TensorFlow 并且未找到错误，您可能需要查看另一个版本的 Python 是否也安装了 TensorFLow。
　　“下载文本和代码文件夹”
　　在 GitHub 上下载 TensorFlow 开源项目的 textsum 模型，直接复制整个文件夹
　　由于GitHub没有提供下载某个文件夹的按钮，因此似乎要获取textsum，您需要下载整个TensorFlow，显然，这是傻瓜式
，我们不应该这样做。
　　比较 Geek 的方法是：登录某个网站（DownGit），粘贴连接，然后直接下载。
　　DownGit
　　『检查』
　　安装 jdk 8、bazel 和 TensorFLow 后，记得看看是否安装了，我想看看版本
　　java -version
java version "1.8.0_121"
Java(TM) SE Runtime Environment (build 1.8.0_121-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.121-b13, mixed mode)
bazel version
Build label: 0.11.1
Build target: bazel-out/k8-opt/bin/src/main/java/com/google/devtools/build/lib/bazel/BazelServer_deploy.jar
Build time: Tue May 14 07:48:23 +50148 (1520362424903)
Build timestamp: 1520362424903
Build timestamp as int: 1520362424903
>>> import tensorflow as tf
>>> tf.__version__
&#39;1.6.0&#39;
　　2. 准备工作目录
　　请参阅
　　README.md textsum 目录中的文件（这是通过上面的 GitDown 下载.zip的文本总和）来安装此处提供的步骤并构建工作目录。
　　当然，这个副本 README.md ←你已经看到的，就在GitHub textsum的那个页面下面。
　　先找一个合适的地方，设置一个不受干扰的工作目录，像我一样
　　cd Videos # 刚好在资源管理器有按钮可以直接去
mkdir Yonv_CWD # Current Working Directory，Yonv这个名字是我随便起的
cd Yonv_CWD
#!注意，这里新建一个空的文件（注意不是文件夹而是空文件）
# WORKSPACE 是 bazel生成工作环境所必须的一个标记
touch WORKSPACW
# 这里是放训练集的，里面待会需要放入 二进制文件training-* 和 文本文件vocab
mkdir data
# 然后，退回到原来的 Yonv_CWD，开始用 bazel 建立工作环境
cd ..
bazel build -c opt --config=cuda textsum/...
# 注意，如果你的电脑没有 CUDA (Compute Unified Device Architecture)
# 也就是没有NVIDIA 的GPU的话，这一项就没必要加了
# 注意，textsum/... 后面的三个“...”
$ bazel build -c opt textsum/...
...............
<p>
INFO: Analysed 7 targets (12 packages loaded).
INFO: Found 7 targets...
INFO: Elapsed time: 2.153s, Critical Path: 0.02s
INFO: Build completed successfully, 1 total action
# 强行加上也没关系，反正它只是WARRNING
# 再者说，学C++ 的人，难道会在乎终端返回的 WARRNING？
$ bazel build -c opt --config=cuda textsum/...
...............
WARNING: Config values are not defined in any .rc file: cuda
INFO: Analysed 7 targets (12 packages loaded).
INFO: Found 7 targets...
INFO: Elapsed time: 3.325s, Critical Path: 0.04s
INFO: Build completed successfully, 4 total actions</p>
　　这以
　　蓝色选择的三个文件是 Bazel 在运行前需要的，另一个 LNK 在运行后生成，日志是我自己构建的
　　3. 运行 textsum3.1 以准备数据集
　　在从 GitHub 下载的 textsum 中，有一个用于测试的数据集，笔者称之为 toy，而这个类似 toy 的测试数据集非常小，只有 33KB，就这么说吧。
　　复制数据并
　　将YonvCWD/textsum/data中的词汇文件（反正不大）改成Yonv_CWD/data，然后将数据文件重命名为training-0（不需要）。
　　cd Yonv_CWD
cp testsum/data/vocab data/vocab
cp testsum/data/data data/training-0
　　3.1 生成自己的数据
　　对于文本和中文训练集的生成，可以看我的另一篇文章：
　　值得一提的是，为了加快计算速度，除了词汇表之外的数据集，像训练-*验证-*测试-*都是二进制的，可以使用textsum/data/convertexample.py来转换，转换代码记录在这个py文件的开场白中，摘录为↓
　　python data_convert_example.py \
--command binary_to_text \
--in_file data/data \
--out_file data/text_data
python data_convert_example.py \
--command text_to_binary \
--in_file data/text_data \
--out_file data/binary_data
　　左上角：Yonv_CWD/data 文件夹中的数据集
　　左下：Yonv_CWD/textsum/data文件夹，尝试使用 convertexample.py 程序在二进制和文本之间进行转换：data（二进制）→testdata（文本）→ binary_data（二进制）。
　　右二：打开词汇表后可以看到是词频表，其中介质是标签
　　右边一：转换后的test_data文件后，您可以看到标签“abstract=”和“article=”
　　虽然这里使用了Textsum（TOY ^_^）提供的测试数据，并且缺少数据采集和清理步骤，但我们终于可以继续了。
　　3.2 培训、评估、输出
　　根据
　　语句由 README.md 提供，我们有三个脚本要运行，分别是训练、评估和输出
　　# Run the training.
$ bazel-bin/textsum/seq2seq_attention \
--mode=train \
--article_key=article \ # 对应training-0（更名前是data文件）中的 标签"article"
--abstract_key=abstract \# 对应training-0（更名前是data文件）中的 标签"abstract"
--data_path=data/training-* \ # 这个文件是之前准备的
--vocab_path=data/vocab \
--log_root=textsum/log_root \ # 中间文件会保留在这里
--train_dir=textsum/log_root/train
# Run the eval. Try to avoid running on the same machine as training.
$ bazel-bin/textsum/seq2seq_attention \
--mode=eval \
--article_key=article \
--abstract_key=abstract \
--data_path=data/validation-* \ # 如果你只是想测试依然程序是否正常，直接复制 training-0吧
--vocab_path=data/vocab \
--log_root=textsum/log_root \
--eval_dir=textsum/log_root/eval
# Run the decode. Run it when the model is mostly converged.
$ bazel-bin/textsum/seq2seq_attention \
--mode=decode \
--article_key=article \
--abstract_key=abstract \
--data_path=data/test-* \ # 如果你只是想测试依然程序是否正常，直接复制 training-0然后改名吧
--vocab_path=data/vocab \
--log_root=textsum/log_root \
--decode_dir=textsum/log_root/decode \
--beam_size=8
　　如果运行成功，则其结果为：
　　培训科
　　$ bazel-bin/textsum/seq2seq_attention \
--mode=train \
--article_key=article \
--abstract_key=abstract \
--data_path=data/training-* \
--vocab_path=data/vocab \
--log_root=textsum/log_root \
--train_dir=textsum/log_root/train
WARNING:tensorflow:From /usr/local/lib/python2.7/dist-packages/tensorflow/python/ops/nn_impl.py:1346: softmax_cross_entropy_with_logits (from tensorflow.python.ops.nn_ops) is deprecated and will be removed in a future version.
Instructions for updating:
Future major versions of TensorFlow will allow gradients to flow
into the labels input on backprop by default.
See tf.nn.softmax_cross_entropy_with_logits_v2.
<p>
WARNING:tensorflow:From /home/user/Videos/CWD/bazel-bin/textsum/seq2seq_attention.runfiles/__main__/textsum/seq2seq_attention.py:96: __init__ (from tensorflow.python.training.supervisor) is deprecated and will be removed in a future version.
Instructions for updating:
Please switch to tf.train.MonitoredTrainingSession
2018-03-19 13:55:43.347757: I tensorflow/core/platform/cpu_feature_guard.cc:140] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 FMA
running_avg_loss: 9.001080
running_avg_loss: 8.945733
...
吃个饭回来
...
running_avg_loss: 0.000241
running_avg_loss: 0.000298</p>
　　评估部分（验证）。
　　$ bazel-bin/textsum/seq2seq_attention \
--mode=eval \
--article_key=article \
--abstract_key=abstract \
--data_path=data/validation-* \
--vocab_path=data/vocab \
--log_root=textsum/log_root \
--eval_dir=textsum/log_root/eval
running_avg_loss: 0.000611
running_avg_loss: 0.000951
running_avg_loss: 0.000459
running_avg_loss: 0.000200
...
　　预测部分（测试）输出部分
　　输出结果会在
Yonv_CWD/textsum/log_root/decode 文件夹中看到
user@debian:~/Videos/Yonv_CWD/textsum/log_root/decode$ zsh
➜ decode ls
decode1521440441 ref1521445096
➜ decode ls -al
总用量 1360
drwxr-xr-x 2 user user 4096 3月 19 22:31 .
drwxr-xr-x 5 user user 4096 3月 19 17:50 ..
-rw-r--r-- 1 user user 0 3月 19 14:20 decode1521440441
-rw-r--r-- 1 user user 647350 3月 19 17:50 decode1521445096
-rw-r--r-- 1 user user 0 3月 19 14:20 ref1521440441
-rw-r--r-- 1 user user 729342 3月 19 17:50 ref1521445096
　　如您所见，如果运行失败，即使输出文件，它也将为空
　　这
　　打开后文件的成功输出如下所示
　　由于数据集很小，输出只能是这样的
　　output=czechs outdrink germans in beer-guzzling stakes .
output=mexican financial markets end turbulent week .
output=abb to sell electrical explosion-proof equipment business .
output=mexican financial markets end turbulent week .
output=moslem rights group wants narcotic khat legalised .
output=abb to sell electrical explosion-proof equipment business .
output=mexican financial markets end turbulent week .
output=croatians vote in three constituencies .
　　如果你没有成功输出，那么你可以看看下面的“错误处理”
　　3.3 错误处理
　　如果您在运行时遇到类似的错误，那是因为您的词汇格式不正确，它应该在其中，您需要 17832：
　　Bad line:
...
assert vocab.CheckVocab(data.SENTENCE_START) > 0
　　如果在运行时遇到类似错误，这是因为数据集 training-0 的格式错误，需要 17832：
　　Exception in thread Thread-24809:
...
DecodeError: Error parsing message
...
MemoryError
　　如果你得到
　　运行时出现类似的错误，忽略它，没关系，相反，如果你改state_is_tuple=False，那么当TensorFlow版本大于1.0时，你会得到一个错误：
　　...
state_is_tuple=False
...
　　如果在操作过程中报告错误，则类似于（出现大型多维数组）：
　　ValueError: Could not flatten dictionary. Key had 2 elements, but value had 1 elements. Key: [, ], value: [array([[[ 2.723167 , -1.924321 , -0.09930453, ..., -0.57662404,
-1.633333 , 5.6171 ],
[ 2.723167 , -1.924321 , -0.09930453, ..., -0.57662404,
-1.633333 , 5.6171 ],
[ 2.723167 , -1.924321 , -0.09930453, ..., -0.57662404,
-1.633333 , 5.6171 ],
...,
...,
[ 2.723167 , -1.924321 , -0.09930453, ..., -0.57662404,
-1.633333 , 5.6171 ],
[ 2.723167 , -1.924321 , -0.09930453, ..., -0.57662404,
-1.633333 , 5.6171 ],
[ 2.723167 , -1.924321 , -0.09930453, ..., -0.57662404,
-1.633333 , 5.6171 ]]], dtype=float32)].
　　然后是因为TensorFlow 1.0>= 的兼容性问题
　　只需更改 [
　　state_is_tuple=True] 在seq2seq_attention_model.py文件中回到 [state_is_tuple=False]]（但是，许多人需要将其更改回来，因为他们想解决另一个以前的错误并更改此文件（并将其更改回来））。
　　yONV_CWD/textsum/seq2seq_attention_model.py
# replace [state_is_tuple=False] as [state_is_tuple=True]
　　他们 ↓ 也遇到了这个问题，ctrl+f[fix] 可以通过将文件中的 [state_is_tuple=True] 改回 [state_is_tuple=False] 在一行上找到解决方案。
　　#TextSum# - 运行解码时出错：无法展平字典。键有 2 个元素，但值有 1 个元素 ·问题 #417 ·张量流/模型
　　解决方案:2021年还能用的13款完全免费的Office插件整理（含功能详细介绍）
　　本文收录
大量大图，知乎无法左右滚动查看，可以查看原文以获得更好的阅读体验⚠️
　　前不久在PS/PR/AE插件合集一文下留言区许诺，采集
整理Office相关插件
　　结果阿旭花了几天时间才搞定——前后采集
了二十多个外挂！过滤后有10多个型号
　　插件非常多，每个插件收录
的功能也很多（尤其是Excel插件，通常有上百个功能），每个插件之间都会有重叠的功能。
　　综上所述，一篇文章肯定无法完整介绍
　　好在每个插件的作者基本上都在官网上做了详细的介绍。以下只是一个“简单”的介绍。如果觉得不错可以去官网了解更多
　　这篇文章真的有点无聊，不过也是干货。作为文员的各位还是真心推荐大家可以使用外挂，提升一下自己的武装。
　　▍1个Word插件
　　让我们先从 Word 开始。其实今天Word的很多功能都可以直接实现，所以相应的插件功能一般都不多。
　　● 1.1 小恐龙官方文档排版助手
　　官网下载地址&amp;安装教程：/
　　这是原文档排版文章中推荐的一款插件，是一款完全免费的Word/WPS排版插件：
　　轻松帮您解决各种文档排版问题，如轻松实现每页行数、每行字数等要求
　　除了以上，它还可以帮你删除所有空行，删除所有回车，删除表头横线/重排换行/中英文加空格/换行转回车/中英文标点转换/快速插入公文红头、红线、印记线、装订线、页码（中、右、外）、公文格式日期、公文常用符号等。
　　● 1.2 Word必备工具箱
　　原新浪博主ahzll开发的Word插件是一款不可多得的完全免费的Word插件
　　官网下载地址：/HELP/PAGE/blog_5488e3a90100u8ux.html
　　Word中的运行界面如下图，大致会为Word添加四类功能
　　各功能如上图所示：一键转换成规范文件号年份的中（英）标点符号/方括号……等众多功能
　　支持穷举法解密“受保护文档”密码/支持VBA工程加解密/去除2003-2010版Word“受保护文档”密码/查看无密码VBA工程/获取受保护文档内容
　　● 1.3 mOffice for Word
　　官方网站： /
　　插件安装后的界面截图如下，各个功能的作用基本一目了然：
　　不过这款插件“未注册版对批量处理数据量有限制”。如果批处理功能用的不多，基本不影响插件的使用
　　▍2 Excel插件
　　一个好的Excel插件可以提高不少于1-2年工作经验的相关从业者的工作效率
　　基本上，一个 Excel 加载项收录
一两百个功能增强
　　● 2.1 Excel必备工具箱
　　官方网站： /
　　上面介绍的Excel Essential Toolbox和Word Essential Toolbox是同一个作者啊zll
　　本插件分为“免费版”和“付费版全功能版”，但其实免费版下面已经有很多功能了！
　　具体的四舍五入、折算成千元、数文转换、财税子功能如下：
　　▲点击查看大图
　　其他功能如下：
　　▲点击查看大图
　　下面将以上述形式介绍Excel插件。其实也没办法。毕竟这种插件的功能太多了。
　　● 2.2方格
　　
　　官网：/home/products.aspx
　　这是一个带有方格正方形的特殊版本
　　一款非常知名的Excel插件，大部分功能免费使用，部分功能需要VIP（也可以选择一次性终身付费）
　　高级文本处理、数值输入、分组、数据分析、工作表、图像识别等子功能如下：
　　▲点击查看大图
　　只有DIY工具箱中的部分功能需要按量使用，比如手机三元实名认证、银行卡查询、IP归属查询、文字识别……
　　具体子功能如下：
　　有关更多付费功能，请参见下文：
　　● 2.3 Excel催化剂
　　下载地址见笔者在语雀上的帮助文档：Excel Catalyst Document语雀
　　目前Excel Catalyst所有功能完全免费使用，只有部分视频教程需要付费
　　笔者采用这种模式的原因是：这款插件比较专业，但是功能确实强大
　　但你不必购买付费视频教程，作者在语雀上提供了120多个图文教程！
　　快捷操作栏的子功能如下：
　　▲点击查看大图
　　图像相关的子函数如下：
　　▲点击查看大图
　　数据采集​​、查询、处理、分析子功能如下：
　　▲点击查看大图 ● 2.4 Excel好用宝
　　官方网站： /
　　首次使用时，需免费激活软件后方可使用。激活一次可以使用3个月，3个月后需要再次免费激活（如此循环）
　　部分具体子功能截图如下：
　　▲点击放大 ● 2.5 Excel向导
　　官方网站：/eling.htm
　　本插件收录
240多个功能，但也属于大部分免费，少数功能付费的模式：
　　第一部分的功能如下：
　　▲点击查看大图
　　少数标有★的功能需要注册后付费，如下图：
　　▲点击查看大图
　　还有下面这张图：
　　▲点击放大● 2.6 智慧办公&amp;智慧办公
　　官方网站： /
　　未注册版对批处理数据量有限制，其他功能免费使用：
　　部分子功能如下：
　　
　　▲点击查看大图
　　本软件还有一个姊妹软件“智能办公”：/q.php
　　提供了很多批处理功能，但是一样，未注册版对批处理数据量有限制
　　▍3个PPT插件
　　PPT是一款面向设计的软件。插件更多的是提供模板或者素材。当然，也有倾向于增强PPT设计功能的插件。大家可以根据自己的能力来选择。
　　● 3.1 一键工具
　　官网：oktools.xyz/
　　OneKeyTools，简称OK插件，是一款完全免费开源的第三方PPT插件。其功能涵盖形状、颜色、3D、图像处理、演示辅助、表格处理、音频处理等。
　　该功能是为了增强PPT本身的各种编辑设计功能
　　显然这个插件对于PPT初学者和新手来说并不友好，不过作者在官网提供了相关的学习视频，大家可以自行寻找学习
　　● 3.2 Lvyh工具
　　官网：/yhtools/
　　本插件完全免费，收录
PPT转Word、字体采集
、字体导出、顶点编辑、线条编辑、形状编辑、位置分配等功能，但仅限于PPT上使用
　　部分功能的具体子功能如下：
　　▲点击查看大图 ● 3.3 PA袖珍动画（原PPT美化大师）
　　官方网站： /
　　从插件的名字不难看出这款插件更偏向于PPT动画制作。它收录
大量的动画、过渡和材质模板。还可以一键快速生成很多流行的PPT动画（比如抖音Flash等PPT）。
　　大部分资料免费提供或登录后即可使用，部分资料需要VIP（当前会员6个月/69年）
　　可以选择整体页面偏向小白的盒子版
　　还有一个更偏向于自行设计的专业版：
　　● 3.4 iSlide
　　iSlide是一款非常知名的PPT插件，官网地址：/download
　　这个插件比较卖点的是它丰富的模板库和素材库。
　　除去上图右上角的素材库，这些功能还是免费的：
　　素材库中只有插画库和图标库免费，95%的案例库、主题模板库、图标库、图表库、图片库需要VIP会员
　　不过在淘宝上搜索“iSlide”，价格从低到高排序，就可以买到超便宜的优惠券
　　▍4个其他插件
　　PPT精灵只支持从PPT2007到2016（也支持WPS），但是功能比较少，就不介绍了。有兴趣的可以去官网看看：/PPT/Index.htm
　　还有和方格的AudTool，又称审计专用版Excel工具箱，主要提供审计行业常用的功能。审核员基本都会安装这个插件，但是这个插件是收费的，免费试用期是30天。，下载地址：/home/AuditOrder.aspx
　　还有微信公众号“Excel Catalyst”和“EasyShu”（原EasyChart）联合打造的EasyShu。功能（颜色主题、位置校准、多图神器、图表导出、颜色选择器、数据小偷、数据标签等），想要真正领略这款插件的强大，还是要付费的。有关详细信息，您可以访问其官方网站。:/excelcuihuajihome/helpdocument/ckw03e
　　此外，阿旭还采集
了一些插件，比如Office Tab，为Office增加了类似浏览器的标签功能。
　　正版Office Tab 优惠购买：Office Tab - 办公套件添加标签功能丨永久仅需89元（平台首单立减5元）
　　超过300个功能的Kutools for Excel，和同一家公司的Kutools for Word，也是阿旭顺便采集
的
　　如果您需要 Office Tab、Kutools 和 Square Grid，您可以在以下位置下载它们：单击此处
　　上面介绍的插件基本支持2007-2019（含365）的Office版本，也支持WPS！
　　具体是否支持Office 2020-2021请自行查看插件官网！
　　如果你对我研究的更多问题感兴趣，欢迎关注我的微信~ 查看全部

　　解决方案:蜂集添加自动采集任务
　　蜜蜂采集器是全自动采集器。本文将介绍蜜蜂采集
器增加自动任务。如果您还没有安装蜜蜂采集器，可以到蜜蜂采集器下载页面进行下载。
　　添加任务之前，建议阅读添加采集模块教程，因为添加任务需要绑定采集模块。
　　进入 Bee-&gt;Task List，点击 Add Task 按钮，将出现 Add Task 表单。
　　最简单的任务只能填写基本信息。需要填写的信息包括任务名称和入口url。需要设置的信息包括采集
模块、发布模块和文章发布状态。
　　设置
　　影响
　　任务名称
　　为任务设置名称
　　入口网址
　　采集插件抓取的第一个网页，即采集入口
　　采集模块
　　这个任务会使用这里绑定的采集
模块来采集
　　发布模块
　　该任务将使用此处绑定的发布模块发布
　　文章发布状态
　　
　　设置该任务下文章发布时的发布状态
　　任务添加完成后，我们可以回到任务列表，先手动执行，看任务是否能正常运行。
　　如果可以正常运行，可以直接点击右侧的开始。
　　这样，一个全自动的任务在后台运行。
　　您可能还喜欢以下文章
　　蜜蜂采集器2.4版发布
　　此版本添加了一些非常有用的功能。采集模块增加了翻译功能，目前支持中英翻译，如下图： 新增发布模板变量格式，增加发布模块和采集模块的宽度，减少页面拥堵输入框。
　　Bee Collector，一个全自动的wordpress采集
插件
　　imwprobot(bee 采集
)是一款wordpress采集插件。有哪些功能 1.全自动无人值守，支持定时采集 2.可以自动同步目标站的更新 3.AI自动关键词，自动生成摘要 4.直接发布到wordpress，不需要额外的接口支持5. 文字图片和缩略图可以本地化 6.每个任务中的文章图片可以设置独立水印 7.采集内容支持正则和css选择器替换哪些站可以采集 1.新闻资讯站 2.文章文文站 3.BBS论坛4.博客站点 5.资源站点和下载站点支持哪些获取规则 1.正则表达式 2.XPath规则 3.JQuery选择器（CSS选择器）代理支持 1.HTTP代理 2.
　　蜜蜂采集器的进程模式如何启动
　　1.3.6.2之前的运行方式是用户访问或者爬虫访问都会触发采集，但是这对没有用户访问的新站不友好，所以蜜蜂采集后续版本增加了进程模式！目前的流程在windows和linux上都可以使用，但是没有在windows上测试过，可能会有一些问题。如有问题，请先停止进程，将蜜蜂采集的采集方式改为用户触发，再反馈给作者。
　　wordpress支持采集
吗？
　　wordpress支持采集
吗？Wordpress本身没有采集
功能，但是可以通过插件实现。目前wordpress上比较好的采集插件是imwprobot（蜜蜂采集），可以实现自动采集，虚拟主机也可以运行。首先需要安装网站采集插件，去imwprobot（蜜蜂采集）下载，注意需要安装两个插件~
　　
　　蜜蜂采集
者视频逐字记录
　　欢迎使用蜜蜂采集器，现在我将蜜蜂采集器的使用教程分享给大家。接下来就可以开始创建采集任务了，还是以lz13为例，添加任务名称，添加入口地址，入口页面间隔不可更改，文字抓取间隔不可更改，选择采集模块，选择发布模块，选择草稿，选择暂停任务。后面我们测试之后，会选择自动执行。
　　蜜蜂采集工具关键词如何替换采集内容
　　通常，采集
到的内容并不一定符合我们的要求，需要对数据进行处理后才能使用。可以使用蜜蜂集进行任意 关键词 替换。内容替换操作可以将左边的词替换为右边的词，支持文本和正则表达式。
　　蜜蜂采集器的发布模块是什么
　　发布模块是用于将自定义采集字段转换为符合wordpress要求的文章字段，转换后可以直接发布为文章的模块。没有添加自定义采集字段时可以使用默认的发布模块。默认发布模块只保证标题，文字有值才能发布。
　　WordPress 添加类别
　　在本章中，我们将研究如何在 WordPress 中添加类别。步骤 (4) - 单击“添加新类别”后，新创建的类别将显示在页面右侧，如下图所示。
　　不错 (0) 不错 (0) 很不错 (0)
　　欣赏
　　微信欣赏
　　支付宝鉴赏
　　解决方案:外贸网站SEO,网站SEO优化软件,自动顶贴机,SEO优化
　　索易达网络推广大师是一款专业的提升人工外链发布速度的软件。是一款关键词SEO软件，SEO外链推广软件，关键词优化软件，自动发帖软件，排名优化软件，外贸网站推广软件，SEO优化关键词软件，SEO外链外链发布软件,百度SEO软件,网站推广排名软件,百度快照排名软件,SEO推广软件,白帽SEO优化软件,SEO排名软件,百度发帖软件,关键词排名工具,关键词搜索排名软件,SEO快速排名软件,SEO软件,外贸SEO软件,网络推广软件,关键词优化软件,SEO外链软件,
　　
　　SEO推广
　　
　　上一篇：关键词搜索排名，SEO优化排名软件，SEO工具，自动发帖 查看全部

　　解决方案:wordpress聚合/采集类插件介绍
　　wordpress 插件数以万计，聚合/采集
插件却寥寥无几。推荐以下10款WordPress RSS聚合/采集
插件，其中WP-o-Matic比较流行。
　　WP-o-Matic插件几乎是最狠的WordPress采集
插件——只需在后台设置Rss来源和采集
时间，WP-o-Matic就会自动执行。甚至可以采集
对方网站的附件和图片，堪比国内的cms系统，无需站长白费力气。
　　如何安装和使用 WP-o-Matic：
　　1、解压后，将插件上传到你的插件根目录下。
　　2. 您需要在 Firefox 或 Safari 中激活 WP-o-Matic 插件。
　　3、激活插件后，设置栏出现WP-o-Matic选项，点击进入第一步设置。
　　
　　4、在Add campaign中进行采集设置，主要是在feeds中添加要采集的目标站的feeds，categories选择采集类别。
　　5.在options等设置采集路径，默认即可，Cache images需要创建“Cache”文件夹，修改权限为777。每次采集都需要在addcampaign中执行。addcampaign设置好后，点击提交。如果没有设置，他会提示你，直到Campaign添加成功。编辑它或立即获取并单击立即获取。
　　通过wordpress插件BDP RSS Aggregator，可以聚合多个博客的内容。适用于拥有多个博客的博主，或资源聚合分享博主，群博主。
　　BDP RSS Aggregator插件主要聚合标题和部分摘要，不显示内容的全文，也不会将对方的文章导入自己的数据库。有关详细信息，请参阅聚合的博客提要：聚合来自多个博客的内容。
　　FeedWordPress是一个rss聚合插件，可以聚合其他博客的内容源，展示在自己的博客上，并且是全文形式。
　　四、好友RSS聚合器（FRA）
　　Friends RSS Aggregator (FRA) 此插件可以通过RSS进行聚合，只显示文章标题、发表日期等。
　　
　　五、内联RSS
　　Inlinefeed 支持RSS、RDF、XML 或HTML 等多种格式。通过Inlinefeed，可以将来自Rss 源的文章显示在特定的文章中。
　　六、获取RSS
　　激活GetRSS插件后，可以使用如下代码聚合rss文章。
　　将rss地址替换成你要聚合的rss地址即可。5是显示文章数，可以修改。
　　@米@花@网@
　　解决方案:优采云
7.6采集器如何整合SEO56伪原创API
　　优采云
7.6 采集
器如何集成 SEO56 伪原创
API
　　来源：未知 3492意见 时间 2019-11-26 11：17
　　优采云
7.6 采集
器如何集成 SEO56 伪原创
API
　　
　　1.下载提取的文件 点击下载插件
　　2. 修改文件中的应用密钥进行测试
　　优采云
7.6下载下载
　　链接：提取码：bf8i 复制此内容后，打开百度网盘手机APP，操作更方便
　　
　　插件目录如下图所示 查看全部

　　干货:7000字介绍，从近半年文章精选27个工具（外贸/shopify/亚马逊)
　　在查看这么多工具之前，请放轻松：
　　最近，我一直痴迷于古风歌曲，比如歌手刘可一的古风曲：半锅纱、风筝错、芙蓉鱼、闲置花园，去感受一下（因为版权关系，我其实不能发音频）。
　　这 27 个工具是从 6 月至 11 月本文发表的所有文章中选出的，希望它们能成为您最喜欢的工具。（任何无法登录的URL都意味着您需要科学地上网）。
　　本文分为3个部分
　　1.外贸/等独立工位工具
　　二、Shopify是相关的
　　三、亚马逊相关
　　1.外贸/等独立工位工具
　　1. 微软官方英文写作网站
　　我认为这是一个非常酷的网站。让我们来看看它的主要功能：
　　内容更正，单词替换和更好的表达只需一键修改。从句子统计、章节结构、详细评分报告带你深入分析文章的亮点和不足
　　这是官方自己的介绍
　　这么好的网站，它是免费的。
　　网站：
　　2.一个强大的工具，集成了电子邮件营销，电子邮件地址检查，邮箱有效性验证和Gmail电子邮件跟踪（是否打开）4种功能。
　　自动化营销
　　这是一种看涨能力，是指在客户触发某个规则，或者达成某个提交后，系统会自动触发营销邮件。
　　采集
邮箱
　　采集
后的其他信息
　　验证电子邮件地址是否有效
　　此外，该工具还支持跟踪Gmail是否有效打开，阅读与否
　　工具网址为：
　　3.短短4步，小白还将使用对手的“网站产品数据”抓取工具
　　为什么要把这个工具放在介绍中？因为这个工具太简单易用了，小白可以按照我的教程来学习！
　　这是台湾开发人员开发的工具。对于外贸/跨境电商人士，应用场景有：
　　让我们按照 4 个步骤来学习使用该工具。
　　1）登录以下网址，注册一个帐户，然后下载谷歌浏览器插件
　　2）安装插件后（如果您不安装插件，请记住找到我），浏览器会输入要抓取数据的URL。如下所示，我们转到亚马逊产品的评论页面，然后单击“列表部分”
　　3）控制抓取范围。再试几次，我就可以达到下面截图的效果，可以抓取当前页面上的所有评论（实际上只能逐页抓取）。
　　4）点击抓取后，出现以下结果页面，点击“EXCEL”按钮
　　可以导出下面显示的文件
　　当然，您可以使用此工具抓取搜索结果页面。但是，结果会更加混乱。这是一个非常简单方便的工具，您可以做一些您不想抓取网络数据的事情。
　　因为工具很简单，所以它
　　也有缺点，比如：它只能逐页抓取数据，亚马逊列表抓取的数据有些混乱。但是，仍然强烈建议这样做。
　　这样的工具。包括免费版本。您可以每月查看 10 个 URL，付费版本，并且在 7 月底之前有折扣
　　4.它可能是最全面的竞争对手广告跟踪和监控工具
　　免费版：无卡免费试用10天，100次搜索。支持谷歌、FB、YouTube 等的广告跟踪和分析
　　1）支持按关键词、广告主、域名、域名注册时间、广告发布时间等进行广告搜索;
　　2）支持根据广告类型、国家、语言、目标客户年龄、性别等进行过滤;
　　3）支持根据广告落地平台（Shopify，Magneto，Woo Commerce）和合适的平台（桌面，Android，iOS）进行过滤。
　　4） 点击其中一个查询结果以对广告进行详细分析，如下所示（点击显示分析）。
　　a\您可以查看广告的展示时间、最早和最后一次展示时间
　　b\广告展示的国家/地区
　　c\您可以看到广告互动
　　人群特征
　　它甚至可以分析谁看到了广告
　　5.可能是用脚踏实地的网红找最好的工具之一
　　它
　　作为大结局的工具，它必须有更好的含金量。推荐有3个理由
　　1）小编准备找一个ins平台，体育相关，讲英语的网红，根据搜索的条件，找到如下，第一个，有14万粉丝，合作只需15美元
　　2）点击名称以解锁影响者的个人信息
　　进入后发现误会了，合作只需15美元就意味着广告只会为你放2个小时，超过2个小时后广告就会被删除。
　　3）点击上图中“添加@xxx到广告系列”进入购买流程
　　顺便说一句，该网站的付费版本也不贵，并且是通过解锁影响者信息来支付的。平台不收取额外费用。
　　6.设计小白也可以设计包装盒——包装小盒子
　　我
　　
　　无法想象有这么棒的工具，我觉得不需要设计师。
　　7.整个网站的英文拼写检查工具
　　请注意，这是一个站点范围的英语检查工具，而不是复制文章以检查错误的普通工具。
　　输入需要拼写检查的网站，然后单击扫描网站按钮
　　可以查询哪个页面有拼字（可以忽略其他功能直接查看），可以点击网站页面进入对应的页面。
　　如果无法查看有限数量的页面错误消息，则不会注册此工具。要查看所有拼写错误，您可以绑定信用卡并试用 30 天。
　　8. 可以翻译整个PDF和DOCX（Word格式）文档的工具
　　研究了几种工具，这个是最干净的没有广告的工具。尝试后它非常强大，并且可以在各种语言之间进行翻译。
　　工具网址为：
　　#
　　9.非常强大的文档和文本阅读
　　该工具非常强大，不仅支持将文本转换为语音，还支持上传文件以及将文件中的文本转换为语音。
　　支持英语、法语、西班牙语、德语等多种语言;
　　支持调整阅读速度
　　支持上传 PDF、TXT、DOC、PPTX 甚至 PNG 和 JPEG 图像格式
　　支持转换为语音和下载（收费，每月 9.99 美元）。
　　工具网址为：
　　10、京东出品的强大“图汉字翻译”工具
　　这个工具是我们群友推荐的，偷偷试了一下后，感觉很聪明：一键将图片的中文翻译成英文、西班牙文和俄文。效果如下：
　　适合携带淘宝、阿里等平台产品的学生。省去了翻译和PS两步操作，只需要上传图片：
　　该工具将识别图像中的文本，然后单击下一步
　　该工具会将中文转换为您想要的文本，然后单击 下载 获取翻译后的图像。
　　工具网址：
　　二、Shopify是相关的
　　1.它可能是最著名的Shopify竞争对手分析工具
　　这是一个谷歌浏览器插件，搜索：Commerce Inspector
　　安装插件，
　　进入分析对应的网站，点击插件，即可分析。
　　此功能只能分析使用 Shopfiy 的商店。您可以分析对手的以下信息（我们以广州一家公司的网站为例。
　　1）分析对手网站使用的主题，产品的最早发布，以及产品的最后一个版本
　　2）分析对手最畅销的产品
　　3）产品上的新情况
　　4）网站流量和流量构成
　　5）还有更多功能等着你去发现
　　2.可以下载对手全站的插件 Shopify数据和图片
　　免费版，支持导出300条数据，一次一个产品数据
　　付费版价格更尽职尽责，9.99刀/月。支持导出所有数据和所有图片，非常棒。
　　您可以在Chrome App Store中找到该工具：
　　（科学互联网）。
　　3，Shopify - 竞争对手的网站分析工具
　　1）查询对手网站最新更新信息
　　2）对手使用的主题和插件
　　3） 货架上的最新产品
　　4）检查最畅销的产品
　　5）选择产品供应商（这个功能还是很有用的）。
　　6）分析整个站点的产品详情，如下图：
　　如果与此结合使用，此插件基本上是完美的 Shopify 插件。
　　您可以在Chrome App Store中找到该工具：
　　（科学互联网）。
　　4. 对 Shopify 竞争商店产品的新跟踪
　　要做shopify，你经常需要关注对手的新情况。有没有工具来监控对手的最新情况？今天共享的工具满足了这一需求。
　　这是一个使用起来非常简单的Chrome插件。安装插件后，在任何页面上，单击该插件，将出现以下界面，输入您需要监控的Shopify对象。
　　如果后面的竞争对手商店有新产品，插件将显示如下：
　　
　　点击监控店铺URL后，您将直接进入商店监控控制面板，您可以看到具体的新产品。
　　该工具包括一个免费版本，可同时监控3家商店。付费版本如下：
　　该工具的缺点：它不支持Chrome的消息提醒或电子邮件提醒。如果读者能找到考虑到此功能的工具，他们不妨推荐给编辑。
　　工具网址是（需要谷歌插件）：
　　5. 保护 Shopify 图片不被下载和文案不被复制
　　该工具名为Cozy AntiTheft，可在Shopify应用程序市场中使用，目前是免费的。安装后，您可以禁用右键，这可以防止普通新手轻松复制和下载您的图像和文案。
　　6.最好的退出恢复，URL弹出工具
　　所谓退出兑换，就是客户点击关闭窗口，提前弹出一个盒子，给予一些折扣，留住客户。如下图所示：
　　今天，
　　十三兄弟将介绍的工具是：Justuno，也可以在 Shopify 应用程序市场并收录
一个免费版本。
　　这个工具能做什么？
　　Justuno 是用于潜在客户获取、退出赎回、促销、弹出式营销的一站式转化率提升工具。
　　Justuno成立于2010年，总部位于加利福尼亚州，是一家拥有10多名员工的小公司。Justuno声称在全球75个国家拥有超过80，000个网站使用其产品（注册人数应计算在内）。亮点如下：
　　您也可以访问其官方网站
　　7. 相对强大的 Shopify 竞争对手商店发现工具
　　您可以根据商店名称，国家，Alexa排名和流量过滤目标竞争对手网站，工具URL为：
　　老实说，这个工具功能更强大，但很难使用。普通人可能不明白如何使用它。如上图所示，红框实际上不是查询的输入关键词，而是输入数据更新的月份。
　　如果要根据店铺关键词和国家/地区进行过滤，则需要拉到页面底部并逐个输入，如下所示：
　　为此，笔者还特意写了一套查询的语法规则，希望大家能通过这个工具学习如何找到竞争对手：
　　其他
　　Shopify 同类型的竞争对手查询工具是：
　　？=13GE
　　？=13GE
　　Shopify 应用市场的插件数量相对较多，因此我们建议较少。
　　第三，亚马逊工具
　　1. 易于使用的亚马逊“搜索词建议”插件
　　如下图所示，该工具可以在输入关键词后，直接在搜索框下给出搜索建议，取代官方的搜索建议数量不足。
　　1）这是一个谷歌浏览器插件，不需要注册，安装就可以使用，
　　调用：AMZ建议扩展器，进入谷歌浏览器应用市场，安装后搜索就可以使用。
　　2）如果您的网速不好，您需要在输入关键词后等待约5秒才能显示搜索建议
　　2. 易于使用的免费亚马逊数据分析和优化工具
　　（科学地上网）。
　　注册后，您将收到以下提示：获得14天免费试用，无需绑定信用卡，支持所有功能体验，跟踪分析50个关键词，跟踪分析50个产品或ASN。如果 14 天到期，它将成为免费版本。
　　考虑到除了广告和财务分析这两个模块外，该工具还需要绑定到亚马逊帐户。不需要其他任何功能。小编决定用真实的截图进行演示（之前涉及到亚马逊的工具，大部分都需要绑定一个亚马逊账号来生成数据，所以做一个真实的演示并不方便）。
　　1） 关键词跟踪
　　关键词详情
　　市场分析
　　2） 产品跟踪
　　3） 产品看板
　　4） 列表优化
　　此外，还有广告管理、财务报告、产品研究、畅销书查询和跟踪等功能。
　　使用此产品，您可以免费试用所有功能14天，然后切换到免费版本。免费版和付费版具有类似的功能（除了某些报告无法导出），唯一的控制是产品跟踪和关键词跟踪的数量。目前，付费版本仍然可以接受。
　　3.有国外相当知名，国内略显低调的亚马逊产品选择工具
　　1）首先需要注册，注册成功后即可使用，可以看到以下版本介绍
　　2） 支持以下 11 个亚马逊商城
　　3）小编认为，工具的亮点在于产品的跟踪分析能力。
　　选择要跟踪的产品后，您可以为该产品设置跟踪关键词，该工具可以分析关键词的搜索量，竞争对手的数量和实力，关键词价格等
　　点击关键词后，您可以看到每个对手的详细数据，例如BSR，每日销售额，每日销售额等。
　　您还可以看到BRS的历史趋势和主要对手的价格趋势
　　肖像关键词竞争对手的产品
　　功能真的很强大，这里不全是例子，希望大家能探索一下。
　　4.方便强大的亚马逊爬虫+抓取结果报告生成工具
　　让我们看看它能实现什么？安装插件后，单击抓取相应的亚马逊页面。您可以生成这些已抓取网页的报告数据，如下所示，您可能拥有所需的数据，包括：
　　1）所有抢占结果的产品都可以导出
　　2）标题字频，可导出
　　解决方案:9款免费的跨境电商SEO工具，从此网站优化不求人
　　北方蚂蚁
　　专业的跨境电商SEO、SNS智能运营平台
　　对于跨境
　　电商卖家，跨境战场早已是流量的争夺，站内流量耗尽，站外成为争夺之地，SEO引流确实势在必行。这里有 9 个免费的 SEO 优化工具。
　　关键词搜索工具回答公众
　　回答公众是一个视觉关键词搜索工具，允许问题式短语搜索。该工具从Google Autosuggest中抓取数据，快速生成数百个关键词组，并了解潜在用户搜索关键词并预测搜索意图。该工具不提供搜索量或与竞争相关的数据，而是可视化热门搜索关键词组。
　　它可以执行以下操作：
　　页面搜索引擎优化评分工具WooRank
　　WooRank生成报告，对网站进行评级并对基本的页面SEO元素进行评分。报告还包括移动友好性、网站访问速度和社交互动。WooRank工具可以快速生成SEO报告，以及评估网站并提出改进建议。
　　
　　页面搜索引擎优化分析工具快芽
　　Quicksprout 是一种快速的网络分析工具，与其他工具不同，它可以让您链接到 Google Analytics（分析）帐户，然后分析您网站的 SEO、社交分享，并帮助您了解 Google Analytics（分析）报告。Quicksprout可以生成用户可以下载的SEO诊断报告。
　　检查我的链接，一个断开的链接诊断工具
　　检查我的链接 是一款 Chrome 扩展程序工具，可查找您网站上所有断开的链接。只需激活扩展工具即可梳理页面上的所有连接并突出显示断开的链接。该工具具有识别断开的链接以改善用户体验的功能。
　　访问速度查询工具 PageSpeed Insights
　　网站访问速度
　　是一个有效的排名因素，因此测试网站访问速度的工具也是必要的。PageSpeed Insights对您的网站在移动和PC访问上的速度进行评分，确定页面加载缓慢的原因，并提供可操作的改进建议。
　　网站结构信息 尖叫青蛙SEO蜘蛛
　　尖叫青蛙通过抓取整个 URL 结构来快速获取网站详细信息。它可以快速查看页面标题、元描述、查找断开的链接、生成站点地图等。尖叫青蛙可以重定向审核，查找重复内容，查找断开的链接并识别技术问题。
　　
　　快速检查工具 GAChecker
　　GAChecker可以快速检查每个页面是否收录
Google Analytics（UA）。该工具还会扫描您的网站，以确保安装了标签管理器、AdWords、优化、Google 调查和 DoubleClick 代码，检查缺少的标签，并验证所有页面是否具有 UA。
　　搜索控制台，一个网站健康检查工具
　　Google Search Console 提供了大量有用的功能，包括检查有多少页面可编入索引、查找指向您网站的链接、识别热门着陆页、查询网站索引等。它可以检查网站的错误元素以进行网站运行状况检查。您还可以在 Search Console 上提交更新的站点地图，并可以请求新的网页索引。
　　跟踪代码管理器，一种营销标签管理工具
　　Google 跟踪代码管理器 （GTM） 可以简化代码管理。GTM 提供了一种简单、有条理的方式来设置网站标签，而无需让开发团队安装最新的营销标签。GTM提供了一个执行和更新网站代码的中央单元。
　　该工具的特点：
　　管理标签;
　　跟踪事件进度;
　　快速片段更新。 查看全部