文章自动采集插件

文章自动采集插件

10个适用于WordPress的RSS采集插件

采集交流优采云 发表了文章 • 0 个评论 • 725 次浏览 • 2020-08-22 13:33 • 来自相关话题

  10个适用于WordPress的RSS采集插件
  10个适用于WordPress的RSS采集插件大全
  作为一个强悍的博客甚至说CMS内容管理系统,WordPress完全兼容RSS输出和输入。这就意味着,如果须要,可以通过rss来采集网站信息,当然,鼓励适度而为之,不建议滥用采集。具体的安装使用方式这儿就不一一介绍了,请Google之.
  1、wordpress手动采集插 件-FeedWordPress
  这个插件用的很不错,主要是读取feed来实现你的博文更新的,并且是以全文的方式。优点是插件更新升级太及时!建议不要用汉化包,就用英文版WordPress和 FeedWordPress原插件!
  插件下载后须要在后台控制面板激活,并按照须要订制功能。
  2、wordpress手动采集插件 -Caffeinated Content
  是一个十分强悍的WordPress插件,根据关键词搜索Youtube、Yahoo Answer、Articles、Files而获取相关内容,可保留原文也可翻译成多个国家语言,并可以定时定量手动发布到你的博客上的插件工具。
  功能是非常强悍的,只可惜没有针对英文设置几个比较好的信息源头,如果想自行做二次开发,用这个做基础是非常好的选择。
  下载解压后上传到plugins根目录下,到后台激活即可,本插件须要注册后方能使用。
  3、wordpress手动采集插件-WP-o-Matic
  是一款疗效特别不错的WordPress采集插件,虽然少了手动分类功能,但该插件在各个方面都表现的尚佳,相对于wordpress采集插件 Caffeinated Content来说,wp-o-matic是不错的选择,通过RSS完成blog的手动采集。
  WP-o-Matic 插件是博客联盟见过的最狠的一个 wordpress 采集插件――只需在后台设定 Rss 源以及采集的时间,WP-o-Matic都会手动执行。它甚至可以将对方网站的附件以及图片等都采集,跟国外的cms系统有得一拼,完全无需站长耗心耗 力。
  遗憾的是,这个插件自2008年以来也许久没有更新了。
  4、wordpress 自动采集插件-autoblogged
  可以手动按照关键词获得YouTube及Yahoo answer等内容,进而实现博客内容手动发布的目的
  简介:AutoBlogged 是一个强悍的手动通过RSS 订阅发布到WP博客的插件,你可以用它完善你的手动网赚博客,也可以构建你自己的博客群(blog farm),通过这个插件你可以生成视频、图片或则文章博客等,可以说是一个比较简单的英语网赚方法了,大致特点如下:
  * 支持图片及视频发布
  * 自动通过文章源获得关键字
  * 自定义 Post 模板
  * 自动生成缩略图
  * 完全支持 WordPress 2.6 以上版本
  * 可配置多 RSS feed 源
  * 支持 RSS 0.9, 0.91, 0.92, 1.0, 2.0, Atom 0.3, 1.0 feeds.
  * 内建 feed 缓存
  * 还不止这种,各位爱玩家渐渐挖掘吧 … …
  5、wordpress手动采集插件-smartrss
  随心所欲地把自己喜欢的RSS上面的文章自动发布到自己的wordpress 博客上,使得 wordpress 具有了类似于有些 CMS 的手动采集功能。
  6、wordpress手动采集插件-BDP RSS Aggregator
  通过BDP RSS Aggregator 这个wordpress 插件,可以聚合多个blog的内容。适用于拥有多个博客的blogger,或者资源聚合和分享类的blogger,以及群组blogger。
  BDP RSS Aggregator 插件主要是聚合标题以及部份摘要,并不会全文现实内容,也不会把对方的文章导入到自己的数据库上面。详见 aggregated blog feeds:聚合多个博客的内容一文。
  7、wordpress手动采集发布插件WP Robot
  这个wp插件是一个基于wordpress平台的内容采集工具。wp robot是一个款中文站工具,这个插件的恶果我都不说了,毕竟仁者见仁智者见智!
  功能主要包括:
  1)支持采集yahoo answers的英语、法语、英语和西班牙语的采集;
  2)使用的yahoo的官方api,
  3)一个贴子里可以有5个文档内容
  4)可以选取目标关键词,然后wp robot插件手动去搜索相关贴子主题来采集best answers或其他分类的贴子内容。按照我的经验,如果主题选择的好,多注册一些垃圾域名,然后不停的采集,注意 选择关键词哦,
  8、wordpress 自动采集插件-Friends RSS Aggregator (FRA)
  Friends RSS Aggregator (FRA) 这个插件可以通过RSS聚合,也只是现实文章的标题,发布日期等。
  9、inlineRSS
  Inlinefeed 支持RSS, RDF, XML or HTML等几种格式,通过Inlinefeed可以使Rss源的文章现实在特定文章内。
  10、wordpress 自动采集插件-Auto Get Rss
  WordPress Auto Get Rss是一个可以在Wordpress博客程序上手动更新、发布文章的插件,通过任何RSS或Atom供稿。
  使用Wordpress Auto Get Rss构建一个手动的博客,比如视频博客、创建主题门户网站,或聚合RSS摘要。Wordpress Autoblogs是一强悍的工具,现在可更新下载最新版本,Wordpress Get-Rss。
  原文链接: 查看全部

  10个适用于WordPress的RSS采集插件
  10个适用于WordPress的RSS采集插件大全
  作为一个强悍的博客甚至说CMS内容管理系统,WordPress完全兼容RSS输出和输入。这就意味着,如果须要,可以通过rss来采集网站信息,当然,鼓励适度而为之,不建议滥用采集。具体的安装使用方式这儿就不一一介绍了,请Google之.
  1、wordpress手动采集插 件-FeedWordPress
  这个插件用的很不错,主要是读取feed来实现你的博文更新的,并且是以全文的方式。优点是插件更新升级太及时!建议不要用汉化包,就用英文版WordPress和 FeedWordPress原插件!
  插件下载后须要在后台控制面板激活,并按照须要订制功能。
  2、wordpress手动采集插件 -Caffeinated Content
  是一个十分强悍的WordPress插件,根据关键词搜索Youtube、Yahoo Answer、Articles、Files而获取相关内容,可保留原文也可翻译成多个国家语言,并可以定时定量手动发布到你的博客上的插件工具。
  功能是非常强悍的,只可惜没有针对英文设置几个比较好的信息源头,如果想自行做二次开发,用这个做基础是非常好的选择。
  下载解压后上传到plugins根目录下,到后台激活即可,本插件须要注册后方能使用。
  3、wordpress手动采集插件-WP-o-Matic
  是一款疗效特别不错的WordPress采集插件,虽然少了手动分类功能,但该插件在各个方面都表现的尚佳,相对于wordpress采集插件 Caffeinated Content来说,wp-o-matic是不错的选择,通过RSS完成blog的手动采集。
  WP-o-Matic 插件是博客联盟见过的最狠的一个 wordpress 采集插件――只需在后台设定 Rss 源以及采集的时间,WP-o-Matic都会手动执行。它甚至可以将对方网站的附件以及图片等都采集,跟国外的cms系统有得一拼,完全无需站长耗心耗 力。
  遗憾的是,这个插件自2008年以来也许久没有更新了。
  4、wordpress 自动采集插件-autoblogged
  可以手动按照关键词获得YouTube及Yahoo answer等内容,进而实现博客内容手动发布的目的
  简介:AutoBlogged 是一个强悍的手动通过RSS 订阅发布到WP博客的插件,你可以用它完善你的手动网赚博客,也可以构建你自己的博客群(blog farm),通过这个插件你可以生成视频、图片或则文章博客等,可以说是一个比较简单的英语网赚方法了,大致特点如下:
  * 支持图片及视频发布
  * 自动通过文章源获得关键字
  * 自定义 Post 模板
  * 自动生成缩略图
  * 完全支持 WordPress 2.6 以上版本
  * 可配置多 RSS feed 源
  * 支持 RSS 0.9, 0.91, 0.92, 1.0, 2.0, Atom 0.3, 1.0 feeds.
  * 内建 feed 缓存
  * 还不止这种,各位爱玩家渐渐挖掘吧 … …
  5、wordpress手动采集插件-smartrss
  随心所欲地把自己喜欢的RSS上面的文章自动发布到自己的wordpress 博客上,使得 wordpress 具有了类似于有些 CMS 的手动采集功能。
  6、wordpress手动采集插件-BDP RSS Aggregator
  通过BDP RSS Aggregator 这个wordpress 插件,可以聚合多个blog的内容。适用于拥有多个博客的blogger,或者资源聚合和分享类的blogger,以及群组blogger。
  BDP RSS Aggregator 插件主要是聚合标题以及部份摘要,并不会全文现实内容,也不会把对方的文章导入到自己的数据库上面。详见 aggregated blog feeds:聚合多个博客的内容一文。
  7、wordpress手动采集发布插件WP Robot
  这个wp插件是一个基于wordpress平台的内容采集工具。wp robot是一个款中文站工具,这个插件的恶果我都不说了,毕竟仁者见仁智者见智!
  功能主要包括:
  1)支持采集yahoo answers的英语、法语、英语和西班牙语的采集;
  2)使用的yahoo的官方api,
  3)一个贴子里可以有5个文档内容
  4)可以选取目标关键词,然后wp robot插件手动去搜索相关贴子主题来采集best answers或其他分类的贴子内容。按照我的经验,如果主题选择的好,多注册一些垃圾域名,然后不停的采集,注意 选择关键词哦,
  8、wordpress 自动采集插件-Friends RSS Aggregator (FRA)
  Friends RSS Aggregator (FRA) 这个插件可以通过RSS聚合,也只是现实文章的标题,发布日期等。
  9、inlineRSS
  Inlinefeed 支持RSS, RDF, XML or HTML等几种格式,通过Inlinefeed可以使Rss源的文章现实在特定文章内。
  10、wordpress 自动采集插件-Auto Get Rss
  WordPress Auto Get Rss是一个可以在Wordpress博客程序上手动更新、发布文章的插件,通过任何RSS或Atom供稿。
  使用Wordpress Auto Get Rss构建一个手动的博客,比如视频博客、创建主题门户网站,或聚合RSS摘要。Wordpress Autoblogs是一强悍的工具,现在可更新下载最新版本,Wordpress Get-Rss。
  原文链接:

橙子手动采集 Emlog插件+视频教程

采集交流优采云 发表了文章 • 0 个评论 • 873 次浏览 • 2020-08-22 07:07 • 来自相关话题

  橙子手动采集 Emlog插件+视频教程
  释放眼睛,带上扬声器,听听看~!
  Emlog橙子手动采集插件是一款扩展性强大能采集大部分未加密的网站,操作简单易上手,主要的一点就是免费。
  
  Emlog采集插件使用方式
  登录后台点击任务-添加任务-信息自己填-采集模板后面有一个导出规则-导入我们的采集规则
  自动采集要选择:是
  我们来绑定发布数据—导入采集规则后点任务列表–发布
  发布形式选择数据库,然后按我图片里面的信息操作:
  保存数据库发布信息后–自动跳转到数据表
  我这儿测试的程序是Emlog哈,并不是你自己所操作的程序,其他程序去后台云端–云平台(里面有主流程序的发布插件)大家下载了自己可以绑定数据十分简单
  如果云端数据上面没有,需要你自己绑定数据库。
  跳转到数据表后绑定发布数据信息可以看我图片是如何绑定的(这个是Emlog绑定的教程)
  采集的网站是未分类的保持在草稿箱,我们须要自己去后台分类发布。
  因为模板不一样,采集的数组可能造成布局错乱(我早已竭力这样的概率发生了,但是不保证百分之百无)
  如果出现这样的情况,我们须要自己编辑网站把对于的格式代码删掉就OK了。
  我们还须要设置手动采集–设置–采集设置–开启手动采集–采集运行模式:web服务器–自动采集运行方法:访问触发–采集数量推荐30
  开启访问触发模式会给一段代码给你,建议不要安装到网站里面,会导致资源消耗。
  代码上面富含触发的链接,需要更新的时侯自己访问一下链接就行了。 查看全部

  橙子手动采集 Emlog插件+视频教程
  释放眼睛,带上扬声器,听听看~!
  Emlog橙子手动采集插件是一款扩展性强大能采集大部分未加密的网站,操作简单易上手,主要的一点就是免费。
  
  Emlog采集插件使用方式
  登录后台点击任务-添加任务-信息自己填-采集模板后面有一个导出规则-导入我们的采集规则
  自动采集要选择:是
  我们来绑定发布数据—导入采集规则后点任务列表–发布
  发布形式选择数据库,然后按我图片里面的信息操作:
  保存数据库发布信息后–自动跳转到数据表
  我这儿测试的程序是Emlog哈,并不是你自己所操作的程序,其他程序去后台云端–云平台(里面有主流程序的发布插件)大家下载了自己可以绑定数据十分简单
  如果云端数据上面没有,需要你自己绑定数据库。
  跳转到数据表后绑定发布数据信息可以看我图片是如何绑定的(这个是Emlog绑定的教程)
  采集的网站是未分类的保持在草稿箱,我们须要自己去后台分类发布。
  因为模板不一样,采集的数组可能造成布局错乱(我早已竭力这样的概率发生了,但是不保证百分之百无)
  如果出现这样的情况,我们须要自己编辑网站把对于的格式代码删掉就OK了。
  我们还须要设置手动采集–设置–采集设置–开启手动采集–采集运行模式:web服务器–自动采集运行方法:访问触发–采集数量推荐30
  开启访问触发模式会给一段代码给你,建议不要安装到网站里面,会导致资源消耗。
  代码上面富含触发的链接,需要更新的时侯自己访问一下链接就行了。

WordPress插件手动采集插件wp-autopost-pro 3.7

采集交流优采云 发表了文章 • 0 个评论 • 528 次浏览 • 2020-08-18 14:39 • 来自相关话题

  WordPress插件手动采集插件wp-autopost-pro 3.7
  目前完美运行于的 WordPress 各个版本,请放心使用。WP-AutoPost-Pro 是一款优秀的 WordPress 文章采集器,是您操作站群,让网站自动更新内容的神器!如果是菜鸟,:
  
  采集插件适用对象1、刚建的wordpress站点内容比较少,希望早日有比较丰富的内容;2、热点内容手动采集并手动发布;3、定时采集,手动采集发布或保存到草稿;4、css样式规则,能更精确的采集需要的内容。5、伪原创与翻译、代理IP进行采集、保存Cookie记录;6、可采集内容到自定义栏目
  
  WP-AutoBlog为全新开发插件(原WP-AutoPost将不再更新和维护),全面支持PHP7.3更快更稳定全新构架和设计,采集设置愈发全面及灵活;支持多层级文章列表、多层级文章内容采集全新支持Google神经网路翻译,有道神经网路翻译,轻松获取高质量原创文章全面支持市面上所有主流对象储存服务,七牛云、阿里云OSS等。可采集微信公众号、头条号等自媒体内容,因百度不收录公众号,头条文章等,可轻松获取高质量“原创”文章,增加百度收录量及网站权重可采集任何网站的内容,采集信息一目了然
  通过简单设置可采集来自于任何网站的内容,并可设置多个采集任务同时进行,可设置任务为手动运行或自动运行,主任务列表显示每位采集任务的状况:上次测量采集时间,预计上次测量采集时间,最近采集文章,已采集更新的文章数等信息,方便查看管理。文章管理功能便捷查询、搜索、删除已采集文章,改进算法已从根本上避免了重复采集相同文章,日志功能记录采集过程中出现的异常和抓取错误,方便检测设置错误便于进行修补。
  [下载地址1] 查看全部

  WordPress插件手动采集插件wp-autopost-pro 3.7
  目前完美运行于的 WordPress 各个版本,请放心使用。WP-AutoPost-Pro 是一款优秀的 WordPress 文章采集器,是您操作站群,让网站自动更新内容的神器!如果是菜鸟,:
  
  采集插件适用对象1、刚建的wordpress站点内容比较少,希望早日有比较丰富的内容;2、热点内容手动采集并手动发布;3、定时采集,手动采集发布或保存到草稿;4、css样式规则,能更精确的采集需要的内容。5、伪原创与翻译、代理IP进行采集、保存Cookie记录;6、可采集内容到自定义栏目
  
  WP-AutoBlog为全新开发插件(原WP-AutoPost将不再更新和维护),全面支持PHP7.3更快更稳定全新构架和设计,采集设置愈发全面及灵活;支持多层级文章列表、多层级文章内容采集全新支持Google神经网路翻译,有道神经网路翻译,轻松获取高质量原创文章全面支持市面上所有主流对象储存服务,七牛云、阿里云OSS等。可采集微信公众号、头条号等自媒体内容,因百度不收录公众号,头条文章等,可轻松获取高质量“原创”文章,增加百度收录量及网站权重可采集任何网站的内容,采集信息一目了然
  通过简单设置可采集来自于任何网站的内容,并可设置多个采集任务同时进行,可设置任务为手动运行或自动运行,主任务列表显示每位采集任务的状况:上次测量采集时间,预计上次测量采集时间,最近采集文章,已采集更新的文章数等信息,方便查看管理。文章管理功能便捷查询、搜索、删除已采集文章,改进算法已从根本上避免了重复采集相同文章,日志功能记录采集过程中出现的异常和抓取错误,方便检测设置错误便于进行修补。
  [下载地址1]

某宝38大洋wordpress精品采集插件 auto post pro 最新可用

采集交流优采云 发表了文章 • 0 个评论 • 525 次浏览 • 2020-08-18 04:05 • 来自相关话题

  某宝38大洋wordpress精品采集插件 auto post pro 最新可用
  我在峰会上看见有人要求在Baoli 38海洋订购这个Wordpress插件。
  WP-AutoPost-Pro专业版支持wordpress4.9 自动采集发布文章插件
  WP-autopost-pro专业版(附带使用教程)-------------------------------------------------- -------------------------------------------------- ------------------------------ 超级好用的wordpress博客程序文章自动采集发布插件
  WP-autopost-pro专业版(附带使用教程)WordPress官方最新发布了WP 4.9,我第一时间尝试了,然后也更新了本采集插件,目前完美运行于最新的 WordPress 4.5 - 4.9之间的版本,请放心使用支持最新wordpress4.9+,亲测可用此版本没有任何域名,功能限制,请放心使用1.此插件基于破解版WP-AutoPost Pro V3.6.1版本,不是最新版本的破解版本,但支持最新的WordPress 4.9+版本使用,并提供专业测试。 2.发现0x6d0翻译插口和V3.6.1的七牛云映像储存插口早已老化,这意味着这两个函数不能使用,但其他采集函数是正常的,不影响使用。使用建议:1。记得打开“自动摘要”。当采集。 (记住!!)2。建议不要同时拥有太多的采集任务。 3.每次执行采集任务后,请立刻停止此任务。当你想要采集时,你可以再度打开它(因为这是一个破解版本,你应当使用它)
  
  
  相关下载
  点击下载 查看全部

  某宝38大洋wordpress精品采集插件 auto post pro 最新可用
  我在峰会上看见有人要求在Baoli 38海洋订购这个Wordpress插件。
  WP-AutoPost-Pro专业版支持wordpress4.9 自动采集发布文章插件
  WP-autopost-pro专业版(附带使用教程)-------------------------------------------------- -------------------------------------------------- ------------------------------ 超级好用的wordpress博客程序文章自动采集发布插件
  WP-autopost-pro专业版(附带使用教程)WordPress官方最新发布了WP 4.9,我第一时间尝试了,然后也更新了本采集插件,目前完美运行于最新的 WordPress 4.5 - 4.9之间的版本,请放心使用支持最新wordpress4.9+,亲测可用此版本没有任何域名,功能限制,请放心使用1.此插件基于破解版WP-AutoPost Pro V3.6.1版本,不是最新版本的破解版本,但支持最新的WordPress 4.9+版本使用,并提供专业测试。 2.发现0x6d0翻译插口和V3.6.1的七牛云映像储存插口早已老化,这意味着这两个函数不能使用,但其他采集函数是正常的,不影响使用。使用建议:1。记得打开“自动摘要”。当采集。 (记住!!)2。建议不要同时拥有太多的采集任务。 3.每次执行采集任务后,请立刻停止此任务。当你想要采集时,你可以再度打开它(因为这是一个破解版本,你应当使用它)
  
  
  相关下载
  点击下载

JQ插件搜集

采集交流优采云 发表了文章 • 0 个评论 • 182 次浏览 • 2020-08-17 11:51 • 来自相关话题

  JQ插件搜集
  在2010年,JavaScript框架继续逐渐普及,这促使大量的插件被开发下来。满目琳琅,难以选择心头之好。WDL的作者从大量的优秀 jQuery插件悉心筛选出一些对Web Designers有帮助的和具备特别不错的视觉疗效的Best of the best。
  
  2010年最佳jQuery插件(排名不分先后):
  Nivo Slider
  
  一个加载设置拥有9种过度疗效的超级smooth slider,它还支持如链接图象和按键导航等内容。
  Quicksand
  
  通过一个特别不错的洗牌动漫实现选项内容重新排序,只须要指定源容器和替换源的目标采集 。新元素将会以独特缩放+阿尔法疗效出现,消失的元素(non-existant in destination 采集)平滑地消失或重新排位,移动到它们的目标位置。
  Spritely
  
  Spritely 是一个由Artlogic开发的 jQuery插件,用于使用纯HTML和JavaScript创建动态物体和背景动漫。
  Lettering.js
  
  Lettering.js是一个轻量经的、易于使用的 jQuery插件,可创造出极具个性的网页排版。
  Colortip
  
  Colortip可转换你的页面元素的标题属性为一系列色调丰富的提示(当你的键盘联通到不同的标题上会出现不同颜色的字体文本提示)。支持六种色彩主题,这样你可愈发容易融合到你的个人网页中去。
  Masonry
  
  Masonry是一个 jQuery布局插件. 你可以将它看作CSS floats的另一面。浮动元素的排列是先水平后垂直,Masonry排列内容是依据一个网格先垂直后水平的。
  gvChart
  
  gvChart是一个使用Google Charts了的jQuery插件,可通过HTML table tag的数据实现交互可视化。它十分容易上手,此外它支持创建五种风格的图标。
  Animated table sort
  
  这是一个用于创建表格的jQuery插件,所创建的表格可以按照不同的列项目进行A-Z,升序排列,切换疗效特别不错。
  jQuery Image Scale Carousel
  
  网站图片保持完整的纵横比比哪些都重要。这个jQuery插件可以完美地在slider展示你所有的图片,而不需害怕形成变型。 jQuery Image Scale Carousel插件手动改变你所有图片到适宜大小,一切都是这么的简单。
  YoxView
  
  YoxView是一个免费的多媒体播放jQuery插件。它适于使用,功能丰富。你可以用它来展示各类媒体,如图象,视频,内嵌的内容,iframes,Flash等等。 查看全部

  JQ插件搜集
  在2010年,JavaScript框架继续逐渐普及,这促使大量的插件被开发下来。满目琳琅,难以选择心头之好。WDL的作者从大量的优秀 jQuery插件悉心筛选出一些对Web Designers有帮助的和具备特别不错的视觉疗效的Best of the best。
  
  2010年最佳jQuery插件(排名不分先后):
  Nivo Slider
  
  一个加载设置拥有9种过度疗效的超级smooth slider,它还支持如链接图象和按键导航等内容。
  Quicksand
  
  通过一个特别不错的洗牌动漫实现选项内容重新排序,只须要指定源容器和替换源的目标采集 。新元素将会以独特缩放+阿尔法疗效出现,消失的元素(non-existant in destination 采集)平滑地消失或重新排位,移动到它们的目标位置。
  Spritely
  
  Spritely 是一个由Artlogic开发的 jQuery插件,用于使用纯HTML和JavaScript创建动态物体和背景动漫。
  Lettering.js
  
  Lettering.js是一个轻量经的、易于使用的 jQuery插件,可创造出极具个性的网页排版。
  Colortip
  
  Colortip可转换你的页面元素的标题属性为一系列色调丰富的提示(当你的键盘联通到不同的标题上会出现不同颜色的字体文本提示)。支持六种色彩主题,这样你可愈发容易融合到你的个人网页中去。
  Masonry
  
  Masonry是一个 jQuery布局插件. 你可以将它看作CSS floats的另一面。浮动元素的排列是先水平后垂直,Masonry排列内容是依据一个网格先垂直后水平的。
  gvChart
  
  gvChart是一个使用Google Charts了的jQuery插件,可通过HTML table tag的数据实现交互可视化。它十分容易上手,此外它支持创建五种风格的图标。
  Animated table sort
  
  这是一个用于创建表格的jQuery插件,所创建的表格可以按照不同的列项目进行A-Z,升序排列,切换疗效特别不错。
  jQuery Image Scale Carousel
  
  网站图片保持完整的纵横比比哪些都重要。这个jQuery插件可以完美地在slider展示你所有的图片,而不需害怕形成变型。 jQuery Image Scale Carousel插件手动改变你所有图片到适宜大小,一切都是这么的简单。
  YoxView
  
  YoxView是一个免费的多媒体播放jQuery插件。它适于使用,功能丰富。你可以用它来展示各类媒体,如图象,视频,内嵌的内容,iframes,Flash等等。

常用maven插件介绍(采集)

采集交流优采云 发表了文章 • 0 个评论 • 247 次浏览 • 2020-08-14 22:53 • 来自相关话题

  我们都晓得Maven本质上是一个插件框架,它的核心并不执行任何具体的建立任务,所有那些任务都交给插件来完成,例如编译源代码是由maven- compiler-plugin完成的。进一步说,每个任务对应了一个插件目标(goal),每个插件会有一个或则多个目标,例如maven- compiler-plugin的compile目标拿来编译坐落src/main/java/目录下的主源码,testCompile目标拿来编译坐落src/test/java/目录下的测试源码。
  用户可以通过两种方法调用Maven插件目标。第一种方法是将插件目标与生命周期阶段(lifecycle phase)绑定,这样用户在命令行只是输入生命周期阶段而已,例如Maven默认将maven-compiler-plugin的compile目标与 compile生命周期阶段绑定,因此命令mvn compile实际上是先定位到compile这一生命周期阶段,然后再按照绑定关系调用maven-compiler-plugin的compile目标。第二种方法是直接在命令行指定要执行的插件目标,例如mvn archetype:generate 就表示调用maven-archetype-plugin的generate目标,这种带引号的调用方法与生命周期无关。
  认识上述Maven插件的基本概念能帮助你理解Maven的工作机制,不过要想更高效率地使用Maven,了解一些常用的插件还是太有必要的,这可 以帮助你防止一不小心重新发明轮子。多年来Maven社区积累了大量的经验,并急剧产生了一个成熟的插件生态圈。Maven官方有两个插件列表,第一个列 表的GroupId为org.apache.maven.plugins,这里的插件最为成熟,具体地址为:。第二个列表的GroupId为org.codehaus.mojo,这里的插件没有这么核心,但也有不少非常有用,其地址为:。
  接下来笔者按照自己的经验介绍一些最常用的Maven插件,在不同的环境下它们各自都有其出众的表现,熟练地使用它们能使你的日常建立工作事半功倍。
  maven-antrun-plugin
  maven-antrun-plugin能使用户在Maven项目中运行Ant任务。用户可以直接在该插件的配置以Ant的形式编撰Target, 然后交给该插件的run目标去执行。在一些由Ant往Maven迁移的项目中,该插件尤其有用。此外当你发觉须要编撰一些自定义程度很高的任务,同时又觉 得Maven不够灵活时,也可以以Ant的形式实现之。maven-antrun-plugin的run目标一般与生命周期绑定运行。
  maven-archetype-plugin
  Archtype指项目的骨架,Maven初学者最开始执行的Maven命令可能就是mvn archetype:generate,这实际上就是使maven-archetype-plugin生成一个很简单的项目骨架,帮助开发者快速上手。可能也有人听到一些文档写了mvn archetype:create, 但实际上create目标早已被弃用了,取而代之的是generate目标,该目标使用交互式的方法提示用户输入必要的信息以创建项目,体验更好。 maven-archetype-plugin还有一些其他目标帮助用户自己定义项目原型,例如你由一个产品须要交付给好多顾客进行二次开发,你就可以为 他们提供一个Archtype,帮助她们快速上手。
  maven-assembly-plugin
  maven-assembly-plugin的用途是制做项目分分包,该分分包可能收录了项目的可执行文件、源代码、readme、平台脚本等等。 maven-assembly-plugin支持各类主流的格式如zip、tar.gz、jar和war等,具体打包什么文件是高度可控的,例如用户可以 按文件级别的细度、文件集级别的细度、模块级别的细度、以及依赖级别的细度控制打包,此外,收录和排除配置也是支持的。maven-assembly- plugin要求用户使用一个名为assembly.xml的元数据文件来叙述打包,它的single目标可以直接在命令行调用,也可以被绑定至生命周期。
  maven-dependency-plugin
  maven-dependency-plugin最大的用途是帮助剖析项目依赖,dependency:list才能列举项目最终解析到的依赖列表,dependency:tree能进一步的描摹项目依赖树,dependency:analyze可以告诉你项目依赖潜在的问题,如果你有直接使用到的却未申明的依赖,该目标都会发出警告。maven-dependency-plugin还有好多目标帮助你操作依赖文件,例如dependency:copy-dependencies能将项目依赖从本地Maven库房复制到某个特定的文件夹下边。
  maven-enforcer-plugin
  在一个稍大一点的组织或团队中,你没法保证所有成员都熟悉Maven,那她们做一些比较可笑的事情都会显得很正常,例如给项目引入了外部的 SNAPSHOT依赖而造成建立不稳定,使用了一个与你们不一致的Maven版本而时常埋怨建立出现奇特问题。maven-enforcer- plugin就能帮助你防止之类问题,它容许你创建一系列规则强制你们遵循,包括设定Java版本、设定Maven版本、禁止个别依赖、禁止 SNAPSHOT依赖。只要在一个父POM配置规则,然后使你们承继,当规则遭受破坏的时侯,Maven都会报错。除了标准的规则之外,你还可以扩充该插 件,编写自己的规则。maven-enforcer-plugin的enforce目标负责检测规则,它默认绑定到生命周期的validate阶段。
  maven-help-plugin
  maven-help-plugin是一个精巧的辅助工具,最简单的help:system可以复印所有可用的环境变量和Java系统属性。help:effective-pom和help:effective-settings最 为有用,它们分别复印项目的有效POM和有效settings,有效POM是指合并了所有父POM(包括Super POM)后的XML,当你不确定POM的个别信息从何而至时,就可以查看有效POM。有效settings同理,特别是当你发觉自己配置的 settings.xml没有生效时,就可以用help:effective-settings来验证。此外,maven-help-plugin的describe目标可以帮助你描述任何一个Maven插件的信息,还有all-profiles目标和active-profiles目标帮助查看项目的Profile。
  maven-release-plugin
  maven-release-plugin的用途是帮助自动化项目版本发布,它依赖于POM中的SCM信息。release:prepare拿来打算版本发布,具体的工作包括检测是否有未递交代码、检查是否有SNAPSHOT依赖、升级项目的SNAPSHOT版本至RELEASE版本、为项目打标签等等。release:perform则 是签出标签中的RELEASE源码,构建并发布。版本发布是十分繁杂的工作,它涉及了各类检测,而且因为该工作仅仅是时常须要,因此自动操作很容易遗漏一 些细节,maven-release-plugin使该工作显得十分快速简便,不易出错。maven-release-plugin的各类目标一般直接在 命令行调用,因为版本发布似乎不是日常建立生命周期的一部分。
  maven-resources-plugin
  为了让项目结构更为清晰,Maven区别对待Java代码文件和资源文件,maven-compiler-plugin拿来编译Java代码,maven-resources-plugin则拿来处理资源文件。默认的主资源文件目录是src/main/resources,很多用户会须要添加额外的资源文件目录,这个时侯就可以通过配置maven-resources-plugin来实现。此外,资源文件过滤也是Maven的一大特点,你可以在资源文件中使用${propertyName}形式的Maven属性,然后配置maven-resources-plugin开启对资源文件的过滤,之后就可以针对不同环境通过命令行或则Profile传入属性的值,以实现更为灵活的建立。
  maven-surefire-plugin
  可能是因为历史的缘由,Maven 2/3中用于执行测试的插件不是maven-test-plugin,而是maven-surefire-plugin。其实大部分时间内,只要你的测试 类遵守通用的命令约定(以Test结尾、以TestCase结尾、或者以Test开头),就几乎不用知晓该插件的存在。然而在当你想要跳过测试、排除个别 测试类、或者使用一些TestNG特点的时侯,了解maven-surefire-plugin的一些配置选项就很有用了。例如 mvn test -Dtest=FooTest 这样一条命令的疗效是仅运行FooTest测试类,这是通过控制maven-surefire-plugin的test参数实现的。
  build-helper-maven-plugin
  Maven默认只容许指定一个主Java代码目录和一个测试Java代码目录,虽然这或许是个应该尽量遵循的约定,但时常你还是会希望还能指定多个 源码目录(例如为了应对遗留项目),build-helper-maven-plugin的add-source目标就是服务于这个目的,通常它被绑定到 默认生命周期的generate-sources阶段以添加额外的源码目录。需要指出的是,这种做法还是不推荐的,因为它破坏了 Maven的约定,而且可能会碰到其他严格遵循约定的插件工具难以正确辨识额外的源码目录。
  build-helper-maven-plugin的另一个特别有用的目标是attach-artifact,使用该目标你可以以classifier的方式选定部份项目文件生成附属预制构件,并同时install到本地库房,也可以deploy到远程库房。
  exec-maven-plugin
  exec-maven-plugin挺好理解,顾名思义,它能使你运行任何本地的系统程序,在个别特定情况下,运行一个Maven外部的程序可能就是最简单的问题解决方案,这就是exec:exec的 用途,当然,该插件还容许你配置相关的程序运行参数。除了exec目标之外,exec-maven-plugin还提供了一个java目标,该目标要求你 提供一个mainClass参数,然后它还能借助当前项目的依赖作为classpath,在同一个JVM中运行该mainClass。有时候,为了简单的 演示一个命令行Java程序,你可以在POM中配置好exec-maven-plugin的相关运行参数,然后直接在命令运行 mvn exec:java 以查看运行疗效。
  jetty-maven-plugin
  在进行Web开发的时侯,打开浏览器对应用进行自动的测试几乎是难以避开的,这种测试方式一般就是将项目打包成war文件,然后布署到Web容器 中,再启动容器进行验证,这似乎非常历时。为了帮助开发者节约时间,jetty-maven-plugin应运而生,它完全兼容 Maven项目的目录结构,能够周期性地检测源文件,一旦发觉变更后手动更新到外置的Jetty Web容器中。做一些基本配置后(例如Web应用的contextPath和手动扫描变更的时间间隔),你只要执行 mvn jetty:run ,然后在IDE中更改代码,代码经IDE手动编译后形成变更,再由jetty-maven-plugin探测到后更新至Jetty容器,这时你就可以直接 测试Web页面了。需要注意的是,jetty-maven-plugin并不是寄主于Apache或Codehaus的官方插件,因此使用的时侯须要额外 的配置settings.xml的pluginGroups元素,将org.mortbay.jetty这个pluginGroup加入。
  versions-maven-plugin
  很多Maven用户碰到过这样一个问题,当项目收录大量模块的时侯,为她们集体更新版本就弄成一件可恶的事情,到底有没有自动化工具能帮助完成这件 事情呢?(当然你可以使用sed之类的文本操作工具,不过不在本文讨论范围)答案是肯定的,versions-maven- plugin提供了好多目标帮助你管理Maven项目的各类版本信息。例如最常用的,命令 mvn versions:set -DnewVersion=1.1-SNAPSHOT 就能帮助你把所有模块的版本更新到1.1-SNAPSHOT。该插件还提供了其他一些很有用的目标,display-dependency- updates能告诉你项目依赖有什么可用的更新;类似的display-plugin-updates能告诉你可用的插件更新;然后use- latest-versions能手动帮你将所有依赖升级到最新版本。最后,如果你对所做的修改满意,则可以使用 mvn versions:commit 提交,不满意的话也可以使用 mvn versions:revert 进行撤消。
  小结
  本文介绍了一些最常用的Maven插件,这里指的“常用”是指常常须要进行配置的插件,事实上我们用Maven的时侯好多其它插件也是必须的,例如 默认的编译插件maven-compiler-plugin和默认的打包插件maven-jar-plugin,但由于极少须要对它们进行配置,因此不在 本文讨论范围。了解常用的Maven插件能帮助你事倍功半地完成项目建立任务,反之你就可能会由于常常碰到一些无法解决的问题而倍感失望。本文介绍的插件 基本能覆盖大部分Maven用户的日常使用须要,如果你真有十分特殊的需求,自行编撰一个Maven插件也不是难事,更何况还有这么多开放源代码的插件供 你参考。
  本文的这个插件列表并不是一个完整列表,读者有兴趣的话也可以去仔细浏览一下Apache和Codehaus Mojo的Maven插件列表,以的到一个更为全面的认识。最后,在线的Maven库房搜索引擎如也能帮助你快速找到自己感兴趣的Maven插件。 查看全部

  我们都晓得Maven本质上是一个插件框架,它的核心并不执行任何具体的建立任务,所有那些任务都交给插件来完成,例如编译源代码是由maven- compiler-plugin完成的。进一步说,每个任务对应了一个插件目标(goal),每个插件会有一个或则多个目标,例如maven- compiler-plugin的compile目标拿来编译坐落src/main/java/目录下的主源码,testCompile目标拿来编译坐落src/test/java/目录下的测试源码。
  用户可以通过两种方法调用Maven插件目标。第一种方法是将插件目标与生命周期阶段(lifecycle phase)绑定,这样用户在命令行只是输入生命周期阶段而已,例如Maven默认将maven-compiler-plugin的compile目标与 compile生命周期阶段绑定,因此命令mvn compile实际上是先定位到compile这一生命周期阶段,然后再按照绑定关系调用maven-compiler-plugin的compile目标。第二种方法是直接在命令行指定要执行的插件目标,例如mvn archetype:generate 就表示调用maven-archetype-plugin的generate目标,这种带引号的调用方法与生命周期无关。
  认识上述Maven插件的基本概念能帮助你理解Maven的工作机制,不过要想更高效率地使用Maven,了解一些常用的插件还是太有必要的,这可 以帮助你防止一不小心重新发明轮子。多年来Maven社区积累了大量的经验,并急剧产生了一个成熟的插件生态圈。Maven官方有两个插件列表,第一个列 表的GroupId为org.apache.maven.plugins,这里的插件最为成熟,具体地址为:。第二个列表的GroupId为org.codehaus.mojo,这里的插件没有这么核心,但也有不少非常有用,其地址为:。
  接下来笔者按照自己的经验介绍一些最常用的Maven插件,在不同的环境下它们各自都有其出众的表现,熟练地使用它们能使你的日常建立工作事半功倍。
  maven-antrun-plugin
  maven-antrun-plugin能使用户在Maven项目中运行Ant任务。用户可以直接在该插件的配置以Ant的形式编撰Target, 然后交给该插件的run目标去执行。在一些由Ant往Maven迁移的项目中,该插件尤其有用。此外当你发觉须要编撰一些自定义程度很高的任务,同时又觉 得Maven不够灵活时,也可以以Ant的形式实现之。maven-antrun-plugin的run目标一般与生命周期绑定运行。
  maven-archetype-plugin
  Archtype指项目的骨架,Maven初学者最开始执行的Maven命令可能就是mvn archetype:generate,这实际上就是使maven-archetype-plugin生成一个很简单的项目骨架,帮助开发者快速上手。可能也有人听到一些文档写了mvn archetype:create, 但实际上create目标早已被弃用了,取而代之的是generate目标,该目标使用交互式的方法提示用户输入必要的信息以创建项目,体验更好。 maven-archetype-plugin还有一些其他目标帮助用户自己定义项目原型,例如你由一个产品须要交付给好多顾客进行二次开发,你就可以为 他们提供一个Archtype,帮助她们快速上手。
  maven-assembly-plugin
  maven-assembly-plugin的用途是制做项目分分包,该分分包可能收录了项目的可执行文件、源代码、readme、平台脚本等等。 maven-assembly-plugin支持各类主流的格式如zip、tar.gz、jar和war等,具体打包什么文件是高度可控的,例如用户可以 按文件级别的细度、文件集级别的细度、模块级别的细度、以及依赖级别的细度控制打包,此外,收录和排除配置也是支持的。maven-assembly- plugin要求用户使用一个名为assembly.xml的元数据文件来叙述打包,它的single目标可以直接在命令行调用,也可以被绑定至生命周期。
  maven-dependency-plugin
  maven-dependency-plugin最大的用途是帮助剖析项目依赖,dependency:list才能列举项目最终解析到的依赖列表,dependency:tree能进一步的描摹项目依赖树,dependency:analyze可以告诉你项目依赖潜在的问题,如果你有直接使用到的却未申明的依赖,该目标都会发出警告。maven-dependency-plugin还有好多目标帮助你操作依赖文件,例如dependency:copy-dependencies能将项目依赖从本地Maven库房复制到某个特定的文件夹下边。
  maven-enforcer-plugin
  在一个稍大一点的组织或团队中,你没法保证所有成员都熟悉Maven,那她们做一些比较可笑的事情都会显得很正常,例如给项目引入了外部的 SNAPSHOT依赖而造成建立不稳定,使用了一个与你们不一致的Maven版本而时常埋怨建立出现奇特问题。maven-enforcer- plugin就能帮助你防止之类问题,它容许你创建一系列规则强制你们遵循,包括设定Java版本、设定Maven版本、禁止个别依赖、禁止 SNAPSHOT依赖。只要在一个父POM配置规则,然后使你们承继,当规则遭受破坏的时侯,Maven都会报错。除了标准的规则之外,你还可以扩充该插 件,编写自己的规则。maven-enforcer-plugin的enforce目标负责检测规则,它默认绑定到生命周期的validate阶段。
  maven-help-plugin
  maven-help-plugin是一个精巧的辅助工具,最简单的help:system可以复印所有可用的环境变量和Java系统属性。help:effective-pom和help:effective-settings最 为有用,它们分别复印项目的有效POM和有效settings,有效POM是指合并了所有父POM(包括Super POM)后的XML,当你不确定POM的个别信息从何而至时,就可以查看有效POM。有效settings同理,特别是当你发觉自己配置的 settings.xml没有生效时,就可以用help:effective-settings来验证。此外,maven-help-plugin的describe目标可以帮助你描述任何一个Maven插件的信息,还有all-profiles目标和active-profiles目标帮助查看项目的Profile。
  maven-release-plugin
  maven-release-plugin的用途是帮助自动化项目版本发布,它依赖于POM中的SCM信息。release:prepare拿来打算版本发布,具体的工作包括检测是否有未递交代码、检查是否有SNAPSHOT依赖、升级项目的SNAPSHOT版本至RELEASE版本、为项目打标签等等。release:perform则 是签出标签中的RELEASE源码,构建并发布。版本发布是十分繁杂的工作,它涉及了各类检测,而且因为该工作仅仅是时常须要,因此自动操作很容易遗漏一 些细节,maven-release-plugin使该工作显得十分快速简便,不易出错。maven-release-plugin的各类目标一般直接在 命令行调用,因为版本发布似乎不是日常建立生命周期的一部分。
  maven-resources-plugin
  为了让项目结构更为清晰,Maven区别对待Java代码文件和资源文件,maven-compiler-plugin拿来编译Java代码,maven-resources-plugin则拿来处理资源文件。默认的主资源文件目录是src/main/resources,很多用户会须要添加额外的资源文件目录,这个时侯就可以通过配置maven-resources-plugin来实现。此外,资源文件过滤也是Maven的一大特点,你可以在资源文件中使用${propertyName}形式的Maven属性,然后配置maven-resources-plugin开启对资源文件的过滤,之后就可以针对不同环境通过命令行或则Profile传入属性的值,以实现更为灵活的建立。
  maven-surefire-plugin
  可能是因为历史的缘由,Maven 2/3中用于执行测试的插件不是maven-test-plugin,而是maven-surefire-plugin。其实大部分时间内,只要你的测试 类遵守通用的命令约定(以Test结尾、以TestCase结尾、或者以Test开头),就几乎不用知晓该插件的存在。然而在当你想要跳过测试、排除个别 测试类、或者使用一些TestNG特点的时侯,了解maven-surefire-plugin的一些配置选项就很有用了。例如 mvn test -Dtest=FooTest 这样一条命令的疗效是仅运行FooTest测试类,这是通过控制maven-surefire-plugin的test参数实现的。
  build-helper-maven-plugin
  Maven默认只容许指定一个主Java代码目录和一个测试Java代码目录,虽然这或许是个应该尽量遵循的约定,但时常你还是会希望还能指定多个 源码目录(例如为了应对遗留项目),build-helper-maven-plugin的add-source目标就是服务于这个目的,通常它被绑定到 默认生命周期的generate-sources阶段以添加额外的源码目录。需要指出的是,这种做法还是不推荐的,因为它破坏了 Maven的约定,而且可能会碰到其他严格遵循约定的插件工具难以正确辨识额外的源码目录。
  build-helper-maven-plugin的另一个特别有用的目标是attach-artifact,使用该目标你可以以classifier的方式选定部份项目文件生成附属预制构件,并同时install到本地库房,也可以deploy到远程库房。
  exec-maven-plugin
  exec-maven-plugin挺好理解,顾名思义,它能使你运行任何本地的系统程序,在个别特定情况下,运行一个Maven外部的程序可能就是最简单的问题解决方案,这就是exec:exec的 用途,当然,该插件还容许你配置相关的程序运行参数。除了exec目标之外,exec-maven-plugin还提供了一个java目标,该目标要求你 提供一个mainClass参数,然后它还能借助当前项目的依赖作为classpath,在同一个JVM中运行该mainClass。有时候,为了简单的 演示一个命令行Java程序,你可以在POM中配置好exec-maven-plugin的相关运行参数,然后直接在命令运行 mvn exec:java 以查看运行疗效。
  jetty-maven-plugin
  在进行Web开发的时侯,打开浏览器对应用进行自动的测试几乎是难以避开的,这种测试方式一般就是将项目打包成war文件,然后布署到Web容器 中,再启动容器进行验证,这似乎非常历时。为了帮助开发者节约时间,jetty-maven-plugin应运而生,它完全兼容 Maven项目的目录结构,能够周期性地检测源文件,一旦发觉变更后手动更新到外置的Jetty Web容器中。做一些基本配置后(例如Web应用的contextPath和手动扫描变更的时间间隔),你只要执行 mvn jetty:run ,然后在IDE中更改代码,代码经IDE手动编译后形成变更,再由jetty-maven-plugin探测到后更新至Jetty容器,这时你就可以直接 测试Web页面了。需要注意的是,jetty-maven-plugin并不是寄主于Apache或Codehaus的官方插件,因此使用的时侯须要额外 的配置settings.xml的pluginGroups元素,将org.mortbay.jetty这个pluginGroup加入。
  versions-maven-plugin
  很多Maven用户碰到过这样一个问题,当项目收录大量模块的时侯,为她们集体更新版本就弄成一件可恶的事情,到底有没有自动化工具能帮助完成这件 事情呢?(当然你可以使用sed之类的文本操作工具,不过不在本文讨论范围)答案是肯定的,versions-maven- plugin提供了好多目标帮助你管理Maven项目的各类版本信息。例如最常用的,命令 mvn versions:set -DnewVersion=1.1-SNAPSHOT 就能帮助你把所有模块的版本更新到1.1-SNAPSHOT。该插件还提供了其他一些很有用的目标,display-dependency- updates能告诉你项目依赖有什么可用的更新;类似的display-plugin-updates能告诉你可用的插件更新;然后use- latest-versions能手动帮你将所有依赖升级到最新版本。最后,如果你对所做的修改满意,则可以使用 mvn versions:commit 提交,不满意的话也可以使用 mvn versions:revert 进行撤消。
  小结
  本文介绍了一些最常用的Maven插件,这里指的“常用”是指常常须要进行配置的插件,事实上我们用Maven的时侯好多其它插件也是必须的,例如 默认的编译插件maven-compiler-plugin和默认的打包插件maven-jar-plugin,但由于极少须要对它们进行配置,因此不在 本文讨论范围。了解常用的Maven插件能帮助你事倍功半地完成项目建立任务,反之你就可能会由于常常碰到一些无法解决的问题而倍感失望。本文介绍的插件 基本能覆盖大部分Maven用户的日常使用须要,如果你真有十分特殊的需求,自行编撰一个Maven插件也不是难事,更何况还有这么多开放源代码的插件供 你参考。
  本文的这个插件列表并不是一个完整列表,读者有兴趣的话也可以去仔细浏览一下Apache和Codehaus Mojo的Maven插件列表,以的到一个更为全面的认识。最后,在线的Maven库房搜索引擎如也能帮助你快速找到自己感兴趣的Maven插件。

autopost手动采集插件破解版,可无限安装

采集交流优采云 发表了文章 • 0 个评论 • 435 次浏览 • 2020-08-13 19:54 • 来自相关话题

  autopost 插件可以采集来自于任何网站的内容并全手动更新你的WordPress站点。它使用十分简单,无需复杂设置,并且足够强悍和稳定,支持wordpress所有特点。
  可采集任何网站的内容,采集信息一目了然
  通过简单设置可采集来自于任何网站的内容,并可设置多个采集任务同时进行,可设置任务为手动运行或自动运行,主任务列表显示每位采集任务的状况:上次测量采集时间,预计上次测量采集时间,最近采集文章,已采集更新的文章数等信息,方便查看管理。
  文章管理功能便捷查询、搜索、删除已采集文章,改进算法已从根本上避免了重复采集相同文章,日志功能记录采集过程中出现的异常和抓取错误,方便检测设置错误便于进行修补。
  启用任务后,全手动采集更新,无需人工干预
  启用任务后,定时检查是否有新文章可更新,检测文章是否重复,导入更新文章,这一切操作程序都是全手动完成,无需人工干预。
  有两种触发采集更新方法,一种是在页面内添加代码由用户访问触发采集更新(后台异步进行,不影响用户体验,也不影响网站效率),另外可以用Cron计划任务定时触发采集更新任务
  定向采集,支持键值匹配、或CSS选择器精确采集任何内容,支持采集多层级文章列表、支持采集正文分页内容、支持采集多层级正文内容
  基本设置功能齐全,完美支持Wordpress各类功能,可手动设置分类目录、标签、摘要、特色图片、自定义栏目等;也可采集目标网站的分类目录、标签等信息后,可手动生成并添加相应分类目录、标签等信息
  下载地址:autopost 查看全部

  autopost 插件可以采集来自于任何网站的内容并全手动更新你的WordPress站点。它使用十分简单,无需复杂设置,并且足够强悍和稳定,支持wordpress所有特点。
  可采集任何网站的内容,采集信息一目了然
  通过简单设置可采集来自于任何网站的内容,并可设置多个采集任务同时进行,可设置任务为手动运行或自动运行,主任务列表显示每位采集任务的状况:上次测量采集时间,预计上次测量采集时间,最近采集文章,已采集更新的文章数等信息,方便查看管理。
  文章管理功能便捷查询、搜索、删除已采集文章,改进算法已从根本上避免了重复采集相同文章,日志功能记录采集过程中出现的异常和抓取错误,方便检测设置错误便于进行修补。
  启用任务后,全手动采集更新,无需人工干预
  启用任务后,定时检查是否有新文章可更新,检测文章是否重复,导入更新文章,这一切操作程序都是全手动完成,无需人工干预。
  有两种触发采集更新方法,一种是在页面内添加代码由用户访问触发采集更新(后台异步进行,不影响用户体验,也不影响网站效率),另外可以用Cron计划任务定时触发采集更新任务
  定向采集,支持键值匹配、或CSS选择器精确采集任何内容,支持采集多层级文章列表、支持采集正文分页内容、支持采集多层级正文内容
  基本设置功能齐全,完美支持Wordpress各类功能,可手动设置分类目录、标签、摘要、特色图片、自定义栏目等;也可采集目标网站的分类目录、标签等信息后,可手动生成并添加相应分类目录、标签等信息
  下载地址:autopost

WP-AutoPost Pro v3.7

采集交流优采云 发表了文章 • 0 个评论 • 168 次浏览 • 2020-08-13 00:15 • 来自相关话题

  
  WP-AutoPost Pro v3.7.5 是目前最好的 WordPress 采集器
  以前做站群的时侯,我们用优采云采集器来为给网站建设内容。不得不承认,优采云是一款十分优秀的采集器,适合于各类类型的网站。但是,所谓术业有专攻,咱们用 WordPress 建站还得须要一个属于 WP 自己的采集插件。WP-AutoPost Pro 的优点在于它使用十分简单,无需复杂设置,并且足够强悍和稳定,支持 WordPress 所有特点。
  WP-AutoPost Pro 在采集方面有哪些优势?
  一、安装便捷,全手动采集,实现无人值守
  WP-AutoPost 可以直接在后台插件面板上传安装,只须要点击几下,就可以激活使用。激活后,你可以听到 WP-AutoPost 的管理面板被集成在了两侧,各种采集规则设置一目了然,即便是 WordPress 新手也能很快上手。等到配置完采集规则后,即可以开启任务,WP-AutoPost 会手动采集好目标站的内容,自动发布到你的网站里。
  二、采集规则配置简单,支持键值和 CSS,完美支持 WordPress 各种功能
  相比于优采云采集器的冗长规则,WP-AutoPost Pro 真正做到了人性化,它的定向采集只须要提供文章列表 URL 即可智能采集来自于任何网站或栏目的内容。支持采集标题,正文,可手动设置分类目录、标签、摘要、特色图片,支持自定义栏目、自定义文章类型等。
  三、中英文翻译,伪原创的支持
  相信好多站长有伪原创这方面的需求,来取悦搜索引擎的喜好。WP-AutoPost Pro 巧妙的外置了各类伪原创工具,支持百度翻译(需要配置插口),也支持美国最优秀伪原创工具 WordAi,Spin Rewriter 等。
  四、支持图片等附件下载,支持添加水印,支持 Flick、七牛云等第三方图片储存
  WP-AutoPost Pro 还有个令人赞叹的地方是支持远程图片下载到本地服务器,也可以下载到象 Flick、七牛云等第三方图片储存,并且可以为图片加上水印(文本水印和图片水印)。
  五、强大的 SEO 设置选项
  像优采云一样,WP-AutoPost 采集插件也支持 HTML 标签过滤,关键词替换,自动添加链接,添加自定义内容,自定义文章样式等,最大限度得让采集的内容区别于原网站的内容,利于搜索引擎排名。
  点击这儿获取破解版 查看全部

  
  WP-AutoPost Pro v3.7.5 是目前最好的 WordPress 采集
  以前做站群的时侯,我们用优采云采集器来为给网站建设内容。不得不承认,优采云是一款十分优秀的采集器,适合于各类类型的网站。但是,所谓术业有专攻,咱们用 WordPress 建站还得须要一个属于 WP 自己的采集插件。WP-AutoPost Pro 的优点在于它使用十分简单,无需复杂设置,并且足够强悍和稳定,支持 WordPress 所有特点。
  WP-AutoPost Pro 在采集方面有哪些优势?
  一、安装便捷,全手动采集,实现无人值守
  WP-AutoPost 可以直接在后台插件面板上传安装,只须要点击几下,就可以激活使用。激活后,你可以听到 WP-AutoPost 的管理面板被集成在了两侧,各种采集规则设置一目了然,即便是 WordPress 新手也能很快上手。等到配置完采集规则后,即可以开启任务,WP-AutoPost 会手动采集好目标站的内容,自动发布到你的网站里。
  二、采集规则配置简单,支持键值和 CSS,完美支持 WordPress 各种功能
  相比于优采云采集器的冗长规则,WP-AutoPost Pro 真正做到了人性化,它的定向采集只须要提供文章列表 URL 即可智能采集来自于任何网站或栏目的内容。支持采集标题,正文,可手动设置分类目录、标签、摘要、特色图片,支持自定义栏目、自定义文章类型等。
  三、中英文翻译,伪原创的支持
  相信好多站长有伪原创这方面的需求,来取悦搜索引擎的喜好。WP-AutoPost Pro 巧妙的外置了各类伪原创工具,支持百度翻译(需要配置插口),也支持美国最优秀伪原创工具 WordAi,Spin Rewriter 等。
  四、支持图片等附件下载,支持添加水印,支持 Flick、七牛云等第三方图片储存
  WP-AutoPost Pro 还有个令人赞叹的地方是支持远程图片下载到本地服务器,也可以下载到象 Flick、七牛云等第三方图片储存,并且可以为图片加上水印(文本水印和图片水印)。
  五、强大的 SEO 设置选项
  像优采云一样,WP-AutoPost 采集插件也支持 HTML 标签过滤,关键词替换,自动添加链接,添加自定义内容,自定义文章样式等,最大限度得让采集的内容区别于原网站的内容,利于搜索引擎排名。
  点击这儿获取破解版

DXC采集插件规则写法:2、DOM规则写法

采集交流优采云 发表了文章 • 0 个评论 • 340 次浏览 • 2020-08-11 01:40 • 来自相关话题

  匹配不具有指定属性的元素。 如div[!id]表示 查找所有没有id属性的
  [属性=value]
  匹配具有指定属性值的元素。如div[id=test]表示查找id=test的div元素
  [属性!=value]
  匹配不具有指定属性值的元素。 如div[id!=test]表示查找id不等于test的div元素
  [属性^=value]
  匹配收录特定前缀的值的指定属性的元素。如div[id^=test]表示查找id前缀为test的div元素
  [属性$=value]
  匹配收录特定后缀的值的指定属性的元素。如div[id$=test]表示查找id后缀为test的div元素
  [属性*=value]
  匹配具有指定属性的元素,且该属性收录了一定的值。如div[id*=test]表示查找id收录test的div元素
  2.5版本降低的写法:规则组合可以把几个规则组合在一起,比如下边几个实例:
  网页源代码:
  
  示例一:普通写法(无法获取多个内容)
  
  示例二:组合写法
  
  示例三:在组合规则上面嵌入自定义代码
  
  取第N个元素:源代码如下图:
  
  如果想取第三个li上面的内容,怎么写规则?
  2.5版本新增了一种写法可以解决此问题,写法:li[N],N代表第几个元素,从0开始,0代表第一个元素,1代表第二个元素,以此类推
  如下图:
  
  第1个元素:li[0]
  第2个元素:li[1]
  ……
  第N个元素:li[N-1]
  DOM写法实战用DOM规则获取文章列表链接
  获取链接列表稍稍和获取标题,内容等不同,分为两行,第一行是列表的获取规则,第二行设置a标签的属性
  示例一:
  源代码如下图:
  
  获取规则如图:
  
  示例二:
  以获取腾讯新闻列表链接为例,网址:
  分析结构,如下图:
  
  结构比较简单,我们可以这样写:
  ul.list01 li
a
  测试截图:
  
  此外,写法并不是惟一的,只要满足条件之一才能找到列表
  如这个写法也能获取到列表:
  ul.font_s_14 li
a
  下面这个写法也同样可以获取到链接:
  ul[class=list01 font_s_14 line_h_25] li
a
  用dom获取文章标题和内容
  举腾讯的这篇文章为反例
  分析结构如图:
  
  dom写法是:
  div.hd h1
  大家可以在采集器中测试一下,为节约版面,我就不截图了 。
  内容的获取和标题一样的写法,在此不再碍眼。 查看全部

  匹配不具有指定属性的元素。 如div[!id]表示 查找所有没有id属性的
  [属性=value]
  匹配具有指定属性值的元素。如div[id=test]表示查找id=test的div元素
  [属性!=value]
  匹配不具有指定属性值的元素。 如div[id!=test]表示查找id不等于test的div元素
  [属性^=value]
  匹配收录特定前缀的值的指定属性的元素。如div[id^=test]表示查找id前缀为test的div元素
  [属性$=value]
  匹配收录特定后缀的值的指定属性的元素。如div[id$=test]表示查找id后缀为test的div元素
  [属性*=value]
  匹配具有指定属性的元素,且该属性收录了一定的值。如div[id*=test]表示查找id收录test的div元素
  2.5版本降低的写法:规则组合可以把几个规则组合在一起,比如下边几个实例:
  网页源代码:
  
  示例一:普通写法(无法获取多个内容)
  
  示例二:组合写法
  
  示例三:在组合规则上面嵌入自定义代码
  
  取第N个元素:源代码如下图:
  
  如果想取第三个li上面的内容,怎么写规则?
  2.5版本新增了一种写法可以解决此问题,写法:li[N],N代表第几个元素,从0开始,0代表第一个元素,1代表第二个元素,以此类推
  如下图:
  
  第1个元素:li[0]
  第2个元素:li[1]
  ……
  第N个元素:li[N-1]
  DOM写法实战用DOM规则获取文章列表链接
  获取链接列表稍稍和获取标题,内容等不同,分为两行,第一行是列表的获取规则,第二行设置a标签的属性
  示例一:
  源代码如下图:
  
  获取规则如图:
  
  示例二:
  以获取腾讯新闻列表链接为例,网址:
  分析结构,如下图:
  
  结构比较简单,我们可以这样写:
  ul.list01 li
a
  测试截图:
  
  此外,写法并不是惟一的,只要满足条件之一才能找到列表
  如这个写法也能获取到列表:
  ul.font_s_14 li
a
  下面这个写法也同样可以获取到链接:
  ul[class=list01 font_s_14 line_h_25] li
a
  用dom获取文章标题和内容
  举腾讯的这篇文章为反例
  分析结构如图:
  
  dom写法是:
  div.hd h1
  大家可以在采集器中测试一下,为节约版面,我就不截图了 。
  内容的获取和标题一样的写法,在此不再碍眼。

ELK日志采集和查询方式

采集交流优采云 发表了文章 • 0 个评论 • 404 次浏览 • 2020-08-11 01:32 • 来自相关话题

  我是个目录
  回顾
  前两篇文章简单的介绍了JAVA通过代码怎样使用MDC进行日志复印,去查看log4j MDC用户操作日志追踪配置,以及ELK平台的搭建,去查看log4j MDC用户操作日志追踪配置。接下来将结合实际案例,简单介绍生产服务器的日志怎样被logstash进行采集,并统一汇总,使得我们就能快速、方便、高效的查询日志,并且可以便捷定位到该条日志是哪台服务器形成的,再也不用盲目的翻遍所有的生产服务器,只为找到出问题的那一台机器。
  logstash日志采集
  因为我们复印的日志各种各样,为了让我们能否便捷的通过kibana进行检索,我们须要在logstash配置对应的采集规则,如果你啥也不做,只是简单的采集,可能会出现一些意想不到的错误。
  日志搜集是按行来搜集的,当你的日志发生了换行,这时候换行的那几行就被觉得是独立的一行,这样采集到的日志可读性太差假如你使用了MDC,配置了log4j的日志格式输出,不配规则的话一整行就会被采集到message数组,此时你要按照某个数组快速搜索的话基本也是不可能的事情了
  基于以上可能出现的“错误”,我们须要针对当前项目的日志配置文件制订一套属于自己的搜集规则。
  其实logstash的配置文件很简单,基本就以下的套路,日志源从哪儿来(input输入插件),通过什么样的规则(filter过滤插件),最终将日志输出到哪些地方(output输出插件)
  # 输入
input {
...
}
# 过滤器
filter {
...
}
# 输出
output {
...
}
  因为我们这儿介绍的是项目日志的采集,所以input其实是从file文件中来,配置如下:
  input {
file {
type => "wechat-log"
path => ["/usr/local/tomcat/logs/wechat/*.log"]
codec => multiline{
pattern => "^\[%{TIMESTAMP_ISO8601}\]"
what => "previous"
negate => true
}
start_position => "beginning"
}
}
  其中path是日志采集的地方,从日志文件的第一行开始采集,定义一个type(一般最后它就是kibana的索引)。
  codec插件
  这里codec的上场才能解决例如我们上面提及的日志换行的问题。在logstash读入的时侯,通过codec编码解析日志为相应格式,从logstash输出的时侯,通过codec解码成相应格式。当我们的应用程序复印出具有换行的日志的时侯,比如ERROR日志,一般有错误堆栈消息,各种at开头的一行,我们可以通过multiline来进行处理,让logstash觉得这一行是属于上一行的内容,而不是把它作为新的一行进行处理。
  一般我们的tomcat日志都是以时间开头的,对于象at那个堆栈的信息都是不存在时间的,所以我们可以配置正则表达式【^[%{TIMESTAMP_ISO8601}]】,只有当以时间开头的一行才算新的一行,不是时间开头的就属于后面【what=>previous】或者前面的【what=>next】,这里我们配置属于后面的。
  上述的配置以后解决了换行问题,那么接下来我们还须要处理按数组进行日志切分的。
  grok插件
  在grok中,支持以正则表达式的形式提取日志信息,其中,正则表达式又分两种,一种是外置的正则表达式,一种是自定义的正则表达式,当外置的正则表达式不能满足我们的需求的时侯,我们就要上自定义的正则表达式了,但是外置的基本满足我们的需求了。具体细节可以查看grok介绍
  假设我们的日志配置文件是这样配置的:
  我们设置了merchant、openid、queryType、orderId、wechatOrderId、input、source7个数组,生产服务器复印的日志将会是以下格式:
  [2019-01-27 17:51:22.051] - iPhoneBaoXiu - oisb3smtzToo7jNA4abazKktnECQ - senior - aa4820190127175110 - 4200000283201901277968491434 - 352982093855677 - 1 - INFO com.apple.wechat.service.Worker:401 - 发送模板消息,查询结果为:[email protected]
[2019-01-27 17:51:22.230] - iPhoneBaoXiu - oisb3smtzToo7jNA4abazKktnECQ - senior - aa4820190127175110 - 42000002832019277968491434 - 352982093855677 - 1 - ERROR me.chanjar.weixin.mp.api.impl.WxMpServiceImpl:403 -
[URL]: https://api.weixin.qq.com/cgi- ... /send
[PARAMS]: {"touser":"olC5FwLnXjtCbQsW76lkevV57nH0","template_id":"Qt1zyzQs4R1uPrJylGQLSUTS6QcG6UyWB2zDzGt7QGY","url":"http://mp.weixin.qq.com/bizmal ... ot%3B,"data":{"first":{"value":"查询结果","color":"#B452CD"},"keyword1":{"value":"aa4820190127175110","color":"#FF4040"},"keyword2":{"value":"352982093855677","color":"#FF4040"},"keyword3":{"value":"1.00元","color":"#FF4040"},"remark":********************}
[RESPONSE]: {"errcode":40003,"errmsg":"invalid openid hint: [mLJNpa06824120]"}
[2019-01-27 17:51:22.230] - iPhoneBaoXiu - oisb3smtzToo7jNA4abazKktnECQ - senior - aa4820190127175110 - 4200000283201901277968491434 - 352982093855677 - 1 - ERROR com.apple.wechat.service.Worker:405 - 发送模板消息失败,{"errcode":40003,"errmsg":"invalid openid hint: [mLJNpa06824120]"}
[2019-01-27 17:51:22.231] - iPhoneBaoXiu - oisb3smtzToo7jNA4abazKktnECQ - senior - aa4820190127175110 - 4200000283201901277968491434 - 352982093855677 - 1 - INFO com.apple.wechat.service.RefundService:57 - 开始发起退款,退款订单id:2056653,微信订单号:4200000283201901277968491434
[2019-01-27 17:51:22.463] - - - - - - - - INFO com.apple.wechat.service.Worker:94 - 执行任务:QueryTask{msg='C39XQ4NFKPGN', fromUserId='oOEvtjsGdmAKrZx81zsACqBjjdsA', merchant='MLdress', type='senior', authUserId='olC5FwH40UpZakKBZRls_t_HR9Ew', price='1.00', tradeNo='e50b20190127175115', model='', orderId=2056654, needRefund=false, needRedo=false, sendMsg=false, msgType='1', lat='', lon='', token='e50ba187b2f84297b60fc14699748679', wechatOrderNo='4200000269201901277039023012'}
[2019-01-27 17:51:23.327] - iPhoneBaoXiu - oisb3smtzToo7jNA4abazKktnECQ - senior - aa4820190127175110 - 4200000283201901277968491434 - 352982093855677 - 1 - INFO com.apple.wechat.service.RefundService:97 - 退款结果:success, 实付金额:1.00,发起退款金额:1.00
[2019-01-27 17:51:26.876] - - - - - - - - INFO com.apple.wechat.service.Worker:94 - 执行任务:QueryTask{msg='C39T81JEHG01', fromUserId='oOEvtjotDEF8doO3xVxyJ0-dCqFM', merchant='MLdress', type='normal', authUserId='', price='', tradeNo='', model='', orderId=0, needRefund=false, needRedo=false, sendMsg=false, msgType='1', lat='', lon='', token='', wechatOrderNo=''}
[2019-01-27 17:51:28.003] - MLdress - oOEvtjsGdmAKrZx81zsACqBjjdsA - senior - e50b20190127175115 - 4200000269201901277039023012 - C39XQ4NFKPGN - 1 - INFO com.apple.wechat.util.HttpUtils:125 - http execute cost total seconds 5540
  我们可以通过以下正则表达式将日志进行切割,并把内容形参给对应的数组
  filter {
grok {
match => ["message", "\[%{TIMESTAMP_ISO8601:logdate}\] - (?[\b\w\s]*) - (?[\u4e00-\u9fa5\b\w\s]*) - (?[\b\w\s]*) - (?[\b\w\s]*) - (?[\b\w\s]*) - (?[\b\w\s]*) - (?[\b\w\s]*) - %{WORD:level}\s*%{JAVACLASS:class}:%{NUMBER:lineNumber} - (?[\W\w\S\s]*)"]
}
date {
match => ["logdate", "yyyy-MM-dd HH:mm:ss.SSS"]
target => "@timestamp"
}
}
  (? [\b\w\s]*) 代表使用[]里面的正则,把辨识的结果放在merchant这个数组上面,其他类似。至于这儿的match怎么输写,跟你的日志配置文件及你想要的疗效有很大的关联,所以只能渐渐调试,直到你写的match才能正确切割出你的日志文件。在线测试你的正则表达式是否可以匹配项目输出的日志测试工具传送门
  完整的配置文件
  input {
file {
type => "wechat-log"
path => ["/usr/local/tomcat/logs/wechat/*.log"]
codec => multiline{
pattern => "^\[%{TIMESTAMP_ISO8601}\]"
what => "previous"
negate => true
}
start_position => "beginning"
}
}
filter {
grok {
match => ["message", "\[%{TIMESTAMP_ISO8601:logdate}\] - (?[\b\w\s]*) - (?[\u4e00-\u9fa5\b\w\s]*) - (?[\b\w\s]*) - (?[\b\w\s]*) - (?[\b\w\s]*) - (?[\b\w\s]*) - (?[\b\w\s]*) - %{WORD:level}\s*%{JAVACLASS:class}:%{NUMBER:lineNumber} - (?[\W\w\S\s]*)"]
}
date {
match => ["logdate", "yyyy-MM-dd HH:mm:ss.SSS"]
target => "@timestamp"
}
}
output {
elasticsearch {
hosts => "**************:9200"
index => "logstash-%{type}"
template_overwrite => true
}
}
  保存后启动logstash即可。命令:
  nohup ./bin/logstash agent -f config/log.conf &
  kibana操作首先是创建索引,因为我们的output配置了index为logstash-%{type},所以对于的索引为:logstash-wechat-log创建完索引,我们能发觉kibana里面列举了我们上面定义的数组,如下图。
  
  接下来我们就可以通过各类条件来进行日志的搜索了。
  假设我们要搜索商户是MLdress,用户输入内容为3565的日志信息,那么我们只须要输入【merchant:MLdress AND input:3565】即可搜索出对应的日志,如下图。
  
  总结
  通过在代码使用MDC进行规范的日志复印,在结合logstash提供的强悍的日志采集插件,我们可以将所有服务器的日志统一上报到es,并通过kibana进行放飞自我的查询操作,只有这样就能极大的提升日常开发效率。程序员不仅要会写代码之外,另外一项加分项那肯定是具有快速发觉和定位问题的能力了,如果没有ELK这样的工具,那快速发觉及定位虽然是比较困难的。
  所以,你懂的,赶紧用上去吧。 查看全部

  我是个目录
  回顾
  前两篇文章简单的介绍了JAVA通过代码怎样使用MDC进行日志复印,去查看log4j MDC用户操作日志追踪配置,以及ELK平台的搭建,去查看log4j MDC用户操作日志追踪配置。接下来将结合实际案例,简单介绍生产服务器的日志怎样被logstash进行采集,并统一汇总,使得我们就能快速、方便、高效的查询日志,并且可以便捷定位到该条日志是哪台服务器形成的,再也不用盲目的翻遍所有的生产服务器,只为找到出问题的那一台机器。
  logstash日志采集
  因为我们复印的日志各种各样,为了让我们能否便捷的通过kibana进行检索,我们须要在logstash配置对应的采集规则,如果你啥也不做,只是简单的采集,可能会出现一些意想不到的错误。
  日志搜集是按行来搜集的,当你的日志发生了换行,这时候换行的那几行就被觉得是独立的一行,这样采集到的日志可读性太差假如你使用了MDC,配置了log4j的日志格式输出,不配规则的话一整行就会被采集到message数组,此时你要按照某个数组快速搜索的话基本也是不可能的事情了
  基于以上可能出现的“错误”,我们须要针对当前项目的日志配置文件制订一套属于自己的搜集规则。
  其实logstash的配置文件很简单,基本就以下的套路,日志源从哪儿来(input输入插件),通过什么样的规则(filter过滤插件),最终将日志输出到哪些地方(output输出插件)
  # 输入
input {
...
}
# 过滤器
filter {
...
}
# 输出
output {
...
}
  因为我们这儿介绍的是项目日志的采集,所以input其实是从file文件中来,配置如下:
  input {
file {
type => "wechat-log"
path => ["/usr/local/tomcat/logs/wechat/*.log"]
codec => multiline{
pattern => "^\[%{TIMESTAMP_ISO8601}\]"
what => "previous"
negate => true
}
start_position => "beginning"
}
}
  其中path是日志采集的地方,从日志文件的第一行开始采集,定义一个type(一般最后它就是kibana的索引)。
  codec插件
  这里codec的上场才能解决例如我们上面提及的日志换行的问题。在logstash读入的时侯,通过codec编码解析日志为相应格式,从logstash输出的时侯,通过codec解码成相应格式。当我们的应用程序复印出具有换行的日志的时侯,比如ERROR日志,一般有错误堆栈消息,各种at开头的一行,我们可以通过multiline来进行处理,让logstash觉得这一行是属于上一行的内容,而不是把它作为新的一行进行处理。
  一般我们的tomcat日志都是以时间开头的,对于象at那个堆栈的信息都是不存在时间的,所以我们可以配置正则表达式【^[%{TIMESTAMP_ISO8601}]】,只有当以时间开头的一行才算新的一行,不是时间开头的就属于后面【what=>previous】或者前面的【what=>next】,这里我们配置属于后面的。
  上述的配置以后解决了换行问题,那么接下来我们还须要处理按数组进行日志切分的。
  grok插件
  在grok中,支持以正则表达式的形式提取日志信息,其中,正则表达式又分两种,一种是外置的正则表达式,一种是自定义的正则表达式,当外置的正则表达式不能满足我们的需求的时侯,我们就要上自定义的正则表达式了,但是外置的基本满足我们的需求了。具体细节可以查看grok介绍
  假设我们的日志配置文件是这样配置的:
  我们设置了merchant、openid、queryType、orderId、wechatOrderId、input、source7个数组,生产服务器复印的日志将会是以下格式:
  [2019-01-27 17:51:22.051] - iPhoneBaoXiu - oisb3smtzToo7jNA4abazKktnECQ - senior - aa4820190127175110 - 4200000283201901277968491434 - 352982093855677 - 1 - INFO com.apple.wechat.service.Worker:401 - 发送模板消息,查询结果为:[email protected]
[2019-01-27 17:51:22.230] - iPhoneBaoXiu - oisb3smtzToo7jNA4abazKktnECQ - senior - aa4820190127175110 - 42000002832019277968491434 - 352982093855677 - 1 - ERROR me.chanjar.weixin.mp.api.impl.WxMpServiceImpl:403 -
[URL]: https://api.weixin.qq.com/cgi- ... /send
[PARAMS]: {"touser":"olC5FwLnXjtCbQsW76lkevV57nH0","template_id":"Qt1zyzQs4R1uPrJylGQLSUTS6QcG6UyWB2zDzGt7QGY","url":"http://mp.weixin.qq.com/bizmal ... ot%3B,"data":{"first":{"value":"查询结果","color":"#B452CD"},"keyword1":{"value":"aa4820190127175110","color":"#FF4040"},"keyword2":{"value":"352982093855677","color":"#FF4040"},"keyword3":{"value":"1.00元","color":"#FF4040"},"remark":********************}
[RESPONSE]: {"errcode":40003,"errmsg":"invalid openid hint: [mLJNpa06824120]"}
[2019-01-27 17:51:22.230] - iPhoneBaoXiu - oisb3smtzToo7jNA4abazKktnECQ - senior - aa4820190127175110 - 4200000283201901277968491434 - 352982093855677 - 1 - ERROR com.apple.wechat.service.Worker:405 - 发送模板消息失败,{"errcode":40003,"errmsg":"invalid openid hint: [mLJNpa06824120]"}
[2019-01-27 17:51:22.231] - iPhoneBaoXiu - oisb3smtzToo7jNA4abazKktnECQ - senior - aa4820190127175110 - 4200000283201901277968491434 - 352982093855677 - 1 - INFO com.apple.wechat.service.RefundService:57 - 开始发起退款,退款订单id:2056653,微信订单号:4200000283201901277968491434
[2019-01-27 17:51:22.463] - - - - - - - - INFO com.apple.wechat.service.Worker:94 - 执行任务:QueryTask{msg='C39XQ4NFKPGN', fromUserId='oOEvtjsGdmAKrZx81zsACqBjjdsA', merchant='MLdress', type='senior', authUserId='olC5FwH40UpZakKBZRls_t_HR9Ew', price='1.00', tradeNo='e50b20190127175115', model='', orderId=2056654, needRefund=false, needRedo=false, sendMsg=false, msgType='1', lat='', lon='', token='e50ba187b2f84297b60fc14699748679', wechatOrderNo='4200000269201901277039023012'}
[2019-01-27 17:51:23.327] - iPhoneBaoXiu - oisb3smtzToo7jNA4abazKktnECQ - senior - aa4820190127175110 - 4200000283201901277968491434 - 352982093855677 - 1 - INFO com.apple.wechat.service.RefundService:97 - 退款结果:success, 实付金额:1.00,发起退款金额:1.00
[2019-01-27 17:51:26.876] - - - - - - - - INFO com.apple.wechat.service.Worker:94 - 执行任务:QueryTask{msg='C39T81JEHG01', fromUserId='oOEvtjotDEF8doO3xVxyJ0-dCqFM', merchant='MLdress', type='normal', authUserId='', price='', tradeNo='', model='', orderId=0, needRefund=false, needRedo=false, sendMsg=false, msgType='1', lat='', lon='', token='', wechatOrderNo=''}
[2019-01-27 17:51:28.003] - MLdress - oOEvtjsGdmAKrZx81zsACqBjjdsA - senior - e50b20190127175115 - 4200000269201901277039023012 - C39XQ4NFKPGN - 1 - INFO com.apple.wechat.util.HttpUtils:125 - http execute cost total seconds 5540
  我们可以通过以下正则表达式将日志进行切割,并把内容形参给对应的数组
  filter {
grok {
match => ["message", "\[%{TIMESTAMP_ISO8601:logdate}\] - (?[\b\w\s]*) - (?[\u4e00-\u9fa5\b\w\s]*) - (?[\b\w\s]*) - (?[\b\w\s]*) - (?[\b\w\s]*) - (?[\b\w\s]*) - (?[\b\w\s]*) - %{WORD:level}\s*%{JAVACLASS:class}:%{NUMBER:lineNumber} - (?[\W\w\S\s]*)"]
}
date {
match => ["logdate", "yyyy-MM-dd HH:mm:ss.SSS"]
target => "@timestamp"
}
}
  (? [\b\w\s]*) 代表使用[]里面的正则,把辨识的结果放在merchant这个数组上面,其他类似。至于这儿的match怎么输写,跟你的日志配置文件及你想要的疗效有很大的关联,所以只能渐渐调试,直到你写的match才能正确切割出你的日志文件。在线测试你的正则表达式是否可以匹配项目输出的日志测试工具传送门
  完整的配置文件
  input {
file {
type => "wechat-log"
path => ["/usr/local/tomcat/logs/wechat/*.log"]
codec => multiline{
pattern => "^\[%{TIMESTAMP_ISO8601}\]"
what => "previous"
negate => true
}
start_position => "beginning"
}
}
filter {
grok {
match => ["message", "\[%{TIMESTAMP_ISO8601:logdate}\] - (?[\b\w\s]*) - (?[\u4e00-\u9fa5\b\w\s]*) - (?[\b\w\s]*) - (?[\b\w\s]*) - (?[\b\w\s]*) - (?[\b\w\s]*) - (?[\b\w\s]*) - %{WORD:level}\s*%{JAVACLASS:class}:%{NUMBER:lineNumber} - (?[\W\w\S\s]*)"]
}
date {
match => ["logdate", "yyyy-MM-dd HH:mm:ss.SSS"]
target => "@timestamp"
}
}
output {
elasticsearch {
hosts => "**************:9200"
index => "logstash-%{type}"
template_overwrite => true
}
}
  保存后启动logstash即可。命令:
  nohup ./bin/logstash agent -f config/log.conf &
  kibana操作首先是创建索引,因为我们的output配置了index为logstash-%{type},所以对于的索引为:logstash-wechat-log创建完索引,我们能发觉kibana里面列举了我们上面定义的数组,如下图。
  
  接下来我们就可以通过各类条件来进行日志的搜索了。
  假设我们要搜索商户是MLdress,用户输入内容为3565的日志信息,那么我们只须要输入【merchant:MLdress AND input:3565】即可搜索出对应的日志,如下图。
  
  总结
  通过在代码使用MDC进行规范的日志复印,在结合logstash提供的强悍的日志采集插件,我们可以将所有服务器的日志统一上报到es,并通过kibana进行放飞自我的查询操作,只有这样就能极大的提升日常开发效率。程序员不仅要会写代码之外,另外一项加分项那肯定是具有快速发觉和定位问题的能力了,如果没有ELK这样的工具,那快速发觉及定位虽然是比较困难的。
  所以,你懂的,赶紧用上去吧。

一键抓取澎湃新闻正式版 v2.0.0

采集交流优采云 发表了文章 • 0 个评论 • 145 次浏览 • 2020-08-11 01:29 • 来自相关话题

  问题:为什么Discuz峰会必须要安装采集插件?
  解答:反过来问你一下,如果不安装采集插件,你自己原创写文章,你能写多少篇??我相信99.9%的人都不会完全原创所有的内容,都会转载其它网站的一些内容,包括一些xx日报,xx电视台,都会或多或少转载一些其它网站的优质内容,你的Discuz峰会安装采集插件,主要是辅助你,运营好自己的网站内容,既然都要手工转载内容,为什么不用效率更高,不会出错,简单易用的采集工具,让自己事半功倍呢??
  问题:采集的内容,百度会收录吗??如何做好SEO优化??
  解答:当下来一条新闻,你在百度搜索会看见,很多内容重复的文章也同样收录了,其实这些重复的内容,都是转载过来的,所以采集的内容百度同样也会收录,特别是最新的原创类内容,及时采集过来,同步发布出去,这样你的收录和原创的没有哪些区别,为了更好的提升SEO收录优化,除了及时采集最新的原创内容之外,最好能采集一些拒绝百度收录的平台内容,比如:微信公众号文章,另外还可以采集一些须要登陆以后,才能看见的内容,一些用ajax加载的内容,等等,这类内容百度都是抓取不到的,如果你发布这类的内容,SEO的收录会更好,排名会更好!!
  问题:采集到的内容,会不会侵权??
  解答:一些对社会正常运作,有帮助的内容,这类内容是规定可以转载的,比如:近期新冠脑炎太严重,一些疫情相关的公开报导内容,这些是没有问题的,因为这种疫情防治的信息,越多人晓得,就越好!!对疫情防治就越有帮助,采集这类内容是没有问题的!还有一类内容,就是对某一个企业有负面影响的,某一个企业的公关人员,会通知你,删除那些内容,只要你配合删掉掉内容,就可以了!!只有很少一部分内容,申请了著作权,如果不留神转载了,有可能被著作权所有人胜诉,这是低几率风波,一般不会遇见!!智伍应用的采集插件,支持先审后发,不支持不初审就手动采集发布出去!!确保了采集内容的安全!!因为每一篇文章内容,都是经过你审查过后,再采集发布的。
  问题:智伍应用靠谱吗?会不会骗钱?
  解答:非常靠谱!!智伍应用的产品上线之前,都会经过严格的测试和初审代码质量,确保安全而且能用和好用,全部都评比通过以后,才会申请上架!!同时源代码开放,任何人都可以查看到原创透明的代码,有技术能力的用户,可以很方便快捷进行二次开发,智伍应用的任何一款产品,都可以免费试用,满意以后再考虑,是否须要升级到即将商用版本,如果安装以后,发现不能使用,可以联系在线客服解决,如果碰到难以解决的问题,这个插件难以使用,会全额退票给你,总体的一个原则,就是使用户安全无风险,准确找到自己的需求,购买自己用得上的插件模块,如果订购以后,发现用不上,智伍应用会给你退票,如果确实有须要,请放心订购智伍应用的各个产品!!!智伍应用仍然都认真听取用户的反馈意见,根据用户的建议不断的升级更新产品,尊重用户的各项权益和合理诉求!!把用户放到最高的位置上,全心全意为用户服务!!
  问题:智伍应用的采集插件都有哪些亮点和优势?
  解答:多数都使用Chrome扩充采集程序,需要在自己的网页浏览器chrome那儿安装一个扩充程序,因为经过研究发觉,把浏览器弄成采集工具,是最可靠和成熟稳定的采集方式!一些通过程序抓取函数来采集内容的传统采集方式,虽然可以不用安装chrome扩充程序,但时常出问题,遇到采集不到内容的事情常有发生!!
  问题:智伍应用开发了什么采集插件?
  解答:很多!!我们专注研制采集插件多年,经过多次升级更新,在采集插件研制方面积累了丰富的经验,如果找不到你须要的采集插件,请反馈给智伍应用在线客服。
  问题:智伍应用的采集插件那个好用?
  解答:内核技术都一样,只是采集规则不一样,智伍应用的采集插件都好用,主要看你须要采集哪个网站,然后就用那种网站相对应的采集插件。
  问题:我完全不懂技术,但想用智伍应用的Discuz采集插件,怎么办?
  解答:联系智伍应用在线客服,在线帮助你安装和配置,直到插件完全可以使用,没有任何问题!!不需要你懂技术,售后客服会帮你解决所有的问题。
  问题:为什么要用chrome扩充采集程序??
  解答:因为这些采集方式,是最稳定和成熟的!!网页都是HTML代码经过浏览器渲染才下来的,所以把自己的浏览器弄成采集工具,所见即所采的方法,是最好的。
  问题:chrome扩充安全吗??为什么会弹出“请停用以开发者模式运行的扩充程序”
  解答:只要安装了chrome扩充程序,不管是哪些chrome扩充程序,都会弹出这样的提醒:“以开发者模式运行的扩充程序可能会损害您的计算机。如果您不是开发者,那么,为安全起见,应停用以开发者模式运行的扩充程序。”,这就似乎在百货商城里提醒你:“遇到火警请打119。”一样,有提醒你打119,并不代表你遇见了起火,这只是一个提醒信息!!智伍应用的chrome扩充程序都是经过人工初审,多方检测和测试,是安全可靠的扩充程序!!
  问题:可以无人值守,自动采集内容吗??
  解答:不可以!!全手动采集内容并发布,这样采集内容不安全!!智伍应用的采集插件都是先审后发,确保内容的质量和安全!!不能不经过你的同意,就手动发布内容了!!如果你须要短时间内采集发布大量的内容,来填充网站,可以在【待发布】那里,选择【用chrome扩充批量发布内容】 查看全部

  问题:为什么Discuz峰会必须要安装采集插件?
  解答:反过来问你一下,如果不安装采集插件,你自己原创写文章,你能写多少篇??我相信99.9%的人都不会完全原创所有的内容,都会转载其它网站的一些内容,包括一些xx日报,xx电视台,都会或多或少转载一些其它网站的优质内容,你的Discuz峰会安装采集插件,主要是辅助你,运营好自己的网站内容,既然都要手工转载内容,为什么不用效率更高,不会出错,简单易用的采集工具,让自己事半功倍呢??
  问题:采集的内容,百度会收录吗??如何做好SEO优化??
  解答:当下来一条新闻,你在百度搜索会看见,很多内容重复的文章也同样收录了,其实这些重复的内容,都是转载过来的,所以采集的内容百度同样也会收录,特别是最新的原创类内容,及时采集过来,同步发布出去,这样你的收录和原创的没有哪些区别,为了更好的提升SEO收录优化,除了及时采集最新的原创内容之外,最好能采集一些拒绝百度收录的平台内容,比如:微信公众号文章,另外还可以采集一些须要登陆以后,才能看见的内容,一些用ajax加载的内容,等等,这类内容百度都是抓取不到的,如果你发布这类的内容,SEO的收录会更好,排名会更好!!
  问题:采集到的内容,会不会侵权??
  解答:一些对社会正常运作,有帮助的内容,这类内容是规定可以转载的,比如:近期新冠脑炎太严重,一些疫情相关的公开报导内容,这些是没有问题的,因为这种疫情防治的信息,越多人晓得,就越好!!对疫情防治就越有帮助,采集这类内容是没有问题的!还有一类内容,就是对某一个企业有负面影响的,某一个企业的公关人员,会通知你,删除那些内容,只要你配合删掉掉内容,就可以了!!只有很少一部分内容,申请了著作权,如果不留神转载了,有可能被著作权所有人胜诉,这是低几率风波,一般不会遇见!!智伍应用的采集插件,支持先审后发,不支持不初审就手动采集发布出去!!确保了采集内容的安全!!因为每一篇文章内容,都是经过你审查过后,再采集发布的。
  问题:智伍应用靠谱吗?会不会骗钱?
  解答:非常靠谱!!智伍应用的产品上线之前,都会经过严格的测试和初审代码质量,确保安全而且能用和好用,全部都评比通过以后,才会申请上架!!同时源代码开放,任何人都可以查看到原创透明的代码,有技术能力的用户,可以很方便快捷进行二次开发,智伍应用的任何一款产品,都可以免费试用,满意以后再考虑,是否须要升级到即将商用版本,如果安装以后,发现不能使用,可以联系在线客服解决,如果碰到难以解决的问题,这个插件难以使用,会全额退票给你,总体的一个原则,就是使用户安全无风险,准确找到自己的需求,购买自己用得上的插件模块,如果订购以后,发现用不上,智伍应用会给你退票,如果确实有须要,请放心订购智伍应用的各个产品!!!智伍应用仍然都认真听取用户的反馈意见,根据用户的建议不断的升级更新产品,尊重用户的各项权益和合理诉求!!把用户放到最高的位置上,全心全意为用户服务!!
  问题:智伍应用的采集插件都有哪些亮点和优势?
  解答:多数都使用Chrome扩充采集程序,需要在自己的网页浏览器chrome那儿安装一个扩充程序,因为经过研究发觉,把浏览器弄成采集工具,是最可靠和成熟稳定的采集方式!一些通过程序抓取函数来采集内容的传统采集方式,虽然可以不用安装chrome扩充程序,但时常出问题,遇到采集不到内容的事情常有发生!!
  问题:智伍应用开发了什么采集插件?
  解答:很多!!我们专注研制采集插件多年,经过多次升级更新,在采集插件研制方面积累了丰富的经验,如果找不到你须要的采集插件,请反馈给智伍应用在线客服。
  问题:智伍应用的采集插件那个好用?
  解答:内核技术都一样,只是采集规则不一样,智伍应用的采集插件都好用,主要看你须要采集哪个网站,然后就用那种网站相对应的采集插件。
  问题:我完全不懂技术,但想用智伍应用的Discuz采集插件,怎么办?
  解答:联系智伍应用在线客服,在线帮助你安装和配置,直到插件完全可以使用,没有任何问题!!不需要你懂技术,售后客服会帮你解决所有的问题。
  问题:为什么要用chrome扩充采集程序??
  解答:因为这些采集方式,是最稳定和成熟的!!网页都是HTML代码经过浏览器渲染才下来的,所以把自己的浏览器弄成采集工具,所见即所采的方法,是最好的。
  问题:chrome扩充安全吗??为什么会弹出“请停用以开发者模式运行的扩充程序”
  解答:只要安装了chrome扩充程序,不管是哪些chrome扩充程序,都会弹出这样的提醒:“以开发者模式运行的扩充程序可能会损害您的计算机。如果您不是开发者,那么,为安全起见,应停用以开发者模式运行的扩充程序。”,这就似乎在百货商城里提醒你:“遇到火警请打119。”一样,有提醒你打119,并不代表你遇见了起火,这只是一个提醒信息!!智伍应用的chrome扩充程序都是经过人工初审,多方检测和测试,是安全可靠的扩充程序!!
  问题:可以无人值守,自动采集内容吗??
  解答:不可以!!全手动采集内容并发布,这样采集内容不安全!!智伍应用的采集插件都是先审后发,确保内容的质量和安全!!不能不经过你的同意,就手动发布内容了!!如果你须要短时间内采集发布大量的内容,来填充网站,可以在【待发布】那里,选择【用chrome扩充批量发布内容】

WordPress自动化采集插件Automatic Plugin更新至v3

采集交流优采云 发表了文章 • 0 个评论 • 344 次浏览 • 2020-08-10 04:58 • 来自相关话题

  WordPressAutomatic Plugin自动采集有针对性的高质量的文章文章,比如亚马逊产品、Clickbank产品、Youtube视频、Vimeo视频、 Feeds posts、eBay拍卖、Flicker images、Instagram图象、 Pinterest pins,tweets,facebook 网站和SoundCloud歌曲,只是安装和许可,为你的博客工作,它将工作24/7 ·····
  更新日志:
  Version 3.22.1 (10 June 2016 )
Important: Instagram now works again after 1 June instagram update with same behaviour as before.
NEW: keyword to Category option: you can set a keyword and if exists, the plugin will set the post to the matching category
NEW: keyword to tag option: you can set a keyword and if exists, the pluginw will tag the post
NEW: option to post the item if it matchs a specific regex only
NEW: option to skip the item if it matchs a specific regex
NEW: instagram new option to skip video posts/images posts
NEW: Flicker now support posting from photo albums
NEW: TrueMag/NewsTube theme integration with instagram videos
NEW: search/replace using REGEX now has the option to word replace and replace shuffle
NEW: ebay additional parameters option added
NEW: SoundCloud new option to skip posts older than a specific date
NEW: option to delete all posted posts for a specific campaign
NEW: option to forget excuded links
Improved: Feeds campaign completely rewritten to be more lighter on servers.
Fix: instagram disable cache now works
Fix: simple_html_dom namespaeced not to conflict with other plugins/themes
Fix: youtube original date now consider blog timezone
Fix: youtube original date when posting from playlists now post correct video created date
Fix: translation for FB and some sources was not working now it works
Fix: maximum of three feeds now get processed per campaign run
Fix: Feeds decode html now decodes the title as well
Fix: Feeds now support news.google feed, previously the images were not displayed and the og:image was not extracted
  Demo: Demo
  恭喜,此资源为免费资源,请先登入
  解压及出错排查说明地址: | 联系我们地址: 查看全部

  WordPressAutomatic Plugin自动采集有针对性的高质量的文章文章,比如亚马逊产品、Clickbank产品、Youtube视频、Vimeo视频、 Feeds posts、eBay拍卖、Flicker images、Instagram图象、 Pinterest pins,tweets,facebook 网站和SoundCloud歌曲,只是安装和许可,为你的博客工作,它将工作24/7 ·····
  更新日志:
  Version 3.22.1 (10 June 2016 )
Important: Instagram now works again after 1 June instagram update with same behaviour as before.
NEW: keyword to Category option: you can set a keyword and if exists, the plugin will set the post to the matching category
NEW: keyword to tag option: you can set a keyword and if exists, the pluginw will tag the post
NEW: option to post the item if it matchs a specific regex only
NEW: option to skip the item if it matchs a specific regex
NEW: instagram new option to skip video posts/images posts
NEW: Flicker now support posting from photo albums
NEW: TrueMag/NewsTube theme integration with instagram videos
NEW: search/replace using REGEX now has the option to word replace and replace shuffle
NEW: ebay additional parameters option added
NEW: SoundCloud new option to skip posts older than a specific date
NEW: option to delete all posted posts for a specific campaign
NEW: option to forget excuded links
Improved: Feeds campaign completely rewritten to be more lighter on servers.
Fix: instagram disable cache now works
Fix: simple_html_dom namespaeced not to conflict with other plugins/themes
Fix: youtube original date now consider blog timezone
Fix: youtube original date when posting from playlists now post correct video created date
Fix: translation for FB and some sources was not working now it works
Fix: maximum of three feeds now get processed per campaign run
Fix: Feeds decode html now decodes the title as well
Fix: Feeds now support news.google feed, previously the images were not displayed and the og:image was not extracted
  Demo: Demo
  恭喜,此资源为免费资源,请先登入
  解压及出错排查说明地址: | 联系我们地址:

一键采集知乎的任何问答内容Discuz版 v1.0

采集交流优采云 发表了文章 • 0 个评论 • 261 次浏览 • 2020-08-09 20:31 • 来自相关话题

  PHPBB简介
  Discuz插件功能
  安装本插件以后,可以输入知乎问答的网址,一键获取知乎的问题和答案到您的峰会上。
  本Discuz插件功能特性
  1、可以批量生成真实的马甲用户数据作为发贴人和发帖人,感觉您的峰会人气太旺。
  2、除了知乎的问题会采集之外,答案的内容也会采集,感觉您的峰会内容丰富,有可读性。
  3、马甲发帖的时间经过科学处理,不是所有发帖人都是同一个时间,感觉您的峰会不是马甲在回复,而是真实用户在回复。
  4、批量生成的回帖和跟帖马甲都是有真实的头像和爱称,由众大云采集的网路爬虫实时随机抓取生成。
  5、批量生成的马甲用户可以导入uid列表,除了用在本插件之外也可以用在别的有须要的插件上。
  6、采集过来的知乎问答内容的图片可以正常显示而且保存为贴子图片附件。
  7、图片附件支持远程FTP保存。
  8、图片会加上您峰会的水印。
  9、每天会手动推送知乎的高质量问答内容过来,您只需点击一下键盘就可以发布到您的峰会上。
  10、已采集过的知乎问答不会重复二次采集,内容不会冗余。
  11、采集发布的贴子跟真实用户发布的几乎一模一样。
  12、浏览量会手动随机设置,感觉您的贴子查看数更真实。
  13、无限量采集,不限采集次数。
  此Discuz插件给您带来的价值
  1、让您的峰会人气太旺,内容太丰富多彩。
  2、批量生成的马甲不仅用在本插件之外,还可以用在别外,相当于订购本插件,免费附赠了马甲生成插件。
  3、用一键采集来取代手工发贴,省时省力,不易出错。
  用户保障
  1、严格遵循官方的Discuz插件开发规范,除此之外,我们的团队也会对插件进行大量的测试,确保插件的安全、稳定、成熟。
  2、在使用过程中,发现有bug或则用户体验不佳,可以反馈给技术员(mail:),在经过评估过后,情况属实,将在下一次升级版本解决,请你们留心插件升级更新。
  Discuz插件页面展示
   查看全部

  PHPBB简介
  Discuz插件功能
  安装本插件以后,可以输入知乎问答的网址,一键获取知乎的问题和答案到您的峰会上。
  本Discuz插件功能特性
  1、可以批量生成真实的马甲用户数据作为发贴人和发帖人,感觉您的峰会人气太旺。
  2、除了知乎的问题会采集之外,答案的内容也会采集,感觉您的峰会内容丰富,有可读性。
  3、马甲发帖的时间经过科学处理,不是所有发帖人都是同一个时间,感觉您的峰会不是马甲在回复,而是真实用户在回复。
  4、批量生成的回帖和跟帖马甲都是有真实的头像和爱称,由众大云采集的网路爬虫实时随机抓取生成。
  5、批量生成的马甲用户可以导入uid列表,除了用在本插件之外也可以用在别的有须要的插件上。
  6、采集过来的知乎问答内容的图片可以正常显示而且保存为贴子图片附件。
  7、图片附件支持远程FTP保存。
  8、图片会加上您峰会的水印。
  9、每天会手动推送知乎的高质量问答内容过来,您只需点击一下键盘就可以发布到您的峰会上。
  10、已采集过的知乎问答不会重复二次采集,内容不会冗余。
  11、采集发布的贴子跟真实用户发布的几乎一模一样。
  12、浏览量会手动随机设置,感觉您的贴子查看数更真实。
  13、无限量采集,不限采集次数。
  此Discuz插件给您带来的价值
  1、让您的峰会人气太旺,内容太丰富多彩。
  2、批量生成的马甲不仅用在本插件之外,还可以用在别外,相当于订购本插件,免费附赠了马甲生成插件。
  3、用一键采集来取代手工发贴,省时省力,不易出错。
  用户保障
  1、严格遵循官方的Discuz插件开发规范,除此之外,我们的团队也会对插件进行大量的测试,确保插件的安全、稳定、成熟。
  2、在使用过程中,发现有bug或则用户体验不佳,可以反馈给技术员(mail:),在经过评估过后,情况属实,将在下一次升级版本解决,请你们留心插件升级更新。
  Discuz插件页面展示
  

wordpress手动采集插件wp-autoblog1.2.15开心版和wp

采集交流优采云 发表了文章 • 0 个评论 • 610 次浏览 • 2020-08-09 16:06 • 来自相关话题

  启用任务后,全手动采集更新,无需人工干预
  启用任务后,定时检查是否有新文章可更新,检测文章是否重复,导入更新文章,这一切操作程序都是全手动完成,无需人工干预。
  有两种触发采集更新方法,一种是在页面内添加代码由用户访问触发采集更新(后台异步进行,不影响用户体验,也不影响网站效率),另外可以用Cron计划任务定时触发采集更新任务
  定向采集,支持键值匹配、或CSS选择器精确采集任何内容,支持采集多层级文章列表、支持采集正文分页内容、支持采集多层级正文内容
  定向采集只须要提供文章列表URL即可智能采集来自于任何网站或栏目内容。
  不仅支持“通配符匹配”来采集网页内容,更完美支持各类CSS选择器,只需填写简单的形如 #title h1 的CSS选择器,便可精确采集网页任何内容。(如何设置CSS选择器)
  支持设置关键词,如果标题中收录关键词才准许采集(或过滤掉不容许采集)。
  支持设置多个匹配规则采集网页上的不同内容,甚至支持采集任何内容添加到“WordPress自定义栏目”,方便扩充。
  
  
  基本设置功能齐全,完美支持Wordpress各类功能,可手动设置分类目录、标签、摘要、特色图片、自定义栏目等;也可采集目标网站的分类目录、标签等信息后,可手动生成并添加相应分类目录、标签等信息
  每个采集任务均可选择发布到的分类目录,发布作者,发布状态,检测更新时间间隔,采集目标网站的字符集,选择是否下载图片或附件。
  支持自定义文章类型, 自定义文章分类、文章形式。
  完美支持Wordpress各类特色功能,自动添加标签,自动生成摘要,自动设置特色图片,支持自定义栏目等。
  可采集微信公众号、头条号等自媒体内容,因百度不收录公众号,头条文章等,可轻松获取优质“原创”文章,增加百度收录量及网站权重
  支持采集微信公众号(订阅号)文章,无需复杂配置,只需填入“公众号名称”和“微信号”后即可开始采集。
  支持采集今日头条文章,也无需复杂配置。
  
  
  支持Google神经网路翻译、有道神经网路翻译、百度翻译,将文章翻译成其他语言,轻松获取原创文章
  支持Google神经网路翻译,翻译质量明显提升,已接近人工翻译疗效,将文章标题和内容翻译成其他语言,共支持多种语言之间互相翻译,轻松获取原创文章。使用Google翻译API无需翻墙,只需翻墙获取API相关设置信息设置好后即可正常使用,后续调用API翻译无需翻墙
  支持有道神经网路翻译,接近人工翻译疗效,有道翻译更懂英文,采集英文文章翻译成英文文章,轻松获取原创文章。
  同时支持百度翻译,百度翻译每月翻译字符数高于200万,享免费服务
  
  支持中英文各类伪原创形式
  支持使用翻译引擎获取伪原创文章,不仅仅只是替换了同义词,更是语义的重新叙述,唯一性、伪原创疗效更好,支持各类语言。同时集成美国最优秀伪原创工具WordAi等,制作英语站可以获取可读性、唯一性都更好的伪原创文章。
  可下载远程图片及其他任意格式附件到本地服务器,并支持给图片手动添加水印
  支持远程图片下载到本地服务器,并可选择手动添加上文本水印或图象水印。其他任何格式的附件及文档也能轻松下载到本地服务器。
  支持市面上所有主流对象储存服务,包括七牛云、阿里云OSS、腾讯云COS、百度云BOS、又拍云、Amazon AWS S3、Google Cloud Storage,可将文章中图片及附件手动上传到云对象存储服务,节省带宽及空间,提高网站访问速率
  七牛云存储,每月享10GB的免费储存空间,10GB免费带宽流量
  只需简单配置好相关信息,即可手动上传,通过Wordpress后台也能直接查看或管理已上传到云对象储存的图片及文件。
  
  支持SEO优化,内容过滤,HTML标签过滤,关键词替换,自动添加链接,添加自定义内容,自定义采集后款式、自定义模板等常用功能
  自动删掉采集内容中的HTML注释,可设置删掉标签中的id,class,style属性内容,消除采集的痕迹;自动给图片添加上alt属性,过滤链接,关键词替换,自动添加自定义链接,这些都有利于SEO。 查看全部

  启用任务后,全手动采集更新,无需人工干预
  启用任务后,定时检查是否有新文章可更新,检测文章是否重复,导入更新文章,这一切操作程序都是全手动完成,无需人工干预。
  有两种触发采集更新方法,一种是在页面内添加代码由用户访问触发采集更新(后台异步进行,不影响用户体验,也不影响网站效率),另外可以用Cron计划任务定时触发采集更新任务
  定向采集,支持键值匹配、或CSS选择器精确采集任何内容,支持采集多层级文章列表、支持采集正文分页内容、支持采集多层级正文内容
  定向采集只须要提供文章列表URL即可智能采集来自于任何网站或栏目内容。
  不仅支持“通配符匹配”来采集网页内容,更完美支持各类CSS选择器,只需填写简单的形如 #title h1 的CSS选择器,便可精确采集网页任何内容。(如何设置CSS选择器)
  支持设置关键词,如果标题中收录关键词才准许采集(或过滤掉不容许采集)。
  支持设置多个匹配规则采集网页上的不同内容,甚至支持采集任何内容添加到“WordPress自定义栏目”,方便扩充。
  
  
  基本设置功能齐全,完美支持Wordpress各类功能,可手动设置分类目录、标签、摘要、特色图片、自定义栏目等;也可采集目标网站的分类目录、标签等信息后,可手动生成并添加相应分类目录、标签等信息
  每个采集任务均可选择发布到的分类目录,发布作者,发布状态,检测更新时间间隔,采集目标网站的字符集,选择是否下载图片或附件。
  支持自定义文章类型, 自定义文章分类、文章形式。
  完美支持Wordpress各类特色功能,自动添加标签,自动生成摘要,自动设置特色图片,支持自定义栏目等。
  可采集微信公众号、头条号等自媒体内容,因百度不收录公众号,头条文章等,可轻松获取优质“原创”文章,增加百度收录量及网站权重
  支持采集微信公众号(订阅号)文章,无需复杂配置,只需填入“公众号名称”和“微信号”后即可开始采集。
  支持采集今日头条文章,也无需复杂配置。
  
  
  支持Google神经网路翻译、有道神经网路翻译、百度翻译,将文章翻译成其他语言,轻松获取原创文章
  支持Google神经网路翻译,翻译质量明显提升,已接近人工翻译疗效,将文章标题和内容翻译成其他语言,共支持多种语言之间互相翻译,轻松获取原创文章。使用Google翻译API无需翻墙,只需翻墙获取API相关设置信息设置好后即可正常使用,后续调用API翻译无需翻墙
  支持有道神经网路翻译,接近人工翻译疗效,有道翻译更懂英文,采集英文文章翻译成英文文章,轻松获取原创文章。
  同时支持百度翻译,百度翻译每月翻译字符数高于200万,享免费服务
  
  支持中英文各类伪原创形式
  支持使用翻译引擎获取伪原创文章,不仅仅只是替换了同义词,更是语义的重新叙述,唯一性、伪原创疗效更好,支持各类语言。同时集成美国最优秀伪原创工具WordAi等,制作英语站可以获取可读性、唯一性都更好的伪原创文章。
  可下载远程图片及其他任意格式附件到本地服务器,并支持给图片手动添加水印
  支持远程图片下载到本地服务器,并可选择手动添加上文本水印或图象水印。其他任何格式的附件及文档也能轻松下载到本地服务器。
  支持市面上所有主流对象储存服务,包括七牛云、阿里云OSS、腾讯云COS、百度云BOS、又拍云、Amazon AWS S3、Google Cloud Storage,可将文章中图片及附件手动上传到云对象存储服务,节省带宽及空间,提高网站访问速率
  七牛云存储,每月享10GB的免费储存空间,10GB免费带宽流量
  只需简单配置好相关信息,即可手动上传,通过Wordpress后台也能直接查看或管理已上传到云对象储存的图片及文件。
  
  支持SEO优化,内容过滤,HTML标签过滤,关键词替换,自动添加链接,添加自定义内容,自定义采集后款式、自定义模板等常用功能
  自动删掉采集内容中的HTML注释,可设置删掉标签中的id,class,style属性内容,消除采集的痕迹;自动给图片添加上alt属性,过滤链接,关键词替换,自动添加自定义链接,这些都有利于SEO。

一键采集今天新闻正式版 3.0.1

采集交流优采云 发表了文章 • 0 个评论 • 309 次浏览 • 2020-08-09 10:49 • 来自相关话题

  【温馨提示】
  此插件基于智伍应用旗下的正文内容提取技术,是通用匹配规则,理论上只要是新闻资讯结构类型的内容都可以采集,但也存在有一些网页HTML标签不规范,可能有极某些内容采集的时侯,会出现提取不够精准的情况,我们那边技术团队还在继续优化和升级算法,让通用正文提取采集算法愈加接近正文主体内容,如果您目前试用版,介意不能做到全部正确采集到主体内容,不能容忍一点点的偏差,请不要升级到正式版,感谢您的试用!!
  【插件功能】
  安装本插件以后,可以输入新闻资讯的网址或则新闻关键词,一键获取当日的热点新闻、当天资讯到您的峰会上。
  【本插件功能特性】
  1、可以输入热点新闻的关键词,实时采集当天各个新闻网站的内容。
  2、无限量采集,不限采集次数。
  3、采集过来的新闻图片可以正常显示而且保存为贴子图片附件。
  4、图片附件支持远程FTP保存。
  5、图片会加上您峰会的水印。
  6、已采集过的新闻资讯不会重复二次采集,内容不会冗余。
  7、采集发布的贴子跟真实用户发布的几乎一模一样。
  8、浏览量会手动随机设置,感觉您的贴子查看数更真实。
  9、可以指定贴子发布者的UID。
  10、采集的新闻资讯内容可以发布到你任选的一个版块。
  【此插件给您带来的价值】
  1、让您的峰会人气太旺,内容太丰富多彩。
  2、用一键采集来取代手工发贴,省时省力,不易出错。
  3、让您的网站与海量的新闻名站共享优质内容,可以快速提升网站权重与排行。
  【用户保障】
  1、严格遵循官方的插件开发规范,除此之外,我们的团队也会对插件进行大量的测试,确保插件的安全、稳定、成熟。
  2、购买本插件以后,因为服务器运行环境、插件冲突、系统配置等诱因不能使用插件,可以联系技术员(QQ:2891276344),如果在48小时之内无法解决问题,全额退票给消费者!!大家不用害怕订购插件以后用不了,如果真的用不了,不会收您一分钱。
  3、在使用过程中,发现有bug或则用户体验不佳,可以反馈给技术员(mail:),在经过评估过后,情况属实,将在下一次升级版本解决,请你们留心插件升级更新。 查看全部

  【温馨提示】
  此插件基于智伍应用旗下的正文内容提取技术,是通用匹配规则,理论上只要是新闻资讯结构类型的内容都可以采集,但也存在有一些网页HTML标签不规范,可能有极某些内容采集的时侯,会出现提取不够精准的情况,我们那边技术团队还在继续优化和升级算法,让通用正文提取采集算法愈加接近正文主体内容,如果您目前试用版,介意不能做到全部正确采集到主体内容,不能容忍一点点的偏差,请不要升级到正式版,感谢您的试用!!
  【插件功能】
  安装本插件以后,可以输入新闻资讯的网址或则新闻关键词,一键获取当日的热点新闻、当天资讯到您的峰会上。
  【本插件功能特性】
  1、可以输入热点新闻的关键词,实时采集当天各个新闻网站的内容。
  2、无限量采集,不限采集次数。
  3、采集过来的新闻图片可以正常显示而且保存为贴子图片附件。
  4、图片附件支持远程FTP保存。
  5、图片会加上您峰会的水印。
  6、已采集过的新闻资讯不会重复二次采集,内容不会冗余。
  7、采集发布的贴子跟真实用户发布的几乎一模一样。
  8、浏览量会手动随机设置,感觉您的贴子查看数更真实。
  9、可以指定贴子发布者的UID。
  10、采集的新闻资讯内容可以发布到你任选的一个版块。
  【此插件给您带来的价值】
  1、让您的峰会人气太旺,内容太丰富多彩。
  2、用一键采集来取代手工发贴,省时省力,不易出错。
  3、让您的网站与海量的新闻名站共享优质内容,可以快速提升网站权重与排行。
  【用户保障】
  1、严格遵循官方的插件开发规范,除此之外,我们的团队也会对插件进行大量的测试,确保插件的安全、稳定、成熟。
  2、购买本插件以后,因为服务器运行环境、插件冲突、系统配置等诱因不能使用插件,可以联系技术员(QQ:2891276344),如果在48小时之内无法解决问题,全额退票给消费者!!大家不用害怕订购插件以后用不了,如果真的用不了,不会收您一分钱。
  3、在使用过程中,发现有bug或则用户体验不佳,可以反馈给技术员(mail:),在经过评估过后,情况属实,将在下一次升级版本解决,请你们留心插件升级更新。

IMGspider – 图片采集抓取插件

采集交流优采云 发表了文章 • 0 个评论 • 331 次浏览 • 2020-08-09 08:00 • 来自相关话题

  Description
  IMGspider(图片蜘蛛)是一款用于WordPress文章图片抓取的WordPress插件,支持JPG, JPEG, PNG, GIF, BMP, TIF等常见图片爬取下载,实现一键抓取文章内容所有引用图片到本地服务器。
  该插件才能帮助WordPress站长在转载其他网站的文章时,快速将转载的文章内容中的站外图片抓取到本地服务器,而无需自动下载逐一上传,大大提高了站长的工作效率,并且IMGspider图片采集插件支持手动和自动采集两种模式,且支持代理服务器采集。
  全新的版本更是加入了采集图片选项、过滤规则及全局扫描等设置选项,进一步丰富图片采集功能。
  1.基础设置。2.图片选项。
  IMGspider图片蜘蛛插件支持自定义一些采集图片参数选项,包括:
  3.过滤规则。
  插件提供多种过滤规则,以便过滤一些特定的外链图片,包括:
  4.全局扫描。
  该功能的主要目的是便捷部份站长对已发布文章的外链图片进行全局检查,实现一键采集已发布文章、页面及媒体的外链图片。
  Notes
  IMGspider插件是一款简单易用的WordPress文章图片抓取下载插件,实现对转载文章图片一键抓取下载到本地服务器.
  闪电博()专注于WordPress主题和插件开发,为英文博客提供更多优质和符合国外需求的主题和插件。此外我们也会分享WordPress相关方法和教程。
  除了百度搜索推送管理插件外,目前我们还开发了以下WordPress插件:
  如果你在WordPress主题和插件上有更多的需求,也希望您可以向我们提出意见建议,我们将会记录出来并依据实际情况,推出更多符合你们需求的主题和插件。
  致谢!
  闪电博团队 查看全部

  Description
  IMGspider(图片蜘蛛)是一款用于WordPress文章图片抓取的WordPress插件,支持JPG, JPEG, PNG, GIF, BMP, TIF等常见图片爬取下载,实现一键抓取文章内容所有引用图片到本地服务器。
  该插件才能帮助WordPress站长在转载其他网站的文章时,快速将转载的文章内容中的站外图片抓取到本地服务器,而无需自动下载逐一上传,大大提高了站长的工作效率,并且IMGspider图片采集插件支持手动和自动采集两种模式,且支持代理服务器采集。
  全新的版本更是加入了采集图片选项、过滤规则及全局扫描等设置选项,进一步丰富图片采集功能。
  1.基础设置。2.图片选项。
  IMGspider图片蜘蛛插件支持自定义一些采集图片参数选项,包括:
  3.过滤规则。
  插件提供多种过滤规则,以便过滤一些特定的外链图片,包括:
  4.全局扫描。
  该功能的主要目的是便捷部份站长对已发布文章的外链图片进行全局检查,实现一键采集已发布文章、页面及媒体的外链图片。
  Notes
  IMGspider插件是一款简单易用的WordPress文章图片抓取下载插件,实现对转载文章图片一键抓取下载到本地服务器.
  闪电博()专注于WordPress主题和插件开发,为英文博客提供更多优质和符合国外需求的主题和插件。此外我们也会分享WordPress相关方法和教程。
  除了百度搜索推送管理插件外,目前我们还开发了以下WordPress插件:
  如果你在WordPress主题和插件上有更多的需求,也希望您可以向我们提出意见建议,我们将会记录出来并依据实际情况,推出更多符合你们需求的主题和插件。
  致谢!
  闪电博团队

使用chrome插件批量读取浏览器页面内容并写入数据库

采集交流优采云 发表了文章 • 0 个评论 • 268 次浏览 • 2020-08-08 02:33 • 来自相关话题

  想象一下,如果您想每天采集100页甚至更多的网页数据. 如果使用手动采集,则会吐血,因此使用程序进行采集将成为唯一选择. 首先,我肯定会考虑使用Java,PHP和C#等高级语言,但是有一个登录和验证代码,我很茫然. 您是否还在担心在网络上采集数据?很高兴,您找到了正确的地方.
  应用场景:
  1. 每天需要在网络上重复采集大量数据
  2,登录后即可采集网页数据
  3,网页可以翻页
  解决方案:
  手动登录,然后使用chrome插件方法进行采集. 当然,您会说使用硒等自动化测试方法进行采集会比较凉爽,并且可以每天自动采集,并且完全自动化,无需人工干预. 但是作为忠实的Chrome迷,您只需要前端js,服务器端接收文件和数据库即可完美解决此问题. 加上简单的部署和操作. 成为粉丝的原因很多. 好吧,即使这是保存国家并实现它的顽固曲线.
  思考:
  
  帮助手册:
  示例:
  
  获取电子商务公司的后端订单数据
  1. 创建一个项目文件夹并导入所需的文件: 例如D: \ tool \ chrome_server_plugin
  jquery-2.1.1.min.js,icon.png
  2,创建background.html
  3,创建配置文件manifest.json文件
  {
"name": "获取某电商后台订单信息",
"version": "1.0",
"manifest_version": 2,
"description": "*********获取某电商后台订单信息*********",
"browser_action": {
"default_icon": "icon.png"
},
"permissions": [
"webNavigation",
"tabs",
"contextMenus",
"http://服务器接受数据url/"
],
"background": {
"scripts": ["eventPage.js","jquery-2.1.1.min.js"]
},
"content_scripts": [
{
"matches": ["http://抓取页面url/*"],
"js": ["jquery-2.1.1.min.js", "contentscript.js"]
}
]
}
  4,创建前端js文件contentscript.js
  var totalPage;
var page = 0;
//注册前台页面监听事件
chrome.extension.onMessage.addListener(
  function(request, sender, sendResponse) {
    totalPage = $("input[name=totalPage]").val();
    console.log("totalPage----------" + totalPage);
    //console.log("msg----------contentscript.js" + request.greeting);
    getOrderInfo( sendResponse );
  });
//获取订单信息
function getOrderInfo( sendResponse ){
  var flag = false;
  payMoney = [];//货款金额
  orderTime = [];//下单时间
  $("tr[class=head] span").each(function(index){
    spantxt = '';
    spantxt = $(this).text();
    if(spantxt.indexOf('货款金额:') > -1){
      money = spantxt.substr(5);
      //console.log(index + "---------payMoney-------货款金额:" + money);
      payMoney.push(money);
    }else if(spantxt.indexOf('下单时间:') > -1){
      time = spantxt.substr(5);
      //console.log(index + "---------orderTime-------下单时间:" + time);
      orderTime.push(time);
    }
  });
paytype = [];//物流方式
yunfei = [];//运费
$("td[class=p-values]").each(function(index){
  tdtxt = '';
  tdtxt = $(this).text();
  if(tdtxt.indexOf('货到付款') > -1){
    paytype.push('货到付款');
  }else{
    paytype.push('在线支付');
  }
  yf_index = tdtxt.indexOf('运费:');
  if(yf_index > -1){
    temp = tdtxt.substr(yf_index);
    temp_yf = temp.substr(3);
    //console.log(index + "---------yunfei-------"+ temp +"===" + temp_yf);
    yunfei.push(temp_yf);
  }else{
    yunfei.push(0);
  }
  //console.log(index + "---------tdtxt-------" + tdtxt);
});
orderStatus = [];//订单状态
users = [];//买家账号
remark = [];//备注
$("tr[class=content] td[class=t-c]").each(function(index){
  tdtxt = '';
  tdtxt = $(this).text().replace(/[\r\n]\ +/g,"");//将回车,换行,空格去掉
  temp = index % 5;
  if(1 == temp){
    orderStatus.push(tdtxt);
    //console.log(index + "---------statu-------" + tdtxt);
  }else if(2 == temp){
    users.push(tdtxt);
    //console.log(index + "---------users-------" + tdtxt);
  }else if(3 == temp){
    remark.push(tdtxt);
    //console.log(index + "---------remark-------" + tdtxt);
  }
});
express = [];//快递单号
$("tr[class=content] td div[style='text-align: center;']").each(function(index){
  tdtxt = '';
  tdtxt = $(this).text().replace(/[\r\n]\ +/g,"");//将回车,换行,空格去掉
  express.push(tdtxt);
  //console.log( "============快递单号=======" + tdtxt);
});
orderInfo = [];
splitstr = "@_@";
$("tr[class=head] a[track=orderinfopagebeta]").each(function(index){
  orderid = $(this).text();
  //console.log("---------orderid-------" + orderid);
  mycomment = $("a[id=comment_" + orderid + "]").attr('style').replace(/[\r\n]\ +/g,"");
  if("display: block;" == mycomment){
    mycomment = '已评价';
  }else if('display:none;' == mycomment){
    mycomment = '未评价';
  }
  tempshopid = $("img[id=remarkFlag_" + orderid + "]").attr('onclick');
  shopidIndex = tempshopid.indexOf(",");
  shopid = tempshopid.substr(shopidIndex + 1).replace(/[\)\;]/g,"");
  //console.log("---------shopid-------" + shopid);
  orderdesc = shopid + splitstr + orderid + splitstr + mycomment + splitstr + payMoney[index] + splitstr + orderTime[index] + splitstr + paytype[index] + splitstr + yunfei[index] + splitstr + orderStatus[index] + splitstr + users[index] + splitstr + remark[index] + splitstr + express[index];
  console.log("---------orderdesc-------" + orderdesc);
  orderInfo.push(orderdesc);
});
//chrome.extension.sendMessage({"orderInfo": orderInfo}, function(response) {});
page = parseInt($("a[class=current]").text());
totalPage = parseInt($("input[name=totalPage]").val());
console.log(page + "--page-----------totalPage---" + totalPage);
if(page < totalPage && page < 100){
  console.log("---------next-------");
  sendMsg( orderInfo, "next" );
  $('a.next')[1].click();
}else{
  console.log("---------end-------");
  sendMsg( orderInfo, "end" );
}
//
}
//将获取内容传递给后台文件进行处理
function sendMsg( msg, cmd){
  chrome.extension.sendMessage({"msg": msg, "cmd": cmd}, function(response) {});
}
  5. 创建一个后台处理js文件eventPage.js
  var flag = false;
var currentTabId;
chrome.browserAction.onClicked.addListener(function(tab) {
  counter = 40;
  console.log('Turning ' + tab.url);
  flag = true;
  currentTabId = tab.id;
  chrome.tabs.getSelected(null, function(tab) {
    sendMsg(tab.id);
  });
});
chrome.webNavigation.onCompleted.addListener(function( tab ){
  console.log('加载完成***' + tab.tabId );
  if( flag ){
    sendMsg( tab.tabId );
  }
});
chrome.extension.onMessage.addListener(
function(request, sender, sendResponse) {
  console.log("*******evenPage.js***chrome.extension.onMessage.addListener");
  articleData = request;
  $.ajax({
    url: "服务器接受数据URL/getOrderinfo.php",
    cache: false,
    type: "POST",
    data: {'orderinfo': request.msg.join("#$#")},
    dataType: "json"
    }).done(function(msg) {
      console.log('*******************json*************' + msg.sql );
      chrome.tabs.sendMessage(currentTabId, {"cmd":"end"},
      function(response) {
      console.log(response);
 });
}).fail(function(jqXHR, textStatus) {
  articleData.firstAccess = textStatus;
});
cmd = request.cmd;
if('end' == cmd){
  flag = false;//确保不会自动运行
}
});
function sendSku2Info(colores){
  chrome.tabs.query(
    {active: true, currentWindow: true}, function(tabs) {
      chrome.tabs.sendMessage(tabs[0].id, {"cmd":"ok", "sku": colores},
      function(response) {
        console.log(response);
      });
  });
}
function sendMsg( tabid ){
  console.log(tabid + "--sendMsg()----eventPage.js");
  chrome.tabs.sendMessage(tabid, {greeting: "start working"}, function(response) {
  });
}
  4. 创建一个服务器来接收文件getOrderInfo.php(亲爱的,将其放置在服务器上!)
<p> 查看全部

  想象一下,如果您想每天采集100页甚至更多的网页数据. 如果使用手动采集,则会吐血,因此使用程序进行采集将成为唯一选择. 首先,我肯定会考虑使用Java,PHP和C#等高级语言,但是有一个登录和验证代码,我很茫然. 您是否还在担心在网络上采集数据?很高兴,您找到了正确的地方.
  应用场景:
  1. 每天需要在网络上重复采集大量数据
  2,登录后即可采集网页数据
  3,网页可以翻页
  解决方案:
  手动登录,然后使用chrome插件方法进行采集. 当然,您会说使用硒等自动化测试方法进行采集会比较凉爽,并且可以每天自动采集,并且完全自动化,无需人工干预. 但是作为忠实的Chrome迷,您只需要前端js,服务器端接收文件和数据库即可完美解决此问题. 加上简单的部署和操作. 成为粉丝的原因很多. 好吧,即使这是保存国家并实现它的顽固曲线.
  思考:
  
  帮助手册:
  示例:
  
  获取电子商务公司的后端订单数据
  1. 创建一个项目文件夹并导入所需的文件: 例如D: \ tool \ chrome_server_plugin
  jquery-2.1.1.min.js,icon.png
  2,创建background.html
  3,创建配置文件manifest.json文件
  {
"name": "获取某电商后台订单信息",
"version": "1.0",
"manifest_version": 2,
"description": "*********获取某电商后台订单信息*********",
"browser_action": {
"default_icon": "icon.png"
},
"permissions": [
"webNavigation",
"tabs",
"contextMenus",
"http://服务器接受数据url/"
],
"background": {
"scripts": ["eventPage.js","jquery-2.1.1.min.js"]
},
"content_scripts": [
{
"matches": ["http://抓取页面url/*"],
"js": ["jquery-2.1.1.min.js", "contentscript.js"]
}
]
}
  4,创建前端js文件contentscript.js
  var totalPage;
var page = 0;
//注册前台页面监听事件
chrome.extension.onMessage.addListener(
  function(request, sender, sendResponse) {
    totalPage = $("input[name=totalPage]").val();
    console.log("totalPage----------" + totalPage);
    //console.log("msg----------contentscript.js" + request.greeting);
    getOrderInfo( sendResponse );
  });
//获取订单信息
function getOrderInfo( sendResponse ){
  var flag = false;
  payMoney = [];//货款金额
  orderTime = [];//下单时间
  $("tr[class=head] span").each(function(index){
    spantxt = '';
    spantxt = $(this).text();
    if(spantxt.indexOf('货款金额:') > -1){
      money = spantxt.substr(5);
      //console.log(index + "---------payMoney-------货款金额:" + money);
      payMoney.push(money);
    }else if(spantxt.indexOf('下单时间:') > -1){
      time = spantxt.substr(5);
      //console.log(index + "---------orderTime-------下单时间:" + time);
      orderTime.push(time);
    }
  });
paytype = [];//物流方式
yunfei = [];//运费
$("td[class=p-values]").each(function(index){
  tdtxt = '';
  tdtxt = $(this).text();
  if(tdtxt.indexOf('货到付款') > -1){
    paytype.push('货到付款');
  }else{
    paytype.push('在线支付');
  }
  yf_index = tdtxt.indexOf('运费:');
  if(yf_index > -1){
    temp = tdtxt.substr(yf_index);
    temp_yf = temp.substr(3);
    //console.log(index + "---------yunfei-------"+ temp +"===" + temp_yf);
    yunfei.push(temp_yf);
  }else{
    yunfei.push(0);
  }
  //console.log(index + "---------tdtxt-------" + tdtxt);
});
orderStatus = [];//订单状态
users = [];//买家账号
remark = [];//备注
$("tr[class=content] td[class=t-c]").each(function(index){
  tdtxt = '';
  tdtxt = $(this).text().replace(/[\r\n]\ +/g,"");//将回车,换行,空格去掉
  temp = index % 5;
  if(1 == temp){
    orderStatus.push(tdtxt);
    //console.log(index + "---------statu-------" + tdtxt);
  }else if(2 == temp){
    users.push(tdtxt);
    //console.log(index + "---------users-------" + tdtxt);
  }else if(3 == temp){
    remark.push(tdtxt);
    //console.log(index + "---------remark-------" + tdtxt);
  }
});
express = [];//快递单号
$("tr[class=content] td div[style='text-align: center;']").each(function(index){
  tdtxt = '';
  tdtxt = $(this).text().replace(/[\r\n]\ +/g,"");//将回车,换行,空格去掉
  express.push(tdtxt);
  //console.log( "============快递单号=======" + tdtxt);
});
orderInfo = [];
splitstr = "@_@";
$("tr[class=head] a[track=orderinfopagebeta]").each(function(index){
  orderid = $(this).text();
  //console.log("---------orderid-------" + orderid);
  mycomment = $("a[id=comment_" + orderid + "]").attr('style').replace(/[\r\n]\ +/g,"");
  if("display: block;" == mycomment){
    mycomment = '已评价';
  }else if('display:none;' == mycomment){
    mycomment = '未评价';
  }
  tempshopid = $("img[id=remarkFlag_" + orderid + "]").attr('onclick');
  shopidIndex = tempshopid.indexOf(",");
  shopid = tempshopid.substr(shopidIndex + 1).replace(/[\)\;]/g,"");
  //console.log("---------shopid-------" + shopid);
  orderdesc = shopid + splitstr + orderid + splitstr + mycomment + splitstr + payMoney[index] + splitstr + orderTime[index] + splitstr + paytype[index] + splitstr + yunfei[index] + splitstr + orderStatus[index] + splitstr + users[index] + splitstr + remark[index] + splitstr + express[index];
  console.log("---------orderdesc-------" + orderdesc);
  orderInfo.push(orderdesc);
});
//chrome.extension.sendMessage({"orderInfo": orderInfo}, function(response) {});
page = parseInt($("a[class=current]").text());
totalPage = parseInt($("input[name=totalPage]").val());
console.log(page + "--page-----------totalPage---" + totalPage);
if(page < totalPage && page < 100){
  console.log("---------next-------");
  sendMsg( orderInfo, "next" );
  $('a.next')[1].click();
}else{
  console.log("---------end-------");
  sendMsg( orderInfo, "end" );
}
//
}
//将获取内容传递给后台文件进行处理
function sendMsg( msg, cmd){
  chrome.extension.sendMessage({"msg": msg, "cmd": cmd}, function(response) {});
}
  5. 创建一个后台处理js文件eventPage.js
  var flag = false;
var currentTabId;
chrome.browserAction.onClicked.addListener(function(tab) {
  counter = 40;
  console.log('Turning ' + tab.url);
  flag = true;
  currentTabId = tab.id;
  chrome.tabs.getSelected(null, function(tab) {
    sendMsg(tab.id);
  });
});
chrome.webNavigation.onCompleted.addListener(function( tab ){
  console.log('加载完成***' + tab.tabId );
  if( flag ){
    sendMsg( tab.tabId );
  }
});
chrome.extension.onMessage.addListener(
function(request, sender, sendResponse) {
  console.log("*******evenPage.js***chrome.extension.onMessage.addListener");
  articleData = request;
  $.ajax({
    url: "服务器接受数据URL/getOrderinfo.php",
    cache: false,
    type: "POST",
    data: {'orderinfo': request.msg.join("#$#")},
    dataType: "json"
    }).done(function(msg) {
      console.log('*******************json*************' + msg.sql );
      chrome.tabs.sendMessage(currentTabId, {"cmd":"end"},
      function(response) {
      console.log(response);
 });
}).fail(function(jqXHR, textStatus) {
  articleData.firstAccess = textStatus;
});
cmd = request.cmd;
if('end' == cmd){
  flag = false;//确保不会自动运行
}
});
function sendSku2Info(colores){
  chrome.tabs.query(
    {active: true, currentWindow: true}, function(tabs) {
      chrome.tabs.sendMessage(tabs[0].id, {"cmd":"ok", "sku": colores},
      function(response) {
        console.log(response);
      });
  });
}
function sendMsg( tabid ){
  console.log(tabid + "--sendMsg()----eventPage.js");
  chrome.tabs.sendMessage(tabid, {greeting: "start working"}, function(response) {
  });
}
  4. 创建一个服务器来接收文件getOrderInfo.php(亲爱的,将其放置在服务器上!)
<p>

WhatSNS--Ask2问答自动采集插件已经开发,请根据需要联系

采集交流优采云 发表了文章 • 0 个评论 • 452 次浏览 • 2020-08-07 18:55 • 来自相关话题

  2017年6月28日采集的更新内容:
  新文章采集,还支持采集预览,更重要的是,自动采集页面可以同时采集文章和问题而不会互相干扰:
  
  
  
  系统功能的用户友好性得到了完善. 基本上,您可以使用此系统在几分钟内建立一个功能强大的数据内容网站. 许多插件都适合优采云网站管理员使用,包括seo优化插件,它们是由官方团队构建的. !
  以下是先前作者的更新内容----------
  为什么要进行自动采集?
  这是为优采云准备的. 我们可以将采集规则与特定的分类相对应,分批设置N个采集规则,然后通过一个按钮自动采集,并同时执行多任务批处理以解决单线程问题.
  让我们看一下添加采集规则的界面:
  
  
  这些功能确实非常完整,并且隐藏的功能是您看不到的. 您可以自动对问题进行细分以生成标签,还可以随机提取归属问题,还可以生成站点中实际用户交互的动态模拟,并且化身会被自动捕获和定位.
  还有一个采集测试: 我们可以测试编写的规则,还可以预览问题页面. 真令人兴奋.
  
  
  添加规则界面和编辑规则界面均支持测试采集并测试答案是否成功采集.
  让我们再次查看自动采集页面:
  
  我们可以检查需要自动采集的列规则,支持一键自动采集,并停止采集功能,设置采集时间间隔,并且采集过程支持每个采集进度视图,这很棒,并且实时监控采集状态(采集,准备采集,采集,采集完成,采集终止).
  
  打开采集页面后,您可以执行其他操作,自动进行无人采集
  
  如果设置了用户名,该用户名将被采集并自动变为背心,这非常方便. 如上图所示,还采集了答案. 此自动采集插件无需手动安装并自动检测. 如果未安装,它将自动安装.
  请添加官方网站QQ群: 370431002,联系店主进行购买. 查看全部

  2017年6月28日采集的更新内容:
  新文章采集,还支持采集预览,更重要的是,自动采集页面可以同时采集文章和问题而不会互相干扰:
  
  
  
  系统功能的用户友好性得到了完善. 基本上,您可以使用此系统在几分钟内建立一个功能强大的数据内容网站. 许多插件都适合优采云网站管理员使用,包括seo优化插件,它们是由官方团队构建的. !
  以下是先前作者的更新内容----------
  为什么要进行自动采集?
  这是为优采云准备的. 我们可以将采集规则与特定的分类相对应,分批设置N个采集规则,然后通过一个按钮自动采集,并同时执行多任务批处理以解决单线程问题.
  让我们看一下添加采集规则的界面:
  
  
  这些功能确实非常完整,并且隐藏的功能是您看不到的. 您可以自动对问题进行细分以生成标签,还可以随机提取归属问题,还可以生成站点中实际用户交互的动态模拟,并且化身会被自动捕获和定位.
  还有一个采集测试: 我们可以测试编写的规则,还可以预览问题页面. 真令人兴奋.
  
  
  添加规则界面和编辑规则界面均支持测试采集并测试答案是否成功采集.
  让我们再次查看自动采集页面:
  
  我们可以检查需要自动采集的列规则,支持一键自动采集,并停止采集功能,设置采集时间间隔,并且采集过程支持每个采集进度视图,这很棒,并且实时监控采集状态(采集,准备采集,采集,采集完成,采集终止).
  
  打开采集页面后,您可以执行其他操作,自动进行无人采集
  
  如果设置了用户名,该用户名将被采集并自动变为背心,这非常方便. 如上图所示,还采集了答案. 此自动采集插件无需手动安装并自动检测. 如果未安装,它将自动安装.
  请添加官方网站QQ群: 370431002,联系店主进行购买.

前端用户行为数据异常数据采集插件(带有演示)

采集交流优采云 发表了文章 • 0 个评论 • 499 次浏览 • 2020-08-07 18:05 • 来自相关话题

  最近,一个朋友再次提到了前端数据采集.
  想想以前的开源数据获取插件dataAcquisition
  由于不关注前端数据分析,因此项目运行不佳
  但是整个项目还是很不错的,功能比较齐全,我不愿意这样放弃
  所以我花了一些时间进行重构. 并做了相应的演示
  借此机会向大家再次介绍并推荐
  1. 为什么我们需要数据采集?
  我们问几个问题:
  一个新产品流程在线,如何获得流程的转化率?您如何知道添加按钮后有多少人点击?在AB方案中,如何获得两种方案的转换?
  在日常开发中,我们经常听到并看到在后台的学生使用日志来查找问题
  但是如何定位前端生产问题?用户产生的问题如何反馈给开发人员?
  我们之前的项目需要用户反馈给客户服务,然后通过工作订单反馈给开发
  但是,此过程周期相对较长,大多数用户发现它很麻烦且懒得提供反馈
  是否存在一种主动采集机制来采集客户端的某些异常情况?
  是否存在用于采集用户数据的页面行为采集工具?
  本文旨在向您介绍前端主动异常数据采集工具-dataAcquisition
  两个. 我们可以采集什么数据?
  说到数据采集,我们必须首先知道可以采集哪些数据
  1. 通过事件代理,用户的点击数据可以采集页面上发生的所有点击事件,并获取点击元素
  2. 用户的输入操作,通过输入,聚焦,模糊事件来获取输入框的内容以及用户的操作
  3. 页面访问数据,通过记录页面URL并报告,可以实现PV统计,而使用uuid可以实现UV统计
  4. 页面中的代码异常,请使用window.onerror采集代码中的异常
  5. 页面中的接口数据失败和异常,通过代理ajax方法报告执行错误方法之前的请求参数和结果
  6. 页面性能数据,通过性能界面计算DNS解析度,TCP链接时间,白屏时间,dom解析时间等.
  利用以上数据,我们可以重现用户的操作过程
  它还可以及时采集用户端发生的异常
  通过对用户行为的分析,可以得出用户的习惯和偏好.
  以便优化产品计划,优化业务流程并获得数据驱动的产品.
  3. 采集数据的方式有哪些?
  常用数据采集方法:
  1. 自动掩埋点,通过大范围的数据采集从数据中过滤出特定的元素,这样做的缺点是数据量太大,优点是无需事先定制采集计划上线.
  2. 通过向元素添加特定的id或class属性来主动掩埋点,以便采集工具可以准确地采集所需的数据. 缺点侵入了页面. 优点是数据准确.
  3. 圈出掩埋点并通过单击选择页面元素,这比自动采集更准确,比手动掩埋更方便. 但是圈出的兼容性问题令人头疼.
  市场上有带圆圈和埋点的付费项目,报价基本上是10W +
  我们今天介绍的dataAcquisition可以完美支持自动和主动埋入.
  圈出的功能也在开发计划中.
  作为可以解决眼前问题的开源工具,有什么理由不尝试?
  四个. 关于dataAcquisition
  dataAcquisition插件于2017年开发,迭代时间相对较短.
  自从上线生产以来的一年中没有错误
  当然,由于情况不同,仍有许多问题尚未解决
  当前实现的功能:
  1. 前端PV和UV数据采集和报告
  2. 用户点击,输入行为采集和报告
  3. 实现页面性能采集
  4. 实现代码异常采集
  5. 实现接口异常采集
  该项目已在GitHub上开源,地址:
  它收录采集插件的源代码,一个示例演示
  需要它的学生可以下载和使用
  5.demo示例
  该插件提供了一个简单的演示,包括数据采集页面和数据分析页面
  1. 数据采集页面:
  将采集并报告此页面上的所有操作,
  请注意,仅在刷新页面或单击报告按钮时,采集的数据才会发送到后台
  PC屏幕截图:
  
  2. 数据分析页面:
  报告的数据将显示在此页面上,在此页面上,您可以观察到以前的所有操作
  与异常对应的详细数据
  PC屏幕截图:
  
  VI. 邀请参加
  一个人的精力有限,开源项目的维护需要一些合作伙伴共同努力,
  欢迎向我提交公关
  所有参与者都将记录在作者目录中,并且每个人都将共享项目结果.
  个人官方帐户: 查看全部

  最近,一个朋友再次提到了前端数据采集.
  想想以前的开源数据获取插件dataAcquisition
  由于不关注前端数据分析,因此项目运行不佳
  但是整个项目还是很不错的,功能比较齐全,我不愿意这样放弃
  所以我花了一些时间进行重构. 并做了相应的演示
  借此机会向大家再次介绍并推荐
  1. 为什么我们需要数据采集?
  我们问几个问题:
  一个新产品流程在线,如何获得流程的转化率?您如何知道添加按钮后有多少人点击?在AB方案中,如何获得两种方案的转换?
  在日常开发中,我们经常听到并看到在后台的学生使用日志来查找问题
  但是如何定位前端生产问题?用户产生的问题如何反馈给开发人员?
  我们之前的项目需要用户反馈给客户服务,然后通过工作订单反馈给开发
  但是,此过程周期相对较长,大多数用户发现它很麻烦且懒得提供反馈
  是否存在一种主动采集机制来采集客户端的某些异常情况?
  是否存在用于采集用户数据的页面行为采集工具?
  本文旨在向您介绍前端主动异常数据采集工具-dataAcquisition
  两个. 我们可以采集什么数据?
  说到数据采集,我们必须首先知道可以采集哪些数据
  1. 通过事件代理,用户的点击数据可以采集页面上发生的所有点击事件,并获取点击元素
  2. 用户的输入操作,通过输入,聚焦,模糊事件来获取输入框的内容以及用户的操作
  3. 页面访问数据,通过记录页面URL并报告,可以实现PV统计,而使用uuid可以实现UV统计
  4. 页面中的代码异常,请使用window.onerror采集代码中的异常
  5. 页面中的接口数据失败和异常,通过代理ajax方法报告执行错误方法之前的请求参数和结果
  6. 页面性能数据,通过性能界面计算DNS解析度,TCP链接时间,白屏时间,dom解析时间等.
  利用以上数据,我们可以重现用户的操作过程
  它还可以及时采集用户端发生的异常
  通过对用户行为的分析,可以得出用户的习惯和偏好.
  以便优化产品计划,优化业务流程并获得数据驱动的产品.
  3. 采集数据的方式有哪些?
  常用数据采集方法:
  1. 自动掩埋点,通过大范围的数据采集从数据中过滤出特定的元素,这样做的缺点是数据量太大,优点是无需事先定制采集计划上线.
  2. 通过向元素添加特定的id或class属性来主动掩埋点,以便采集工具可以准确地采集所需的数据. 缺点侵入了页面. 优点是数据准确.
  3. 圈出掩埋点并通过单击选择页面元素,这比自动采集更准确,比手动掩埋更方便. 但是圈出的兼容性问题令人头疼.
  市场上有带圆圈和埋点的付费项目,报价基本上是10W +
  我们今天介绍的dataAcquisition可以完美支持自动和主动埋入.
  圈出的功能也在开发计划中.
  作为可以解决眼前问题的开源工具,有什么理由不尝试?
  四个. 关于dataAcquisition
  dataAcquisition插件于2017年开发,迭代时间相对较短.
  自从上线生产以来的一年中没有错误
  当然,由于情况不同,仍有许多问题尚未解决
  当前实现的功能:
  1. 前端PV和UV数据采集和报告
  2. 用户点击,输入行为采集和报告
  3. 实现页面性能采集
  4. 实现代码异常采集
  5. 实现接口异常采集
  该项目已在GitHub上开源,地址:
  它收录采集插件的源代码,一个示例演示
  需要它的学生可以下载和使用
  5.demo示例
  该插件提供了一个简单的演示,包括数据采集页面和数据分析页面
  1. 数据采集页面:
  将采集并报告此页面上的所有操作,
  请注意,仅在刷新页面或单击报告按钮时,采集的数据才会发送到后台
  PC屏幕截图:
  
  2. 数据分析页面:
  报告的数据将显示在此页面上,在此页面上,您可以观察到以前的所有操作
  与异常对应的详细数据
  PC屏幕截图:
  
  VI. 邀请参加
  一个人的精力有限,开源项目的维护需要一些合作伙伴共同努力,
  欢迎向我提交公关
  所有参与者都将记录在作者目录中,并且每个人都将共享项目结果.
  个人官方帐户:

WP AutoBlog自动采集和发布插件v1.2.9

采集交流优采云 发表了文章 • 0 个评论 • 304 次浏览 • 2020-08-07 16:54 • 来自相关话题

  WP AutoBlog自动采集和发布插件. 一个出色的插件工具,可以采集各种网站中的网站内容,并更新自己的WordPress网站,采集和更新新闻,信息等,以帮助用户同时发布文章. 规范的自定义设置等,以便每个用户都能更好地收录网站和排名!
  
  WP AutoBlog软件说明
  WP AutoBlog是一个功能强大的Web内容自动采集和发布插件,可以帮助用户采集和发布任何网站文章,图片和其他内容. 它支持在多个平台上进行内容采集,例如头条,微信公众号等. 它还支持自定义采集规则. 采集后,您还可以通过多种方式执行伪原创操作. 您可以在网站上添加伪原创文章,以增加百度的采集和网站重量.
  WP AutoBlog软件功能
  可以采集任何网站的内容,采集的信息一目了然
  通过简单的设置,您可以从任何网站采集内容,还可以将多个采集任务设置为同时运行. 您可以将任务设置为自动或手动运行. 主任务列表显示每个采集任务的状态: 上次检测采集时间,下一次检测的估计采集时间,最新采集的文章,已采集和更新的文章数以及其他易于查看和查看的信息. 管理.
  文章管理功能方便查询,搜索和删除采集的文章. 改进的算法从根本上消除了同一文章的重复采集. 日志功能记录采集过程中的异常和爬网错误,便于检查和设置修复错误.
  可以采集任何网站的内容,并且所采集的信息一目了然. 文章管理功能完善,便于查询管理,并具有日志功能,可以记录馆藏异常情况.
  启用任务后,它将自动采集和更新,而无需人工干预.
  启用该任务后,检查是否有新文章要定期更新,检查文章是否重复,然后导入更新的文章. 所有这些操作都是自动完成的,无需人工干预.
  触发采集和更新的方法有两种,一种是在页面中添加代码以通过用户访问来触发采集和更新(在后台异步,不影响用户体验,也不影响效率)的网站),Cron计划任务可用于定期触发采集集更新任务
  WP AutoBlog软件的优势
  支持各种中英文伪原创方法
  支持使用翻译引擎获取伪原创文章,不仅替换同义词,而且语义重新表示,唯一性和伪原创效果更好,并支持多种语言. 同时,它集成了国外最好的伪原创工具WordAi等,使英语台可以获得可读性和唯一性更好的伪原创文章.
  任何格式的远程图片和其他附件都可以下载到本地服务器,并自动为图片添加水印
  支持将远程图像下载到本地服务器,并且可以选择自动添加文本水印或图像水印. 其他格式的附件和文档也可以轻松下载到本地服务器.
  WP AutoBlog软件亮点
  每个采集任务都可以选择发布到类别目录,发布作者,发布状态,检查和更新时间间隔,采集目标网站的字符集,以及选择下载图片还是附件.
  支持自定义文章类型,自定义文章分类和文章格式.
  完全支持Wordpress的各种功能,自动添加标签,自动生成摘要,自动设置特色图片,支持自定义列等.
  完美支持Wordpress的各种功能,自动设置类别,标签,摘要,特色图片,自定义列等.
  微信公众号采集
  今天的头条新闻
  可以采集微信公众号,头条新闻和其他自媒体内容. 由于百度不包括官方帐户,头条新闻等,因此可以轻松获得高质量的“原创”文章,从而增加了百度的收录量和网站权重
  支持微信公众号(订阅帐号)文章的采集,无需复杂的配置,只需填写“官方帐号名”和“微信ID”即可开始采集. (由于腾讯屏蔽相关界面,微信公众号的收取暂时困难)
  无需复杂的配置即可采集今天的头条新闻
  可以采集微信公众号,头条新闻和其他自媒体内容. 由于百度不包括官方帐户,头条新闻等,因此可以轻松获得高质量的“原创”文章,从而增加了百度的收录量和网站权重
  WP AutoBlog软件的优势
  支持将图片上传到优派云存储,节省带宽和空间,提高网站访问速度
  支持市场上所有主流对象存储服务,包括Qiniu Cloud,阿里云OSS,腾讯Cloud COS,百度Cloud BOS,YouPai Cloud,Amazon AWS S3,Google Cloud Storage,并可以自动上传文章中的图片和附件Go云对象存储服务以节省带宽和空间并提高网站访问速度
  秦牛云存储,每月10GB的免费存储空间,10GB的免费带宽流量
  只需配置相关信息,该信息就会自动上传. 您还可以直接查看或管理通过Wordpress背景上传到云对象存储中的图片和文件.
  支持将图片上传到奇牛云存储,节省带宽和空间,提高网站访问速度
  关于WP AutoBlog的常见问题解答
  WP-AutoBlog是否与我使用的主题兼容?
  WP-AutoBlog与任何主题兼容,不受任何主题限制,并且可以在任何主题下使用.
  哪些WordPress版本与WP-AutoBlog兼容?
  建议在WordPress 3.0及更高版本上运行. 我们已经测试过它也可以在WordPress 2.8.5及更高版本上正常运行. 当WordPress的新版本发布时,我们将及时对其进行更新以与最新版本兼容.
  WP-AutoBlog是否与WordPress MU(多站点)版本兼容?
  完全兼容,WP-AutoBlog可以在WordPress MU的每个子站点(多站点)下完美运行. 请确保在每个子站的管理背景下单独激活插件,请勿使用“在整个网络中启用”.
  可以更改绑定的域名吗?
  您可以在30天内随意更改绑定域名,然后仅以支付插件价格的十分之一即可更改绑定域名,而无需以原创价格购买. 查看全部

  WP AutoBlog自动采集和发布插件. 一个出色的插件工具,可以采集各种网站中的网站内容,并更新自己的WordPress网站,采集和更新新闻,信息等,以帮助用户同时发布文章. 规范的自定义设置等,以便每个用户都能更好地收录网站和排名!
  
  WP AutoBlog软件说明
  WP AutoBlog是一个功能强大的Web内容自动采集和发布插件,可以帮助用户采集和发布任何网站文章,图片和其他内容. 它支持在多个平台上进行内容采集,例如头条,微信公众号等. 它还支持自定义采集规则. 采集后,您还可以通过多种方式执行伪原创操作. 您可以在网站上添加伪原创文章,以增加百度的采集和网站重量.
  WP AutoBlog软件功能
  可以采集任何网站的内容,采集的信息一目了然
  通过简单的设置,您可以从任何网站采集内容,还可以将多个采集任务设置为同时运行. 您可以将任务设置为自动或手动运行. 主任务列表显示每个采集任务的状态: 上次检测采集时间,下一次检测的估计采集时间,最新采集的文章,已采集和更新的文章数以及其他易于查看和查看的信息. 管理.
  文章管理功能方便查询,搜索和删除采集的文章. 改进的算法从根本上消除了同一文章的重复采集. 日志功能记录采集过程中的异常和爬网错误,便于检查和设置修复错误.
  可以采集任何网站的内容,并且所采集的信息一目了然. 文章管理功能完善,便于查询管理,并具有日志功能,可以记录馆藏异常情况.
  启用任务后,它将自动采集和更新,而无需人工干预.
  启用该任务后,检查是否有新文章要定期更新,检查文章是否重复,然后导入更新的文章. 所有这些操作都是自动完成的,无需人工干预.
  触发采集和更新的方法有两种,一种是在页面中添加代码以通过用户访问来触发采集和更新(在后台异步,不影响用户体验,也不影响效率)的网站),Cron计划任务可用于定期触发采集集更新任务
  WP AutoBlog软件的优势
  支持各种中英文伪原创方法
  支持使用翻译引擎获取伪原创文章,不仅替换同义词,而且语义重新表示,唯一性和伪原创效果更好,并支持多种语言. 同时,它集成了国外最好的伪原创工具WordAi等,使英语台可以获得可读性和唯一性更好的伪原创文章.
  任何格式的远程图片和其他附件都可以下载到本地服务器,并自动为图片添加水印
  支持将远程图像下载到本地服务器,并且可以选择自动添加文本水印或图像水印. 其他格式的附件和文档也可以轻松下载到本地服务器.
  WP AutoBlog软件亮点
  每个采集任务都可以选择发布到类别目录,发布作者,发布状态,检查和更新时间间隔,采集目标网站的字符集,以及选择下载图片还是附件.
  支持自定义文章类型,自定义文章分类和文章格式.
  完全支持Wordpress的各种功能,自动添加标签,自动生成摘要,自动设置特色图片,支持自定义列等.
  完美支持Wordpress的各种功能,自动设置类别,标签,摘要,特色图片,自定义列等.
  微信公众号采集
  今天的头条新闻
  可以采集微信公众号,头条新闻和其他自媒体内容. 由于百度不包括官方帐户,头条新闻等,因此可以轻松获得高质量的“原创”文章,从而增加了百度的收录量和网站权重
  支持微信公众号(订阅帐号)文章的采集,无需复杂的配置,只需填写“官方帐号名”和“微信ID”即可开始采集. (由于腾讯屏蔽相关界面,微信公众号的收取暂时困难)
  无需复杂的配置即可采集今天的头条新闻
  可以采集微信公众号,头条新闻和其他自媒体内容. 由于百度不包括官方帐户,头条新闻等,因此可以轻松获得高质量的“原创”文章,从而增加了百度的收录量和网站权重
  WP AutoBlog软件的优势
  支持将图片上传到优派云存储,节省带宽和空间,提高网站访问速度
  支持市场上所有主流对象存储服务,包括Qiniu Cloud,阿里云OSS,腾讯Cloud COS,百度Cloud BOS,YouPai Cloud,Amazon AWS S3,Google Cloud Storage,并可以自动上传文章中的图片和附件Go云对象存储服务以节省带宽和空间并提高网站访问速度
  秦牛云存储,每月10GB的免费存储空间,10GB的免费带宽流量
  只需配置相关信息,该信息就会自动上传. 您还可以直接查看或管理通过Wordpress背景上传到云对象存储中的图片和文件.
  支持将图片上传到奇牛云存储,节省带宽和空间,提高网站访问速度
  关于WP AutoBlog的常见问题解答
  WP-AutoBlog是否与我使用的主题兼容?
  WP-AutoBlog与任何主题兼容,不受任何主题限制,并且可以在任何主题下使用.
  哪些WordPress版本与WP-AutoBlog兼容?
  建议在WordPress 3.0及更高版本上运行. 我们已经测试过它也可以在WordPress 2.8.5及更高版本上正常运行. 当WordPress的新版本发布时,我们将及时对其进行更新以与最新版本兼容.
  WP-AutoBlog是否与WordPress MU(多站点)版本兼容?
  完全兼容,WP-AutoBlog可以在WordPress MU的每个子站点(多站点)下完美运行. 请确保在每个子站的管理背景下单独激活插件,请勿使用“在整个网络中启用”.
  可以更改绑定的域名吗?
  您可以在30天内随意更改绑定域名,然后仅以支付插件价格的十分之一即可更改绑定域名,而无需以原创价格购买.

10个适用于WordPress的RSS采集插件

采集交流优采云 发表了文章 • 0 个评论 • 725 次浏览 • 2020-08-22 13:33 • 来自相关话题

  10个适用于WordPress的RSS采集插件
  10个适用于WordPress的RSS采集插件大全
  作为一个强悍的博客甚至说CMS内容管理系统,WordPress完全兼容RSS输出和输入。这就意味着,如果须要,可以通过rss来采集网站信息,当然,鼓励适度而为之,不建议滥用采集。具体的安装使用方式这儿就不一一介绍了,请Google之.
  1、wordpress手动采集插 件-FeedWordPress
  这个插件用的很不错,主要是读取feed来实现你的博文更新的,并且是以全文的方式。优点是插件更新升级太及时!建议不要用汉化包,就用英文版WordPress和 FeedWordPress原插件!
  插件下载后须要在后台控制面板激活,并按照须要订制功能。
  2、wordpress手动采集插件 -Caffeinated Content
  是一个十分强悍的WordPress插件,根据关键词搜索Youtube、Yahoo Answer、Articles、Files而获取相关内容,可保留原文也可翻译成多个国家语言,并可以定时定量手动发布到你的博客上的插件工具。
  功能是非常强悍的,只可惜没有针对英文设置几个比较好的信息源头,如果想自行做二次开发,用这个做基础是非常好的选择。
  下载解压后上传到plugins根目录下,到后台激活即可,本插件须要注册后方能使用。
  3、wordpress手动采集插件-WP-o-Matic
  是一款疗效特别不错的WordPress采集插件,虽然少了手动分类功能,但该插件在各个方面都表现的尚佳,相对于wordpress采集插件 Caffeinated Content来说,wp-o-matic是不错的选择,通过RSS完成blog的手动采集。
  WP-o-Matic 插件是博客联盟见过的最狠的一个 wordpress 采集插件――只需在后台设定 Rss 源以及采集的时间,WP-o-Matic都会手动执行。它甚至可以将对方网站的附件以及图片等都采集,跟国外的cms系统有得一拼,完全无需站长耗心耗 力。
  遗憾的是,这个插件自2008年以来也许久没有更新了。
  4、wordpress 自动采集插件-autoblogged
  可以手动按照关键词获得YouTube及Yahoo answer等内容,进而实现博客内容手动发布的目的
  简介:AutoBlogged 是一个强悍的手动通过RSS 订阅发布到WP博客的插件,你可以用它完善你的手动网赚博客,也可以构建你自己的博客群(blog farm),通过这个插件你可以生成视频、图片或则文章博客等,可以说是一个比较简单的英语网赚方法了,大致特点如下:
  * 支持图片及视频发布
  * 自动通过文章源获得关键字
  * 自定义 Post 模板
  * 自动生成缩略图
  * 完全支持 WordPress 2.6 以上版本
  * 可配置多 RSS feed 源
  * 支持 RSS 0.9, 0.91, 0.92, 1.0, 2.0, Atom 0.3, 1.0 feeds.
  * 内建 feed 缓存
  * 还不止这种,各位爱玩家渐渐挖掘吧 … …
  5、wordpress手动采集插件-smartrss
  随心所欲地把自己喜欢的RSS上面的文章自动发布到自己的wordpress 博客上,使得 wordpress 具有了类似于有些 CMS 的手动采集功能。
  6、wordpress手动采集插件-BDP RSS Aggregator
  通过BDP RSS Aggregator 这个wordpress 插件,可以聚合多个blog的内容。适用于拥有多个博客的blogger,或者资源聚合和分享类的blogger,以及群组blogger。
  BDP RSS Aggregator 插件主要是聚合标题以及部份摘要,并不会全文现实内容,也不会把对方的文章导入到自己的数据库上面。详见 aggregated blog feeds:聚合多个博客的内容一文。
  7、wordpress手动采集发布插件WP Robot
  这个wp插件是一个基于wordpress平台的内容采集工具。wp robot是一个款中文站工具,这个插件的恶果我都不说了,毕竟仁者见仁智者见智!
  功能主要包括:
  1)支持采集yahoo answers的英语、法语、英语和西班牙语的采集;
  2)使用的yahoo的官方api,
  3)一个贴子里可以有5个文档内容
  4)可以选取目标关键词,然后wp robot插件手动去搜索相关贴子主题来采集best answers或其他分类的贴子内容。按照我的经验,如果主题选择的好,多注册一些垃圾域名,然后不停的采集,注意 选择关键词哦,
  8、wordpress 自动采集插件-Friends RSS Aggregator (FRA)
  Friends RSS Aggregator (FRA) 这个插件可以通过RSS聚合,也只是现实文章的标题,发布日期等。
  9、inlineRSS
  Inlinefeed 支持RSS, RDF, XML or HTML等几种格式,通过Inlinefeed可以使Rss源的文章现实在特定文章内。
  10、wordpress 自动采集插件-Auto Get Rss
  WordPress Auto Get Rss是一个可以在Wordpress博客程序上手动更新、发布文章的插件,通过任何RSS或Atom供稿。
  使用Wordpress Auto Get Rss构建一个手动的博客,比如视频博客、创建主题门户网站,或聚合RSS摘要。Wordpress Autoblogs是一强悍的工具,现在可更新下载最新版本,Wordpress Get-Rss。
  原文链接: 查看全部

  10个适用于WordPress的RSS采集插件
  10个适用于WordPress的RSS采集插件大全
  作为一个强悍的博客甚至说CMS内容管理系统,WordPress完全兼容RSS输出和输入。这就意味着,如果须要,可以通过rss来采集网站信息,当然,鼓励适度而为之,不建议滥用采集。具体的安装使用方式这儿就不一一介绍了,请Google之.
  1、wordpress手动采集插 件-FeedWordPress
  这个插件用的很不错,主要是读取feed来实现你的博文更新的,并且是以全文的方式。优点是插件更新升级太及时!建议不要用汉化包,就用英文版WordPress和 FeedWordPress原插件!
  插件下载后须要在后台控制面板激活,并按照须要订制功能。
  2、wordpress手动采集插件 -Caffeinated Content
  是一个十分强悍的WordPress插件,根据关键词搜索Youtube、Yahoo Answer、Articles、Files而获取相关内容,可保留原文也可翻译成多个国家语言,并可以定时定量手动发布到你的博客上的插件工具。
  功能是非常强悍的,只可惜没有针对英文设置几个比较好的信息源头,如果想自行做二次开发,用这个做基础是非常好的选择。
  下载解压后上传到plugins根目录下,到后台激活即可,本插件须要注册后方能使用。
  3、wordpress手动采集插件-WP-o-Matic
  是一款疗效特别不错的WordPress采集插件,虽然少了手动分类功能,但该插件在各个方面都表现的尚佳,相对于wordpress采集插件 Caffeinated Content来说,wp-o-matic是不错的选择,通过RSS完成blog的手动采集。
  WP-o-Matic 插件是博客联盟见过的最狠的一个 wordpress 采集插件――只需在后台设定 Rss 源以及采集的时间,WP-o-Matic都会手动执行。它甚至可以将对方网站的附件以及图片等都采集,跟国外的cms系统有得一拼,完全无需站长耗心耗 力。
  遗憾的是,这个插件自2008年以来也许久没有更新了。
  4、wordpress 自动采集插件-autoblogged
  可以手动按照关键词获得YouTube及Yahoo answer等内容,进而实现博客内容手动发布的目的
  简介:AutoBlogged 是一个强悍的手动通过RSS 订阅发布到WP博客的插件,你可以用它完善你的手动网赚博客,也可以构建你自己的博客群(blog farm),通过这个插件你可以生成视频、图片或则文章博客等,可以说是一个比较简单的英语网赚方法了,大致特点如下:
  * 支持图片及视频发布
  * 自动通过文章源获得关键字
  * 自定义 Post 模板
  * 自动生成缩略图
  * 完全支持 WordPress 2.6 以上版本
  * 可配置多 RSS feed 源
  * 支持 RSS 0.9, 0.91, 0.92, 1.0, 2.0, Atom 0.3, 1.0 feeds.
  * 内建 feed 缓存
  * 还不止这种,各位爱玩家渐渐挖掘吧 … …
  5、wordpress手动采集插件-smartrss
  随心所欲地把自己喜欢的RSS上面的文章自动发布到自己的wordpress 博客上,使得 wordpress 具有了类似于有些 CMS 的手动采集功能。
  6、wordpress手动采集插件-BDP RSS Aggregator
  通过BDP RSS Aggregator 这个wordpress 插件,可以聚合多个blog的内容。适用于拥有多个博客的blogger,或者资源聚合和分享类的blogger,以及群组blogger。
  BDP RSS Aggregator 插件主要是聚合标题以及部份摘要,并不会全文现实内容,也不会把对方的文章导入到自己的数据库上面。详见 aggregated blog feeds:聚合多个博客的内容一文。
  7、wordpress手动采集发布插件WP Robot
  这个wp插件是一个基于wordpress平台的内容采集工具。wp robot是一个款中文站工具,这个插件的恶果我都不说了,毕竟仁者见仁智者见智!
  功能主要包括:
  1)支持采集yahoo answers的英语、法语、英语和西班牙语的采集;
  2)使用的yahoo的官方api,
  3)一个贴子里可以有5个文档内容
  4)可以选取目标关键词,然后wp robot插件手动去搜索相关贴子主题来采集best answers或其他分类的贴子内容。按照我的经验,如果主题选择的好,多注册一些垃圾域名,然后不停的采集,注意 选择关键词哦,
  8、wordpress 自动采集插件-Friends RSS Aggregator (FRA)
  Friends RSS Aggregator (FRA) 这个插件可以通过RSS聚合,也只是现实文章的标题,发布日期等。
  9、inlineRSS
  Inlinefeed 支持RSS, RDF, XML or HTML等几种格式,通过Inlinefeed可以使Rss源的文章现实在特定文章内。
  10、wordpress 自动采集插件-Auto Get Rss
  WordPress Auto Get Rss是一个可以在Wordpress博客程序上手动更新、发布文章的插件,通过任何RSS或Atom供稿。
  使用Wordpress Auto Get Rss构建一个手动的博客,比如视频博客、创建主题门户网站,或聚合RSS摘要。Wordpress Autoblogs是一强悍的工具,现在可更新下载最新版本,Wordpress Get-Rss。
  原文链接:

橙子手动采集 Emlog插件+视频教程

采集交流优采云 发表了文章 • 0 个评论 • 873 次浏览 • 2020-08-22 07:07 • 来自相关话题

  橙子手动采集 Emlog插件+视频教程
  释放眼睛,带上扬声器,听听看~!
  Emlog橙子手动采集插件是一款扩展性强大能采集大部分未加密的网站,操作简单易上手,主要的一点就是免费。
  
  Emlog采集插件使用方式
  登录后台点击任务-添加任务-信息自己填-采集模板后面有一个导出规则-导入我们的采集规则
  自动采集要选择:是
  我们来绑定发布数据—导入采集规则后点任务列表–发布
  发布形式选择数据库,然后按我图片里面的信息操作:
  保存数据库发布信息后–自动跳转到数据表
  我这儿测试的程序是Emlog哈,并不是你自己所操作的程序,其他程序去后台云端–云平台(里面有主流程序的发布插件)大家下载了自己可以绑定数据十分简单
  如果云端数据上面没有,需要你自己绑定数据库。
  跳转到数据表后绑定发布数据信息可以看我图片是如何绑定的(这个是Emlog绑定的教程)
  采集的网站是未分类的保持在草稿箱,我们须要自己去后台分类发布。
  因为模板不一样,采集的数组可能造成布局错乱(我早已竭力这样的概率发生了,但是不保证百分之百无)
  如果出现这样的情况,我们须要自己编辑网站把对于的格式代码删掉就OK了。
  我们还须要设置手动采集–设置–采集设置–开启手动采集–采集运行模式:web服务器–自动采集运行方法:访问触发–采集数量推荐30
  开启访问触发模式会给一段代码给你,建议不要安装到网站里面,会导致资源消耗。
  代码上面富含触发的链接,需要更新的时侯自己访问一下链接就行了。 查看全部

  橙子手动采集 Emlog插件+视频教程
  释放眼睛,带上扬声器,听听看~!
  Emlog橙子手动采集插件是一款扩展性强大能采集大部分未加密的网站,操作简单易上手,主要的一点就是免费。
  
  Emlog采集插件使用方式
  登录后台点击任务-添加任务-信息自己填-采集模板后面有一个导出规则-导入我们的采集规则
  自动采集要选择:是
  我们来绑定发布数据—导入采集规则后点任务列表–发布
  发布形式选择数据库,然后按我图片里面的信息操作:
  保存数据库发布信息后–自动跳转到数据表
  我这儿测试的程序是Emlog哈,并不是你自己所操作的程序,其他程序去后台云端–云平台(里面有主流程序的发布插件)大家下载了自己可以绑定数据十分简单
  如果云端数据上面没有,需要你自己绑定数据库。
  跳转到数据表后绑定发布数据信息可以看我图片是如何绑定的(这个是Emlog绑定的教程)
  采集的网站是未分类的保持在草稿箱,我们须要自己去后台分类发布。
  因为模板不一样,采集的数组可能造成布局错乱(我早已竭力这样的概率发生了,但是不保证百分之百无)
  如果出现这样的情况,我们须要自己编辑网站把对于的格式代码删掉就OK了。
  我们还须要设置手动采集–设置–采集设置–开启手动采集–采集运行模式:web服务器–自动采集运行方法:访问触发–采集数量推荐30
  开启访问触发模式会给一段代码给你,建议不要安装到网站里面,会导致资源消耗。
  代码上面富含触发的链接,需要更新的时侯自己访问一下链接就行了。

WordPress插件手动采集插件wp-autopost-pro 3.7

采集交流优采云 发表了文章 • 0 个评论 • 528 次浏览 • 2020-08-18 14:39 • 来自相关话题

  WordPress插件手动采集插件wp-autopost-pro 3.7
  目前完美运行于的 WordPress 各个版本,请放心使用。WP-AutoPost-Pro 是一款优秀的 WordPress 文章采集器,是您操作站群,让网站自动更新内容的神器!如果是菜鸟,:
  
  采集插件适用对象1、刚建的wordpress站点内容比较少,希望早日有比较丰富的内容;2、热点内容手动采集并手动发布;3、定时采集,手动采集发布或保存到草稿;4、css样式规则,能更精确的采集需要的内容。5、伪原创与翻译、代理IP进行采集、保存Cookie记录;6、可采集内容到自定义栏目
  
  WP-AutoBlog为全新开发插件(原WP-AutoPost将不再更新和维护),全面支持PHP7.3更快更稳定全新构架和设计,采集设置愈发全面及灵活;支持多层级文章列表、多层级文章内容采集全新支持Google神经网路翻译,有道神经网路翻译,轻松获取高质量原创文章全面支持市面上所有主流对象储存服务,七牛云、阿里云OSS等。可采集微信公众号、头条号等自媒体内容,因百度不收录公众号,头条文章等,可轻松获取高质量“原创”文章,增加百度收录量及网站权重可采集任何网站的内容,采集信息一目了然
  通过简单设置可采集来自于任何网站的内容,并可设置多个采集任务同时进行,可设置任务为手动运行或自动运行,主任务列表显示每位采集任务的状况:上次测量采集时间,预计上次测量采集时间,最近采集文章,已采集更新的文章数等信息,方便查看管理。文章管理功能便捷查询、搜索、删除已采集文章,改进算法已从根本上避免了重复采集相同文章,日志功能记录采集过程中出现的异常和抓取错误,方便检测设置错误便于进行修补。
  [下载地址1] 查看全部

  WordPress插件手动采集插件wp-autopost-pro 3.7
  目前完美运行于的 WordPress 各个版本,请放心使用。WP-AutoPost-Pro 是一款优秀的 WordPress 文章采集器,是您操作站群,让网站自动更新内容的神器!如果是菜鸟,:
  
  采集插件适用对象1、刚建的wordpress站点内容比较少,希望早日有比较丰富的内容;2、热点内容手动采集并手动发布;3、定时采集,手动采集发布或保存到草稿;4、css样式规则,能更精确的采集需要的内容。5、伪原创与翻译、代理IP进行采集、保存Cookie记录;6、可采集内容到自定义栏目
  
  WP-AutoBlog为全新开发插件(原WP-AutoPost将不再更新和维护),全面支持PHP7.3更快更稳定全新构架和设计,采集设置愈发全面及灵活;支持多层级文章列表、多层级文章内容采集全新支持Google神经网路翻译,有道神经网路翻译,轻松获取高质量原创文章全面支持市面上所有主流对象储存服务,七牛云、阿里云OSS等。可采集微信公众号、头条号等自媒体内容,因百度不收录公众号,头条文章等,可轻松获取高质量“原创”文章,增加百度收录量及网站权重可采集任何网站的内容,采集信息一目了然
  通过简单设置可采集来自于任何网站的内容,并可设置多个采集任务同时进行,可设置任务为手动运行或自动运行,主任务列表显示每位采集任务的状况:上次测量采集时间,预计上次测量采集时间,最近采集文章,已采集更新的文章数等信息,方便查看管理。文章管理功能便捷查询、搜索、删除已采集文章,改进算法已从根本上避免了重复采集相同文章,日志功能记录采集过程中出现的异常和抓取错误,方便检测设置错误便于进行修补。
  [下载地址1]

某宝38大洋wordpress精品采集插件 auto post pro 最新可用

采集交流优采云 发表了文章 • 0 个评论 • 525 次浏览 • 2020-08-18 04:05 • 来自相关话题

  某宝38大洋wordpress精品采集插件 auto post pro 最新可用
  我在峰会上看见有人要求在Baoli 38海洋订购这个Wordpress插件。
  WP-AutoPost-Pro专业版支持wordpress4.9 自动采集发布文章插件
  WP-autopost-pro专业版(附带使用教程)-------------------------------------------------- -------------------------------------------------- ------------------------------ 超级好用的wordpress博客程序文章自动采集发布插件
  WP-autopost-pro专业版(附带使用教程)WordPress官方最新发布了WP 4.9,我第一时间尝试了,然后也更新了本采集插件,目前完美运行于最新的 WordPress 4.5 - 4.9之间的版本,请放心使用支持最新wordpress4.9+,亲测可用此版本没有任何域名,功能限制,请放心使用1.此插件基于破解版WP-AutoPost Pro V3.6.1版本,不是最新版本的破解版本,但支持最新的WordPress 4.9+版本使用,并提供专业测试。 2.发现0x6d0翻译插口和V3.6.1的七牛云映像储存插口早已老化,这意味着这两个函数不能使用,但其他采集函数是正常的,不影响使用。使用建议:1。记得打开“自动摘要”。当采集。 (记住!!)2。建议不要同时拥有太多的采集任务。 3.每次执行采集任务后,请立刻停止此任务。当你想要采集时,你可以再度打开它(因为这是一个破解版本,你应当使用它)
  
  
  相关下载
  点击下载 查看全部

  某宝38大洋wordpress精品采集插件 auto post pro 最新可用
  我在峰会上看见有人要求在Baoli 38海洋订购这个Wordpress插件。
  WP-AutoPost-Pro专业版支持wordpress4.9 自动采集发布文章插件
  WP-autopost-pro专业版(附带使用教程)-------------------------------------------------- -------------------------------------------------- ------------------------------ 超级好用的wordpress博客程序文章自动采集发布插件
  WP-autopost-pro专业版(附带使用教程)WordPress官方最新发布了WP 4.9,我第一时间尝试了,然后也更新了本采集插件,目前完美运行于最新的 WordPress 4.5 - 4.9之间的版本,请放心使用支持最新wordpress4.9+,亲测可用此版本没有任何域名,功能限制,请放心使用1.此插件基于破解版WP-AutoPost Pro V3.6.1版本,不是最新版本的破解版本,但支持最新的WordPress 4.9+版本使用,并提供专业测试。 2.发现0x6d0翻译插口和V3.6.1的七牛云映像储存插口早已老化,这意味着这两个函数不能使用,但其他采集函数是正常的,不影响使用。使用建议:1。记得打开“自动摘要”。当采集。 (记住!!)2。建议不要同时拥有太多的采集任务。 3.每次执行采集任务后,请立刻停止此任务。当你想要采集时,你可以再度打开它(因为这是一个破解版本,你应当使用它)
  
  
  相关下载
  点击下载

JQ插件搜集

采集交流优采云 发表了文章 • 0 个评论 • 182 次浏览 • 2020-08-17 11:51 • 来自相关话题

  JQ插件搜集
  在2010年,JavaScript框架继续逐渐普及,这促使大量的插件被开发下来。满目琳琅,难以选择心头之好。WDL的作者从大量的优秀 jQuery插件悉心筛选出一些对Web Designers有帮助的和具备特别不错的视觉疗效的Best of the best。
  
  2010年最佳jQuery插件(排名不分先后):
  Nivo Slider
  
  一个加载设置拥有9种过度疗效的超级smooth slider,它还支持如链接图象和按键导航等内容。
  Quicksand
  
  通过一个特别不错的洗牌动漫实现选项内容重新排序,只须要指定源容器和替换源的目标采集 。新元素将会以独特缩放+阿尔法疗效出现,消失的元素(non-existant in destination 采集)平滑地消失或重新排位,移动到它们的目标位置。
  Spritely
  
  Spritely 是一个由Artlogic开发的 jQuery插件,用于使用纯HTML和JavaScript创建动态物体和背景动漫。
  Lettering.js
  
  Lettering.js是一个轻量经的、易于使用的 jQuery插件,可创造出极具个性的网页排版。
  Colortip
  
  Colortip可转换你的页面元素的标题属性为一系列色调丰富的提示(当你的键盘联通到不同的标题上会出现不同颜色的字体文本提示)。支持六种色彩主题,这样你可愈发容易融合到你的个人网页中去。
  Masonry
  
  Masonry是一个 jQuery布局插件. 你可以将它看作CSS floats的另一面。浮动元素的排列是先水平后垂直,Masonry排列内容是依据一个网格先垂直后水平的。
  gvChart
  
  gvChart是一个使用Google Charts了的jQuery插件,可通过HTML table tag的数据实现交互可视化。它十分容易上手,此外它支持创建五种风格的图标。
  Animated table sort
  
  这是一个用于创建表格的jQuery插件,所创建的表格可以按照不同的列项目进行A-Z,升序排列,切换疗效特别不错。
  jQuery Image Scale Carousel
  
  网站图片保持完整的纵横比比哪些都重要。这个jQuery插件可以完美地在slider展示你所有的图片,而不需害怕形成变型。 jQuery Image Scale Carousel插件手动改变你所有图片到适宜大小,一切都是这么的简单。
  YoxView
  
  YoxView是一个免费的多媒体播放jQuery插件。它适于使用,功能丰富。你可以用它来展示各类媒体,如图象,视频,内嵌的内容,iframes,Flash等等。 查看全部

  JQ插件搜集
  在2010年,JavaScript框架继续逐渐普及,这促使大量的插件被开发下来。满目琳琅,难以选择心头之好。WDL的作者从大量的优秀 jQuery插件悉心筛选出一些对Web Designers有帮助的和具备特别不错的视觉疗效的Best of the best。
  
  2010年最佳jQuery插件(排名不分先后):
  Nivo Slider
  
  一个加载设置拥有9种过度疗效的超级smooth slider,它还支持如链接图象和按键导航等内容。
  Quicksand
  
  通过一个特别不错的洗牌动漫实现选项内容重新排序,只须要指定源容器和替换源的目标采集 。新元素将会以独特缩放+阿尔法疗效出现,消失的元素(non-existant in destination 采集)平滑地消失或重新排位,移动到它们的目标位置。
  Spritely
  
  Spritely 是一个由Artlogic开发的 jQuery插件,用于使用纯HTML和JavaScript创建动态物体和背景动漫。
  Lettering.js
  
  Lettering.js是一个轻量经的、易于使用的 jQuery插件,可创造出极具个性的网页排版。
  Colortip
  
  Colortip可转换你的页面元素的标题属性为一系列色调丰富的提示(当你的键盘联通到不同的标题上会出现不同颜色的字体文本提示)。支持六种色彩主题,这样你可愈发容易融合到你的个人网页中去。
  Masonry
  
  Masonry是一个 jQuery布局插件. 你可以将它看作CSS floats的另一面。浮动元素的排列是先水平后垂直,Masonry排列内容是依据一个网格先垂直后水平的。
  gvChart
  
  gvChart是一个使用Google Charts了的jQuery插件,可通过HTML table tag的数据实现交互可视化。它十分容易上手,此外它支持创建五种风格的图标。
  Animated table sort
  
  这是一个用于创建表格的jQuery插件,所创建的表格可以按照不同的列项目进行A-Z,升序排列,切换疗效特别不错。
  jQuery Image Scale Carousel
  
  网站图片保持完整的纵横比比哪些都重要。这个jQuery插件可以完美地在slider展示你所有的图片,而不需害怕形成变型。 jQuery Image Scale Carousel插件手动改变你所有图片到适宜大小,一切都是这么的简单。
  YoxView
  
  YoxView是一个免费的多媒体播放jQuery插件。它适于使用,功能丰富。你可以用它来展示各类媒体,如图象,视频,内嵌的内容,iframes,Flash等等。

常用maven插件介绍(采集)

采集交流优采云 发表了文章 • 0 个评论 • 247 次浏览 • 2020-08-14 22:53 • 来自相关话题

  我们都晓得Maven本质上是一个插件框架,它的核心并不执行任何具体的建立任务,所有那些任务都交给插件来完成,例如编译源代码是由maven- compiler-plugin完成的。进一步说,每个任务对应了一个插件目标(goal),每个插件会有一个或则多个目标,例如maven- compiler-plugin的compile目标拿来编译坐落src/main/java/目录下的主源码,testCompile目标拿来编译坐落src/test/java/目录下的测试源码。
  用户可以通过两种方法调用Maven插件目标。第一种方法是将插件目标与生命周期阶段(lifecycle phase)绑定,这样用户在命令行只是输入生命周期阶段而已,例如Maven默认将maven-compiler-plugin的compile目标与 compile生命周期阶段绑定,因此命令mvn compile实际上是先定位到compile这一生命周期阶段,然后再按照绑定关系调用maven-compiler-plugin的compile目标。第二种方法是直接在命令行指定要执行的插件目标,例如mvn archetype:generate 就表示调用maven-archetype-plugin的generate目标,这种带引号的调用方法与生命周期无关。
  认识上述Maven插件的基本概念能帮助你理解Maven的工作机制,不过要想更高效率地使用Maven,了解一些常用的插件还是太有必要的,这可 以帮助你防止一不小心重新发明轮子。多年来Maven社区积累了大量的经验,并急剧产生了一个成熟的插件生态圈。Maven官方有两个插件列表,第一个列 表的GroupId为org.apache.maven.plugins,这里的插件最为成熟,具体地址为:。第二个列表的GroupId为org.codehaus.mojo,这里的插件没有这么核心,但也有不少非常有用,其地址为:。
  接下来笔者按照自己的经验介绍一些最常用的Maven插件,在不同的环境下它们各自都有其出众的表现,熟练地使用它们能使你的日常建立工作事半功倍。
  maven-antrun-plugin
  maven-antrun-plugin能使用户在Maven项目中运行Ant任务。用户可以直接在该插件的配置以Ant的形式编撰Target, 然后交给该插件的run目标去执行。在一些由Ant往Maven迁移的项目中,该插件尤其有用。此外当你发觉须要编撰一些自定义程度很高的任务,同时又觉 得Maven不够灵活时,也可以以Ant的形式实现之。maven-antrun-plugin的run目标一般与生命周期绑定运行。
  maven-archetype-plugin
  Archtype指项目的骨架,Maven初学者最开始执行的Maven命令可能就是mvn archetype:generate,这实际上就是使maven-archetype-plugin生成一个很简单的项目骨架,帮助开发者快速上手。可能也有人听到一些文档写了mvn archetype:create, 但实际上create目标早已被弃用了,取而代之的是generate目标,该目标使用交互式的方法提示用户输入必要的信息以创建项目,体验更好。 maven-archetype-plugin还有一些其他目标帮助用户自己定义项目原型,例如你由一个产品须要交付给好多顾客进行二次开发,你就可以为 他们提供一个Archtype,帮助她们快速上手。
  maven-assembly-plugin
  maven-assembly-plugin的用途是制做项目分分包,该分分包可能收录了项目的可执行文件、源代码、readme、平台脚本等等。 maven-assembly-plugin支持各类主流的格式如zip、tar.gz、jar和war等,具体打包什么文件是高度可控的,例如用户可以 按文件级别的细度、文件集级别的细度、模块级别的细度、以及依赖级别的细度控制打包,此外,收录和排除配置也是支持的。maven-assembly- plugin要求用户使用一个名为assembly.xml的元数据文件来叙述打包,它的single目标可以直接在命令行调用,也可以被绑定至生命周期。
  maven-dependency-plugin
  maven-dependency-plugin最大的用途是帮助剖析项目依赖,dependency:list才能列举项目最终解析到的依赖列表,dependency:tree能进一步的描摹项目依赖树,dependency:analyze可以告诉你项目依赖潜在的问题,如果你有直接使用到的却未申明的依赖,该目标都会发出警告。maven-dependency-plugin还有好多目标帮助你操作依赖文件,例如dependency:copy-dependencies能将项目依赖从本地Maven库房复制到某个特定的文件夹下边。
  maven-enforcer-plugin
  在一个稍大一点的组织或团队中,你没法保证所有成员都熟悉Maven,那她们做一些比较可笑的事情都会显得很正常,例如给项目引入了外部的 SNAPSHOT依赖而造成建立不稳定,使用了一个与你们不一致的Maven版本而时常埋怨建立出现奇特问题。maven-enforcer- plugin就能帮助你防止之类问题,它容许你创建一系列规则强制你们遵循,包括设定Java版本、设定Maven版本、禁止个别依赖、禁止 SNAPSHOT依赖。只要在一个父POM配置规则,然后使你们承继,当规则遭受破坏的时侯,Maven都会报错。除了标准的规则之外,你还可以扩充该插 件,编写自己的规则。maven-enforcer-plugin的enforce目标负责检测规则,它默认绑定到生命周期的validate阶段。
  maven-help-plugin
  maven-help-plugin是一个精巧的辅助工具,最简单的help:system可以复印所有可用的环境变量和Java系统属性。help:effective-pom和help:effective-settings最 为有用,它们分别复印项目的有效POM和有效settings,有效POM是指合并了所有父POM(包括Super POM)后的XML,当你不确定POM的个别信息从何而至时,就可以查看有效POM。有效settings同理,特别是当你发觉自己配置的 settings.xml没有生效时,就可以用help:effective-settings来验证。此外,maven-help-plugin的describe目标可以帮助你描述任何一个Maven插件的信息,还有all-profiles目标和active-profiles目标帮助查看项目的Profile。
  maven-release-plugin
  maven-release-plugin的用途是帮助自动化项目版本发布,它依赖于POM中的SCM信息。release:prepare拿来打算版本发布,具体的工作包括检测是否有未递交代码、检查是否有SNAPSHOT依赖、升级项目的SNAPSHOT版本至RELEASE版本、为项目打标签等等。release:perform则 是签出标签中的RELEASE源码,构建并发布。版本发布是十分繁杂的工作,它涉及了各类检测,而且因为该工作仅仅是时常须要,因此自动操作很容易遗漏一 些细节,maven-release-plugin使该工作显得十分快速简便,不易出错。maven-release-plugin的各类目标一般直接在 命令行调用,因为版本发布似乎不是日常建立生命周期的一部分。
  maven-resources-plugin
  为了让项目结构更为清晰,Maven区别对待Java代码文件和资源文件,maven-compiler-plugin拿来编译Java代码,maven-resources-plugin则拿来处理资源文件。默认的主资源文件目录是src/main/resources,很多用户会须要添加额外的资源文件目录,这个时侯就可以通过配置maven-resources-plugin来实现。此外,资源文件过滤也是Maven的一大特点,你可以在资源文件中使用${propertyName}形式的Maven属性,然后配置maven-resources-plugin开启对资源文件的过滤,之后就可以针对不同环境通过命令行或则Profile传入属性的值,以实现更为灵活的建立。
  maven-surefire-plugin
  可能是因为历史的缘由,Maven 2/3中用于执行测试的插件不是maven-test-plugin,而是maven-surefire-plugin。其实大部分时间内,只要你的测试 类遵守通用的命令约定(以Test结尾、以TestCase结尾、或者以Test开头),就几乎不用知晓该插件的存在。然而在当你想要跳过测试、排除个别 测试类、或者使用一些TestNG特点的时侯,了解maven-surefire-plugin的一些配置选项就很有用了。例如 mvn test -Dtest=FooTest 这样一条命令的疗效是仅运行FooTest测试类,这是通过控制maven-surefire-plugin的test参数实现的。
  build-helper-maven-plugin
  Maven默认只容许指定一个主Java代码目录和一个测试Java代码目录,虽然这或许是个应该尽量遵循的约定,但时常你还是会希望还能指定多个 源码目录(例如为了应对遗留项目),build-helper-maven-plugin的add-source目标就是服务于这个目的,通常它被绑定到 默认生命周期的generate-sources阶段以添加额外的源码目录。需要指出的是,这种做法还是不推荐的,因为它破坏了 Maven的约定,而且可能会碰到其他严格遵循约定的插件工具难以正确辨识额外的源码目录。
  build-helper-maven-plugin的另一个特别有用的目标是attach-artifact,使用该目标你可以以classifier的方式选定部份项目文件生成附属预制构件,并同时install到本地库房,也可以deploy到远程库房。
  exec-maven-plugin
  exec-maven-plugin挺好理解,顾名思义,它能使你运行任何本地的系统程序,在个别特定情况下,运行一个Maven外部的程序可能就是最简单的问题解决方案,这就是exec:exec的 用途,当然,该插件还容许你配置相关的程序运行参数。除了exec目标之外,exec-maven-plugin还提供了一个java目标,该目标要求你 提供一个mainClass参数,然后它还能借助当前项目的依赖作为classpath,在同一个JVM中运行该mainClass。有时候,为了简单的 演示一个命令行Java程序,你可以在POM中配置好exec-maven-plugin的相关运行参数,然后直接在命令运行 mvn exec:java 以查看运行疗效。
  jetty-maven-plugin
  在进行Web开发的时侯,打开浏览器对应用进行自动的测试几乎是难以避开的,这种测试方式一般就是将项目打包成war文件,然后布署到Web容器 中,再启动容器进行验证,这似乎非常历时。为了帮助开发者节约时间,jetty-maven-plugin应运而生,它完全兼容 Maven项目的目录结构,能够周期性地检测源文件,一旦发觉变更后手动更新到外置的Jetty Web容器中。做一些基本配置后(例如Web应用的contextPath和手动扫描变更的时间间隔),你只要执行 mvn jetty:run ,然后在IDE中更改代码,代码经IDE手动编译后形成变更,再由jetty-maven-plugin探测到后更新至Jetty容器,这时你就可以直接 测试Web页面了。需要注意的是,jetty-maven-plugin并不是寄主于Apache或Codehaus的官方插件,因此使用的时侯须要额外 的配置settings.xml的pluginGroups元素,将org.mortbay.jetty这个pluginGroup加入。
  versions-maven-plugin
  很多Maven用户碰到过这样一个问题,当项目收录大量模块的时侯,为她们集体更新版本就弄成一件可恶的事情,到底有没有自动化工具能帮助完成这件 事情呢?(当然你可以使用sed之类的文本操作工具,不过不在本文讨论范围)答案是肯定的,versions-maven- plugin提供了好多目标帮助你管理Maven项目的各类版本信息。例如最常用的,命令 mvn versions:set -DnewVersion=1.1-SNAPSHOT 就能帮助你把所有模块的版本更新到1.1-SNAPSHOT。该插件还提供了其他一些很有用的目标,display-dependency- updates能告诉你项目依赖有什么可用的更新;类似的display-plugin-updates能告诉你可用的插件更新;然后use- latest-versions能手动帮你将所有依赖升级到最新版本。最后,如果你对所做的修改满意,则可以使用 mvn versions:commit 提交,不满意的话也可以使用 mvn versions:revert 进行撤消。
  小结
  本文介绍了一些最常用的Maven插件,这里指的“常用”是指常常须要进行配置的插件,事实上我们用Maven的时侯好多其它插件也是必须的,例如 默认的编译插件maven-compiler-plugin和默认的打包插件maven-jar-plugin,但由于极少须要对它们进行配置,因此不在 本文讨论范围。了解常用的Maven插件能帮助你事倍功半地完成项目建立任务,反之你就可能会由于常常碰到一些无法解决的问题而倍感失望。本文介绍的插件 基本能覆盖大部分Maven用户的日常使用须要,如果你真有十分特殊的需求,自行编撰一个Maven插件也不是难事,更何况还有这么多开放源代码的插件供 你参考。
  本文的这个插件列表并不是一个完整列表,读者有兴趣的话也可以去仔细浏览一下Apache和Codehaus Mojo的Maven插件列表,以的到一个更为全面的认识。最后,在线的Maven库房搜索引擎如也能帮助你快速找到自己感兴趣的Maven插件。 查看全部

  我们都晓得Maven本质上是一个插件框架,它的核心并不执行任何具体的建立任务,所有那些任务都交给插件来完成,例如编译源代码是由maven- compiler-plugin完成的。进一步说,每个任务对应了一个插件目标(goal),每个插件会有一个或则多个目标,例如maven- compiler-plugin的compile目标拿来编译坐落src/main/java/目录下的主源码,testCompile目标拿来编译坐落src/test/java/目录下的测试源码。
  用户可以通过两种方法调用Maven插件目标。第一种方法是将插件目标与生命周期阶段(lifecycle phase)绑定,这样用户在命令行只是输入生命周期阶段而已,例如Maven默认将maven-compiler-plugin的compile目标与 compile生命周期阶段绑定,因此命令mvn compile实际上是先定位到compile这一生命周期阶段,然后再按照绑定关系调用maven-compiler-plugin的compile目标。第二种方法是直接在命令行指定要执行的插件目标,例如mvn archetype:generate 就表示调用maven-archetype-plugin的generate目标,这种带引号的调用方法与生命周期无关。
  认识上述Maven插件的基本概念能帮助你理解Maven的工作机制,不过要想更高效率地使用Maven,了解一些常用的插件还是太有必要的,这可 以帮助你防止一不小心重新发明轮子。多年来Maven社区积累了大量的经验,并急剧产生了一个成熟的插件生态圈。Maven官方有两个插件列表,第一个列 表的GroupId为org.apache.maven.plugins,这里的插件最为成熟,具体地址为:。第二个列表的GroupId为org.codehaus.mojo,这里的插件没有这么核心,但也有不少非常有用,其地址为:。
  接下来笔者按照自己的经验介绍一些最常用的Maven插件,在不同的环境下它们各自都有其出众的表现,熟练地使用它们能使你的日常建立工作事半功倍。
  maven-antrun-plugin
  maven-antrun-plugin能使用户在Maven项目中运行Ant任务。用户可以直接在该插件的配置以Ant的形式编撰Target, 然后交给该插件的run目标去执行。在一些由Ant往Maven迁移的项目中,该插件尤其有用。此外当你发觉须要编撰一些自定义程度很高的任务,同时又觉 得Maven不够灵活时,也可以以Ant的形式实现之。maven-antrun-plugin的run目标一般与生命周期绑定运行。
  maven-archetype-plugin
  Archtype指项目的骨架,Maven初学者最开始执行的Maven命令可能就是mvn archetype:generate,这实际上就是使maven-archetype-plugin生成一个很简单的项目骨架,帮助开发者快速上手。可能也有人听到一些文档写了mvn archetype:create, 但实际上create目标早已被弃用了,取而代之的是generate目标,该目标使用交互式的方法提示用户输入必要的信息以创建项目,体验更好。 maven-archetype-plugin还有一些其他目标帮助用户自己定义项目原型,例如你由一个产品须要交付给好多顾客进行二次开发,你就可以为 他们提供一个Archtype,帮助她们快速上手。
  maven-assembly-plugin
  maven-assembly-plugin的用途是制做项目分分包,该分分包可能收录了项目的可执行文件、源代码、readme、平台脚本等等。 maven-assembly-plugin支持各类主流的格式如zip、tar.gz、jar和war等,具体打包什么文件是高度可控的,例如用户可以 按文件级别的细度、文件集级别的细度、模块级别的细度、以及依赖级别的细度控制打包,此外,收录和排除配置也是支持的。maven-assembly- plugin要求用户使用一个名为assembly.xml的元数据文件来叙述打包,它的single目标可以直接在命令行调用,也可以被绑定至生命周期。
  maven-dependency-plugin
  maven-dependency-plugin最大的用途是帮助剖析项目依赖,dependency:list才能列举项目最终解析到的依赖列表,dependency:tree能进一步的描摹项目依赖树,dependency:analyze可以告诉你项目依赖潜在的问题,如果你有直接使用到的却未申明的依赖,该目标都会发出警告。maven-dependency-plugin还有好多目标帮助你操作依赖文件,例如dependency:copy-dependencies能将项目依赖从本地Maven库房复制到某个特定的文件夹下边。
  maven-enforcer-plugin
  在一个稍大一点的组织或团队中,你没法保证所有成员都熟悉Maven,那她们做一些比较可笑的事情都会显得很正常,例如给项目引入了外部的 SNAPSHOT依赖而造成建立不稳定,使用了一个与你们不一致的Maven版本而时常埋怨建立出现奇特问题。maven-enforcer- plugin就能帮助你防止之类问题,它容许你创建一系列规则强制你们遵循,包括设定Java版本、设定Maven版本、禁止个别依赖、禁止 SNAPSHOT依赖。只要在一个父POM配置规则,然后使你们承继,当规则遭受破坏的时侯,Maven都会报错。除了标准的规则之外,你还可以扩充该插 件,编写自己的规则。maven-enforcer-plugin的enforce目标负责检测规则,它默认绑定到生命周期的validate阶段。
  maven-help-plugin
  maven-help-plugin是一个精巧的辅助工具,最简单的help:system可以复印所有可用的环境变量和Java系统属性。help:effective-pom和help:effective-settings最 为有用,它们分别复印项目的有效POM和有效settings,有效POM是指合并了所有父POM(包括Super POM)后的XML,当你不确定POM的个别信息从何而至时,就可以查看有效POM。有效settings同理,特别是当你发觉自己配置的 settings.xml没有生效时,就可以用help:effective-settings来验证。此外,maven-help-plugin的describe目标可以帮助你描述任何一个Maven插件的信息,还有all-profiles目标和active-profiles目标帮助查看项目的Profile。
  maven-release-plugin
  maven-release-plugin的用途是帮助自动化项目版本发布,它依赖于POM中的SCM信息。release:prepare拿来打算版本发布,具体的工作包括检测是否有未递交代码、检查是否有SNAPSHOT依赖、升级项目的SNAPSHOT版本至RELEASE版本、为项目打标签等等。release:perform则 是签出标签中的RELEASE源码,构建并发布。版本发布是十分繁杂的工作,它涉及了各类检测,而且因为该工作仅仅是时常须要,因此自动操作很容易遗漏一 些细节,maven-release-plugin使该工作显得十分快速简便,不易出错。maven-release-plugin的各类目标一般直接在 命令行调用,因为版本发布似乎不是日常建立生命周期的一部分。
  maven-resources-plugin
  为了让项目结构更为清晰,Maven区别对待Java代码文件和资源文件,maven-compiler-plugin拿来编译Java代码,maven-resources-plugin则拿来处理资源文件。默认的主资源文件目录是src/main/resources,很多用户会须要添加额外的资源文件目录,这个时侯就可以通过配置maven-resources-plugin来实现。此外,资源文件过滤也是Maven的一大特点,你可以在资源文件中使用${propertyName}形式的Maven属性,然后配置maven-resources-plugin开启对资源文件的过滤,之后就可以针对不同环境通过命令行或则Profile传入属性的值,以实现更为灵活的建立。
  maven-surefire-plugin
  可能是因为历史的缘由,Maven 2/3中用于执行测试的插件不是maven-test-plugin,而是maven-surefire-plugin。其实大部分时间内,只要你的测试 类遵守通用的命令约定(以Test结尾、以TestCase结尾、或者以Test开头),就几乎不用知晓该插件的存在。然而在当你想要跳过测试、排除个别 测试类、或者使用一些TestNG特点的时侯,了解maven-surefire-plugin的一些配置选项就很有用了。例如 mvn test -Dtest=FooTest 这样一条命令的疗效是仅运行FooTest测试类,这是通过控制maven-surefire-plugin的test参数实现的。
  build-helper-maven-plugin
  Maven默认只容许指定一个主Java代码目录和一个测试Java代码目录,虽然这或许是个应该尽量遵循的约定,但时常你还是会希望还能指定多个 源码目录(例如为了应对遗留项目),build-helper-maven-plugin的add-source目标就是服务于这个目的,通常它被绑定到 默认生命周期的generate-sources阶段以添加额外的源码目录。需要指出的是,这种做法还是不推荐的,因为它破坏了 Maven的约定,而且可能会碰到其他严格遵循约定的插件工具难以正确辨识额外的源码目录。
  build-helper-maven-plugin的另一个特别有用的目标是attach-artifact,使用该目标你可以以classifier的方式选定部份项目文件生成附属预制构件,并同时install到本地库房,也可以deploy到远程库房。
  exec-maven-plugin
  exec-maven-plugin挺好理解,顾名思义,它能使你运行任何本地的系统程序,在个别特定情况下,运行一个Maven外部的程序可能就是最简单的问题解决方案,这就是exec:exec的 用途,当然,该插件还容许你配置相关的程序运行参数。除了exec目标之外,exec-maven-plugin还提供了一个java目标,该目标要求你 提供一个mainClass参数,然后它还能借助当前项目的依赖作为classpath,在同一个JVM中运行该mainClass。有时候,为了简单的 演示一个命令行Java程序,你可以在POM中配置好exec-maven-plugin的相关运行参数,然后直接在命令运行 mvn exec:java 以查看运行疗效。
  jetty-maven-plugin
  在进行Web开发的时侯,打开浏览器对应用进行自动的测试几乎是难以避开的,这种测试方式一般就是将项目打包成war文件,然后布署到Web容器 中,再启动容器进行验证,这似乎非常历时。为了帮助开发者节约时间,jetty-maven-plugin应运而生,它完全兼容 Maven项目的目录结构,能够周期性地检测源文件,一旦发觉变更后手动更新到外置的Jetty Web容器中。做一些基本配置后(例如Web应用的contextPath和手动扫描变更的时间间隔),你只要执行 mvn jetty:run ,然后在IDE中更改代码,代码经IDE手动编译后形成变更,再由jetty-maven-plugin探测到后更新至Jetty容器,这时你就可以直接 测试Web页面了。需要注意的是,jetty-maven-plugin并不是寄主于Apache或Codehaus的官方插件,因此使用的时侯须要额外 的配置settings.xml的pluginGroups元素,将org.mortbay.jetty这个pluginGroup加入。
  versions-maven-plugin
  很多Maven用户碰到过这样一个问题,当项目收录大量模块的时侯,为她们集体更新版本就弄成一件可恶的事情,到底有没有自动化工具能帮助完成这件 事情呢?(当然你可以使用sed之类的文本操作工具,不过不在本文讨论范围)答案是肯定的,versions-maven- plugin提供了好多目标帮助你管理Maven项目的各类版本信息。例如最常用的,命令 mvn versions:set -DnewVersion=1.1-SNAPSHOT 就能帮助你把所有模块的版本更新到1.1-SNAPSHOT。该插件还提供了其他一些很有用的目标,display-dependency- updates能告诉你项目依赖有什么可用的更新;类似的display-plugin-updates能告诉你可用的插件更新;然后use- latest-versions能手动帮你将所有依赖升级到最新版本。最后,如果你对所做的修改满意,则可以使用 mvn versions:commit 提交,不满意的话也可以使用 mvn versions:revert 进行撤消。
  小结
  本文介绍了一些最常用的Maven插件,这里指的“常用”是指常常须要进行配置的插件,事实上我们用Maven的时侯好多其它插件也是必须的,例如 默认的编译插件maven-compiler-plugin和默认的打包插件maven-jar-plugin,但由于极少须要对它们进行配置,因此不在 本文讨论范围。了解常用的Maven插件能帮助你事倍功半地完成项目建立任务,反之你就可能会由于常常碰到一些无法解决的问题而倍感失望。本文介绍的插件 基本能覆盖大部分Maven用户的日常使用须要,如果你真有十分特殊的需求,自行编撰一个Maven插件也不是难事,更何况还有这么多开放源代码的插件供 你参考。
  本文的这个插件列表并不是一个完整列表,读者有兴趣的话也可以去仔细浏览一下Apache和Codehaus Mojo的Maven插件列表,以的到一个更为全面的认识。最后,在线的Maven库房搜索引擎如也能帮助你快速找到自己感兴趣的Maven插件。

autopost手动采集插件破解版,可无限安装

采集交流优采云 发表了文章 • 0 个评论 • 435 次浏览 • 2020-08-13 19:54 • 来自相关话题

  autopost 插件可以采集来自于任何网站的内容并全手动更新你的WordPress站点。它使用十分简单,无需复杂设置,并且足够强悍和稳定,支持wordpress所有特点。
  可采集任何网站的内容,采集信息一目了然
  通过简单设置可采集来自于任何网站的内容,并可设置多个采集任务同时进行,可设置任务为手动运行或自动运行,主任务列表显示每位采集任务的状况:上次测量采集时间,预计上次测量采集时间,最近采集文章,已采集更新的文章数等信息,方便查看管理。
  文章管理功能便捷查询、搜索、删除已采集文章,改进算法已从根本上避免了重复采集相同文章,日志功能记录采集过程中出现的异常和抓取错误,方便检测设置错误便于进行修补。
  启用任务后,全手动采集更新,无需人工干预
  启用任务后,定时检查是否有新文章可更新,检测文章是否重复,导入更新文章,这一切操作程序都是全手动完成,无需人工干预。
  有两种触发采集更新方法,一种是在页面内添加代码由用户访问触发采集更新(后台异步进行,不影响用户体验,也不影响网站效率),另外可以用Cron计划任务定时触发采集更新任务
  定向采集,支持键值匹配、或CSS选择器精确采集任何内容,支持采集多层级文章列表、支持采集正文分页内容、支持采集多层级正文内容
  基本设置功能齐全,完美支持Wordpress各类功能,可手动设置分类目录、标签、摘要、特色图片、自定义栏目等;也可采集目标网站的分类目录、标签等信息后,可手动生成并添加相应分类目录、标签等信息
  下载地址:autopost 查看全部

  autopost 插件可以采集来自于任何网站的内容并全手动更新你的WordPress站点。它使用十分简单,无需复杂设置,并且足够强悍和稳定,支持wordpress所有特点。
  可采集任何网站的内容,采集信息一目了然
  通过简单设置可采集来自于任何网站的内容,并可设置多个采集任务同时进行,可设置任务为手动运行或自动运行,主任务列表显示每位采集任务的状况:上次测量采集时间,预计上次测量采集时间,最近采集文章,已采集更新的文章数等信息,方便查看管理。
  文章管理功能便捷查询、搜索、删除已采集文章,改进算法已从根本上避免了重复采集相同文章,日志功能记录采集过程中出现的异常和抓取错误,方便检测设置错误便于进行修补。
  启用任务后,全手动采集更新,无需人工干预
  启用任务后,定时检查是否有新文章可更新,检测文章是否重复,导入更新文章,这一切操作程序都是全手动完成,无需人工干预。
  有两种触发采集更新方法,一种是在页面内添加代码由用户访问触发采集更新(后台异步进行,不影响用户体验,也不影响网站效率),另外可以用Cron计划任务定时触发采集更新任务
  定向采集,支持键值匹配、或CSS选择器精确采集任何内容,支持采集多层级文章列表、支持采集正文分页内容、支持采集多层级正文内容
  基本设置功能齐全,完美支持Wordpress各类功能,可手动设置分类目录、标签、摘要、特色图片、自定义栏目等;也可采集目标网站的分类目录、标签等信息后,可手动生成并添加相应分类目录、标签等信息
  下载地址:autopost

WP-AutoPost Pro v3.7

采集交流优采云 发表了文章 • 0 个评论 • 168 次浏览 • 2020-08-13 00:15 • 来自相关话题

  
  WP-AutoPost Pro v3.7.5 是目前最好的 WordPress 采集器
  以前做站群的时侯,我们用优采云采集器来为给网站建设内容。不得不承认,优采云是一款十分优秀的采集器,适合于各类类型的网站。但是,所谓术业有专攻,咱们用 WordPress 建站还得须要一个属于 WP 自己的采集插件。WP-AutoPost Pro 的优点在于它使用十分简单,无需复杂设置,并且足够强悍和稳定,支持 WordPress 所有特点。
  WP-AutoPost Pro 在采集方面有哪些优势?
  一、安装便捷,全手动采集,实现无人值守
  WP-AutoPost 可以直接在后台插件面板上传安装,只须要点击几下,就可以激活使用。激活后,你可以听到 WP-AutoPost 的管理面板被集成在了两侧,各种采集规则设置一目了然,即便是 WordPress 新手也能很快上手。等到配置完采集规则后,即可以开启任务,WP-AutoPost 会手动采集好目标站的内容,自动发布到你的网站里。
  二、采集规则配置简单,支持键值和 CSS,完美支持 WordPress 各种功能
  相比于优采云采集器的冗长规则,WP-AutoPost Pro 真正做到了人性化,它的定向采集只须要提供文章列表 URL 即可智能采集来自于任何网站或栏目的内容。支持采集标题,正文,可手动设置分类目录、标签、摘要、特色图片,支持自定义栏目、自定义文章类型等。
  三、中英文翻译,伪原创的支持
  相信好多站长有伪原创这方面的需求,来取悦搜索引擎的喜好。WP-AutoPost Pro 巧妙的外置了各类伪原创工具,支持百度翻译(需要配置插口),也支持美国最优秀伪原创工具 WordAi,Spin Rewriter 等。
  四、支持图片等附件下载,支持添加水印,支持 Flick、七牛云等第三方图片储存
  WP-AutoPost Pro 还有个令人赞叹的地方是支持远程图片下载到本地服务器,也可以下载到象 Flick、七牛云等第三方图片储存,并且可以为图片加上水印(文本水印和图片水印)。
  五、强大的 SEO 设置选项
  像优采云一样,WP-AutoPost 采集插件也支持 HTML 标签过滤,关键词替换,自动添加链接,添加自定义内容,自定义文章样式等,最大限度得让采集的内容区别于原网站的内容,利于搜索引擎排名。
  点击这儿获取破解版 查看全部

  
  WP-AutoPost Pro v3.7.5 是目前最好的 WordPress 采集
  以前做站群的时侯,我们用优采云采集器来为给网站建设内容。不得不承认,优采云是一款十分优秀的采集器,适合于各类类型的网站。但是,所谓术业有专攻,咱们用 WordPress 建站还得须要一个属于 WP 自己的采集插件。WP-AutoPost Pro 的优点在于它使用十分简单,无需复杂设置,并且足够强悍和稳定,支持 WordPress 所有特点。
  WP-AutoPost Pro 在采集方面有哪些优势?
  一、安装便捷,全手动采集,实现无人值守
  WP-AutoPost 可以直接在后台插件面板上传安装,只须要点击几下,就可以激活使用。激活后,你可以听到 WP-AutoPost 的管理面板被集成在了两侧,各种采集规则设置一目了然,即便是 WordPress 新手也能很快上手。等到配置完采集规则后,即可以开启任务,WP-AutoPost 会手动采集好目标站的内容,自动发布到你的网站里。
  二、采集规则配置简单,支持键值和 CSS,完美支持 WordPress 各种功能
  相比于优采云采集器的冗长规则,WP-AutoPost Pro 真正做到了人性化,它的定向采集只须要提供文章列表 URL 即可智能采集来自于任何网站或栏目的内容。支持采集标题,正文,可手动设置分类目录、标签、摘要、特色图片,支持自定义栏目、自定义文章类型等。
  三、中英文翻译,伪原创的支持
  相信好多站长有伪原创这方面的需求,来取悦搜索引擎的喜好。WP-AutoPost Pro 巧妙的外置了各类伪原创工具,支持百度翻译(需要配置插口),也支持美国最优秀伪原创工具 WordAi,Spin Rewriter 等。
  四、支持图片等附件下载,支持添加水印,支持 Flick、七牛云等第三方图片储存
  WP-AutoPost Pro 还有个令人赞叹的地方是支持远程图片下载到本地服务器,也可以下载到象 Flick、七牛云等第三方图片储存,并且可以为图片加上水印(文本水印和图片水印)。
  五、强大的 SEO 设置选项
  像优采云一样,WP-AutoPost 采集插件也支持 HTML 标签过滤,关键词替换,自动添加链接,添加自定义内容,自定义文章样式等,最大限度得让采集的内容区别于原网站的内容,利于搜索引擎排名。
  点击这儿获取破解版

DXC采集插件规则写法:2、DOM规则写法

采集交流优采云 发表了文章 • 0 个评论 • 340 次浏览 • 2020-08-11 01:40 • 来自相关话题

  匹配不具有指定属性的元素。 如div[!id]表示 查找所有没有id属性的
  [属性=value]
  匹配具有指定属性值的元素。如div[id=test]表示查找id=test的div元素
  [属性!=value]
  匹配不具有指定属性值的元素。 如div[id!=test]表示查找id不等于test的div元素
  [属性^=value]
  匹配收录特定前缀的值的指定属性的元素。如div[id^=test]表示查找id前缀为test的div元素
  [属性$=value]
  匹配收录特定后缀的值的指定属性的元素。如div[id$=test]表示查找id后缀为test的div元素
  [属性*=value]
  匹配具有指定属性的元素,且该属性收录了一定的值。如div[id*=test]表示查找id收录test的div元素
  2.5版本降低的写法:规则组合可以把几个规则组合在一起,比如下边几个实例:
  网页源代码:
  
  示例一:普通写法(无法获取多个内容)
  
  示例二:组合写法
  
  示例三:在组合规则上面嵌入自定义代码
  
  取第N个元素:源代码如下图:
  
  如果想取第三个li上面的内容,怎么写规则?
  2.5版本新增了一种写法可以解决此问题,写法:li[N],N代表第几个元素,从0开始,0代表第一个元素,1代表第二个元素,以此类推
  如下图:
  
  第1个元素:li[0]
  第2个元素:li[1]
  ……
  第N个元素:li[N-1]
  DOM写法实战用DOM规则获取文章列表链接
  获取链接列表稍稍和获取标题,内容等不同,分为两行,第一行是列表的获取规则,第二行设置a标签的属性
  示例一:
  源代码如下图:
  
  获取规则如图:
  
  示例二:
  以获取腾讯新闻列表链接为例,网址:
  分析结构,如下图:
  
  结构比较简单,我们可以这样写:
  ul.list01 li
a
  测试截图:
  
  此外,写法并不是惟一的,只要满足条件之一才能找到列表
  如这个写法也能获取到列表:
  ul.font_s_14 li
a
  下面这个写法也同样可以获取到链接:
  ul[class=list01 font_s_14 line_h_25] li
a
  用dom获取文章标题和内容
  举腾讯的这篇文章为反例
  分析结构如图:
  
  dom写法是:
  div.hd h1
  大家可以在采集器中测试一下,为节约版面,我就不截图了 。
  内容的获取和标题一样的写法,在此不再碍眼。 查看全部

  匹配不具有指定属性的元素。 如div[!id]表示 查找所有没有id属性的
  [属性=value]
  匹配具有指定属性值的元素。如div[id=test]表示查找id=test的div元素
  [属性!=value]
  匹配不具有指定属性值的元素。 如div[id!=test]表示查找id不等于test的div元素
  [属性^=value]
  匹配收录特定前缀的值的指定属性的元素。如div[id^=test]表示查找id前缀为test的div元素
  [属性$=value]
  匹配收录特定后缀的值的指定属性的元素。如div[id$=test]表示查找id后缀为test的div元素
  [属性*=value]
  匹配具有指定属性的元素,且该属性收录了一定的值。如div[id*=test]表示查找id收录test的div元素
  2.5版本降低的写法:规则组合可以把几个规则组合在一起,比如下边几个实例:
  网页源代码:
  
  示例一:普通写法(无法获取多个内容)
  
  示例二:组合写法
  
  示例三:在组合规则上面嵌入自定义代码
  
  取第N个元素:源代码如下图:
  
  如果想取第三个li上面的内容,怎么写规则?
  2.5版本新增了一种写法可以解决此问题,写法:li[N],N代表第几个元素,从0开始,0代表第一个元素,1代表第二个元素,以此类推
  如下图:
  
  第1个元素:li[0]
  第2个元素:li[1]
  ……
  第N个元素:li[N-1]
  DOM写法实战用DOM规则获取文章列表链接
  获取链接列表稍稍和获取标题,内容等不同,分为两行,第一行是列表的获取规则,第二行设置a标签的属性
  示例一:
  源代码如下图:
  
  获取规则如图:
  
  示例二:
  以获取腾讯新闻列表链接为例,网址:
  分析结构,如下图:
  
  结构比较简单,我们可以这样写:
  ul.list01 li
a
  测试截图:
  
  此外,写法并不是惟一的,只要满足条件之一才能找到列表
  如这个写法也能获取到列表:
  ul.font_s_14 li
a
  下面这个写法也同样可以获取到链接:
  ul[class=list01 font_s_14 line_h_25] li
a
  用dom获取文章标题和内容
  举腾讯的这篇文章为反例
  分析结构如图:
  
  dom写法是:
  div.hd h1
  大家可以在采集器中测试一下,为节约版面,我就不截图了 。
  内容的获取和标题一样的写法,在此不再碍眼。

ELK日志采集和查询方式

采集交流优采云 发表了文章 • 0 个评论 • 404 次浏览 • 2020-08-11 01:32 • 来自相关话题

  我是个目录
  回顾
  前两篇文章简单的介绍了JAVA通过代码怎样使用MDC进行日志复印,去查看log4j MDC用户操作日志追踪配置,以及ELK平台的搭建,去查看log4j MDC用户操作日志追踪配置。接下来将结合实际案例,简单介绍生产服务器的日志怎样被logstash进行采集,并统一汇总,使得我们就能快速、方便、高效的查询日志,并且可以便捷定位到该条日志是哪台服务器形成的,再也不用盲目的翻遍所有的生产服务器,只为找到出问题的那一台机器。
  logstash日志采集
  因为我们复印的日志各种各样,为了让我们能否便捷的通过kibana进行检索,我们须要在logstash配置对应的采集规则,如果你啥也不做,只是简单的采集,可能会出现一些意想不到的错误。
  日志搜集是按行来搜集的,当你的日志发生了换行,这时候换行的那几行就被觉得是独立的一行,这样采集到的日志可读性太差假如你使用了MDC,配置了log4j的日志格式输出,不配规则的话一整行就会被采集到message数组,此时你要按照某个数组快速搜索的话基本也是不可能的事情了
  基于以上可能出现的“错误”,我们须要针对当前项目的日志配置文件制订一套属于自己的搜集规则。
  其实logstash的配置文件很简单,基本就以下的套路,日志源从哪儿来(input输入插件),通过什么样的规则(filter过滤插件),最终将日志输出到哪些地方(output输出插件)
  # 输入
input {
...
}
# 过滤器
filter {
...
}
# 输出
output {
...
}
  因为我们这儿介绍的是项目日志的采集,所以input其实是从file文件中来,配置如下:
  input {
file {
type => "wechat-log"
path => ["/usr/local/tomcat/logs/wechat/*.log"]
codec => multiline{
pattern => "^\[%{TIMESTAMP_ISO8601}\]"
what => "previous"
negate => true
}
start_position => "beginning"
}
}
  其中path是日志采集的地方,从日志文件的第一行开始采集,定义一个type(一般最后它就是kibana的索引)。
  codec插件
  这里codec的上场才能解决例如我们上面提及的日志换行的问题。在logstash读入的时侯,通过codec编码解析日志为相应格式,从logstash输出的时侯,通过codec解码成相应格式。当我们的应用程序复印出具有换行的日志的时侯,比如ERROR日志,一般有错误堆栈消息,各种at开头的一行,我们可以通过multiline来进行处理,让logstash觉得这一行是属于上一行的内容,而不是把它作为新的一行进行处理。
  一般我们的tomcat日志都是以时间开头的,对于象at那个堆栈的信息都是不存在时间的,所以我们可以配置正则表达式【^[%{TIMESTAMP_ISO8601}]】,只有当以时间开头的一行才算新的一行,不是时间开头的就属于后面【what=&gt;previous】或者前面的【what=&gt;next】,这里我们配置属于后面的。
  上述的配置以后解决了换行问题,那么接下来我们还须要处理按数组进行日志切分的。
  grok插件
  在grok中,支持以正则表达式的形式提取日志信息,其中,正则表达式又分两种,一种是外置的正则表达式,一种是自定义的正则表达式,当外置的正则表达式不能满足我们的需求的时侯,我们就要上自定义的正则表达式了,但是外置的基本满足我们的需求了。具体细节可以查看grok介绍
  假设我们的日志配置文件是这样配置的:
  我们设置了merchant、openid、queryType、orderId、wechatOrderId、input、source7个数组,生产服务器复印的日志将会是以下格式:
  [2019-01-27 17:51:22.051] - iPhoneBaoXiu - oisb3smtzToo7jNA4abazKktnECQ - senior - aa4820190127175110 - 4200000283201901277968491434 - 352982093855677 - 1 - INFO com.apple.wechat.service.Worker:401 - 发送模板消息,查询结果为:[email protected]
[2019-01-27 17:51:22.230] - iPhoneBaoXiu - oisb3smtzToo7jNA4abazKktnECQ - senior - aa4820190127175110 - 42000002832019277968491434 - 352982093855677 - 1 - ERROR me.chanjar.weixin.mp.api.impl.WxMpServiceImpl:403 -
[URL]: https://api.weixin.qq.com/cgi- ... /send
[PARAMS]: {"touser":"olC5FwLnXjtCbQsW76lkevV57nH0","template_id":"Qt1zyzQs4R1uPrJylGQLSUTS6QcG6UyWB2zDzGt7QGY","url":"http://mp.weixin.qq.com/bizmal ... ot%3B,"data":{"first":{"value":"查询结果","color":"#B452CD"},"keyword1":{"value":"aa4820190127175110","color":"#FF4040"},"keyword2":{"value":"352982093855677","color":"#FF4040"},"keyword3":{"value":"1.00元","color":"#FF4040"},"remark":********************}
[RESPONSE]: {"errcode":40003,"errmsg":"invalid openid hint: [mLJNpa06824120]"}
[2019-01-27 17:51:22.230] - iPhoneBaoXiu - oisb3smtzToo7jNA4abazKktnECQ - senior - aa4820190127175110 - 4200000283201901277968491434 - 352982093855677 - 1 - ERROR com.apple.wechat.service.Worker:405 - 发送模板消息失败,{"errcode":40003,"errmsg":"invalid openid hint: [mLJNpa06824120]"}
[2019-01-27 17:51:22.231] - iPhoneBaoXiu - oisb3smtzToo7jNA4abazKktnECQ - senior - aa4820190127175110 - 4200000283201901277968491434 - 352982093855677 - 1 - INFO com.apple.wechat.service.RefundService:57 - 开始发起退款,退款订单id:2056653,微信订单号:4200000283201901277968491434
[2019-01-27 17:51:22.463] - - - - - - - - INFO com.apple.wechat.service.Worker:94 - 执行任务:QueryTask{msg='C39XQ4NFKPGN', fromUserId='oOEvtjsGdmAKrZx81zsACqBjjdsA', merchant='MLdress', type='senior', authUserId='olC5FwH40UpZakKBZRls_t_HR9Ew', price='1.00', tradeNo='e50b20190127175115', model='', orderId=2056654, needRefund=false, needRedo=false, sendMsg=false, msgType='1', lat='', lon='', token='e50ba187b2f84297b60fc14699748679', wechatOrderNo='4200000269201901277039023012'}
[2019-01-27 17:51:23.327] - iPhoneBaoXiu - oisb3smtzToo7jNA4abazKktnECQ - senior - aa4820190127175110 - 4200000283201901277968491434 - 352982093855677 - 1 - INFO com.apple.wechat.service.RefundService:97 - 退款结果:success, 实付金额:1.00,发起退款金额:1.00
[2019-01-27 17:51:26.876] - - - - - - - - INFO com.apple.wechat.service.Worker:94 - 执行任务:QueryTask{msg='C39T81JEHG01', fromUserId='oOEvtjotDEF8doO3xVxyJ0-dCqFM', merchant='MLdress', type='normal', authUserId='', price='', tradeNo='', model='', orderId=0, needRefund=false, needRedo=false, sendMsg=false, msgType='1', lat='', lon='', token='', wechatOrderNo=''}
[2019-01-27 17:51:28.003] - MLdress - oOEvtjsGdmAKrZx81zsACqBjjdsA - senior - e50b20190127175115 - 4200000269201901277039023012 - C39XQ4NFKPGN - 1 - INFO com.apple.wechat.util.HttpUtils:125 - http execute cost total seconds 5540
  我们可以通过以下正则表达式将日志进行切割,并把内容形参给对应的数组
  filter {
grok {
match => ["message", "\[%{TIMESTAMP_ISO8601:logdate}\] - (?[\b\w\s]*) - (?[\u4e00-\u9fa5\b\w\s]*) - (?[\b\w\s]*) - (?[\b\w\s]*) - (?[\b\w\s]*) - (?[\b\w\s]*) - (?[\b\w\s]*) - %{WORD:level}\s*%{JAVACLASS:class}:%{NUMBER:lineNumber} - (?[\W\w\S\s]*)"]
}
date {
match => ["logdate", "yyyy-MM-dd HH:mm:ss.SSS"]
target => "@timestamp"
}
}
  (? [\b\w\s]*) 代表使用[]里面的正则,把辨识的结果放在merchant这个数组上面,其他类似。至于这儿的match怎么输写,跟你的日志配置文件及你想要的疗效有很大的关联,所以只能渐渐调试,直到你写的match才能正确切割出你的日志文件。在线测试你的正则表达式是否可以匹配项目输出的日志测试工具传送门
  完整的配置文件
  input {
file {
type => "wechat-log"
path => ["/usr/local/tomcat/logs/wechat/*.log"]
codec => multiline{
pattern => "^\[%{TIMESTAMP_ISO8601}\]"
what => "previous"
negate => true
}
start_position => "beginning"
}
}
filter {
grok {
match => ["message", "\[%{TIMESTAMP_ISO8601:logdate}\] - (?[\b\w\s]*) - (?[\u4e00-\u9fa5\b\w\s]*) - (?[\b\w\s]*) - (?[\b\w\s]*) - (?[\b\w\s]*) - (?[\b\w\s]*) - (?[\b\w\s]*) - %{WORD:level}\s*%{JAVACLASS:class}:%{NUMBER:lineNumber} - (?[\W\w\S\s]*)"]
}
date {
match => ["logdate", "yyyy-MM-dd HH:mm:ss.SSS"]
target => "@timestamp"
}
}
output {
elasticsearch {
hosts => "**************:9200"
index => "logstash-%{type}"
template_overwrite => true
}
}
  保存后启动logstash即可。命令:
  nohup ./bin/logstash agent -f config/log.conf &
  kibana操作首先是创建索引,因为我们的output配置了index为logstash-%{type},所以对于的索引为:logstash-wechat-log创建完索引,我们能发觉kibana里面列举了我们上面定义的数组,如下图。
  
  接下来我们就可以通过各类条件来进行日志的搜索了。
  假设我们要搜索商户是MLdress,用户输入内容为3565的日志信息,那么我们只须要输入【merchant:MLdress AND input:3565】即可搜索出对应的日志,如下图。
  
  总结
  通过在代码使用MDC进行规范的日志复印,在结合logstash提供的强悍的日志采集插件,我们可以将所有服务器的日志统一上报到es,并通过kibana进行放飞自我的查询操作,只有这样就能极大的提升日常开发效率。程序员不仅要会写代码之外,另外一项加分项那肯定是具有快速发觉和定位问题的能力了,如果没有ELK这样的工具,那快速发觉及定位虽然是比较困难的。
  所以,你懂的,赶紧用上去吧。 查看全部

  我是个目录
  回顾
  前两篇文章简单的介绍了JAVA通过代码怎样使用MDC进行日志复印,去查看log4j MDC用户操作日志追踪配置,以及ELK平台的搭建,去查看log4j MDC用户操作日志追踪配置。接下来将结合实际案例,简单介绍生产服务器的日志怎样被logstash进行采集,并统一汇总,使得我们就能快速、方便、高效的查询日志,并且可以便捷定位到该条日志是哪台服务器形成的,再也不用盲目的翻遍所有的生产服务器,只为找到出问题的那一台机器。
  logstash日志采集
  因为我们复印的日志各种各样,为了让我们能否便捷的通过kibana进行检索,我们须要在logstash配置对应的采集规则,如果你啥也不做,只是简单的采集,可能会出现一些意想不到的错误。
  日志搜集是按行来搜集的,当你的日志发生了换行,这时候换行的那几行就被觉得是独立的一行,这样采集到的日志可读性太差假如你使用了MDC,配置了log4j的日志格式输出,不配规则的话一整行就会被采集到message数组,此时你要按照某个数组快速搜索的话基本也是不可能的事情了
  基于以上可能出现的“错误”,我们须要针对当前项目的日志配置文件制订一套属于自己的搜集规则。
  其实logstash的配置文件很简单,基本就以下的套路,日志源从哪儿来(input输入插件),通过什么样的规则(filter过滤插件),最终将日志输出到哪些地方(output输出插件)
  # 输入
input {
...
}
# 过滤器
filter {
...
}
# 输出
output {
...
}
  因为我们这儿介绍的是项目日志的采集,所以input其实是从file文件中来,配置如下:
  input {
file {
type => "wechat-log"
path => ["/usr/local/tomcat/logs/wechat/*.log"]
codec => multiline{
pattern => "^\[%{TIMESTAMP_ISO8601}\]"
what => "previous"
negate => true
}
start_position => "beginning"
}
}
  其中path是日志采集的地方,从日志文件的第一行开始采集,定义一个type(一般最后它就是kibana的索引)。
  codec插件
  这里codec的上场才能解决例如我们上面提及的日志换行的问题。在logstash读入的时侯,通过codec编码解析日志为相应格式,从logstash输出的时侯,通过codec解码成相应格式。当我们的应用程序复印出具有换行的日志的时侯,比如ERROR日志,一般有错误堆栈消息,各种at开头的一行,我们可以通过multiline来进行处理,让logstash觉得这一行是属于上一行的内容,而不是把它作为新的一行进行处理。
  一般我们的tomcat日志都是以时间开头的,对于象at那个堆栈的信息都是不存在时间的,所以我们可以配置正则表达式【^[%{TIMESTAMP_ISO8601}]】,只有当以时间开头的一行才算新的一行,不是时间开头的就属于后面【what=&gt;previous】或者前面的【what=&gt;next】,这里我们配置属于后面的。
  上述的配置以后解决了换行问题,那么接下来我们还须要处理按数组进行日志切分的。
  grok插件
  在grok中,支持以正则表达式的形式提取日志信息,其中,正则表达式又分两种,一种是外置的正则表达式,一种是自定义的正则表达式,当外置的正则表达式不能满足我们的需求的时侯,我们就要上自定义的正则表达式了,但是外置的基本满足我们的需求了。具体细节可以查看grok介绍
  假设我们的日志配置文件是这样配置的:
  我们设置了merchant、openid、queryType、orderId、wechatOrderId、input、source7个数组,生产服务器复印的日志将会是以下格式:
  [2019-01-27 17:51:22.051] - iPhoneBaoXiu - oisb3smtzToo7jNA4abazKktnECQ - senior - aa4820190127175110 - 4200000283201901277968491434 - 352982093855677 - 1 - INFO com.apple.wechat.service.Worker:401 - 发送模板消息,查询结果为:[email protected]
[2019-01-27 17:51:22.230] - iPhoneBaoXiu - oisb3smtzToo7jNA4abazKktnECQ - senior - aa4820190127175110 - 42000002832019277968491434 - 352982093855677 - 1 - ERROR me.chanjar.weixin.mp.api.impl.WxMpServiceImpl:403 -
[URL]: https://api.weixin.qq.com/cgi- ... /send
[PARAMS]: {"touser":"olC5FwLnXjtCbQsW76lkevV57nH0","template_id":"Qt1zyzQs4R1uPrJylGQLSUTS6QcG6UyWB2zDzGt7QGY","url":"http://mp.weixin.qq.com/bizmal ... ot%3B,"data":{"first":{"value":"查询结果","color":"#B452CD"},"keyword1":{"value":"aa4820190127175110","color":"#FF4040"},"keyword2":{"value":"352982093855677","color":"#FF4040"},"keyword3":{"value":"1.00元","color":"#FF4040"},"remark":********************}
[RESPONSE]: {"errcode":40003,"errmsg":"invalid openid hint: [mLJNpa06824120]"}
[2019-01-27 17:51:22.230] - iPhoneBaoXiu - oisb3smtzToo7jNA4abazKktnECQ - senior - aa4820190127175110 - 4200000283201901277968491434 - 352982093855677 - 1 - ERROR com.apple.wechat.service.Worker:405 - 发送模板消息失败,{"errcode":40003,"errmsg":"invalid openid hint: [mLJNpa06824120]"}
[2019-01-27 17:51:22.231] - iPhoneBaoXiu - oisb3smtzToo7jNA4abazKktnECQ - senior - aa4820190127175110 - 4200000283201901277968491434 - 352982093855677 - 1 - INFO com.apple.wechat.service.RefundService:57 - 开始发起退款,退款订单id:2056653,微信订单号:4200000283201901277968491434
[2019-01-27 17:51:22.463] - - - - - - - - INFO com.apple.wechat.service.Worker:94 - 执行任务:QueryTask{msg='C39XQ4NFKPGN', fromUserId='oOEvtjsGdmAKrZx81zsACqBjjdsA', merchant='MLdress', type='senior', authUserId='olC5FwH40UpZakKBZRls_t_HR9Ew', price='1.00', tradeNo='e50b20190127175115', model='', orderId=2056654, needRefund=false, needRedo=false, sendMsg=false, msgType='1', lat='', lon='', token='e50ba187b2f84297b60fc14699748679', wechatOrderNo='4200000269201901277039023012'}
[2019-01-27 17:51:23.327] - iPhoneBaoXiu - oisb3smtzToo7jNA4abazKktnECQ - senior - aa4820190127175110 - 4200000283201901277968491434 - 352982093855677 - 1 - INFO com.apple.wechat.service.RefundService:97 - 退款结果:success, 实付金额:1.00,发起退款金额:1.00
[2019-01-27 17:51:26.876] - - - - - - - - INFO com.apple.wechat.service.Worker:94 - 执行任务:QueryTask{msg='C39T81JEHG01', fromUserId='oOEvtjotDEF8doO3xVxyJ0-dCqFM', merchant='MLdress', type='normal', authUserId='', price='', tradeNo='', model='', orderId=0, needRefund=false, needRedo=false, sendMsg=false, msgType='1', lat='', lon='', token='', wechatOrderNo=''}
[2019-01-27 17:51:28.003] - MLdress - oOEvtjsGdmAKrZx81zsACqBjjdsA - senior - e50b20190127175115 - 4200000269201901277039023012 - C39XQ4NFKPGN - 1 - INFO com.apple.wechat.util.HttpUtils:125 - http execute cost total seconds 5540
  我们可以通过以下正则表达式将日志进行切割,并把内容形参给对应的数组
  filter {
grok {
match => ["message", "\[%{TIMESTAMP_ISO8601:logdate}\] - (?[\b\w\s]*) - (?[\u4e00-\u9fa5\b\w\s]*) - (?[\b\w\s]*) - (?[\b\w\s]*) - (?[\b\w\s]*) - (?[\b\w\s]*) - (?[\b\w\s]*) - %{WORD:level}\s*%{JAVACLASS:class}:%{NUMBER:lineNumber} - (?[\W\w\S\s]*)"]
}
date {
match => ["logdate", "yyyy-MM-dd HH:mm:ss.SSS"]
target => "@timestamp"
}
}
  (? [\b\w\s]*) 代表使用[]里面的正则,把辨识的结果放在merchant这个数组上面,其他类似。至于这儿的match怎么输写,跟你的日志配置文件及你想要的疗效有很大的关联,所以只能渐渐调试,直到你写的match才能正确切割出你的日志文件。在线测试你的正则表达式是否可以匹配项目输出的日志测试工具传送门
  完整的配置文件
  input {
file {
type => "wechat-log"
path => ["/usr/local/tomcat/logs/wechat/*.log"]
codec => multiline{
pattern => "^\[%{TIMESTAMP_ISO8601}\]"
what => "previous"
negate => true
}
start_position => "beginning"
}
}
filter {
grok {
match => ["message", "\[%{TIMESTAMP_ISO8601:logdate}\] - (?[\b\w\s]*) - (?[\u4e00-\u9fa5\b\w\s]*) - (?[\b\w\s]*) - (?[\b\w\s]*) - (?[\b\w\s]*) - (?[\b\w\s]*) - (?[\b\w\s]*) - %{WORD:level}\s*%{JAVACLASS:class}:%{NUMBER:lineNumber} - (?[\W\w\S\s]*)"]
}
date {
match => ["logdate", "yyyy-MM-dd HH:mm:ss.SSS"]
target => "@timestamp"
}
}
output {
elasticsearch {
hosts => "**************:9200"
index => "logstash-%{type}"
template_overwrite => true
}
}
  保存后启动logstash即可。命令:
  nohup ./bin/logstash agent -f config/log.conf &
  kibana操作首先是创建索引,因为我们的output配置了index为logstash-%{type},所以对于的索引为:logstash-wechat-log创建完索引,我们能发觉kibana里面列举了我们上面定义的数组,如下图。
  
  接下来我们就可以通过各类条件来进行日志的搜索了。
  假设我们要搜索商户是MLdress,用户输入内容为3565的日志信息,那么我们只须要输入【merchant:MLdress AND input:3565】即可搜索出对应的日志,如下图。
  
  总结
  通过在代码使用MDC进行规范的日志复印,在结合logstash提供的强悍的日志采集插件,我们可以将所有服务器的日志统一上报到es,并通过kibana进行放飞自我的查询操作,只有这样就能极大的提升日常开发效率。程序员不仅要会写代码之外,另外一项加分项那肯定是具有快速发觉和定位问题的能力了,如果没有ELK这样的工具,那快速发觉及定位虽然是比较困难的。
  所以,你懂的,赶紧用上去吧。

一键抓取澎湃新闻正式版 v2.0.0

采集交流优采云 发表了文章 • 0 个评论 • 145 次浏览 • 2020-08-11 01:29 • 来自相关话题

  问题:为什么Discuz峰会必须要安装采集插件?
  解答:反过来问你一下,如果不安装采集插件,你自己原创写文章,你能写多少篇??我相信99.9%的人都不会完全原创所有的内容,都会转载其它网站的一些内容,包括一些xx日报,xx电视台,都会或多或少转载一些其它网站的优质内容,你的Discuz峰会安装采集插件,主要是辅助你,运营好自己的网站内容,既然都要手工转载内容,为什么不用效率更高,不会出错,简单易用的采集工具,让自己事半功倍呢??
  问题:采集的内容,百度会收录吗??如何做好SEO优化??
  解答:当下来一条新闻,你在百度搜索会看见,很多内容重复的文章也同样收录了,其实这些重复的内容,都是转载过来的,所以采集的内容百度同样也会收录,特别是最新的原创类内容,及时采集过来,同步发布出去,这样你的收录和原创的没有哪些区别,为了更好的提升SEO收录优化,除了及时采集最新的原创内容之外,最好能采集一些拒绝百度收录的平台内容,比如:微信公众号文章,另外还可以采集一些须要登陆以后,才能看见的内容,一些用ajax加载的内容,等等,这类内容百度都是抓取不到的,如果你发布这类的内容,SEO的收录会更好,排名会更好!!
  问题:采集到的内容,会不会侵权??
  解答:一些对社会正常运作,有帮助的内容,这类内容是规定可以转载的,比如:近期新冠脑炎太严重,一些疫情相关的公开报导内容,这些是没有问题的,因为这种疫情防治的信息,越多人晓得,就越好!!对疫情防治就越有帮助,采集这类内容是没有问题的!还有一类内容,就是对某一个企业有负面影响的,某一个企业的公关人员,会通知你,删除那些内容,只要你配合删掉掉内容,就可以了!!只有很少一部分内容,申请了著作权,如果不留神转载了,有可能被著作权所有人胜诉,这是低几率风波,一般不会遇见!!智伍应用的采集插件,支持先审后发,不支持不初审就手动采集发布出去!!确保了采集内容的安全!!因为每一篇文章内容,都是经过你审查过后,再采集发布的。
  问题:智伍应用靠谱吗?会不会骗钱?
  解答:非常靠谱!!智伍应用的产品上线之前,都会经过严格的测试和初审代码质量,确保安全而且能用和好用,全部都评比通过以后,才会申请上架!!同时源代码开放,任何人都可以查看到原创透明的代码,有技术能力的用户,可以很方便快捷进行二次开发,智伍应用的任何一款产品,都可以免费试用,满意以后再考虑,是否须要升级到即将商用版本,如果安装以后,发现不能使用,可以联系在线客服解决,如果碰到难以解决的问题,这个插件难以使用,会全额退票给你,总体的一个原则,就是使用户安全无风险,准确找到自己的需求,购买自己用得上的插件模块,如果订购以后,发现用不上,智伍应用会给你退票,如果确实有须要,请放心订购智伍应用的各个产品!!!智伍应用仍然都认真听取用户的反馈意见,根据用户的建议不断的升级更新产品,尊重用户的各项权益和合理诉求!!把用户放到最高的位置上,全心全意为用户服务!!
  问题:智伍应用的采集插件都有哪些亮点和优势?
  解答:多数都使用Chrome扩充采集程序,需要在自己的网页浏览器chrome那儿安装一个扩充程序,因为经过研究发觉,把浏览器弄成采集工具,是最可靠和成熟稳定的采集方式!一些通过程序抓取函数来采集内容的传统采集方式,虽然可以不用安装chrome扩充程序,但时常出问题,遇到采集不到内容的事情常有发生!!
  问题:智伍应用开发了什么采集插件?
  解答:很多!!我们专注研制采集插件多年,经过多次升级更新,在采集插件研制方面积累了丰富的经验,如果找不到你须要的采集插件,请反馈给智伍应用在线客服。
  问题:智伍应用的采集插件那个好用?
  解答:内核技术都一样,只是采集规则不一样,智伍应用的采集插件都好用,主要看你须要采集哪个网站,然后就用那种网站相对应的采集插件。
  问题:我完全不懂技术,但想用智伍应用的Discuz采集插件,怎么办?
  解答:联系智伍应用在线客服,在线帮助你安装和配置,直到插件完全可以使用,没有任何问题!!不需要你懂技术,售后客服会帮你解决所有的问题。
  问题:为什么要用chrome扩充采集程序??
  解答:因为这些采集方式,是最稳定和成熟的!!网页都是HTML代码经过浏览器渲染才下来的,所以把自己的浏览器弄成采集工具,所见即所采的方法,是最好的。
  问题:chrome扩充安全吗??为什么会弹出“请停用以开发者模式运行的扩充程序”
  解答:只要安装了chrome扩充程序,不管是哪些chrome扩充程序,都会弹出这样的提醒:“以开发者模式运行的扩充程序可能会损害您的计算机。如果您不是开发者,那么,为安全起见,应停用以开发者模式运行的扩充程序。”,这就似乎在百货商城里提醒你:“遇到火警请打119。”一样,有提醒你打119,并不代表你遇见了起火,这只是一个提醒信息!!智伍应用的chrome扩充程序都是经过人工初审,多方检测和测试,是安全可靠的扩充程序!!
  问题:可以无人值守,自动采集内容吗??
  解答:不可以!!全手动采集内容并发布,这样采集内容不安全!!智伍应用的采集插件都是先审后发,确保内容的质量和安全!!不能不经过你的同意,就手动发布内容了!!如果你须要短时间内采集发布大量的内容,来填充网站,可以在【待发布】那里,选择【用chrome扩充批量发布内容】 查看全部

  问题:为什么Discuz峰会必须要安装采集插件?
  解答:反过来问你一下,如果不安装采集插件,你自己原创写文章,你能写多少篇??我相信99.9%的人都不会完全原创所有的内容,都会转载其它网站的一些内容,包括一些xx日报,xx电视台,都会或多或少转载一些其它网站的优质内容,你的Discuz峰会安装采集插件,主要是辅助你,运营好自己的网站内容,既然都要手工转载内容,为什么不用效率更高,不会出错,简单易用的采集工具,让自己事半功倍呢??
  问题:采集的内容,百度会收录吗??如何做好SEO优化??
  解答:当下来一条新闻,你在百度搜索会看见,很多内容重复的文章也同样收录了,其实这些重复的内容,都是转载过来的,所以采集的内容百度同样也会收录,特别是最新的原创类内容,及时采集过来,同步发布出去,这样你的收录和原创的没有哪些区别,为了更好的提升SEO收录优化,除了及时采集最新的原创内容之外,最好能采集一些拒绝百度收录的平台内容,比如:微信公众号文章,另外还可以采集一些须要登陆以后,才能看见的内容,一些用ajax加载的内容,等等,这类内容百度都是抓取不到的,如果你发布这类的内容,SEO的收录会更好,排名会更好!!
  问题:采集到的内容,会不会侵权??
  解答:一些对社会正常运作,有帮助的内容,这类内容是规定可以转载的,比如:近期新冠脑炎太严重,一些疫情相关的公开报导内容,这些是没有问题的,因为这种疫情防治的信息,越多人晓得,就越好!!对疫情防治就越有帮助,采集这类内容是没有问题的!还有一类内容,就是对某一个企业有负面影响的,某一个企业的公关人员,会通知你,删除那些内容,只要你配合删掉掉内容,就可以了!!只有很少一部分内容,申请了著作权,如果不留神转载了,有可能被著作权所有人胜诉,这是低几率风波,一般不会遇见!!智伍应用的采集插件,支持先审后发,不支持不初审就手动采集发布出去!!确保了采集内容的安全!!因为每一篇文章内容,都是经过你审查过后,再采集发布的。
  问题:智伍应用靠谱吗?会不会骗钱?
  解答:非常靠谱!!智伍应用的产品上线之前,都会经过严格的测试和初审代码质量,确保安全而且能用和好用,全部都评比通过以后,才会申请上架!!同时源代码开放,任何人都可以查看到原创透明的代码,有技术能力的用户,可以很方便快捷进行二次开发,智伍应用的任何一款产品,都可以免费试用,满意以后再考虑,是否须要升级到即将商用版本,如果安装以后,发现不能使用,可以联系在线客服解决,如果碰到难以解决的问题,这个插件难以使用,会全额退票给你,总体的一个原则,就是使用户安全无风险,准确找到自己的需求,购买自己用得上的插件模块,如果订购以后,发现用不上,智伍应用会给你退票,如果确实有须要,请放心订购智伍应用的各个产品!!!智伍应用仍然都认真听取用户的反馈意见,根据用户的建议不断的升级更新产品,尊重用户的各项权益和合理诉求!!把用户放到最高的位置上,全心全意为用户服务!!
  问题:智伍应用的采集插件都有哪些亮点和优势?
  解答:多数都使用Chrome扩充采集程序,需要在自己的网页浏览器chrome那儿安装一个扩充程序,因为经过研究发觉,把浏览器弄成采集工具,是最可靠和成熟稳定的采集方式!一些通过程序抓取函数来采集内容的传统采集方式,虽然可以不用安装chrome扩充程序,但时常出问题,遇到采集不到内容的事情常有发生!!
  问题:智伍应用开发了什么采集插件?
  解答:很多!!我们专注研制采集插件多年,经过多次升级更新,在采集插件研制方面积累了丰富的经验,如果找不到你须要的采集插件,请反馈给智伍应用在线客服。
  问题:智伍应用的采集插件那个好用?
  解答:内核技术都一样,只是采集规则不一样,智伍应用的采集插件都好用,主要看你须要采集哪个网站,然后就用那种网站相对应的采集插件。
  问题:我完全不懂技术,但想用智伍应用的Discuz采集插件,怎么办?
  解答:联系智伍应用在线客服,在线帮助你安装和配置,直到插件完全可以使用,没有任何问题!!不需要你懂技术,售后客服会帮你解决所有的问题。
  问题:为什么要用chrome扩充采集程序??
  解答:因为这些采集方式,是最稳定和成熟的!!网页都是HTML代码经过浏览器渲染才下来的,所以把自己的浏览器弄成采集工具,所见即所采的方法,是最好的。
  问题:chrome扩充安全吗??为什么会弹出“请停用以开发者模式运行的扩充程序”
  解答:只要安装了chrome扩充程序,不管是哪些chrome扩充程序,都会弹出这样的提醒:“以开发者模式运行的扩充程序可能会损害您的计算机。如果您不是开发者,那么,为安全起见,应停用以开发者模式运行的扩充程序。”,这就似乎在百货商城里提醒你:“遇到火警请打119。”一样,有提醒你打119,并不代表你遇见了起火,这只是一个提醒信息!!智伍应用的chrome扩充程序都是经过人工初审,多方检测和测试,是安全可靠的扩充程序!!
  问题:可以无人值守,自动采集内容吗??
  解答:不可以!!全手动采集内容并发布,这样采集内容不安全!!智伍应用的采集插件都是先审后发,确保内容的质量和安全!!不能不经过你的同意,就手动发布内容了!!如果你须要短时间内采集发布大量的内容,来填充网站,可以在【待发布】那里,选择【用chrome扩充批量发布内容】

WordPress自动化采集插件Automatic Plugin更新至v3

采集交流优采云 发表了文章 • 0 个评论 • 344 次浏览 • 2020-08-10 04:58 • 来自相关话题

  WordPressAutomatic Plugin自动采集有针对性的高质量的文章文章,比如亚马逊产品、Clickbank产品、Youtube视频、Vimeo视频、 Feeds posts、eBay拍卖、Flicker images、Instagram图象、 Pinterest pins,tweets,facebook 网站和SoundCloud歌曲,只是安装和许可,为你的博客工作,它将工作24/7 ·····
  更新日志:
  Version 3.22.1 (10 June 2016 )
Important: Instagram now works again after 1 June instagram update with same behaviour as before.
NEW: keyword to Category option: you can set a keyword and if exists, the plugin will set the post to the matching category
NEW: keyword to tag option: you can set a keyword and if exists, the pluginw will tag the post
NEW: option to post the item if it matchs a specific regex only
NEW: option to skip the item if it matchs a specific regex
NEW: instagram new option to skip video posts/images posts
NEW: Flicker now support posting from photo albums
NEW: TrueMag/NewsTube theme integration with instagram videos
NEW: search/replace using REGEX now has the option to word replace and replace shuffle
NEW: ebay additional parameters option added
NEW: SoundCloud new option to skip posts older than a specific date
NEW: option to delete all posted posts for a specific campaign
NEW: option to forget excuded links
Improved: Feeds campaign completely rewritten to be more lighter on servers.
Fix: instagram disable cache now works
Fix: simple_html_dom namespaeced not to conflict with other plugins/themes
Fix: youtube original date now consider blog timezone
Fix: youtube original date when posting from playlists now post correct video created date
Fix: translation for FB and some sources was not working now it works
Fix: maximum of three feeds now get processed per campaign run
Fix: Feeds decode html now decodes the title as well
Fix: Feeds now support news.google feed, previously the images were not displayed and the og:image was not extracted
  Demo: Demo
  恭喜,此资源为免费资源,请先登入
  解压及出错排查说明地址: | 联系我们地址: 查看全部

  WordPressAutomatic Plugin自动采集有针对性的高质量的文章文章,比如亚马逊产品、Clickbank产品、Youtube视频、Vimeo视频、 Feeds posts、eBay拍卖、Flicker images、Instagram图象、 Pinterest pins,tweets,facebook 网站和SoundCloud歌曲,只是安装和许可,为你的博客工作,它将工作24/7 ·····
  更新日志:
  Version 3.22.1 (10 June 2016 )
Important: Instagram now works again after 1 June instagram update with same behaviour as before.
NEW: keyword to Category option: you can set a keyword and if exists, the plugin will set the post to the matching category
NEW: keyword to tag option: you can set a keyword and if exists, the pluginw will tag the post
NEW: option to post the item if it matchs a specific regex only
NEW: option to skip the item if it matchs a specific regex
NEW: instagram new option to skip video posts/images posts
NEW: Flicker now support posting from photo albums
NEW: TrueMag/NewsTube theme integration with instagram videos
NEW: search/replace using REGEX now has the option to word replace and replace shuffle
NEW: ebay additional parameters option added
NEW: SoundCloud new option to skip posts older than a specific date
NEW: option to delete all posted posts for a specific campaign
NEW: option to forget excuded links
Improved: Feeds campaign completely rewritten to be more lighter on servers.
Fix: instagram disable cache now works
Fix: simple_html_dom namespaeced not to conflict with other plugins/themes
Fix: youtube original date now consider blog timezone
Fix: youtube original date when posting from playlists now post correct video created date
Fix: translation for FB and some sources was not working now it works
Fix: maximum of three feeds now get processed per campaign run
Fix: Feeds decode html now decodes the title as well
Fix: Feeds now support news.google feed, previously the images were not displayed and the og:image was not extracted
  Demo: Demo
  恭喜,此资源为免费资源,请先登入
  解压及出错排查说明地址: | 联系我们地址:

一键采集知乎的任何问答内容Discuz版 v1.0

采集交流优采云 发表了文章 • 0 个评论 • 261 次浏览 • 2020-08-09 20:31 • 来自相关话题

  PHPBB简介
  Discuz插件功能
  安装本插件以后,可以输入知乎问答的网址,一键获取知乎的问题和答案到您的峰会上。
  本Discuz插件功能特性
  1、可以批量生成真实的马甲用户数据作为发贴人和发帖人,感觉您的峰会人气太旺。
  2、除了知乎的问题会采集之外,答案的内容也会采集,感觉您的峰会内容丰富,有可读性。
  3、马甲发帖的时间经过科学处理,不是所有发帖人都是同一个时间,感觉您的峰会不是马甲在回复,而是真实用户在回复。
  4、批量生成的回帖和跟帖马甲都是有真实的头像和爱称,由众大云采集的网路爬虫实时随机抓取生成。
  5、批量生成的马甲用户可以导入uid列表,除了用在本插件之外也可以用在别的有须要的插件上。
  6、采集过来的知乎问答内容的图片可以正常显示而且保存为贴子图片附件。
  7、图片附件支持远程FTP保存。
  8、图片会加上您峰会的水印。
  9、每天会手动推送知乎的高质量问答内容过来,您只需点击一下键盘就可以发布到您的峰会上。
  10、已采集过的知乎问答不会重复二次采集,内容不会冗余。
  11、采集发布的贴子跟真实用户发布的几乎一模一样。
  12、浏览量会手动随机设置,感觉您的贴子查看数更真实。
  13、无限量采集,不限采集次数。
  此Discuz插件给您带来的价值
  1、让您的峰会人气太旺,内容太丰富多彩。
  2、批量生成的马甲不仅用在本插件之外,还可以用在别外,相当于订购本插件,免费附赠了马甲生成插件。
  3、用一键采集来取代手工发贴,省时省力,不易出错。
  用户保障
  1、严格遵循官方的Discuz插件开发规范,除此之外,我们的团队也会对插件进行大量的测试,确保插件的安全、稳定、成熟。
  2、在使用过程中,发现有bug或则用户体验不佳,可以反馈给技术员(mail:),在经过评估过后,情况属实,将在下一次升级版本解决,请你们留心插件升级更新。
  Discuz插件页面展示
   查看全部

  PHPBB简介
  Discuz插件功能
  安装本插件以后,可以输入知乎问答的网址,一键获取知乎的问题和答案到您的峰会上。
  本Discuz插件功能特性
  1、可以批量生成真实的马甲用户数据作为发贴人和发帖人,感觉您的峰会人气太旺。
  2、除了知乎的问题会采集之外,答案的内容也会采集,感觉您的峰会内容丰富,有可读性。
  3、马甲发帖的时间经过科学处理,不是所有发帖人都是同一个时间,感觉您的峰会不是马甲在回复,而是真实用户在回复。
  4、批量生成的回帖和跟帖马甲都是有真实的头像和爱称,由众大云采集的网路爬虫实时随机抓取生成。
  5、批量生成的马甲用户可以导入uid列表,除了用在本插件之外也可以用在别的有须要的插件上。
  6、采集过来的知乎问答内容的图片可以正常显示而且保存为贴子图片附件。
  7、图片附件支持远程FTP保存。
  8、图片会加上您峰会的水印。
  9、每天会手动推送知乎的高质量问答内容过来,您只需点击一下键盘就可以发布到您的峰会上。
  10、已采集过的知乎问答不会重复二次采集,内容不会冗余。
  11、采集发布的贴子跟真实用户发布的几乎一模一样。
  12、浏览量会手动随机设置,感觉您的贴子查看数更真实。
  13、无限量采集,不限采集次数。
  此Discuz插件给您带来的价值
  1、让您的峰会人气太旺,内容太丰富多彩。
  2、批量生成的马甲不仅用在本插件之外,还可以用在别外,相当于订购本插件,免费附赠了马甲生成插件。
  3、用一键采集来取代手工发贴,省时省力,不易出错。
  用户保障
  1、严格遵循官方的Discuz插件开发规范,除此之外,我们的团队也会对插件进行大量的测试,确保插件的安全、稳定、成熟。
  2、在使用过程中,发现有bug或则用户体验不佳,可以反馈给技术员(mail:),在经过评估过后,情况属实,将在下一次升级版本解决,请你们留心插件升级更新。
  Discuz插件页面展示
  

wordpress手动采集插件wp-autoblog1.2.15开心版和wp

采集交流优采云 发表了文章 • 0 个评论 • 610 次浏览 • 2020-08-09 16:06 • 来自相关话题

  启用任务后,全手动采集更新,无需人工干预
  启用任务后,定时检查是否有新文章可更新,检测文章是否重复,导入更新文章,这一切操作程序都是全手动完成,无需人工干预。
  有两种触发采集更新方法,一种是在页面内添加代码由用户访问触发采集更新(后台异步进行,不影响用户体验,也不影响网站效率),另外可以用Cron计划任务定时触发采集更新任务
  定向采集,支持键值匹配、或CSS选择器精确采集任何内容,支持采集多层级文章列表、支持采集正文分页内容、支持采集多层级正文内容
  定向采集只须要提供文章列表URL即可智能采集来自于任何网站或栏目内容。
  不仅支持“通配符匹配”来采集网页内容,更完美支持各类CSS选择器,只需填写简单的形如 #title h1 的CSS选择器,便可精确采集网页任何内容。(如何设置CSS选择器)
  支持设置关键词,如果标题中收录关键词才准许采集(或过滤掉不容许采集)。
  支持设置多个匹配规则采集网页上的不同内容,甚至支持采集任何内容添加到“WordPress自定义栏目”,方便扩充。
  
  
  基本设置功能齐全,完美支持Wordpress各类功能,可手动设置分类目录、标签、摘要、特色图片、自定义栏目等;也可采集目标网站的分类目录、标签等信息后,可手动生成并添加相应分类目录、标签等信息
  每个采集任务均可选择发布到的分类目录,发布作者,发布状态,检测更新时间间隔,采集目标网站的字符集,选择是否下载图片或附件。
  支持自定义文章类型, 自定义文章分类、文章形式。
  完美支持Wordpress各类特色功能,自动添加标签,自动生成摘要,自动设置特色图片,支持自定义栏目等。
  可采集微信公众号、头条号等自媒体内容,因百度不收录公众号,头条文章等,可轻松获取优质“原创”文章,增加百度收录量及网站权重
  支持采集微信公众号(订阅号)文章,无需复杂配置,只需填入“公众号名称”和“微信号”后即可开始采集。
  支持采集今日头条文章,也无需复杂配置。
  
  
  支持Google神经网路翻译、有道神经网路翻译、百度翻译,将文章翻译成其他语言,轻松获取原创文章
  支持Google神经网路翻译,翻译质量明显提升,已接近人工翻译疗效,将文章标题和内容翻译成其他语言,共支持多种语言之间互相翻译,轻松获取原创文章。使用Google翻译API无需翻墙,只需翻墙获取API相关设置信息设置好后即可正常使用,后续调用API翻译无需翻墙
  支持有道神经网路翻译,接近人工翻译疗效,有道翻译更懂英文,采集英文文章翻译成英文文章,轻松获取原创文章。
  同时支持百度翻译,百度翻译每月翻译字符数高于200万,享免费服务
  
  支持中英文各类伪原创形式
  支持使用翻译引擎获取伪原创文章,不仅仅只是替换了同义词,更是语义的重新叙述,唯一性、伪原创疗效更好,支持各类语言。同时集成美国最优秀伪原创工具WordAi等,制作英语站可以获取可读性、唯一性都更好的伪原创文章。
  可下载远程图片及其他任意格式附件到本地服务器,并支持给图片手动添加水印
  支持远程图片下载到本地服务器,并可选择手动添加上文本水印或图象水印。其他任何格式的附件及文档也能轻松下载到本地服务器。
  支持市面上所有主流对象储存服务,包括七牛云、阿里云OSS、腾讯云COS、百度云BOS、又拍云、Amazon AWS S3、Google Cloud Storage,可将文章中图片及附件手动上传到云对象存储服务,节省带宽及空间,提高网站访问速率
  七牛云存储,每月享10GB的免费储存空间,10GB免费带宽流量
  只需简单配置好相关信息,即可手动上传,通过Wordpress后台也能直接查看或管理已上传到云对象储存的图片及文件。
  
  支持SEO优化,内容过滤,HTML标签过滤,关键词替换,自动添加链接,添加自定义内容,自定义采集后款式、自定义模板等常用功能
  自动删掉采集内容中的HTML注释,可设置删掉标签中的id,class,style属性内容,消除采集的痕迹;自动给图片添加上alt属性,过滤链接,关键词替换,自动添加自定义链接,这些都有利于SEO。 查看全部

  启用任务后,全手动采集更新,无需人工干预
  启用任务后,定时检查是否有新文章可更新,检测文章是否重复,导入更新文章,这一切操作程序都是全手动完成,无需人工干预。
  有两种触发采集更新方法,一种是在页面内添加代码由用户访问触发采集更新(后台异步进行,不影响用户体验,也不影响网站效率),另外可以用Cron计划任务定时触发采集更新任务
  定向采集,支持键值匹配、或CSS选择器精确采集任何内容,支持采集多层级文章列表、支持采集正文分页内容、支持采集多层级正文内容
  定向采集只须要提供文章列表URL即可智能采集来自于任何网站或栏目内容。
  不仅支持“通配符匹配”来采集网页内容,更完美支持各类CSS选择器,只需填写简单的形如 #title h1 的CSS选择器,便可精确采集网页任何内容。(如何设置CSS选择器)
  支持设置关键词,如果标题中收录关键词才准许采集(或过滤掉不容许采集)。
  支持设置多个匹配规则采集网页上的不同内容,甚至支持采集任何内容添加到“WordPress自定义栏目”,方便扩充。
  
  
  基本设置功能齐全,完美支持Wordpress各类功能,可手动设置分类目录、标签、摘要、特色图片、自定义栏目等;也可采集目标网站的分类目录、标签等信息后,可手动生成并添加相应分类目录、标签等信息
  每个采集任务均可选择发布到的分类目录,发布作者,发布状态,检测更新时间间隔,采集目标网站的字符集,选择是否下载图片或附件。
  支持自定义文章类型, 自定义文章分类、文章形式。
  完美支持Wordpress各类特色功能,自动添加标签,自动生成摘要,自动设置特色图片,支持自定义栏目等。
  可采集微信公众号、头条号等自媒体内容,因百度不收录公众号,头条文章等,可轻松获取优质“原创”文章,增加百度收录量及网站权重
  支持采集微信公众号(订阅号)文章,无需复杂配置,只需填入“公众号名称”和“微信号”后即可开始采集。
  支持采集今日头条文章,也无需复杂配置。
  
  
  支持Google神经网路翻译、有道神经网路翻译、百度翻译,将文章翻译成其他语言,轻松获取原创文章
  支持Google神经网路翻译,翻译质量明显提升,已接近人工翻译疗效,将文章标题和内容翻译成其他语言,共支持多种语言之间互相翻译,轻松获取原创文章。使用Google翻译API无需翻墙,只需翻墙获取API相关设置信息设置好后即可正常使用,后续调用API翻译无需翻墙
  支持有道神经网路翻译,接近人工翻译疗效,有道翻译更懂英文,采集英文文章翻译成英文文章,轻松获取原创文章。
  同时支持百度翻译,百度翻译每月翻译字符数高于200万,享免费服务
  
  支持中英文各类伪原创形式
  支持使用翻译引擎获取伪原创文章,不仅仅只是替换了同义词,更是语义的重新叙述,唯一性、伪原创疗效更好,支持各类语言。同时集成美国最优秀伪原创工具WordAi等,制作英语站可以获取可读性、唯一性都更好的伪原创文章。
  可下载远程图片及其他任意格式附件到本地服务器,并支持给图片手动添加水印
  支持远程图片下载到本地服务器,并可选择手动添加上文本水印或图象水印。其他任何格式的附件及文档也能轻松下载到本地服务器。
  支持市面上所有主流对象储存服务,包括七牛云、阿里云OSS、腾讯云COS、百度云BOS、又拍云、Amazon AWS S3、Google Cloud Storage,可将文章中图片及附件手动上传到云对象存储服务,节省带宽及空间,提高网站访问速率
  七牛云存储,每月享10GB的免费储存空间,10GB免费带宽流量
  只需简单配置好相关信息,即可手动上传,通过Wordpress后台也能直接查看或管理已上传到云对象储存的图片及文件。
  
  支持SEO优化,内容过滤,HTML标签过滤,关键词替换,自动添加链接,添加自定义内容,自定义采集后款式、自定义模板等常用功能
  自动删掉采集内容中的HTML注释,可设置删掉标签中的id,class,style属性内容,消除采集的痕迹;自动给图片添加上alt属性,过滤链接,关键词替换,自动添加自定义链接,这些都有利于SEO。

一键采集今天新闻正式版 3.0.1

采集交流优采云 发表了文章 • 0 个评论 • 309 次浏览 • 2020-08-09 10:49 • 来自相关话题

  【温馨提示】
  此插件基于智伍应用旗下的正文内容提取技术,是通用匹配规则,理论上只要是新闻资讯结构类型的内容都可以采集,但也存在有一些网页HTML标签不规范,可能有极某些内容采集的时侯,会出现提取不够精准的情况,我们那边技术团队还在继续优化和升级算法,让通用正文提取采集算法愈加接近正文主体内容,如果您目前试用版,介意不能做到全部正确采集到主体内容,不能容忍一点点的偏差,请不要升级到正式版,感谢您的试用!!
  【插件功能】
  安装本插件以后,可以输入新闻资讯的网址或则新闻关键词,一键获取当日的热点新闻、当天资讯到您的峰会上。
  【本插件功能特性】
  1、可以输入热点新闻的关键词,实时采集当天各个新闻网站的内容。
  2、无限量采集,不限采集次数。
  3、采集过来的新闻图片可以正常显示而且保存为贴子图片附件。
  4、图片附件支持远程FTP保存。
  5、图片会加上您峰会的水印。
  6、已采集过的新闻资讯不会重复二次采集,内容不会冗余。
  7、采集发布的贴子跟真实用户发布的几乎一模一样。
  8、浏览量会手动随机设置,感觉您的贴子查看数更真实。
  9、可以指定贴子发布者的UID。
  10、采集的新闻资讯内容可以发布到你任选的一个版块。
  【此插件给您带来的价值】
  1、让您的峰会人气太旺,内容太丰富多彩。
  2、用一键采集来取代手工发贴,省时省力,不易出错。
  3、让您的网站与海量的新闻名站共享优质内容,可以快速提升网站权重与排行。
  【用户保障】
  1、严格遵循官方的插件开发规范,除此之外,我们的团队也会对插件进行大量的测试,确保插件的安全、稳定、成熟。
  2、购买本插件以后,因为服务器运行环境、插件冲突、系统配置等诱因不能使用插件,可以联系技术员(QQ:2891276344),如果在48小时之内无法解决问题,全额退票给消费者!!大家不用害怕订购插件以后用不了,如果真的用不了,不会收您一分钱。
  3、在使用过程中,发现有bug或则用户体验不佳,可以反馈给技术员(mail:),在经过评估过后,情况属实,将在下一次升级版本解决,请你们留心插件升级更新。 查看全部

  【温馨提示】
  此插件基于智伍应用旗下的正文内容提取技术,是通用匹配规则,理论上只要是新闻资讯结构类型的内容都可以采集,但也存在有一些网页HTML标签不规范,可能有极某些内容采集的时侯,会出现提取不够精准的情况,我们那边技术团队还在继续优化和升级算法,让通用正文提取采集算法愈加接近正文主体内容,如果您目前试用版,介意不能做到全部正确采集到主体内容,不能容忍一点点的偏差,请不要升级到正式版,感谢您的试用!!
  【插件功能】
  安装本插件以后,可以输入新闻资讯的网址或则新闻关键词,一键获取当日的热点新闻、当天资讯到您的峰会上。
  【本插件功能特性】
  1、可以输入热点新闻的关键词,实时采集当天各个新闻网站的内容。
  2、无限量采集,不限采集次数。
  3、采集过来的新闻图片可以正常显示而且保存为贴子图片附件。
  4、图片附件支持远程FTP保存。
  5、图片会加上您峰会的水印。
  6、已采集过的新闻资讯不会重复二次采集,内容不会冗余。
  7、采集发布的贴子跟真实用户发布的几乎一模一样。
  8、浏览量会手动随机设置,感觉您的贴子查看数更真实。
  9、可以指定贴子发布者的UID。
  10、采集的新闻资讯内容可以发布到你任选的一个版块。
  【此插件给您带来的价值】
  1、让您的峰会人气太旺,内容太丰富多彩。
  2、用一键采集来取代手工发贴,省时省力,不易出错。
  3、让您的网站与海量的新闻名站共享优质内容,可以快速提升网站权重与排行。
  【用户保障】
  1、严格遵循官方的插件开发规范,除此之外,我们的团队也会对插件进行大量的测试,确保插件的安全、稳定、成熟。
  2、购买本插件以后,因为服务器运行环境、插件冲突、系统配置等诱因不能使用插件,可以联系技术员(QQ:2891276344),如果在48小时之内无法解决问题,全额退票给消费者!!大家不用害怕订购插件以后用不了,如果真的用不了,不会收您一分钱。
  3、在使用过程中,发现有bug或则用户体验不佳,可以反馈给技术员(mail:),在经过评估过后,情况属实,将在下一次升级版本解决,请你们留心插件升级更新。

IMGspider – 图片采集抓取插件

采集交流优采云 发表了文章 • 0 个评论 • 331 次浏览 • 2020-08-09 08:00 • 来自相关话题

  Description
  IMGspider(图片蜘蛛)是一款用于WordPress文章图片抓取的WordPress插件,支持JPG, JPEG, PNG, GIF, BMP, TIF等常见图片爬取下载,实现一键抓取文章内容所有引用图片到本地服务器。
  该插件才能帮助WordPress站长在转载其他网站的文章时,快速将转载的文章内容中的站外图片抓取到本地服务器,而无需自动下载逐一上传,大大提高了站长的工作效率,并且IMGspider图片采集插件支持手动和自动采集两种模式,且支持代理服务器采集。
  全新的版本更是加入了采集图片选项、过滤规则及全局扫描等设置选项,进一步丰富图片采集功能。
  1.基础设置。2.图片选项。
  IMGspider图片蜘蛛插件支持自定义一些采集图片参数选项,包括:
  3.过滤规则。
  插件提供多种过滤规则,以便过滤一些特定的外链图片,包括:
  4.全局扫描。
  该功能的主要目的是便捷部份站长对已发布文章的外链图片进行全局检查,实现一键采集已发布文章、页面及媒体的外链图片。
  Notes
  IMGspider插件是一款简单易用的WordPress文章图片抓取下载插件,实现对转载文章图片一键抓取下载到本地服务器.
  闪电博()专注于WordPress主题和插件开发,为英文博客提供更多优质和符合国外需求的主题和插件。此外我们也会分享WordPress相关方法和教程。
  除了百度搜索推送管理插件外,目前我们还开发了以下WordPress插件:
  如果你在WordPress主题和插件上有更多的需求,也希望您可以向我们提出意见建议,我们将会记录出来并依据实际情况,推出更多符合你们需求的主题和插件。
  致谢!
  闪电博团队 查看全部

  Description
  IMGspider(图片蜘蛛)是一款用于WordPress文章图片抓取的WordPress插件,支持JPG, JPEG, PNG, GIF, BMP, TIF等常见图片爬取下载,实现一键抓取文章内容所有引用图片到本地服务器。
  该插件才能帮助WordPress站长在转载其他网站的文章时,快速将转载的文章内容中的站外图片抓取到本地服务器,而无需自动下载逐一上传,大大提高了站长的工作效率,并且IMGspider图片采集插件支持手动和自动采集两种模式,且支持代理服务器采集。
  全新的版本更是加入了采集图片选项、过滤规则及全局扫描等设置选项,进一步丰富图片采集功能。
  1.基础设置。2.图片选项。
  IMGspider图片蜘蛛插件支持自定义一些采集图片参数选项,包括:
  3.过滤规则。
  插件提供多种过滤规则,以便过滤一些特定的外链图片,包括:
  4.全局扫描。
  该功能的主要目的是便捷部份站长对已发布文章的外链图片进行全局检查,实现一键采集已发布文章、页面及媒体的外链图片。
  Notes
  IMGspider插件是一款简单易用的WordPress文章图片抓取下载插件,实现对转载文章图片一键抓取下载到本地服务器.
  闪电博()专注于WordPress主题和插件开发,为英文博客提供更多优质和符合国外需求的主题和插件。此外我们也会分享WordPress相关方法和教程。
  除了百度搜索推送管理插件外,目前我们还开发了以下WordPress插件:
  如果你在WordPress主题和插件上有更多的需求,也希望您可以向我们提出意见建议,我们将会记录出来并依据实际情况,推出更多符合你们需求的主题和插件。
  致谢!
  闪电博团队

使用chrome插件批量读取浏览器页面内容并写入数据库

采集交流优采云 发表了文章 • 0 个评论 • 268 次浏览 • 2020-08-08 02:33 • 来自相关话题

  想象一下,如果您想每天采集100页甚至更多的网页数据. 如果使用手动采集,则会吐血,因此使用程序进行采集将成为唯一选择. 首先,我肯定会考虑使用Java,PHP和C#等高级语言,但是有一个登录和验证代码,我很茫然. 您是否还在担心在网络上采集数据?很高兴,您找到了正确的地方.
  应用场景:
  1. 每天需要在网络上重复采集大量数据
  2,登录后即可采集网页数据
  3,网页可以翻页
  解决方案:
  手动登录,然后使用chrome插件方法进行采集. 当然,您会说使用硒等自动化测试方法进行采集会比较凉爽,并且可以每天自动采集,并且完全自动化,无需人工干预. 但是作为忠实的Chrome迷,您只需要前端js,服务器端接收文件和数据库即可完美解决此问题. 加上简单的部署和操作. 成为粉丝的原因很多. 好吧,即使这是保存国家并实现它的顽固曲线.
  思考:
  
  帮助手册:
  示例:
  
  获取电子商务公司的后端订单数据
  1. 创建一个项目文件夹并导入所需的文件: 例如D: \ tool \ chrome_server_plugin
  jquery-2.1.1.min.js,icon.png
  2,创建background.html
  3,创建配置文件manifest.json文件
  {
"name": "获取某电商后台订单信息",
"version": "1.0",
"manifest_version": 2,
"description": "*********获取某电商后台订单信息*********",
"browser_action": {
"default_icon": "icon.png"
},
"permissions": [
"webNavigation",
"tabs",
"contextMenus",
"http://服务器接受数据url/"
],
"background": {
"scripts": ["eventPage.js","jquery-2.1.1.min.js"]
},
"content_scripts": [
{
"matches": ["http://抓取页面url/*"],
"js": ["jquery-2.1.1.min.js", "contentscript.js"]
}
]
}
  4,创建前端js文件contentscript.js
  var totalPage;
var page = 0;
//注册前台页面监听事件
chrome.extension.onMessage.addListener(
  function(request, sender, sendResponse) {
    totalPage = $("input[name=totalPage]").val();
    console.log("totalPage----------" + totalPage);
    //console.log("msg----------contentscript.js" + request.greeting);
    getOrderInfo( sendResponse );
  });
//获取订单信息
function getOrderInfo( sendResponse ){
  var flag = false;
  payMoney = [];//货款金额
  orderTime = [];//下单时间
  $("tr[class=head] span").each(function(index){
    spantxt = '';
    spantxt = $(this).text();
    if(spantxt.indexOf('货款金额:') > -1){
      money = spantxt.substr(5);
      //console.log(index + "---------payMoney-------货款金额:" + money);
      payMoney.push(money);
    }else if(spantxt.indexOf('下单时间:') > -1){
      time = spantxt.substr(5);
      //console.log(index + "---------orderTime-------下单时间:" + time);
      orderTime.push(time);
    }
  });
paytype = [];//物流方式
yunfei = [];//运费
$("td[class=p-values]").each(function(index){
  tdtxt = '';
  tdtxt = $(this).text();
  if(tdtxt.indexOf('货到付款') > -1){
    paytype.push('货到付款');
  }else{
    paytype.push('在线支付');
  }
  yf_index = tdtxt.indexOf('运费:');
  if(yf_index > -1){
    temp = tdtxt.substr(yf_index);
    temp_yf = temp.substr(3);
    //console.log(index + "---------yunfei-------"+ temp +"===" + temp_yf);
    yunfei.push(temp_yf);
  }else{
    yunfei.push(0);
  }
  //console.log(index + "---------tdtxt-------" + tdtxt);
});
orderStatus = [];//订单状态
users = [];//买家账号
remark = [];//备注
$("tr[class=content] td[class=t-c]").each(function(index){
  tdtxt = '';
  tdtxt = $(this).text().replace(/[\r\n]\ +/g,"");//将回车,换行,空格去掉
  temp = index % 5;
  if(1 == temp){
    orderStatus.push(tdtxt);
    //console.log(index + "---------statu-------" + tdtxt);
  }else if(2 == temp){
    users.push(tdtxt);
    //console.log(index + "---------users-------" + tdtxt);
  }else if(3 == temp){
    remark.push(tdtxt);
    //console.log(index + "---------remark-------" + tdtxt);
  }
});
express = [];//快递单号
$("tr[class=content] td div[style='text-align: center;']").each(function(index){
  tdtxt = '';
  tdtxt = $(this).text().replace(/[\r\n]\ +/g,"");//将回车,换行,空格去掉
  express.push(tdtxt);
  //console.log( "============快递单号=======" + tdtxt);
});
orderInfo = [];
splitstr = "@_@";
$("tr[class=head] a[track=orderinfopagebeta]").each(function(index){
  orderid = $(this).text();
  //console.log("---------orderid-------" + orderid);
  mycomment = $("a[id=comment_" + orderid + "]").attr('style').replace(/[\r\n]\ +/g,"");
  if("display: block;" == mycomment){
    mycomment = '已评价';
  }else if('display:none;' == mycomment){
    mycomment = '未评价';
  }
  tempshopid = $("img[id=remarkFlag_" + orderid + "]").attr('onclick');
  shopidIndex = tempshopid.indexOf(",");
  shopid = tempshopid.substr(shopidIndex + 1).replace(/[\)\;]/g,"");
  //console.log("---------shopid-------" + shopid);
  orderdesc = shopid + splitstr + orderid + splitstr + mycomment + splitstr + payMoney[index] + splitstr + orderTime[index] + splitstr + paytype[index] + splitstr + yunfei[index] + splitstr + orderStatus[index] + splitstr + users[index] + splitstr + remark[index] + splitstr + express[index];
  console.log("---------orderdesc-------" + orderdesc);
  orderInfo.push(orderdesc);
});
//chrome.extension.sendMessage({"orderInfo": orderInfo}, function(response) {});
page = parseInt($("a[class=current]").text());
totalPage = parseInt($("input[name=totalPage]").val());
console.log(page + "--page-----------totalPage---" + totalPage);
if(page < totalPage && page < 100){
  console.log("---------next-------");
  sendMsg( orderInfo, "next" );
  $('a.next')[1].click();
}else{
  console.log("---------end-------");
  sendMsg( orderInfo, "end" );
}
//
}
//将获取内容传递给后台文件进行处理
function sendMsg( msg, cmd){
  chrome.extension.sendMessage({"msg": msg, "cmd": cmd}, function(response) {});
}
  5. 创建一个后台处理js文件eventPage.js
  var flag = false;
var currentTabId;
chrome.browserAction.onClicked.addListener(function(tab) {
  counter = 40;
  console.log('Turning ' + tab.url);
  flag = true;
  currentTabId = tab.id;
  chrome.tabs.getSelected(null, function(tab) {
    sendMsg(tab.id);
  });
});
chrome.webNavigation.onCompleted.addListener(function( tab ){
  console.log('加载完成***' + tab.tabId );
  if( flag ){
    sendMsg( tab.tabId );
  }
});
chrome.extension.onMessage.addListener(
function(request, sender, sendResponse) {
  console.log("*******evenPage.js***chrome.extension.onMessage.addListener");
  articleData = request;
  $.ajax({
    url: "服务器接受数据URL/getOrderinfo.php",
    cache: false,
    type: "POST",
    data: {'orderinfo': request.msg.join("#$#")},
    dataType: "json"
    }).done(function(msg) {
      console.log('*******************json*************' + msg.sql );
      chrome.tabs.sendMessage(currentTabId, {"cmd":"end"},
      function(response) {
      console.log(response);
 });
}).fail(function(jqXHR, textStatus) {
  articleData.firstAccess = textStatus;
});
cmd = request.cmd;
if('end' == cmd){
  flag = false;//确保不会自动运行
}
});
function sendSku2Info(colores){
  chrome.tabs.query(
    {active: true, currentWindow: true}, function(tabs) {
      chrome.tabs.sendMessage(tabs[0].id, {"cmd":"ok", "sku": colores},
      function(response) {
        console.log(response);
      });
  });
}
function sendMsg( tabid ){
  console.log(tabid + "--sendMsg()----eventPage.js");
  chrome.tabs.sendMessage(tabid, {greeting: "start working"}, function(response) {
  });
}
  4. 创建一个服务器来接收文件getOrderInfo.php(亲爱的,将其放置在服务器上!)
<p> 查看全部

  想象一下,如果您想每天采集100页甚至更多的网页数据. 如果使用手动采集,则会吐血,因此使用程序进行采集将成为唯一选择. 首先,我肯定会考虑使用Java,PHP和C#等高级语言,但是有一个登录和验证代码,我很茫然. 您是否还在担心在网络上采集数据?很高兴,您找到了正确的地方.
  应用场景:
  1. 每天需要在网络上重复采集大量数据
  2,登录后即可采集网页数据
  3,网页可以翻页
  解决方案:
  手动登录,然后使用chrome插件方法进行采集. 当然,您会说使用硒等自动化测试方法进行采集会比较凉爽,并且可以每天自动采集,并且完全自动化,无需人工干预. 但是作为忠实的Chrome迷,您只需要前端js,服务器端接收文件和数据库即可完美解决此问题. 加上简单的部署和操作. 成为粉丝的原因很多. 好吧,即使这是保存国家并实现它的顽固曲线.
  思考:
  
  帮助手册:
  示例:
  
  获取电子商务公司的后端订单数据
  1. 创建一个项目文件夹并导入所需的文件: 例如D: \ tool \ chrome_server_plugin
  jquery-2.1.1.min.js,icon.png
  2,创建background.html
  3,创建配置文件manifest.json文件
  {
"name": "获取某电商后台订单信息",
"version": "1.0",
"manifest_version": 2,
"description": "*********获取某电商后台订单信息*********",
"browser_action": {
"default_icon": "icon.png"
},
"permissions": [
"webNavigation",
"tabs",
"contextMenus",
"http://服务器接受数据url/"
],
"background": {
"scripts": ["eventPage.js","jquery-2.1.1.min.js"]
},
"content_scripts": [
{
"matches": ["http://抓取页面url/*"],
"js": ["jquery-2.1.1.min.js", "contentscript.js"]
}
]
}
  4,创建前端js文件contentscript.js
  var totalPage;
var page = 0;
//注册前台页面监听事件
chrome.extension.onMessage.addListener(
  function(request, sender, sendResponse) {
    totalPage = $("input[name=totalPage]").val();
    console.log("totalPage----------" + totalPage);
    //console.log("msg----------contentscript.js" + request.greeting);
    getOrderInfo( sendResponse );
  });
//获取订单信息
function getOrderInfo( sendResponse ){
  var flag = false;
  payMoney = [];//货款金额
  orderTime = [];//下单时间
  $("tr[class=head] span").each(function(index){
    spantxt = '';
    spantxt = $(this).text();
    if(spantxt.indexOf('货款金额:') > -1){
      money = spantxt.substr(5);
      //console.log(index + "---------payMoney-------货款金额:" + money);
      payMoney.push(money);
    }else if(spantxt.indexOf('下单时间:') > -1){
      time = spantxt.substr(5);
      //console.log(index + "---------orderTime-------下单时间:" + time);
      orderTime.push(time);
    }
  });
paytype = [];//物流方式
yunfei = [];//运费
$("td[class=p-values]").each(function(index){
  tdtxt = '';
  tdtxt = $(this).text();
  if(tdtxt.indexOf('货到付款') > -1){
    paytype.push('货到付款');
  }else{
    paytype.push('在线支付');
  }
  yf_index = tdtxt.indexOf('运费:');
  if(yf_index > -1){
    temp = tdtxt.substr(yf_index);
    temp_yf = temp.substr(3);
    //console.log(index + "---------yunfei-------"+ temp +"===" + temp_yf);
    yunfei.push(temp_yf);
  }else{
    yunfei.push(0);
  }
  //console.log(index + "---------tdtxt-------" + tdtxt);
});
orderStatus = [];//订单状态
users = [];//买家账号
remark = [];//备注
$("tr[class=content] td[class=t-c]").each(function(index){
  tdtxt = '';
  tdtxt = $(this).text().replace(/[\r\n]\ +/g,"");//将回车,换行,空格去掉
  temp = index % 5;
  if(1 == temp){
    orderStatus.push(tdtxt);
    //console.log(index + "---------statu-------" + tdtxt);
  }else if(2 == temp){
    users.push(tdtxt);
    //console.log(index + "---------users-------" + tdtxt);
  }else if(3 == temp){
    remark.push(tdtxt);
    //console.log(index + "---------remark-------" + tdtxt);
  }
});
express = [];//快递单号
$("tr[class=content] td div[style='text-align: center;']").each(function(index){
  tdtxt = '';
  tdtxt = $(this).text().replace(/[\r\n]\ +/g,"");//将回车,换行,空格去掉
  express.push(tdtxt);
  //console.log( "============快递单号=======" + tdtxt);
});
orderInfo = [];
splitstr = "@_@";
$("tr[class=head] a[track=orderinfopagebeta]").each(function(index){
  orderid = $(this).text();
  //console.log("---------orderid-------" + orderid);
  mycomment = $("a[id=comment_" + orderid + "]").attr('style').replace(/[\r\n]\ +/g,"");
  if("display: block;" == mycomment){
    mycomment = '已评价';
  }else if('display:none;' == mycomment){
    mycomment = '未评价';
  }
  tempshopid = $("img[id=remarkFlag_" + orderid + "]").attr('onclick');
  shopidIndex = tempshopid.indexOf(",");
  shopid = tempshopid.substr(shopidIndex + 1).replace(/[\)\;]/g,"");
  //console.log("---------shopid-------" + shopid);
  orderdesc = shopid + splitstr + orderid + splitstr + mycomment + splitstr + payMoney[index] + splitstr + orderTime[index] + splitstr + paytype[index] + splitstr + yunfei[index] + splitstr + orderStatus[index] + splitstr + users[index] + splitstr + remark[index] + splitstr + express[index];
  console.log("---------orderdesc-------" + orderdesc);
  orderInfo.push(orderdesc);
});
//chrome.extension.sendMessage({"orderInfo": orderInfo}, function(response) {});
page = parseInt($("a[class=current]").text());
totalPage = parseInt($("input[name=totalPage]").val());
console.log(page + "--page-----------totalPage---" + totalPage);
if(page < totalPage && page < 100){
  console.log("---------next-------");
  sendMsg( orderInfo, "next" );
  $('a.next')[1].click();
}else{
  console.log("---------end-------");
  sendMsg( orderInfo, "end" );
}
//
}
//将获取内容传递给后台文件进行处理
function sendMsg( msg, cmd){
  chrome.extension.sendMessage({"msg": msg, "cmd": cmd}, function(response) {});
}
  5. 创建一个后台处理js文件eventPage.js
  var flag = false;
var currentTabId;
chrome.browserAction.onClicked.addListener(function(tab) {
  counter = 40;
  console.log('Turning ' + tab.url);
  flag = true;
  currentTabId = tab.id;
  chrome.tabs.getSelected(null, function(tab) {
    sendMsg(tab.id);
  });
});
chrome.webNavigation.onCompleted.addListener(function( tab ){
  console.log('加载完成***' + tab.tabId );
  if( flag ){
    sendMsg( tab.tabId );
  }
});
chrome.extension.onMessage.addListener(
function(request, sender, sendResponse) {
  console.log("*******evenPage.js***chrome.extension.onMessage.addListener");
  articleData = request;
  $.ajax({
    url: "服务器接受数据URL/getOrderinfo.php",
    cache: false,
    type: "POST",
    data: {'orderinfo': request.msg.join("#$#")},
    dataType: "json"
    }).done(function(msg) {
      console.log('*******************json*************' + msg.sql );
      chrome.tabs.sendMessage(currentTabId, {"cmd":"end"},
      function(response) {
      console.log(response);
 });
}).fail(function(jqXHR, textStatus) {
  articleData.firstAccess = textStatus;
});
cmd = request.cmd;
if('end' == cmd){
  flag = false;//确保不会自动运行
}
});
function sendSku2Info(colores){
  chrome.tabs.query(
    {active: true, currentWindow: true}, function(tabs) {
      chrome.tabs.sendMessage(tabs[0].id, {"cmd":"ok", "sku": colores},
      function(response) {
        console.log(response);
      });
  });
}
function sendMsg( tabid ){
  console.log(tabid + "--sendMsg()----eventPage.js");
  chrome.tabs.sendMessage(tabid, {greeting: "start working"}, function(response) {
  });
}
  4. 创建一个服务器来接收文件getOrderInfo.php(亲爱的,将其放置在服务器上!)
<p>

WhatSNS--Ask2问答自动采集插件已经开发,请根据需要联系

采集交流优采云 发表了文章 • 0 个评论 • 452 次浏览 • 2020-08-07 18:55 • 来自相关话题

  2017年6月28日采集的更新内容:
  新文章采集,还支持采集预览,更重要的是,自动采集页面可以同时采集文章和问题而不会互相干扰:
  
  
  
  系统功能的用户友好性得到了完善. 基本上,您可以使用此系统在几分钟内建立一个功能强大的数据内容网站. 许多插件都适合优采云网站管理员使用,包括seo优化插件,它们是由官方团队构建的. !
  以下是先前作者的更新内容----------
  为什么要进行自动采集?
  这是为优采云准备的. 我们可以将采集规则与特定的分类相对应,分批设置N个采集规则,然后通过一个按钮自动采集,并同时执行多任务批处理以解决单线程问题.
  让我们看一下添加采集规则的界面:
  
  
  这些功能确实非常完整,并且隐藏的功能是您看不到的. 您可以自动对问题进行细分以生成标签,还可以随机提取归属问题,还可以生成站点中实际用户交互的动态模拟,并且化身会被自动捕获和定位.
  还有一个采集测试: 我们可以测试编写的规则,还可以预览问题页面. 真令人兴奋.
  
  
  添加规则界面和编辑规则界面均支持测试采集并测试答案是否成功采集.
  让我们再次查看自动采集页面:
  
  我们可以检查需要自动采集的列规则,支持一键自动采集,并停止采集功能,设置采集时间间隔,并且采集过程支持每个采集进度视图,这很棒,并且实时监控采集状态(采集,准备采集,采集,采集完成,采集终止).
  
  打开采集页面后,您可以执行其他操作,自动进行无人采集
  
  如果设置了用户名,该用户名将被采集并自动变为背心,这非常方便. 如上图所示,还采集了答案. 此自动采集插件无需手动安装并自动检测. 如果未安装,它将自动安装.
  请添加官方网站QQ群: 370431002,联系店主进行购买. 查看全部

  2017年6月28日采集的更新内容:
  新文章采集,还支持采集预览,更重要的是,自动采集页面可以同时采集文章和问题而不会互相干扰:
  
  
  
  系统功能的用户友好性得到了完善. 基本上,您可以使用此系统在几分钟内建立一个功能强大的数据内容网站. 许多插件都适合优采云网站管理员使用,包括seo优化插件,它们是由官方团队构建的. !
  以下是先前作者的更新内容----------
  为什么要进行自动采集?
  这是为优采云准备的. 我们可以将采集规则与特定的分类相对应,分批设置N个采集规则,然后通过一个按钮自动采集,并同时执行多任务批处理以解决单线程问题.
  让我们看一下添加采集规则的界面:
  
  
  这些功能确实非常完整,并且隐藏的功能是您看不到的. 您可以自动对问题进行细分以生成标签,还可以随机提取归属问题,还可以生成站点中实际用户交互的动态模拟,并且化身会被自动捕获和定位.
  还有一个采集测试: 我们可以测试编写的规则,还可以预览问题页面. 真令人兴奋.
  
  
  添加规则界面和编辑规则界面均支持测试采集并测试答案是否成功采集.
  让我们再次查看自动采集页面:
  
  我们可以检查需要自动采集的列规则,支持一键自动采集,并停止采集功能,设置采集时间间隔,并且采集过程支持每个采集进度视图,这很棒,并且实时监控采集状态(采集,准备采集,采集,采集完成,采集终止).
  
  打开采集页面后,您可以执行其他操作,自动进行无人采集
  
  如果设置了用户名,该用户名将被采集并自动变为背心,这非常方便. 如上图所示,还采集了答案. 此自动采集插件无需手动安装并自动检测. 如果未安装,它将自动安装.
  请添加官方网站QQ群: 370431002,联系店主进行购买.

前端用户行为数据异常数据采集插件(带有演示)

采集交流优采云 发表了文章 • 0 个评论 • 499 次浏览 • 2020-08-07 18:05 • 来自相关话题

  最近,一个朋友再次提到了前端数据采集.
  想想以前的开源数据获取插件dataAcquisition
  由于不关注前端数据分析,因此项目运行不佳
  但是整个项目还是很不错的,功能比较齐全,我不愿意这样放弃
  所以我花了一些时间进行重构. 并做了相应的演示
  借此机会向大家再次介绍并推荐
  1. 为什么我们需要数据采集?
  我们问几个问题:
  一个新产品流程在线,如何获得流程的转化率?您如何知道添加按钮后有多少人点击?在AB方案中,如何获得两种方案的转换?
  在日常开发中,我们经常听到并看到在后台的学生使用日志来查找问题
  但是如何定位前端生产问题?用户产生的问题如何反馈给开发人员?
  我们之前的项目需要用户反馈给客户服务,然后通过工作订单反馈给开发
  但是,此过程周期相对较长,大多数用户发现它很麻烦且懒得提供反馈
  是否存在一种主动采集机制来采集客户端的某些异常情况?
  是否存在用于采集用户数据的页面行为采集工具?
  本文旨在向您介绍前端主动异常数据采集工具-dataAcquisition
  两个. 我们可以采集什么数据?
  说到数据采集,我们必须首先知道可以采集哪些数据
  1. 通过事件代理,用户的点击数据可以采集页面上发生的所有点击事件,并获取点击元素
  2. 用户的输入操作,通过输入,聚焦,模糊事件来获取输入框的内容以及用户的操作
  3. 页面访问数据,通过记录页面URL并报告,可以实现PV统计,而使用uuid可以实现UV统计
  4. 页面中的代码异常,请使用window.onerror采集代码中的异常
  5. 页面中的接口数据失败和异常,通过代理ajax方法报告执行错误方法之前的请求参数和结果
  6. 页面性能数据,通过性能界面计算DNS解析度,TCP链接时间,白屏时间,dom解析时间等.
  利用以上数据,我们可以重现用户的操作过程
  它还可以及时采集用户端发生的异常
  通过对用户行为的分析,可以得出用户的习惯和偏好.
  以便优化产品计划,优化业务流程并获得数据驱动的产品.
  3. 采集数据的方式有哪些?
  常用数据采集方法:
  1. 自动掩埋点,通过大范围的数据采集从数据中过滤出特定的元素,这样做的缺点是数据量太大,优点是无需事先定制采集计划上线.
  2. 通过向元素添加特定的id或class属性来主动掩埋点,以便采集工具可以准确地采集所需的数据. 缺点侵入了页面. 优点是数据准确.
  3. 圈出掩埋点并通过单击选择页面元素,这比自动采集更准确,比手动掩埋更方便. 但是圈出的兼容性问题令人头疼.
  市场上有带圆圈和埋点的付费项目,报价基本上是10W +
  我们今天介绍的dataAcquisition可以完美支持自动和主动埋入.
  圈出的功能也在开发计划中.
  作为可以解决眼前问题的开源工具,有什么理由不尝试?
  四个. 关于dataAcquisition
  dataAcquisition插件于2017年开发,迭代时间相对较短.
  自从上线生产以来的一年中没有错误
  当然,由于情况不同,仍有许多问题尚未解决
  当前实现的功能:
  1. 前端PV和UV数据采集和报告
  2. 用户点击,输入行为采集和报告
  3. 实现页面性能采集
  4. 实现代码异常采集
  5. 实现接口异常采集
  该项目已在GitHub上开源,地址:
  它收录采集插件的源代码,一个示例演示
  需要它的学生可以下载和使用
  5.demo示例
  该插件提供了一个简单的演示,包括数据采集页面和数据分析页面
  1. 数据采集页面:
  将采集并报告此页面上的所有操作,
  请注意,仅在刷新页面或单击报告按钮时,采集的数据才会发送到后台
  PC屏幕截图:
  
  2. 数据分析页面:
  报告的数据将显示在此页面上,在此页面上,您可以观察到以前的所有操作
  与异常对应的详细数据
  PC屏幕截图:
  
  VI. 邀请参加
  一个人的精力有限,开源项目的维护需要一些合作伙伴共同努力,
  欢迎向我提交公关
  所有参与者都将记录在作者目录中,并且每个人都将共享项目结果.
  个人官方帐户: 查看全部

  最近,一个朋友再次提到了前端数据采集.
  想想以前的开源数据获取插件dataAcquisition
  由于不关注前端数据分析,因此项目运行不佳
  但是整个项目还是很不错的,功能比较齐全,我不愿意这样放弃
  所以我花了一些时间进行重构. 并做了相应的演示
  借此机会向大家再次介绍并推荐
  1. 为什么我们需要数据采集?
  我们问几个问题:
  一个新产品流程在线,如何获得流程的转化率?您如何知道添加按钮后有多少人点击?在AB方案中,如何获得两种方案的转换?
  在日常开发中,我们经常听到并看到在后台的学生使用日志来查找问题
  但是如何定位前端生产问题?用户产生的问题如何反馈给开发人员?
  我们之前的项目需要用户反馈给客户服务,然后通过工作订单反馈给开发
  但是,此过程周期相对较长,大多数用户发现它很麻烦且懒得提供反馈
  是否存在一种主动采集机制来采集客户端的某些异常情况?
  是否存在用于采集用户数据的页面行为采集工具?
  本文旨在向您介绍前端主动异常数据采集工具-dataAcquisition
  两个. 我们可以采集什么数据?
  说到数据采集,我们必须首先知道可以采集哪些数据
  1. 通过事件代理,用户的点击数据可以采集页面上发生的所有点击事件,并获取点击元素
  2. 用户的输入操作,通过输入,聚焦,模糊事件来获取输入框的内容以及用户的操作
  3. 页面访问数据,通过记录页面URL并报告,可以实现PV统计,而使用uuid可以实现UV统计
  4. 页面中的代码异常,请使用window.onerror采集代码中的异常
  5. 页面中的接口数据失败和异常,通过代理ajax方法报告执行错误方法之前的请求参数和结果
  6. 页面性能数据,通过性能界面计算DNS解析度,TCP链接时间,白屏时间,dom解析时间等.
  利用以上数据,我们可以重现用户的操作过程
  它还可以及时采集用户端发生的异常
  通过对用户行为的分析,可以得出用户的习惯和偏好.
  以便优化产品计划,优化业务流程并获得数据驱动的产品.
  3. 采集数据的方式有哪些?
  常用数据采集方法:
  1. 自动掩埋点,通过大范围的数据采集从数据中过滤出特定的元素,这样做的缺点是数据量太大,优点是无需事先定制采集计划上线.
  2. 通过向元素添加特定的id或class属性来主动掩埋点,以便采集工具可以准确地采集所需的数据. 缺点侵入了页面. 优点是数据准确.
  3. 圈出掩埋点并通过单击选择页面元素,这比自动采集更准确,比手动掩埋更方便. 但是圈出的兼容性问题令人头疼.
  市场上有带圆圈和埋点的付费项目,报价基本上是10W +
  我们今天介绍的dataAcquisition可以完美支持自动和主动埋入.
  圈出的功能也在开发计划中.
  作为可以解决眼前问题的开源工具,有什么理由不尝试?
  四个. 关于dataAcquisition
  dataAcquisition插件于2017年开发,迭代时间相对较短.
  自从上线生产以来的一年中没有错误
  当然,由于情况不同,仍有许多问题尚未解决
  当前实现的功能:
  1. 前端PV和UV数据采集和报告
  2. 用户点击,输入行为采集和报告
  3. 实现页面性能采集
  4. 实现代码异常采集
  5. 实现接口异常采集
  该项目已在GitHub上开源,地址:
  它收录采集插件的源代码,一个示例演示
  需要它的学生可以下载和使用
  5.demo示例
  该插件提供了一个简单的演示,包括数据采集页面和数据分析页面
  1. 数据采集页面:
  将采集并报告此页面上的所有操作,
  请注意,仅在刷新页面或单击报告按钮时,采集的数据才会发送到后台
  PC屏幕截图:
  
  2. 数据分析页面:
  报告的数据将显示在此页面上,在此页面上,您可以观察到以前的所有操作
  与异常对应的详细数据
  PC屏幕截图:
  
  VI. 邀请参加
  一个人的精力有限,开源项目的维护需要一些合作伙伴共同努力,
  欢迎向我提交公关
  所有参与者都将记录在作者目录中,并且每个人都将共享项目结果.
  个人官方帐户:

WP AutoBlog自动采集和发布插件v1.2.9

采集交流优采云 发表了文章 • 0 个评论 • 304 次浏览 • 2020-08-07 16:54 • 来自相关话题

  WP AutoBlog自动采集和发布插件. 一个出色的插件工具,可以采集各种网站中的网站内容,并更新自己的WordPress网站,采集和更新新闻,信息等,以帮助用户同时发布文章. 规范的自定义设置等,以便每个用户都能更好地收录网站和排名!
  
  WP AutoBlog软件说明
  WP AutoBlog是一个功能强大的Web内容自动采集和发布插件,可以帮助用户采集和发布任何网站文章,图片和其他内容. 它支持在多个平台上进行内容采集,例如头条,微信公众号等. 它还支持自定义采集规则. 采集后,您还可以通过多种方式执行伪原创操作. 您可以在网站上添加伪原创文章,以增加百度的采集和网站重量.
  WP AutoBlog软件功能
  可以采集任何网站的内容,采集的信息一目了然
  通过简单的设置,您可以从任何网站采集内容,还可以将多个采集任务设置为同时运行. 您可以将任务设置为自动或手动运行. 主任务列表显示每个采集任务的状态: 上次检测采集时间,下一次检测的估计采集时间,最新采集的文章,已采集和更新的文章数以及其他易于查看和查看的信息. 管理.
  文章管理功能方便查询,搜索和删除采集的文章. 改进的算法从根本上消除了同一文章的重复采集. 日志功能记录采集过程中的异常和爬网错误,便于检查和设置修复错误.
  可以采集任何网站的内容,并且所采集的信息一目了然. 文章管理功能完善,便于查询管理,并具有日志功能,可以记录馆藏异常情况.
  启用任务后,它将自动采集和更新,而无需人工干预.
  启用该任务后,检查是否有新文章要定期更新,检查文章是否重复,然后导入更新的文章. 所有这些操作都是自动完成的,无需人工干预.
  触发采集和更新的方法有两种,一种是在页面中添加代码以通过用户访问来触发采集和更新(在后台异步,不影响用户体验,也不影响效率)的网站),Cron计划任务可用于定期触发采集集更新任务
  WP AutoBlog软件的优势
  支持各种中英文伪原创方法
  支持使用翻译引擎获取伪原创文章,不仅替换同义词,而且语义重新表示,唯一性和伪原创效果更好,并支持多种语言. 同时,它集成了国外最好的伪原创工具WordAi等,使英语台可以获得可读性和唯一性更好的伪原创文章.
  任何格式的远程图片和其他附件都可以下载到本地服务器,并自动为图片添加水印
  支持将远程图像下载到本地服务器,并且可以选择自动添加文本水印或图像水印. 其他格式的附件和文档也可以轻松下载到本地服务器.
  WP AutoBlog软件亮点
  每个采集任务都可以选择发布到类别目录,发布作者,发布状态,检查和更新时间间隔,采集目标网站的字符集,以及选择下载图片还是附件.
  支持自定义文章类型,自定义文章分类和文章格式.
  完全支持Wordpress的各种功能,自动添加标签,自动生成摘要,自动设置特色图片,支持自定义列等.
  完美支持Wordpress的各种功能,自动设置类别,标签,摘要,特色图片,自定义列等.
  微信公众号采集
  今天的头条新闻
  可以采集微信公众号,头条新闻和其他自媒体内容. 由于百度不包括官方帐户,头条新闻等,因此可以轻松获得高质量的“原创”文章,从而增加了百度的收录量和网站权重
  支持微信公众号(订阅帐号)文章的采集,无需复杂的配置,只需填写“官方帐号名”和“微信ID”即可开始采集. (由于腾讯屏蔽相关界面,微信公众号的收取暂时困难)
  无需复杂的配置即可采集今天的头条新闻
  可以采集微信公众号,头条新闻和其他自媒体内容. 由于百度不包括官方帐户,头条新闻等,因此可以轻松获得高质量的“原创”文章,从而增加了百度的收录量和网站权重
  WP AutoBlog软件的优势
  支持将图片上传到优派云存储,节省带宽和空间,提高网站访问速度
  支持市场上所有主流对象存储服务,包括Qiniu Cloud,阿里云OSS,腾讯Cloud COS,百度Cloud BOS,YouPai Cloud,Amazon AWS S3,Google Cloud Storage,并可以自动上传文章中的图片和附件Go云对象存储服务以节省带宽和空间并提高网站访问速度
  秦牛云存储,每月10GB的免费存储空间,10GB的免费带宽流量
  只需配置相关信息,该信息就会自动上传. 您还可以直接查看或管理通过Wordpress背景上传到云对象存储中的图片和文件.
  支持将图片上传到奇牛云存储,节省带宽和空间,提高网站访问速度
  关于WP AutoBlog的常见问题解答
  WP-AutoBlog是否与我使用的主题兼容?
  WP-AutoBlog与任何主题兼容,不受任何主题限制,并且可以在任何主题下使用.
  哪些WordPress版本与WP-AutoBlog兼容?
  建议在WordPress 3.0及更高版本上运行. 我们已经测试过它也可以在WordPress 2.8.5及更高版本上正常运行. 当WordPress的新版本发布时,我们将及时对其进行更新以与最新版本兼容.
  WP-AutoBlog是否与WordPress MU(多站点)版本兼容?
  完全兼容,WP-AutoBlog可以在WordPress MU的每个子站点(多站点)下完美运行. 请确保在每个子站的管理背景下单独激活插件,请勿使用“在整个网络中启用”.
  可以更改绑定的域名吗?
  您可以在30天内随意更改绑定域名,然后仅以支付插件价格的十分之一即可更改绑定域名,而无需以原创价格购买. 查看全部

  WP AutoBlog自动采集和发布插件. 一个出色的插件工具,可以采集各种网站中的网站内容,并更新自己的WordPress网站,采集和更新新闻,信息等,以帮助用户同时发布文章. 规范的自定义设置等,以便每个用户都能更好地收录网站和排名!
  
  WP AutoBlog软件说明
  WP AutoBlog是一个功能强大的Web内容自动采集和发布插件,可以帮助用户采集和发布任何网站文章,图片和其他内容. 它支持在多个平台上进行内容采集,例如头条,微信公众号等. 它还支持自定义采集规则. 采集后,您还可以通过多种方式执行伪原创操作. 您可以在网站上添加伪原创文章,以增加百度的采集和网站重量.
  WP AutoBlog软件功能
  可以采集任何网站的内容,采集的信息一目了然
  通过简单的设置,您可以从任何网站采集内容,还可以将多个采集任务设置为同时运行. 您可以将任务设置为自动或手动运行. 主任务列表显示每个采集任务的状态: 上次检测采集时间,下一次检测的估计采集时间,最新采集的文章,已采集和更新的文章数以及其他易于查看和查看的信息. 管理.
  文章管理功能方便查询,搜索和删除采集的文章. 改进的算法从根本上消除了同一文章的重复采集. 日志功能记录采集过程中的异常和爬网错误,便于检查和设置修复错误.
  可以采集任何网站的内容,并且所采集的信息一目了然. 文章管理功能完善,便于查询管理,并具有日志功能,可以记录馆藏异常情况.
  启用任务后,它将自动采集和更新,而无需人工干预.
  启用该任务后,检查是否有新文章要定期更新,检查文章是否重复,然后导入更新的文章. 所有这些操作都是自动完成的,无需人工干预.
  触发采集和更新的方法有两种,一种是在页面中添加代码以通过用户访问来触发采集和更新(在后台异步,不影响用户体验,也不影响效率)的网站),Cron计划任务可用于定期触发采集集更新任务
  WP AutoBlog软件的优势
  支持各种中英文伪原创方法
  支持使用翻译引擎获取伪原创文章,不仅替换同义词,而且语义重新表示,唯一性和伪原创效果更好,并支持多种语言. 同时,它集成了国外最好的伪原创工具WordAi等,使英语台可以获得可读性和唯一性更好的伪原创文章.
  任何格式的远程图片和其他附件都可以下载到本地服务器,并自动为图片添加水印
  支持将远程图像下载到本地服务器,并且可以选择自动添加文本水印或图像水印. 其他格式的附件和文档也可以轻松下载到本地服务器.
  WP AutoBlog软件亮点
  每个采集任务都可以选择发布到类别目录,发布作者,发布状态,检查和更新时间间隔,采集目标网站的字符集,以及选择下载图片还是附件.
  支持自定义文章类型,自定义文章分类和文章格式.
  完全支持Wordpress的各种功能,自动添加标签,自动生成摘要,自动设置特色图片,支持自定义列等.
  完美支持Wordpress的各种功能,自动设置类别,标签,摘要,特色图片,自定义列等.
  微信公众号采集
  今天的头条新闻
  可以采集微信公众号,头条新闻和其他自媒体内容. 由于百度不包括官方帐户,头条新闻等,因此可以轻松获得高质量的“原创”文章,从而增加了百度的收录量和网站权重
  支持微信公众号(订阅帐号)文章的采集,无需复杂的配置,只需填写“官方帐号名”和“微信ID”即可开始采集. (由于腾讯屏蔽相关界面,微信公众号的收取暂时困难)
  无需复杂的配置即可采集今天的头条新闻
  可以采集微信公众号,头条新闻和其他自媒体内容. 由于百度不包括官方帐户,头条新闻等,因此可以轻松获得高质量的“原创”文章,从而增加了百度的收录量和网站权重
  WP AutoBlog软件的优势
  支持将图片上传到优派云存储,节省带宽和空间,提高网站访问速度
  支持市场上所有主流对象存储服务,包括Qiniu Cloud,阿里云OSS,腾讯Cloud COS,百度Cloud BOS,YouPai Cloud,Amazon AWS S3,Google Cloud Storage,并可以自动上传文章中的图片和附件Go云对象存储服务以节省带宽和空间并提高网站访问速度
  秦牛云存储,每月10GB的免费存储空间,10GB的免费带宽流量
  只需配置相关信息,该信息就会自动上传. 您还可以直接查看或管理通过Wordpress背景上传到云对象存储中的图片和文件.
  支持将图片上传到奇牛云存储,节省带宽和空间,提高网站访问速度
  关于WP AutoBlog的常见问题解答
  WP-AutoBlog是否与我使用的主题兼容?
  WP-AutoBlog与任何主题兼容,不受任何主题限制,并且可以在任何主题下使用.
  哪些WordPress版本与WP-AutoBlog兼容?
  建议在WordPress 3.0及更高版本上运行. 我们已经测试过它也可以在WordPress 2.8.5及更高版本上正常运行. 当WordPress的新版本发布时,我们将及时对其进行更新以与最新版本兼容.
  WP-AutoBlog是否与WordPress MU(多站点)版本兼容?
  完全兼容,WP-AutoBlog可以在WordPress MU的每个子站点(多站点)下完美运行. 请确保在每个子站的管理背景下单独激活插件,请勿使用“在整个网络中启用”.
  可以更改绑定的域名吗?
  您可以在30天内随意更改绑定域名,然后仅以支付插件价格的十分之一即可更改绑定域名,而无需以原创价格购买.

官方客服QQ群

微信人工客服

QQ人工客服


线