汇总:全网数据监控与通知工具

优采云发布时间: 2022-10-12 22:13

　　汇总:全网数据监控与通知工具

　　今天发现了一个很不错的工具——huginn，非常实用，应用范围很广。确实是网络工具库中的神器。它可以监控网络上的所有资源，并根据您的需要将这些资源发送给您。实现这个功能只需要一个简单的配置。列出huginn的主要应用场景和功能。

　　1 带有网站的自定义 RSS 提要，没有 RSS

　　2 监控知乎、微博、贴吧等平台指定的信息，一旦被监控，将通过邮件通知您

　　3 监控各大购物平台的产品信息，一旦发现折扣信息，将通过邮件通知您

　　4 支持多种形式的发送和接收WebHooks。

　　Huginn 是一个私人 IFTTT，具有非常高的定制化程度。只要你有开放的心态和狂野的想法，你一定能发挥出巨大的价值。

　　Huginn 安装

　　Huginn的安装方式有很多种，我推荐一种，就是通过docker安装。原因很简单，安装速度快，而这本身就是docker的主要应用场景和优势。如果是常规安装方式，需要安装依赖包、ruby环境、数据库、nginx、huginn等各种配置；但docker只需要下载docker镜像并运行huginn容器。

　　1 安装泊坞窗

　　推荐的最低配置为 1G 内存和 1 核 CPU。推荐使用vultr的基础云服务器，自带一键安装docker功能。全部使用千兆带宽，SSD硬盘，保证稳定性，按小时计费，随时停止，支持支付宝支付。并且vultr现在有$100注册活动，参考：VULTR 2020优惠，新用户直接送$100，额外赠送$3教程

　　推荐阅读：月付3-7刀，品质口碑保障，网络线路优秀vps盘点

　　Centos7安装docker命令如下：

　　注意：docker的安装要求系统内核版本高于3.0，基本上只能安装在KVM架构的vps上。

　　2 运行huginn容器

　　注意：重启容器会导致数据丢失，请不要轻易应用到生产环境中。

　　Huginn界面

　　部署成功后，访问IP+3000端口，会出现界面，点击登录，默认账号密码为admin/password。登录成功后界面如下

　　Huginn的使用介绍——以网站代理采集为例

　　通过一个例子简单介绍一下huginn的使用。监控 v2ex 主页上的第一个帖子，并在主页上的第一个帖子发生变化时发送电子邮件通知。

　　1 新建一个agent，负责每分钟采集 v2ex的第一个帖子的标题，配置如下。点击代理->新代理。

　　tpye 选择网站代理，表示来自网站采集的数据；

　　name 是这个代理的名字

　　schedule 表示多久采集一次，这个时间设置为每分钟一次

　　其余的暂时忽略，重要的是配置选项，也就是v2ex第一篇采集的规则。

　　需要配置采集地址url，即v2ex首页的url；v2ex的第一个post的css定位，可以通过f12查看post的xpath，如下图。

　　但是，获取的xpath经常会出现问题。推荐使用 selectorgadget chrome 扩展来获取定位；然后配置获取的内容，我是获取的文本内容，填写 normalize-space(.)

　　最后点击“试运行”，测试是否可以获取到内容，如下图，成功。点击保存保存代理

　　运行几分钟后，您可以看到每分钟都在获取新的 v2ex 帖子。

　　使用电子邮件通知电子邮件代理

　　通过上面的 v2ex 代理，每分钟检测一次首页的第一个帖子。然后尝试通过电子邮件从 v2ex 代理发布内容。

　　需要创建一个新代理。输入select Email Agent，sources选择我们之前创建的v2ex agent，在options中填写邮件内容。我们通过 {{title}} 在 v2ex agent 中引入了 title 字段。这样，每次 v2ex 代理检测到内容更新时，都会触发电子邮件代理将更新的内容通过电子邮件发送给我。

　　此外，还需要配置邮件收发相关内容。

　　首先要做的是配置stmp服务器。然后将stmp配置信息写入huginn容器的环境变量。所以你需要通过以下方式启动huginn容器。

　　补充：stmp服务器配置可以参考：

　　其次，配置电子邮件的收件人。

　　点击界面右上角的账号，将默认邮箱更改为收件邮箱号码，邮件配置完成。

　　汇总:什么是镜像网站？镜像和采集的区别

　　什么是镜子网站？镜像与采集QTo computer_digital_手机应用问题解决IT技术的区别网站seo - 云狐网

　　镜像和小偷是不在自己服务器上的数据，而是属于对方的数据。好处是镜像成功，你相当于立刻拥有了对方的所有页面数据。缺点是以后无法管理。如果对方网站有问题，你也会有问题，因为你是在调用对方的数据。QTo Computer_Digital_Mobile Application Problem Solving IT Technology网站seo - 云狐网