网站监控网页内容监测(1.一种基于网站页面的网页状态监控方法(图))

　　网站监控网页内容监测(1.一种基于网站页面的网页状态监控方法(图))

　　1.一种基于网站页面的网页状态监控方法，其特征在于包括以下步骤： 第一步：建立需要监控的网站页面的页面配置表、页面配置表存储了要监控的网站页面的url、监控方式、监控周期的对应关系；其中，监控模式包括链接监控模式和/或截图相似度监控模式。第二步，每当达到监控周期，根据相应的监控方式，自动触发对应的网站页面监控网页状态；如果链路监控模式被激活，执行步骤3；如果开启了截图相似度监测模式，则执行步骤4；第 3 步，链路监控 模式包括以下步骤： 步骤3.1、调用http客户端；http客户端根据要监控的网站页面的url访问被监控的网站页面；step 3. 2、http客户端爬取被监控的网站页面中的html元素；html元素包括文本元素、图像元素、*敏*感*词*元素和链接元素；step 3. 3、http客户端解析html元素，匹配找到被监控的网站页面中的link元素；步骤3.4、http客户端对找到的每一个链接元素发起http链接请求，并获取状态码；状态码包括正常状态码和异常状态码；步骤 3.5，http客户端将链接与异常状态码的对应关系存储在异常状态码日志表中；然后执行步骤5；第四步，截图相似度监控方式包括以下步骤： 步骤4.1、根据要监控的网站页面的url访问被监控的网站页面，拦截Monitor 网站页面的整个页面屏幕，获取网站页面的截图；步骤4. 2、对网站页面的截图进行二值化处理，得到网站页面的二值化截图；步骤4.3、获取正常情况下被监控的网站页面最后二值化的网站页面截图；步4.4，比较步4.2。得到的二值化网站页面截图与步骤4.3中得到的上一次正常二值化网站页面截图的相似度，如果相似度高于设定的阈值，则表示本次被监控的网站页面处于正常状态，将本次得到的二值化网站页面截图存入数据库，作为下一个网站页面的基准状态比较；如果相似度低于设置的阈值，则说明本次监控的网站页面处于异常状态；然后转到步骤 5；step 5，统计异常状态码的链接和/或相似度 将异常程度的二值化网站页面截图，得到被监控网站的监控结果

　　2.根据权利要求1所述的基于网站页面的网页状态监控方法，其特征在于，在步骤3.3中，使用nodejs中的cheerio函数模块，匹配查找监控 网站 页面中的链接元素。

　　3.根据权利要求1所述的基于网站页面的网页状态监测方法，其特征在于，在步骤3.3中，链接元素为链接元素。

　　4.根据权利要求1所述的基于网站页面的网页状态监控方法，其特征在于，步骤3.4中，http客户端使用nodejs中的http模块发起http请求，并获取状态码。

　　5.根据权利要求1所述的基于网站页面的网页状态监控方法，其特征在于，在步骤4.1中，使用casperjs拦截被监控的网站页面已满页面画面。

　　6.根据权利要求1所述的基于网站页面的网页状态监测方法，其特征在于，步骤4.1具体为： 步骤4.1. 1。截图组件对外提供web服务，接受外部合法接口请求；步骤4.1.2、截图组件接收到被监控网站页面的截图请求，其中，截图请求携带被监控网站页面的url；截图组件获取请求中的url，截取对应页面的模拟渲染界面，从而生成监控的页面网站截图；步骤4.1.3、截图组件将生成的截图上传到分布式存储服务器，获取截图在分布式存储服务器上的存储地址；截图组件将截图在分布式存储服务器上的存储地址作为json数据返回给请求者。

　　7.根据权利要求1所述的基于网站页面的网页状态监控方法，其特征在于，还包括： 步骤6，将步骤5中得到的监控结果以邮件的形式自动发送出去或发送给相关管理组成员的短消息。

　　8.一种基于网站页面的网页状态监控系统，其特征在于，包括：页面配置表，页面配置表用于存储网站页面的配置信息，需要监控；配置信息包括需要监控的网站页面的url、监控方式、监控周期的对应关系；其中，监控模式包括链接监控模式和/或截图相似度监控模式。链接监控模块，当达到监控周期时，根据对应的监控方式监控对应的网站页面。链接监控模块包括访问子模块、html元素抓取子模块、链接元素匹配子模块、http请求发起子模块、状态码获取子模块和日志存储子模块；access子模块用于根据要监控的网站页面的url访问被监控的网站页面；html元素捕获子模块用于捕获被监控的网站页面中的html元素；html元素包括文本元素、图像元素、*敏*感*词*元素和链接元素；link元素匹配子模块用于对html元素进行解析，匹配并找到被监控的网站页面中的link元素；http请求发起子模块用于为找到的每个链接元素向该链接发起http请求。状态码获取子模块用于获取http请求发起子模块发起的http请求的状态码。日志存储子模块，用于在异常状态码日志表中存储链路与异常状态码的对应关系。截图相似度监测模块，用于在达到监测周期时，按照相应的监测方式监测相应网站页面的网页状态；截图相似度监测模块包括：截图子模块、二值化处理子模块、获取子模块和比对子模块。screenshot 子模块，用于访问被监控的网站 page根据要监控的网站页面的url，截取被监控的网站页面的整页画面，获取网站页面的截图；二值化处理子模块用于对网站页面截图进行二值化，得到二值化后的网站页面截图。@网站页面截图；get子模块，用于获取正常情况下被监控的网站页面最后二值化的网站页面截图；比较子模块，用于比较正常情况下二值化处理子模块得到的二值化网站页面截图与采集子模块得到的最后二值化网站页面截图的相似度，如果相似度高于设定的阈值，表示被监控的网站页面处于正常状态，本次得到的二值化网站页面截图将保存在数据库中，如下图网站页面状态的基准比较; 如果相似度低于设置的阈值，则说明本次监控的网站页面处于异常状态；统计分析模块用于统计异常相似度的二值化网站页面的异常状态码链接和/或截图，得到被监控网站页面的监控结果。如果相似度低于设置的阈值，则说明本次监控的网站页面处于异常状态；统计分析模块用于统计异常相似度的二值化网站页面的异常状态码链接和/或截图，得到被监控网站页面的监控结果。如果相似度低于设置的阈值，则说明本次监控的网站页面处于异常状态；统计分析模块用于统计异常相似度的二值化网站页面的异常状态码链接和/或截图，得到被监控网站页面的监控结果。