直观:使用 DataFlux 采集 Nginx 监控指标并展示

优采云 发布时间: 2022-10-27 13:31

  直观:使用 DataFlux 采集 Nginx 监控指标并展示

  DataFlux是上海住云自主研发的一套统一的大数据分析平台,通过对任意来源、任意类型、任意规模的实时数据进行监测、分析和处理,释放数据价值。

  DataFlux 包括五个功能模块:

  - 数据包 采集器

  - Dataway 数据网关

  - DataFlux Studio 实时数据洞察平台

  - DataFlux Admin Console 管理后台

  - DataFlux.f(x) 实时数据处理开发平台

  为企业提供全场景数据洞察分析能力,具有实时性、灵活性、易扩展性、易部署性。

  Nginx作为常用的Web容器之一,经常被很多运维(开发)伙伴用来搭建Web网站服务器。今天给大家分享一个监控SAAS平台,通过简单的配置即可实现站点和业务监控——使用DataFlux采集Nginx性能指标并分析展示。

  安装 DataKit

  PS:以Linux系统为例

  第一步:执行安装命令

  

  DataKit 安装命令:

  DK_FTDATAWAY=[你的 DataWay 网关地址] bash -c "$(curl https://static.dataflux.cn/datakit/install.sh)"

  在安装命令中添加DataWay网关地址,然后将安装命令复制到主机执行。

  例如:如果DataWay网关的IP地址为1.2.3.4,端口为9528(9528为默认端口),则网关地址为:9528/v1/write/metrics,安装命令为:

  DK_FTDATAWAY=http://1.2.3.4:9528/v1/write/metrics bash -c "$(curl https://static.dataflux.cn/datakit/install.sh)"

  安装完成后DataKit会默认自动运行,并会在终端提示DataKit状态管理命令

  Nginx 监控指标采集

  按需 采集 各种版本的 nginx 指标并报告给 DataFlux。

  前提

  配置

  打开DataKit采集源码配置文件夹(默认路径是DataKit安装目录的conf.d文件夹),找到nginx文件夹,打开里面的nginx.conf。

  修改配置文件,如图。

  

  配置完成后重启DataKit生效。

  验证数据报告

  完成数据采集操作后,我们需要验证数据采集是否成功并上报给DataWay,以便日后可以正常分析和展示数据。

  操作步骤:登录DataFlux-数据管理-指标浏览-验证数据采集是否成功

  Nginx 指标:

  DataFlux 的数据洞察力

  根据获得的指标进行数据洞察设计,如:

  Nginx监控视图

  基于自研DataKit数据(采集器),DataFlux现在可以对接200多种数据协议,包括:云数据采集、应用数据采集、日志数据采集,时序数据上报和常用数据库的数据聚合,帮助企业实现最便捷的IT统一监控。

  测评:渗透测试之信息收集

  港口信息采集

  端口作为服务器和客户端之间的接口,起着非常重要的作用。

  一些常用端口标识服务器启用了哪些功能。常见的135、137、138、139、445,这些端口经常会爆发漏洞。以下是部分服务端口的漏洞。

  扫描端口,可以使用 Nmap 和 masscan 进行扫描和检测。采集尽可能多的开放端口和对应的服务版本。得到准确的服务版本后,可以搜索对应版本的漏洞。

  nmap 扫描的精度很高,但是扫描速度比较慢。

  Masscan 扫描速度更快,但准确性较低。

  Nmap -O 192.168.1.1

  ( )

  侧站C段查询

  侧站信息:侧站是与目标网站在同一服务器上的另一个网站。如果主站无法获取权限,可以将侧站作为攻击入口,然后想办法穿越服务器。到真正的目标站点目录。

  C段:C段是与目标机器ip在同一C段的其他机器;

  通过目标所在的C段中的任何其他机器,找到一种方法可以穿越到我们的目标机器。对于红蓝对抗和网保,C段扫描更有意义。

  但是对于单独的 网站 渗透测试,C 段扫描几乎没有意义。

  每个 IP 有四个段 ABCD。比如192.168.0.1,segment A是192,segment B是168,segment C是0,segment D是1,segment C嗅探就是拿下同C网段中的一台服务器,也就是,段 D 1-255 中的服务器,然后使用工具嗅探来关闭服务器。

  目录扫描

  由于发布网站时服务器配置问题,可以打开目录浏览器,造成信息泄露和安全隐患。

  在信息采集过程中,需要采集的敏感目录/文件包括:

  提到网站敏感目录时,要注意robots.txt文件。

  robots.txt 文件是专门为搜索引擎机器人编写的纯文本文件。我们可以在 网站 中指定我们不想被该文件中的机器人访问的目录。

  这样我们的网站内容可以部分或全部从搜索引擎收录中排除,或者搜索引擎只能收录指定内容。

  因此,我们可以使用robots.txt来阻止Google的机器人访问我们网站上的重要文件,GoogleHack的威胁是不存在的。

  如果 robots.txt 文件内容如下:

   

  用户代理: *

  禁止:/数据/

  禁止:/db/

  禁止:/admin/

  禁止:/经理/

   

  “Disallow”参数后面是禁止robot收录部分的路径,

  比如我们想让机器人封禁收录网站目录下的“data”文件夹,

  只需在 Disallow 参数后添加 /data/ 即可。

  如果要添加其他目录,只需继续以这种格式添加即可。

  文件写入后,将其上传到 网站 的根目录,以使 网站 远离 Google Hack。

  尽管 robots 文件的目的是防止搜索蜘蛛想要爬取它们想要保护的页面,

  但是如果我们知道robots文件的内容,就可以知道目标网站那些文件夹是不允许访问的。从侧面看,这些文件夹非常重要。

  检测目标网站后端目录的工具:

  网站指纹识别

  在渗透测试中,对目标服务器进行指纹识别是非常有必要的,因为只有识别出对应的Web容器或者cms,才能找到相关的漏洞,然后才能进行对应的渗透操作。

  cms又称全站系统。

  常见的cms有:WordPress、Dedecms、Discuz、PhpWeb、PhpWind、Dvbbs、Phpcms、ECShop、、SiteWeaver、Aspcms、Empire、Z-Blog等待。

  在线指纹网站:

  内容敏感信息泄露

  我们使用谷歌语法查找敏感信息

  

  搜索文件

  查找参数

  找到登录点:

  找到目录:

  寻找重要的东西:

  Github 信息泄露

  Github 不仅可以托管代码,还可以搜索代码。在上传和发布代码时,一些敏感的配置信息文件会被公开。

  Github 主要合集:

  网站架构

  但是要确定目标网站服务器的具体版本,可以使用nmap扫描,-O和-A参数可以扫描。

  1、Access的全称是Microsoft Office Access,是微软公司发布的关联数据库管理系统。

  对于小型数据库,当数据库达到 100M 左右时,性能会下降。数据库后缀:.mdb 一般是使用access数据库的asp网页文件

  2、SQL Server是微软开发和推广的关系数据库管理系统(DBMS),是一个比较大的数据库。端口号为1433。数据库后缀.mdf

  3.MySQL是关系型数据库管理系统,由瑞典MySQL AB公司开发,目前是Oracle的产品。

  MySQL 是最流行的关系数据库管理系统。MySQL是WEB应用中最好的应用软件之一。大多数 MySQL 数据库都是 php 页面。默认端口为 3306

  4.Oracle又称Oracle RDBMS,简称Oracle。

  它是 Oracle Corporation 的关系数据库管理系统。通常用于较大的 网站。默认端口为 1521

  首先是成本的区别,访问是免费的,mysql也是开源的,sql server一般要几千,Oracle要几万。

  其次,处理能力,access支持千级以内的访问,sql server支持千级到几万级的访问,Oracle支持海量访问。

  再次,从数据库规模来看,access是小型数据库,mysql是中小型数据库,sql server是中型数据库,oracle是大型数据库。

  知道了这些信息后,我们需要知道 网站 使用的是什么类型的 web 服务器:Apache、Nginx、Tomcat 或 IIS。

  在知道了web服务器是什么类型之后,我们还需要检测web服务器的具体版本。

  比如Ngnix版本

  1.可以根据网站URL判断

  2. 站点:xxx 文件类型:php

  3.可以根据火狐浏览器的插件来判断

  教学具体工具 SubDomainsBrute subDomainsBrute 的特点 subDomainsBrute 安装

  1.首先,你的电脑需要有python环境。如果没有,可以按照下面的链接下载。这里推荐使用python2.7.10。

  python2.7.10下载地址

  或者下载首页也可以下载python2.7.10按照以上提示步骤依次安装。

  安装后,需要添加环境变量。

  2.下载subDomainsBrute到python根目录。下载地址如下:

  subDomainsBrute 下载地址:

  3.检查python27文件夹下是否有Script文件夹

  里面有一些easy_install相关的内容,直接安装setuptools可以自动生成Script文件夹。

  下载 ez_setup.py 并在 cmd 中运行。

  进入命令行,然后将目录切换到python安装目录下的Script文件夹,运行python ez_setup.py生成scripts文件夹。

  4、在Script文件所在路径下输入cmd,在调用的命令行中安装需要的库。您可以使用 pip 直接安装它。命令是 pip install dnspython gevent

  子域Brutez 使用

  Usage: subDomainsBrute.py [options] target.com<br />Options:<br /> --version show program's version number and exit<br /> -h, --help show this help message and exit<br /> -f FILE File contains new line delimited subs, default is<br /> subnames.txt.<br /> --full Full scan, NAMES FILE subnames_full.txt will be used<br /> to brute<br /> -i, --ignore-intranet<br /> Ignore domains pointed to private IPs<br /> -t THREADS, --threads=THREADS<br /> Num of scan threads, 200 by default<br /> -p PROCESS, --process=PROCESS<br /> Num of scan Process, 6 by default<br /> -o OUTPUT, --output=OUTPUT<br /> Output file name. default is {target}.txt

  

  层子域挖掘器

  Layer子域矿机是一款域名查询工具,提供网站子域查询服务;

  界面简洁,操作方式简单,支持服务接口、暴力搜索、同服挖矿三种模式,支持打开网站、复制域名、复制IP、复制CDN、导出域名、导出IP ,导出域名+IP,导出域名+IP+WEB服务器,导出生存网站!

  使用说明

  列出百度下的子域

  网站使用后台扫描工具御剑

  御剑是一款好用的网站后台扫描工具,带有图形化页面,易于使用。

  我们使用Edgeworth Scanner,主要是扫描网站敏感目录,包括网站backends等。

  扫描原理也是爆破,就是通过敏感目录的字典进行匹配。

  在御剑后台扫描之前,爬虫会访问robots txt文件。

  工具介绍

  御剑安装使用

  1.下载解压后双击打开软件。

  2、打开后在域名输入框中输入要扫描的后台地址。

  3. 在下面的选项中,您可以选择扫描线程、扫描超时和文件类型。

  4.全部选好后,就可以点击开始扫描了。

  5. 等待扫描后,下方会出现扫描结果。

  御剑的使用非​​常简单,简单配置后即可进行扫描,但缺点是御剑无法导出扫描报告。

  当然御剑也有很多版本,功能略有不同,比如指纹识别、后台扫描、获取真实IP、检测注入等。

  使用 dirbuster

  工具介绍

  dirbuster的安装和使用

  1. 下载最新版本的 DirBuster。解压后在Windows中双击DirBuster-0.12.jar,或者直接打开kali自带的DirBuster(命令:root@kali:~# dirbuster)。

  2、启动DirBuser后,主界面如下:

  注意:如果您的扫描目标是,

  然后在URL中填写“/admin/{dir}”进行fuzz,

  表示可以在“{dir}”前后拼接任何你想要的目录或后缀,

  例如输入“:/admin/{dir}.php”表示扫描admin目录下的所有php文件。

  回顾过去的内容

  扫码获取卖淫视频+工具+群访问+靶场等资料

  扫描二维码免费卖淫!

  还有免费匹配的靶场和交流群!

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线