直观:使用 DataFlux 采集 Nginx 监控指标并展示
优采云 发布时间: 2022-10-27 13:31直观:使用 DataFlux 采集 Nginx 监控指标并展示
DataFlux是上海住云自主研发的一套统一的大数据分析平台,通过对任意来源、任意类型、任意规模的实时数据进行监测、分析和处理,释放数据价值。
DataFlux 包括五个功能模块:
- 数据包 采集器
- Dataway 数据网关
- DataFlux Studio 实时数据洞察平台
- DataFlux Admin Console 管理后台
- DataFlux.f(x) 实时数据处理开发平台
为企业提供全场景数据洞察分析能力,具有实时性、灵活性、易扩展性、易部署性。
Nginx作为常用的Web容器之一,经常被很多运维(开发)伙伴用来搭建Web网站服务器。今天给大家分享一个监控SAAS平台,通过简单的配置即可实现站点和业务监控——使用DataFlux采集Nginx性能指标并分析展示。
安装 DataKit
PS:以Linux系统为例
第一步:执行安装命令
DataKit 安装命令:
DK_FTDATAWAY=[你的 DataWay 网关地址] bash -c "$(curl https://static.dataflux.cn/datakit/install.sh)"
在安装命令中添加DataWay网关地址,然后将安装命令复制到主机执行。
例如:如果DataWay网关的IP地址为1.2.3.4,端口为9528(9528为默认端口),则网关地址为:9528/v1/write/metrics,安装命令为:
DK_FTDATAWAY=http://1.2.3.4:9528/v1/write/metrics bash -c "$(curl https://static.dataflux.cn/datakit/install.sh)"
安装完成后DataKit会默认自动运行,并会在终端提示DataKit状态管理命令
Nginx 监控指标采集
按需 采集 各种版本的 nginx 指标并报告给 DataFlux。
前提
配置
打开DataKit采集源码配置文件夹(默认路径是DataKit安装目录的conf.d文件夹),找到nginx文件夹,打开里面的nginx.conf。
修改配置文件,如图。
配置完成后重启DataKit生效。
验证数据报告
完成数据采集操作后,我们需要验证数据采集是否成功并上报给DataWay,以便日后可以正常分析和展示数据。
操作步骤:登录DataFlux-数据管理-指标浏览-验证数据采集是否成功
Nginx 指标:
DataFlux 的数据洞察力
根据获得的指标进行数据洞察设计,如:
Nginx监控视图
基于自研DataKit数据(采集器),DataFlux现在可以对接200多种数据协议,包括:云数据采集、应用数据采集、日志数据采集,时序数据上报和常用数据库的数据聚合,帮助企业实现最便捷的IT统一监控。
测评:渗透测试之信息收集
港口信息采集
端口作为服务器和客户端之间的接口,起着非常重要的作用。
一些常用端口标识服务器启用了哪些功能。常见的135、137、138、139、445,这些端口经常会爆发漏洞。以下是部分服务端口的漏洞。
扫描端口,可以使用 Nmap 和 masscan 进行扫描和检测。采集尽可能多的开放端口和对应的服务版本。得到准确的服务版本后,可以搜索对应版本的漏洞。
nmap 扫描的精度很高,但是扫描速度比较慢。
Masscan 扫描速度更快,但准确性较低。
Nmap -O 192.168.1.1
( )
侧站C段查询
侧站信息:侧站是与目标网站在同一服务器上的另一个网站。如果主站无法获取权限,可以将侧站作为攻击入口,然后想办法穿越服务器。到真正的目标站点目录。
C段:C段是与目标机器ip在同一C段的其他机器;
通过目标所在的C段中的任何其他机器,找到一种方法可以穿越到我们的目标机器。对于红蓝对抗和网保,C段扫描更有意义。
但是对于单独的 网站 渗透测试,C 段扫描几乎没有意义。
每个 IP 有四个段 ABCD。比如192.168.0.1,segment A是192,segment B是168,segment C是0,segment D是1,segment C嗅探就是拿下同C网段中的一台服务器,也就是,段 D 1-255 中的服务器,然后使用工具嗅探来关闭服务器。
目录扫描
由于发布网站时服务器配置问题,可以打开目录浏览器,造成信息泄露和安全隐患。
在信息采集过程中,需要采集的敏感目录/文件包括:
提到网站敏感目录时,要注意robots.txt文件。
robots.txt 文件是专门为搜索引擎机器人编写的纯文本文件。我们可以在 网站 中指定我们不想被该文件中的机器人访问的目录。
这样我们的网站内容可以部分或全部从搜索引擎收录中排除,或者搜索引擎只能收录指定内容。
因此,我们可以使用robots.txt来阻止Google的机器人访问我们网站上的重要文件,GoogleHack的威胁是不存在的。
如果 robots.txt 文件内容如下:
用户代理: *
禁止:/数据/
禁止:/db/
禁止:/admin/
禁止:/经理/
“Disallow”参数后面是禁止robot收录部分的路径,
比如我们想让机器人封禁收录网站目录下的“data”文件夹,
只需在 Disallow 参数后添加 /data/ 即可。
如果要添加其他目录,只需继续以这种格式添加即可。
文件写入后,将其上传到 网站 的根目录,以使 网站 远离 Google Hack。
尽管 robots 文件的目的是防止搜索蜘蛛想要爬取它们想要保护的页面,
但是如果我们知道robots文件的内容,就可以知道目标网站那些文件夹是不允许访问的。从侧面看,这些文件夹非常重要。
检测目标网站后端目录的工具:
网站指纹识别
在渗透测试中,对目标服务器进行指纹识别是非常有必要的,因为只有识别出对应的Web容器或者cms,才能找到相关的漏洞,然后才能进行对应的渗透操作。
cms又称全站系统。
常见的cms有:WordPress、Dedecms、Discuz、PhpWeb、PhpWind、Dvbbs、Phpcms、ECShop、、SiteWeaver、Aspcms、Empire、Z-Blog等待。
在线指纹网站:
内容敏感信息泄露
我们使用谷歌语法查找敏感信息
搜索文件
查找参数
找到登录点:
找到目录:
寻找重要的东西:
Github 信息泄露
Github 不仅可以托管代码,还可以搜索代码。在上传和发布代码时,一些敏感的配置信息文件会被公开。
Github 主要合集:
网站架构
但是要确定目标网站服务器的具体版本,可以使用nmap扫描,-O和-A参数可以扫描。
1、Access的全称是Microsoft Office Access,是微软公司发布的关联数据库管理系统。
对于小型数据库,当数据库达到 100M 左右时,性能会下降。数据库后缀:.mdb 一般是使用access数据库的asp网页文件
2、SQL Server是微软开发和推广的关系数据库管理系统(DBMS),是一个比较大的数据库。端口号为1433。数据库后缀.mdf
3.MySQL是关系型数据库管理系统,由瑞典MySQL AB公司开发,目前是Oracle的产品。
MySQL 是最流行的关系数据库管理系统。MySQL是WEB应用中最好的应用软件之一。大多数 MySQL 数据库都是 php 页面。默认端口为 3306
4.Oracle又称Oracle RDBMS,简称Oracle。
它是 Oracle Corporation 的关系数据库管理系统。通常用于较大的 网站。默认端口为 1521
首先是成本的区别,访问是免费的,mysql也是开源的,sql server一般要几千,Oracle要几万。
其次,处理能力,access支持千级以内的访问,sql server支持千级到几万级的访问,Oracle支持海量访问。
再次,从数据库规模来看,access是小型数据库,mysql是中小型数据库,sql server是中型数据库,oracle是大型数据库。
知道了这些信息后,我们需要知道 网站 使用的是什么类型的 web 服务器:Apache、Nginx、Tomcat 或 IIS。
在知道了web服务器是什么类型之后,我们还需要检测web服务器的具体版本。
比如Ngnix版本
1.可以根据网站URL判断
2. 站点:xxx 文件类型:php
3.可以根据火狐浏览器的插件来判断
教学具体工具 SubDomainsBrute subDomainsBrute 的特点 subDomainsBrute 安装
1.首先,你的电脑需要有python环境。如果没有,可以按照下面的链接下载。这里推荐使用python2.7.10。
python2.7.10下载地址
或者下载首页也可以下载python2.7.10按照以上提示步骤依次安装。
安装后,需要添加环境变量。
2.下载subDomainsBrute到python根目录。下载地址如下:
subDomainsBrute 下载地址:
3.检查python27文件夹下是否有Script文件夹
里面有一些easy_install相关的内容,直接安装setuptools可以自动生成Script文件夹。
下载 ez_setup.py 并在 cmd 中运行。
进入命令行,然后将目录切换到python安装目录下的Script文件夹,运行python ez_setup.py生成scripts文件夹。
4、在Script文件所在路径下输入cmd,在调用的命令行中安装需要的库。您可以使用 pip 直接安装它。命令是 pip install dnspython gevent
子域Brutez 使用
Usage: subDomainsBrute.py [options] target.com<br />Options:<br /> --version show program's version number and exit<br /> -h, --help show this help message and exit<br /> -f FILE File contains new line delimited subs, default is<br /> subnames.txt.<br /> --full Full scan, NAMES FILE subnames_full.txt will be used<br /> to brute<br /> -i, --ignore-intranet<br /> Ignore domains pointed to private IPs<br /> -t THREADS, --threads=THREADS<br /> Num of scan threads, 200 by default<br /> -p PROCESS, --process=PROCESS<br /> Num of scan Process, 6 by default<br /> -o OUTPUT, --output=OUTPUT<br /> Output file name. default is {target}.txt
层子域挖掘器
Layer子域矿机是一款域名查询工具,提供网站子域查询服务;
界面简洁,操作方式简单,支持服务接口、暴力搜索、同服挖矿三种模式,支持打开网站、复制域名、复制IP、复制CDN、导出域名、导出IP ,导出域名+IP,导出域名+IP+WEB服务器,导出生存网站!
使用说明
列出百度下的子域
网站使用后台扫描工具御剑
御剑是一款好用的网站后台扫描工具,带有图形化页面,易于使用。
我们使用Edgeworth Scanner,主要是扫描网站敏感目录,包括网站backends等。
扫描原理也是爆破,就是通过敏感目录的字典进行匹配。
在御剑后台扫描之前,爬虫会访问robots txt文件。
工具介绍
御剑安装使用
1.下载解压后双击打开软件。
2、打开后在域名输入框中输入要扫描的后台地址。
3. 在下面的选项中,您可以选择扫描线程、扫描超时和文件类型。
4.全部选好后,就可以点击开始扫描了。
5. 等待扫描后,下方会出现扫描结果。
御剑的使用非常简单,简单配置后即可进行扫描,但缺点是御剑无法导出扫描报告。
当然御剑也有很多版本,功能略有不同,比如指纹识别、后台扫描、获取真实IP、检测注入等。
使用 dirbuster
工具介绍
dirbuster的安装和使用
1. 下载最新版本的 DirBuster。解压后在Windows中双击DirBuster-0.12.jar,或者直接打开kali自带的DirBuster(命令:root@kali:~# dirbuster)。
2、启动DirBuser后,主界面如下:
注意:如果您的扫描目标是,
然后在URL中填写“/admin/{dir}”进行fuzz,
表示可以在“{dir}”前后拼接任何你想要的目录或后缀,
例如输入“:/admin/{dir}.php”表示扫描admin目录下的所有php文件。
回顾过去的内容
扫码获取卖淫视频+工具+群访问+靶场等资料
扫描二维码免费卖淫!
还有免费匹配的靶场和交流群!