解决方案:超级简单入门，日志管理系统Flume1.8.0的安装和配置和启动

　　解决方案:超级简单入门，日志管理系统Flume1.8.0的安装和配置和启动

　　水槽简介

　　Flume最初是Cloudera提供的高可用、高可靠、分布式的海量日志采集

、聚合、传输系统，后作为顶级开源项目并入Apache。Apache Flume 并不局限于采集

日志数据。由于 Flume 采集

的数据源是可定制的，因此 Flume 还可以用来传输大量的事件数据，包括但不限于网络流量数据、社交媒体产生的数据、电子邮件消息，以及几乎任何可能的数据源。

　　制备 Flume 运行机制

　　Flume的核心是通过数据采集

器（Source）从数据源（如web服务器）采集

数据，然后通过缓冲通道（Channel）将采集

到的数据采集

到指定的接收者（Sink）。

　　Flume的基本架构中有一个Agent（代理），它是Flume的核心角色。Flume Agent 是一个 JVM 进程，承载了从外部源到目标的数据流的三个核心组件：Source、Channel 和 Sink。

　　Flume分布式系统中的核心角色是agent，Flume采集

系统是由各个agent连接而成。

　　每个代理相当于一个数据传输器，内部收录

三个组件：

　　Source：采集源，用于连接数据源获取数据

　　Sink：下沉的地方，传输采集

到的数据的目的，用于将数据传输给下一级代理或者传输给最终的存储系统

　　Channel：agent内部的数据传输通道，用于将数据从source传输到sink

　　Flume日志采集系统架构

　　在实际开发中，Flume需要采集各类数据，进行不同的中间操作。因此，根据具体需求，Flume日志采集系统可以分为简单结构和复杂结构。

　　

" />

　　一个简单的Flume日志采集

系统的结构

　　复杂的Flume日志采集系统结构

　　水槽系统要求

　　要使用 Flume 进行开发，必须满足某些系统要求。此处以官方说明为准。具体要求如下。

　　Flume安装配置

　　下载Flume 1.8.0安装包并解压。

　　2、配置flume-env.sh文件，添加JDK环境变量。

　　3、配置/etc/profile文件，添加Flume环境变量。

　　开始使用 Flume

　　

" />

　　使用Flume系统，只需要创建一个配置文件，配置Flume Source、Flume Channel、Flume Sink三个组件的属性即可。

　　比如写一个采集

方案netcat-logger.conf采集

netcat源数据

　　然后输入启动Flume命令，具体效果如下。

　　# 启动flume（在flume主目录启动，因为next是相对路径）

　　$ flume/flume-ng agent --conf conf --conf-file conf/netcat-logger.conf --name a1

　　-Dflume.root.logger=信息，控制台

　　启动Flume程序后，克隆CRT或Xshell工具中的session窗口，启动telnet工具

　　数据发送完成后，返回Flume程序，观察采集到的数据。具体效果如下。

　　总结

　　解决方案:安全工具之信息收集

　　大家期待的第二节更新了。为了在您在课程中遇到问题时更好地为您服务，我们将在每期交流和解答一些问题。出发二班名额已满，请补充出发三班-工具系列。如果您在观看视频时遇到相关问题，可以在论坛中提问，相关博主会为您解答。或者直接进群讨论。由于群里只允许讨论技术相关的话题，或者转发技术帖，聊天总会被邀请出去。

　　红太阳论坛

　　红太阳博客：

　　出发 - 安全课程：

　　信息采集

一般用在渗透测试的前期。为了测试目标网站，必须进行各种信息采集

。信息采集应根据不同的目标，从不同的方向进行采集。工具部分将在下期课程讲解，文章将结合个人渗透测试经验进行总结。本文只是一个介绍，希望能给你一个好的思路。如文中有环境搭建部分，靶场稍后会在公众号公布。关注视频公众号后，回复我要视频，管理员会第一时间回复。

　　首先公开上一节的一张图，对今天的话题进行说明。

　　信息采集思维导图

　　信息采集

1、robots.txt

　　搜索蜘蛛访问站点时，首先会检查站点根目录下是否存在robots.txt。如果存在，搜索机器人会根据文件内容判断访问范围；如果该文件不存在，所有搜索蜘蛛将能够访问站点上所有不受密码保护的页面。

　　robots.txt基本上每个网站都会用到，放在网站的根目录下。任何人都可以直接输入路径打开查看里面的内容。比如这个文件就是用来告诉搜索引擎哪些页面可以抓取，哪些页面不应该抓取。

　　Robots.txt 是反黑客的。为了防止搜索引擎收录

管理页面，在 robots.txt 中进行了限制。但是这个robots.txt页面并没有限制用户访问，可以任意访问，这样就可以通过这个文件了解网站的结构，比如admin目录，user目录等等。

　　如何使用robots.txt屏蔽搜索引擎访问的功能，又不泄露后台地址和私有目录？

　　是的，这就是使用星号 (/*) 作为通配符。举例如下：

　　User-agent:*

Disallow: /a*/

　　此设置禁止所有搜索引擎索引根目录下以 a 开头的目录。当然，如果你的后台目录是admin，人家还是能猜到的，但是如果把admin改成adminzvdl呢？

　　2.网站备份压缩文件

　　在修改或升级网站之前，管理员可能会对网站或某些页面进行备份。由于种种原因，备份文件存放在网站目录下。该文件没有任何权限控制，可以直接访问和下载。可能是.rar, zip, .7z, .tar.gz, .bak, .txt, .swp等，还有网站信息相关的文件名，web,rar等。

　　3.git导致文件泄露

　　由于现在的web项目开发采用前后端完全分离的架构：前端全部使用静态文件，与后端代码完全分离，属于两个不同的项目。语句文件使用git同步发布到服务器，然后使用nginx指向指定目录，达到被公网访问的目的。

　　运行git init初始化代码库时，会在当前目录下生成一个.git隐藏文件，用于记录代码变更记录等。发布代码时，没有删除.git目录，直接发布。使用此文件，可用于还原源代码

　　4.DS_store导致文件泄露

　　.DS_Store是Mac下Finder用来保存文件//文件夹显示方式的数据文件，每个文件夹一个。由于开发者/设计者在发布代码时没有删除文件夹中隐藏的.DS_store，可能导致文件目录结构、源代码文件等敏感信息泄露。

　　我们可以模拟一个环境，使用phpstudy搭建一个PHP环境，将.DS_store文件上传到相关目录下。

　　然后使用工具进行相关检测

　　工具下载地址：

　　为了让实验更加真实，我们在本地搭建环境，然后创建一个名为admin的文件夹和一个hello文件夹。使用工具运行后，查看工具文件夹，看看有什么结果。

　　这个文件和我们在同一个文件夹里。如果你是苹果用户，将文件复制到相关服务器目录后，默认会收录

一个.DS_Store文件。首先访问test.php文件，看看环境是否成功。

　　环境搭建成功

　　我们使用tools进行测试，运行后，我们可以到tool目录下查看

　　这是一个 .DS_Store 文件泄漏利用脚本，它解析 .DS_Store 文件并在本地递归下载它们。

　　5、SVN导致文件泄露

　　Subversion，简称SVN，是一个开源的版本控制系统。与RCS和CVS相比，它采用了分支管理系统。它的设计目标是取代CVS。Internet 上越来越多的控制服务正在从 CVS 转向 Subversion。

　　Subversion采用服务器-客户端结构，当然服务器端和客户端也可以运行在同一台服务器上。服务器端是存储所有受控数据的Subversion仓库，另一端是Subversion客户端程序，管理着部分受控数据（称为“工作副本”）的本地映射。在这两端之间，通过各个仓库访问层（Repository Access，简称RA）的多个通道进行访问。在这些通道中，可以通过不同的网络协议，如HTTP、SSH等，或者本地文件来操作仓库。

　　SVN漏洞在实际渗透测试过程中经常被使用，由于部分开发管理员的疏忽，其原理类似于DS_Store漏洞。这里就不再搭建环境，给大家推荐工具。使用方法如下：

　　1）漏洞利用工具：Seay SVN漏洞利用工具

　　2) 添加网址

　　在正在使用的URL后添加/.svn/entries，列出网站目录，甚至可以下载整个站点

　　下载链接：

　　

" />

　　6. WEB-INF/web.xml 泄露

　　WEB-INF 是 Java WEB 应用程序的安全目录。如果要直接访问页面中的文件，必须通过web.xml文件映射要访问的文件才能访问。

　　WEB-INF主要包含一下文件或目录：

/WEB-INF/web.xml：Web应用程序配置文件，描述了 servlet 和其他的应用组件配置及命名规则。

/WEB-INF/classes/：含了站点所有用的 class 文件，包括 servlet class 和非servlet class，他们不能包含在 .jar文件中

/WEB-INF/lib/：存放web应用需要的各种JAR文件，放置仅在这个应用中要求使用的jar文件,如数据库驱动jar文件

/WEB-INF/src/：源码目录，按照包名结构放置各个java文件。

/WEB-INF/database.properties：数据库配置文件

　　原因：

　　通常，我们使用多台Web服务器配合一些Web应用来解决其中一台Web服务器的性能缺陷，负载均衡的优势，完成一些分层的安全策略。使用该架构时，可能由于静态资源目录或文件映射配置不当，导致web.xml等文件可读，导致一些安全问题

　　6.1. 环境建设

　　我们需要使用jsp源码来给大家演示，所以前提是要下载一个jsp环境，这里我们选择jspstudy进行演示。下载链接：

　　另一种方法是直接下载webgoat，执行文件中的webgoat.bat文件。

　　下载链接：

　　6.2. 访问页面

　　访问地址：进入这个页面，证明我们的tomcat已经启动了。让我们检查 web.xml 目录在哪里。你可以练习这个射击场。射击场将在后面解释。这里只对这个web.xml信息泄露漏洞进行说明。如果不让用户设置严格的权限，列出一些目录，后果很严重。我们可以通过访问web.xml文件来查看一些敏感信息，如下图

　　6.3. 扫描

　　使用工具扫描，得知该目录下有一些敏感文件，我们尝试访问

　　6.4. 验证结果

　　首先是一些tomcat登录信息。我们试图访问其他一些文件。通过不断尝试目录，我们找到了一个sql文件和一个xml文件。

　　7. Zoomeye搜索引擎的使用

　　ZoomEye 支持公网设备指纹检索和网页指纹检索

　　网站指纹包括应用名称、版本、前端框架、后端框架、服务器端语言、服务器操作系统、网站容器、内容管理系统和数据库等。

　　设备指纹包括应用名称、版本、开放端口、操作系统、服务名称、地理位置等。

　　7.1. 搜索规则

　　首先对相关的快捷键进行说明，提高使用效率

　　7.2. 搜索技巧

　　在设备和网站结果之间切换

　　ZoomEye默认会搜索公网设备，搜索结果页面左上角有公网设备和web服务两个连接。因此您可以在两个结果之间快速切换。

　　输入关键字时，在自动展开的智能建议下拉框底部有两个指定搜索的选项。使用箭头键选择其中之一，然后按 Enter 键执行搜索。

　　ZoomEye使用Xmap和Wmap这两个强大的爬虫引擎，可以获取web服务和公网设备的指纹，定时扫描全网，抓取并索引公网设备指纹。

　　同样，zoomeye也有高级搜索，填入你想查询的内容即可，这里不做过多介绍。

　　7.3. 实际搜索

　　今天我们主要说说如何利用他的语法规则进行高级搜索，搜索有用的信息。

　　应用程序：组件名称

　　ver: 组件版本

　　示例1：使用iis6.0搜索主机：app:"Microsoft-IIS" ver"6.0"，可以看到在0.6秒内搜索了大约41,781,210个使用iis6.0的主机。

　　例2：搜索weblogic主机：app:"weblogic httpd" port:7001，可以看到0.078秒内搜索到约42万台使用weblogic的主机。

　　端口：开放端口

　　搜索远程桌面连接：端口：3389

　　我们搜索开启ssh功能的服务器：port:22

　　示例1：查询3389端口开放的主机：port:3389

　　

" />

　　同理查询22端口开放主机：port:22

　　操作系统：操作系统。

　　示例：os:linux，查询操作系统为Linux的服务器

　　同样，可以查看与 Linux 相关的漏洞

　　service：结果分析中的“服务名称”字段。

　　有关服务名称的完整列表，请参阅

　　示例1：公共网络摄像机：服务：“routersetup”

　　country：国家或地区代码。

　　城市：城市名称。

　　有关完整的国家代码，请参阅：国家代码 - 维基百科

　　示例1：搜索美国的Apache服务器：app:Apache country:US

　　ip：搜索指定的IP地址

　　示例：搜索指定ip信息，ip：121.42.173.26

　　CIDR（无类域间路由）是一种在 Internet 上创建附加地址的方法，这些地址提供给服务提供商 (ISP)，然后由 ISP 分配给客户。CIDR 集中路由，使一个 IP 地址代表主要骨干提供商服务的数千个 IP 地址，从而减轻 Internet 路由器的负担。

　　例1：IP的CIDR网段。网段：114.114.114.114/8

　　这里只说明Web应用的查询方法

　　site：网站的域名。

　　示例：查询域名信息，站点：

　　title：标题中收录

该字符的站点

　　示例：搜索标题中收录

该字符的网站，title:weblogic

　　关键字：定义页面关键词。

　　示例：关键字：Nginx

　　desc：定义的页面描述。

　　示例：desc:Nginx

　　8.必应搜索引擎的使用

　　文件类型：只返回使用指定文件类型创建的页面。

　　要查找以 PDF 格式创建的报告，请输入主题，然后输入文件类型：pdf

　　inanchor:、inbody:、intitle：这些关键字将返回在元数据中收录

指定搜索条件（如锚标记、正文或标题等）的网页。为每个搜索条件指定一个关键字，或根据需要使用任意多个关键字。要查找锚标记中收录

msn 且正文中收录

seo 和 sem 的页面，请键入

　　示例：inanchor:msn inbody:seo inbody:sem

　　site：返回属于指定站点的页面。要搜索两个或多个字段，请使用逻辑运算符 OR 对字段进行分组。

　　您可以使用 site: 搜索最多两级 Web 域、顶级域和目录。您还可以在网站上搜索收录

特定搜索词的页面。

　　url：检查列出的域或 URL 是否在 Bing 索引中。

　　请输入网址：

　　9.佛法搜索

　　再来说说另一个搜索引擎：Fofa地址：

　　首先，让我们了解一下他的语法

　　可以看到查询语法有很多，这里只介绍几个常用的语句

　　引文：本专题分为数据库专题模块和工控专题模块。在数据库主题模块中，收录

了大多数数据库服务和协议的搜索规则；在工业控制专题模块中，提供了国际上广泛使用的工业控制协议的介绍和检索。在模块中，您可以通过点击相关链接快速查询协议或服务。