采集文章系统(SQLServer除了要精确的维度分析,本文ETL分析系统)

　　采集文章系统(SQLServer除了要精确的维度分析,本文ETL分析系统)

　　【摘要】：随着互联网的飞速发展，网络安全问题越来越严重，大量网络攻击监控数据采集下线等待分析。这些数据都以文字的形式记录下来，单靠人工分析是不可能完成的任务。因此，迫切需要一个自动化的分析系统来定位数据、统计统计和计算维数。本系统是一个数据仓库系统，主要有两种数据：原创数据和IP地址数据库（简称“IP数据库”）数据。这两种类型的数据都具有“多源”属性。原创数据的多源性体现在不同的采集系统中，具有不同的类型和格式；IP库数据的多源性体现在三层IP库模型中。原创数据收录基本属性：SourIP（源IP，被攻击方）和DestIP（目的IP，攻击者），IP数据库数据用于定位。这是系统的核心功能。面对海量的原创数据，需要快速准确的维度分析，本文介绍了为什么使用分布式系统（Apache Hadoop）和关系数据库（SQLServer）的复合架构，以及如何使用这些技术构建数据仓库。准确地说，就是ETL的建模和实现是如何进行的。首先是原创数据的ETL。采集 原创文件加载到Hadoop的HDFS后，调用 API 提取数据并将其保存在 Hive 数据仓库中。同时编写了Map-Reduce程序，对目前可用的各种格式进行区分、清理、合并、最后处理。“一致”数据，这里所谓的一致数据就是“五元组模型”。二是IP库数据的ETL。五元组数据以文件的形式传递给 SQL Server。除了加载五元组数据，SQL Server 还有一种重要的字典数据类型，就是IP数据库数据。本文介绍如何构建“三层IP库模型”，满足不同关注度的IP精准定位。每一层IP数据库都有相应建立的全国行政区划数据库，其中至少收录三级地理划分：省（直辖市）、市（区）、区（县）。从采集按照三级划分组织IP库是ETL工作量的较大部分。数据仓库搭建完成后，通过B/S架构的Web界面调用T-SQL（SQL Server提供的基于SQL的编程语言）存储过程对数据仓库中的内容进行维度查询和分析. 同时完成业务系统的功能：用户操作、用户权限、用户管理、数据可视化等。提供即席查询和必要检索，提供趋势、统计、图表等数据展示，提供报表制作和输出. 省（直辖市）、市（区）、区（县）。从采集按照三级划分组织IP库是ETL工作量的较大部分。数据仓库搭建完成后，通过B/S架构的Web界面调用T-SQL（SQL Server提供的基于SQL的编程语言）存储过程对数据仓库中的内容进行维度查询和分析. 同时完成业务系统的功能：用户操作、用户权限、用户管理、数据可视化等。提供即席查询和必要检索，提供趋势、统计、图表等数据展示，提供报表制作和输出. 省（直辖市）、市（区）、区（县）。从采集按照三级划分组织IP库是ETL工作量的较大部分。数据仓库搭建完成后，通过B/S架构的Web界面调用T-SQL（SQL Server提供的基于SQL的编程语言）存储过程对数据仓库中的内容进行维度查询和分析. 同时完成业务系统的功能：用户操作、用户权限、用户管理、数据可视化等。提供即席查询和必要检索，提供趋势、统计、图表等数据展示，提供报表制作和输出. 从采集按照三级划分组织IP库是ETL工作量的较大部分。数据仓库搭建完成后，通过B/S架构的Web界面调用T-SQL（SQL Server提供的基于SQL的编程语言）存储过程对数据仓库中的内容进行维度查询和分析. 同时完成业务系统的功能：用户操作、用户权限、用户管理、数据可视化等。提供即席查询和必要检索，提供趋势、统计、图表等数据展示，提供报表制作和输出. 从采集按照三级划分组织IP库是ETL工作量的较大部分。数据仓库搭建完成后，通过B/S架构的Web界面调用T-SQL（SQL Server提供的基于SQL的编程语言）存储过程对数据仓库中的内容进行维度查询和分析. 同时完成业务系统的功能：用户操作、用户权限、用户管理、数据可视化等。提供即席查询和必要检索，提供趋势、统计、图表等数据展示，提供报表制作和输出. B/S架构的Web界面，用于调用T-SQL（SQL Server提供的基于SQL的编程语言）存储过程对数据仓库中的内容进行维度查询和分析。同时完成业务系统的功能：用户操作、用户权限、用户管理、数据可视化等。提供即席查询和必要检索，提供趋势、统计、图表等数据展示，提供报表制作和输出. B/S架构的Web界面，用于调用T-SQL（SQL Server提供的基于SQL的编程语言）存储过程对数据仓库中的内容进行维度查询和分析。同时完成业务系统的功能：用户操作、用户权限、用户管理、数据可视化等。提供即席查询和必要检索，提供趋势、统计、图表等数据展示，提供报表制作和输出.