通用解决方案:微软 SQL Server 2008中自动化数据采集器

　　通用解决方案:微软 SQL Server 2008中自动化数据采集器

　　Microsoft SQL Server 2008 新增数据功能采集器，可以从多台服务器采集性能相关的数据，存储在中央数据仓库中，然后通过SQL Server Management Studio (SSMS) 进行报告显示数据。下面我就简单介绍一下。

　　SQL Server 2008 Data采集器 的功能由以下组件组成：

　　1.Msdb 系统数据库用于存储所谓的数据采集 组，其中收录与采集 数据相关的数据采集 定义和调度任务。除了收录 采集 审计和历史信息查询外，msdb 数据库还存储 SQL Server Integration Services (SSIS) 包，可用于 采集 和上传数据。

　　2.Dcexec.exe 工具执行上面提到的SSIS 包。它还负责管理数据采集组。

　　3.管理数据仓库数据库存储采集 数据并收录用于采集 管理的视图和存储过程。我们强烈建议将此数据库与存储数据 采集 的服务器分开存储。

　　4.SQL Server Management Studio 2008 报告用于浏览采集的数据。目前有三种内置报告：服务器活动历史、磁盘使用摘要和查询统计历史。

　　SQL Server Management Studio 提供了配置数据的向导采集。要启动该向导，请展开您想要 采集data.

　　的服务器上的管理节点

　　接下来，右键单击数据采集 节点并选择配置管理数据仓库。您将看到以下对话框。如下图。

　　

　　如果您是第一次运行该向导，请选择创建或升级管理数据仓库选项。该向导将逐步指导您创建一个中央数据库来存储 采集 的数据。

　　在此过程中，您需要将登录名映射到存储库数据库中的数据库角色。我建议你创建一个新的登录名并映射它。如下图。

　　

　　

　　创建并配置数据仓库数据库后，再次运行向导并选择第二个选项：设置数据采集。您应该在需要 采集data.

　　的服务器上执行此操作

　　在第一个屏幕上，请选择您在第一步中创建的服务器和数据库，并选择一个目录来存储缓存数据。请为您要采集数据的每个服务器重复此操作。

　　向导完成创建数据采集并安排SQL Agent任务后，您将在“数据采集器节点下看到另外三个节点。

　　1、磁盘使用情况。

　　2、查询统计。

　　3、服务器活动。

　　您可以双击每个节点打开属性窗口，我强烈建议您花时间查看所有选项，以便您了解它们可以做什么以及如何配置它们。

　　您可以修改保留时间、缓存模式和计划任务等配置。因为data采集器会产生大量的数据，而且它的存储表在几个小时内就会被数亿行填满，你可能需要修改任务调度来降低data采集的频率，这取决于您对每台服务器的使用情况。

　　运行向导后，Data采集 将启动。积累一些有意义的数据需要一段时间，所以请等待一个小时左右再查看报告。

　　SQL Server Management Studio 2008 现在有三个新报告用于查看数据采集器采集的数据：服务器活动历史记录、磁盘利用率摘要和查询统计历史记录。

　　

　　您可以通过右键单击数据采集 节点并选择管理数据仓库报告来查看这些报告。 SQL Server Management Studio 2008 将识别用于存储数据的数据库，因此当您右键单击该数据库时，您将有机会选择“管理数据仓库概览”报告，如下图所示。

　　此报告向您显示 采集 正在哪个服务器上运行。您可以单击每个链接以深入了解每个服务器的更多详细信息。下图是服务器活动历史报告的上半部分，显示了服务器活动四小时后发生的情况。

　　如您所见，数据采集器 报告在顶部显示一个导航栏，您可以滚动该导航栏以查看以前捕获的快照并选择要查看的感兴趣时间段的数据。点击下方图表可进入子报表查看更详细的信息。

　　深入了解这些报告并选择不同的时间段以熟悉报告提供的内容。例如，您可以从查询统计历史报告中深入了解单个查询详细信息，包括图形执行计划。

　　

　　Data采集器在采集data的过程中，会在服务器上产生2%到5%的性能消耗，主要是占用了一点CPU资源。存储这些数据的存储需求仅为每天 300MB，因此您的每台服务器每周需要大约 2GB 的数据库存储空间。

　　至于数据保留多长时间，取决于您的需求和存储容量。但是，在大多数情况下，您可以使用默认设置，查询统计信息和历史服务器活动数据采集保留 14 天，磁盘使用情况摘要采集信息保留两年。

　　如果您希望将性能数据保留更长时间而不保存数亿行快速累积的数据，您可以编写自己的查询，然后每天或每周汇总重要数据以进行保存。 SQL Server 联机丛书收录很多很好的文档，记录了 Data采集 使用的表。这些文档可以更轻松地针对您采集收到的数据自定义查询。

　　关于SQL Server 2008数据的一些知识采集器在这里简单介绍一下，希望对读者有所帮助。

　　[编辑推荐]

　　Microsoft SQL Server 2008 使商业智能民主化 SQL Server 2008 中的几个新功能概述 SQL Server 2005 中的 XML 支持和异常处理 动态创建 SQL Server 数据库表 存储过程 SQL Server 2005 和 Oracle 10g 安全性比较

　　优化的解决方案:使用 SpreadJS 开发在线问卷系统，构筑CCP（云数据采集）平台

　　CCP（云数据采集）平台是什么？

　　图片来自网络

　　CCP（Cloud Data采集）平台诞生于大数据时代背景。通过实时数据挖掘，可以在海量云数据中发现隐藏的价值。

　　在线问卷系统作为CCP（云数据采集）平台的信息采集接口，通过网络信息采集、批量和准确提取目标网页中的任何数据和任何信息，快速实现信息的实时获取。

　　CCP（Cloud Data采集）平台的数据采集工作能否更简洁、方便、准确地进行，取决于在线问卷系统的基本功能和结构。

　　因此，在线问卷系统一般需要包括以下四个功能模块：在线问卷设计、数据采集、数据分析和导出。

　　在线问卷系统基本功能模块

　　在线设计问卷要求：

　　1.问卷设计方法简单易操作

　　2. 问卷外观可自由修改，可制作带有公司logo的问卷模板

　　3. 丰富的项目类型，内置选择题、填空题、评分、排序、个人信息采集等。

　　4. 应用场景广泛，可设计问卷、民意调查、满意度、表格、考核等模板

　　数据采集需要：

　　1. 独特的自定义数据采集渠道

　　2. 支持手机充值

　　

　　3. 支持网站、APP、小程序无缝嵌入

　　4.可通过第三方社交平台完成

　　数据分析需要：

　　1. 可以实时查看调查数据

　　2. 支持表格、图表等多样化数据展示

　　3. 提供数据过滤、交叉分析和原创数据下载

　　4. 提高数据源可追溯性，趋势一目了然

　　出口要求：

　　1. 支持导出为xlsx、CSV等格式

　　2. 提供更安全的数据存储

　　3. 无限次发布，支持多并发

　　在线问卷系统的实现

　　由于需要对采集到的问卷数据进行分析并导出分析结果，系统需要支持图表、计算公式和在线导入导出功能。

　　经过充分评估，发现使用SpreadJS控件可以满足上述要求，原因如下：

　　1. 生成交叉图：

　　SpreadJS提供了双向数据绑定的功能，可以将采集到的数据绑定到表格中，可以很方便的实现数据的分析和展示。

　　

　　图1 生成交叉图表分析页面

　　2. 在线导入导出Excel文件：

　　SpreadJS不需要任何后台代码和第三方组件，可以直接在浏览器中导入导出Excel文件、PDF导出、打印和预览等操作，解决了前端导出Excel和CSV文件的需要，方便用户对问卷的结果进行统计分析。导出到本地，导出文件的对比效果如下图所示：

　　图2 导出Excel文件对比

　　3. 数据可视化：

　　SpreadJS 在 Excel 中支持 450 种公式和 32 种图表，可以帮助用户更全面地分析数据采集。

　　图 3 SpreadJS 内置的各种图表

　　4. 数据过滤：

　　后台返回的数据通过SpreadJS展示在前端，并提供数据过滤、排序、分组、标注、切片器等操作，方便用户进一步分析统计结果。

　　图 4 数据过滤

　　通过将SpreadJS的组件功能嵌入在线问卷系统中，我们可以专注于业务逻辑，而不是将注意力分散在如何实现基本功能模块上。借助SpreadJS以组件化的方式重构问卷系统，不仅降低了后测成本，显着缩短了项目交付周期，也为二期项目打下了良好的基础。

　　如果您也有这样的系统开发需求，请访问SpreadJS产品官网查看应用场景和各种技术资源，可为您的系统搭建提供帮助。

　　关于葡萄城

　　赋能开发者！葡萄城成立于 1980 年，是全球领先的开发工具、商业智能解决方案和管理系统设计工具的软件和服务提供商。西安葡萄城是其在中国的分公司，为全球市场提供软件研发服务，为中国企业信息化提供国际先进的开发工具、软件和研发咨询服务。葡萄城的控件和软件产品在*敏*感*词*屡获殊荣，被全球数十万家企业、学校和政府机构广泛使用。