最新版本:对java、scala等运行于jvm的程序进行实时日志采集

　　最新版本:对java、scala等运行于jvm的程序进行实时日志采集

　　在JVM上运行的程序（如Java和Scala）的实时日志采集

　　天眼

　　实时日志采集，JVM（如Java和Scala）中运行的程序的索引和可视化，系统的进程级监控，内部系统操作的战略警报，以及用于性能分析的分布式RPC调用的跟踪跟踪

　　沟通方式

　　QQ群：624054633邮箱：博客：博客

　　建筑

　　APP：连接到天眼客户端的系统将通过卡夫卡的es-indexer组：卡夫卡的ES消费组，读取卡夫卡的数据并将其批量化到监控组：卡夫卡的监控消费组，日志中的应用进行各种事件跟踪点（如：第三方异常报警、请求耗时异常报警等） 业务组：卡夫卡的企业消费组跟踪组： RPC通过日志调用跟踪跟踪（Dapper论文）es：日志存储数据库，并建立相关索引动物园管理员：应用注册表监控：监控中心，*敏*感*词*动物园管理员注册表中对应节点的变化进行监控和报警 Rabbitmq：监控报警缓冲区队列报警：具体报警手段，包括电子邮件和微信

　　项目介绍

　　实时日志采集，JVM（如Java和Scala）中运行的程序的索引和可视化，系统的进程级监控，内部系统操作的战略警报，以及用于性能分析的分布式RPC调用的跟踪跟踪

　　实时日志采集（支持log4j、logback、log4j2）实时显示日志实时页面（支持关键字过滤）历史日志查询（支持多条件过滤，支持SQL语句查询）应用实时部署位置显示（机器和文件夹）应用实时日志采集状态显示App历史部署位置显示API请求实时统计和历史统计第三方请求基于实时统计和历史统计 Dubbox的RPC呼叫数据采集和呼叫链显示（支持多条件检索）离线报警系统嵌入了采集器报警中间件、API、第三方和作业执行异常报警（策略报警和异常报警）。

　　部署步骤

　　更改根目录 gradle 文件中的私人服务器地址（以便您可以打包并部署到您自己的本地私人服务器） 软件包：gradle 干净安装上传 -x 测试

　　容器部署

　　您需要自己修改每个项目下映像下的 Dockerfile 文件

　　PS：牧场主对天眼的一键部署基本符合持续交付场景。

　　苏多巴什 build.sh 1.3.0 大师

　　天眼基地

　　这个项目没有具体的业务逻辑，主要是每个模块的通用类定义，比如：常量、dto、dapper相关、公用，所以项目不需要部署，只需要打包。

　　天眼客户端

　　本项目主要针对对接项目，包括log4j和logback自定义追加器与项目注册相关，因此项目不需要部署，只需要打包用于对接方。

　　天眼数据

　　本项目主要用于提供与数据操作相关的中间件，分为以下五个子模块。此项目不需要部署，只需要打包。

　　skyeye-data-dubbox

　　该项目主要是一个定制的弹簧启动dubbox启动器，它为弹簧启动相关项目提供了一种使用dubbox和集成弹簧启动自动配置的简单方法，请参阅我的另一个开源项目：弹簧启动器-dubbox

　　skyeye-data-hbase

　　该项目主要是一个定制的弹簧启动 hbase 启动器，它为 HBase 查询和更新提供了简单的 API，并与弹簧启动的自动配置集成，请参阅我的另一个开源项目：弹簧启动启动器 hbase

　　skyeye-data-httpl

　　该项目主要使用连接池来简单地封装http请求，如果项目中使用的弹簧版本更高，则可以改用 RestTemplate。

　　skyeye-data-jpa

　　该项目主要是JPA相关的定义，包括域、存储库、DTO相关的定义，主要用于操作mysql查询。

　　Skyeye-data-rabbitmq

　　该项目主要将访问 rabbitmq 中消息的相关代码封装在报警模块中。

　　天眼追踪

　　该项目封装了所有与RPC跟踪相关的代码，包括RPC数据采集器、分布式唯一ID生成、分布式增量ID生成、注册表、采样器、跟踪器等功能，项目不需要部署，只需要打包即可。

　　配音箱

　　由于使用配音盒，为了能够在配音盒中采集RPC数据，

　　你需要修改配音箱的源代码，看看我修改的配音箱项目：配音箱，它主要实现RPC跟踪的具体实现，需要单独打包。

　　git clone dubboxgit checkout skyeye-trace-1.3.0 在相关 pom MVN 全新安装部署中修改私有服务器地址

　　软件安装

　　如果软件版本与下面列出的版本不一致，则需要在 Gradle 中修改依赖项版本，并且需要自行测试可用性（相应的版本如 Hadoop、HBABASE、Spark 等可以由您自己指定，代码级别不需要修改，依赖项需要修改）。

　　软件名称版本说明

　　我的学习

　　5.5+

　　弹性搜索

　　2.3.3

　　版本5.x尚未经过测试（最新版本在开发时只有2.3.x），您需要假设SQL引擎，请参阅：弹性搜索-sql，您需要安装IK分词并开始，请参阅：es ik分词

　　卡 夫 卡

　　0.10.0.1

　　如果 Spark 的版本较低，则需要通过将 log.message.format.version=0.8.2 添加到 Kafka 配置项（根据需要进行配置）来减少 Kafka 日志的格式

　　吉德克

　　1.7+

　　动物园管理员

　　3.4.6

　　兔子

　　3.5.7

　　赫基

　　1.0.0-5.4.0镉

　　不支持低于 1.x 的版本，例如 0.9x.x

　　渐变

　　3.0+

　　哈杜普

　　2.6.0-5.4.0

　　火花

　　1.3.0-5.4.0

　　雷迪斯

　　3.x

　　独立版本就足够了

　　初始化

　　我的学习

　　

　　mysql -uroot -psource skyeye-data/skyeye-data-jpa/src/main/resources/sql/init.sql

　　赫基

　　创建三个表来存储 RPC 数据（一个数据表和两个二级索引表）。

　　外壳

　　执行天眼采集器/天眼采集器跟踪/src/主/资源/外壳/hbase的内容

　　弹性搜索

　　首先安装相应的 ES Python 模块，然后创建一个索引，并根据需要修改 ES 的 IP 和端口

　　cd 天空眼采集器/天空眼采集器索引器/src/main/resources/shell./install.shbash start.sh app-log ：9200，：9200,......cd 天眼采集器/天眼采集器-指标/src/main/资源/shellbash start.sh 事件日志 ：9200，：9200,......注意：如果 ES 版本是 5.x，那么您需要修改天眼采集器/src/主/资源/外壳/es/应用程序日志/创建 index.py 的 49 和 50 行为，如下所示：“消息智能”： { “类型”： “文本”，“分析器”： “ik_smart”，“search_分析器”： “ik_smart”，“include_in_all”：“true”，“boost”： 8}，“消息 Max”： { “类型”： “文本”， “分析器”： “ik_max_word”，“search_analyzer”： “ik_max_word”， “include_in_all”： “真”，“提升”： 8}

　　卡 夫 卡

　　创建相应的主题，根据需要修改分区和zk的IP和端口值，如果日志卷特别大，则适当增加此值

　　kafka-topics.sh --创建 --动物园管理员 192.168.xx.xx：2181，192.168.xx.xx：2181，192.168.xx.xx：2181/kafka/0.10.0.1 --复制因子 3 --分区 9 --主题应用程序日志

　　动物园管理员

　　初始化注册表的节点信息

　　./zkCli.sh 执行天眼监视器/src/主/资源/外壳/zk 文件的内容

　　兔子

　　启动相关项目时会自动创建相关队列

　　天眼警报

　　配置文件

　　配置文件外部化，这需要在计算机上创建配置文件

　　ssh to the deploy node mkdir -p /opt/jthink-config/skyeye/alarmvim alarm.properties# log_mailer 请求队列.request.addresses=localhost：5672rabbit.request.username= jthinkrabbit.request.password=jthinkrabbit.request.request.vhost=/devrabbit.request.channelCacheSize=50rabbit.queue=log_mailerrabbit.request.exchange= direct.lograbbit.request.routeKey=log.key# mailmail.jthink.smtphost=mail.jthink.port=25mail.jthink.from==密码=jthink_0926

　　您需要修改兔子mq和邮件的配置

　　打包部署

　　cd 天空眼-警报等级 干净 distZip -x testcd 目标/分布苏兹普天空眼-警报-x.x.x.zip （替换相应的 x 为自己的版本） cd 天空眼警报-x.x.xnohup bin/skyeye-alarm &

　　天眼采集器

　　从v1.0.0开始，本项目根据不同的kafka消费群体组织子模块，实现可插拔功能模块，主要包括以下五个模块：

　　天眼采集器核心：采集项目的所有常见配置和通用代码，在不部署天眼采集器备份的情况下更改模块：备份采集天空眼采集器索引器的所有日志：将采集的所有日志索引到 eskyeye 采集器指标：元数据采集和相关警报指标索引在事件日志中并存储在 esskyeye 采集器跟踪中：将 RPC 跟踪数据采集到 HBase 中

　　包装

　　cd 天眼-采集级清洁构建 -x 测试

　　天眼-采集器-备份

　　配置文件

　　要外部化配置文件，

　　您需要在机器上创建一个配置文件，并根据对接系统的数量和生成的日志量进行部署，最好是3个节点（每个节点消耗3个数据分区）。

　　ssh to deploy 节点 mkdir -p /opt/jthink/jthink-config/skyeye/collectorvim 采集器-backup.properties# # kafka configkafka.brokers=riot01：9092，riot03：ic= app-log-logkafka.consume.group=log-backup-consume-groupkafka.poll.timeout=100# hdfs.namenode.port=8020hadoop.namenode.host=192.168.88.131hadoop.hdfs.user= xxxhadoop.hdfs.baseDir=/user/user/xxx/JThink/hadoop.hdfs.fileRoot=/tmp/monitor-center.upload.log.cron=0 30 0 * * ？

　　部署

　　多节点部署需要多个部署

　　cd 天空眼-采集器-备份/目标/分发苏兹ip 天空眼-采集器-备份-x.x.x.zip （替换相应的 x 为您自己的版本） cd 天空眼采集器-备份-x.x.xnohup bin/skyeye-采集器-备份 &

　　天眼采集器索引器

　　配置文件

　　要外部化配置文件，

　　您需要在机器上创建一个配置文件，并根据对接系统的数量和生成的日志量进行部署，最好是3个节点（每个节点消耗3个数据分区）。

　　ssh to deploy node mkdir -p /opt/jthink/jthink-config/skyeye/collectorvim 采集器-索引器.properties# kafka configkafka.brokers=riot01：9092，riot02：9092，riot03：ic= app-logkafka.consume.group=es-indexer-consume-groupkafka.poll.timeout=100# es configes.ips=riot01，riot02，riot03es.cluster=mondeoes.port=9300es.sniff=truees.index= app-loges.doc=loges

　　部署

　　多节点部署需要多个部署

　　cd 天空眼采集器索引器/目标/分布苏兹ip 天空眼采集器索引器-x.x.x.zip （替换你自己的版本的相应 x） cd 天空眼采集器索引器-x.x.xnohup bin/ 天空眼采集器-索引器 &

　　天眼采集器-metrics

　　配置文件

　　要外部化配置文件，

　　您需要在机器上创建一个配置文件，并根据对接系统的数量和生成的日志量进行部署，最好是3个节点（每个节点消耗3个数据分区）。

　　ssh to deploy 节点 mkdir -p /opt/jthink-config/skyeye/collectorvim 采集器-metrics.properties# kafka configkafka.brokers=riot01：9092，riot02：9092，riot03：ic= app-logkafka.consume.group=info-collect-consume-groupkafka.poll.timeout=100# es configes.ips=riot01，riot02，riot03es.cluster=mondeoes.port=9300es.sniff=truees.index= 事件日志.doc=loges：3306database.name= 监视器中心数据库.用户名=根数据库.密码=根# log_mailer请求队列数据库.请求.地址=本地主机：5672rbit.request.username= jthinkrabbit.request.request.password=jthinkrabbit.request.vhost=/devrabbit.request.channelCacheSize=50rabbit.request.queue=log_mailerrabbit.request.exchange= 直接.lograbbit.request.路由Key=log.key# zkzookeeper.zkservers=riot01：2181，riot02：2181，riot03：2181zookeeper.sessionTimeout=60000个维护者.connection超时=5000

　　部署

　　多节点部署需要多个部署

　　cd 天空眼采集器-指标/目标/分布苏兹普天空眼-采集器-度量-x.x.x.zip （为您自己的版本替换相应的 x） cd 天空眼采集器-度量-x.x.xnohup bin/ skyeye-采集器-度量 &

　　天眼采集器迹线

　　配置文件

　　要外部化配置文件，

　　您需要在机器上创建一个配置文件，并根据对接系统的数量和生成的日志量进行部署，最好是3个节点（每个节点消耗3个数据分区）。

　　ssh 到部署节点 mkdir -p /opt/jthink-config/skyeye/collectorvim 采集器-跟踪.properties# kafka configkafka.brokers=riot01：9092，riot02：9092，riot03：ic= app-logkafka.consume.group=rpc-trace-consume-groupkafka.poll.timeout=100# redis congredis.host=localhostredis.port=6379redis.密码=# mysql configdatabase.address= localhost：3306database.name=monitor-centerdatabase.用户名=根数据库.密码=root# hbaseconfi*敏*感*词*ase.quorum=panda-01，panda-01，熊猫-03hbase.rootDir=HDFS：//熊猫-01 ：8020/熊猫-03hbase.动物园管理员.znode.父=/hbase

　　部署

　　多节点部署需要多个部署

　　cd 天空眼-采集器-跟踪/目标/分布苏兹ip 天空眼-采集器跟踪-x.x.x.zip （替换相应的 x 为您自己的版本） cd 天空眼采集器-跟踪-x.x.xnohup bin/skyeye-采集器-跟踪 &

　　天眼监视器

　　配置文件

　　配置文件外部化，这需要在计算机上创建配置文件

　　ssh to deploy node mkdir -p /opt/jthink/jthink-config/skyeye/monitorvim monitor.properties# zkzookeeper.zkServers=riot01：2181，riot02：2181，riot03：2181zookeeper.sessionTimeout= 60000zookeeper.connectionTimeout=5000zookeeper.baseSleepTimeMs=1000zookeeper.maxRetries=3# log_mailer请求队列管理员.request.address=localhost ：5672rabbit.request.用户名=jthinkrabbit.request.request.request.request.request.video.request.request.videocacheSize=50rabbit.request.queue=log_邮件错误.请求.exchange=直接.lograbbit.request.路由密钥=日志.key# mysql configdatabase.address=localhost：3306数据库名称=监视器-中心数据库.用户名= 根数据库.密码=根数据库.密码=根数据库

　　相关配置需要

　　修改（rabbitmq 的配置需要与警报一致，zk 需要一致）。

　　打包部署

　　cd 天空眼-监视器级干净 distZip -x testcd 目标/分发苏兹ip 天空眼-监视器-x.x.x.zip （替换相应的 x 为你自己的版本） cd 天空眼监视器-x.x.xnohup bin/skyeye-monitor &

　　天眼网

　　配置文件

　　配置文件外部化，这需要在计算机上创建配置文件

　　

　　ssh 到部署节点 mkdir -p /opt/jthink/jthink-config/skyeye/webvim web.properties# 服务器服务器地址= 0.0.0.0服务器Port=8090# mysql configdatabase.address=localhost ：3306database.name=monitor-centerdatabase.用户名=根数据库.密码=根# es sql urles.sql.urles.url=：9200/_sql？sql=es.sql.sql=从应用程序日志/loges.query.delay= 10es.sql.index.event=事件-log/log# log_mailer请求队列。request.request.地址=localhost：5672rabbit.request.用户名=.key log_mailerrabbit 为了监视代码执行周期，建议不要修改监视器。

　　相关配置需要

　　修改（rabbitmq的配置需要与报警一致，ES也需要一致），注释的配置应注意

　　打包部署

　　cd 天空眼-webgradle clean distZip -x testcd 目标/分发苏兹ip 天空眼-web-x.x.x.zip （替换相应的 x 为您自己的版本） cd 天空眼-web-x.x.xnohup bin/skyeye-web &

　　项目对接

　　为

　　需要日志采集的项，请执行以下操作

　　：

　　日志回馈

　　屬地

　　将天眼客户端依赖项添加到渐变或 POM

　　编译 “天空眼：天眼-客户端-日志：1.3.0”

　　配置

　　将 kafkaAppender 添加到日志回溯.xml并在属性中配置相关值，如下所示（rpc 此项目以前支持 none 和 dubbo，因此，如果项目中有一个 dubbo 服务配置为 dubbo，并且没有 dubbo 服务配置为 none，则将来将支持其他 rpc 框架，例如： 节俭，春云等）。

　　%d{yyyy-MM-dd HH：mm：ss. SSS}; ${CONTEXT_NAME};主机名;%线程;%-5级;%记录器{96};%行;%消息%n

　　app-log none ：2181，：2181，：2181 引导服务器=：9092，：9092，：9092 acks=0 徘徊.ms=100 最大块.ms=5000

　　日志4j

　　屬地

　　将天眼客户端依赖项添加到渐变或 POM

　　编译 “skyeye：skyeye-client-log4j：1.3.0”

　　配置

　　将 kafkaAppender 添加到 log4j .xml并在属性中配置相关值，如下所示（RPC 在此项目之前支持无和 dubbo，因此，如果项目中有一个 dubbo 服务配置为 dubbo，并且没有 dubbo 服务配置为 none，则将来将支持其他 rpc 框架，例如：thrift， 弹簧云等）。

　　日志4j2

　　屬地

　　将天眼客户端依赖项添加到渐变或 POM

　　编译 “skyeye：skyeye-client-log4j2：1.3.0”

　　配置

　　将 KafkaCustomize 添加到 log4j2 .xml并在属性中配置相关值，如下所示（rpc 此项目以前支持 none 和 dubbo，因此，如果项目中有一个 dubbo 服务配置为 dubbo，并且没有 dubbo 服务配置为无，则将来将支持其他 rpc 框架，例如： 节俭，春云等）。

　　：9092，：9092，：9092

　　100个

　　注意

　　日志回馈

　　日志在与卡夫卡对接时有一个错误，jira错误，因此您需要将根级别设置为信息（而不是调试）。

　　日志4j

　　由于log4j自己的追加器比较复杂，更难编写，所以在稳定性和性能上都没有得到logback的很好的支持，应用程序可以使用logback，请尝试使用logback

　　跟踪

　　使用自己的打包配音盒（配音盒

　　），则 RPC 的跟踪封装在 SOA 中间件配音盒中

　　编译 “com.101tec：zkclient：0.10”编译 （“com.阿里巴巴：dubbo：2.8.4-天眼追踪-1.3.0”） { 排除组： '组织弹簧框架'， 模块： '弹簧'}

　　弹簧靴

　　如果项目使用弹簧引导+logback，那么您需要删除弹性引导到日志的初始化，以防止在初始化期间在zk中注册两次时报告错误，请参阅我的博客文章来解决它：

　　埋点

　　日志类型

　　日志类型说明

　　正常

　　普通入站日志

　　invoke_interface

　　接口调用日志

　　middleware_opt

　　中间件操作日志（目前只有 HBase 和 Mongo）。

　　job_execute

　　作业执行日志

　　rpc_trace

　　RPC 跟踪跟踪日志

　　custom_log

　　自定义跟踪日志

　　thirdparty_call

　　第三方系统通话记录

　　普通日志

　　（“我是测试日志打印件”

　　）。

　　接口日志

　　参数依次为事件类型、API、帐户、请求运行、成功或失败以及特定的自定义日志内容（ApiLog.buildApiLog（EventType.invoke_interface、“/应用/状态”、“800001”、100、EventLog.MONITOR_STATUS_SUCCESS“、”我是模拟 API 成功日志“）;(ApiLog.buildApiLog（EventType.invoke_interface”、“/应用/状态”、“800001”、10、EventLog.MONITOR_STATUS_FAILED、“我是模拟 API 失败日志”）到字符串（））;

　　中间件日志

　　参数依次为事件类型、中间件、成功或失败以及自定义日志内容（事件日志、EventType.middleware_opt、中间件 HBASE.符号（）、100、EventLog.MONITOR_ STATUS_SUCCESS、“我是模拟中间件成功日志”）到字符串（））;(事件日志（EventType.middleware_opt、中间件.MONGO.symbol（）、10、EventLog.MONITOR_STATUS_FAILED、“我是模拟中间件失败日志”）。

　　作业执行日志

　　作业执行仅处理失败的日志（不处理成功，因此只需要构造失败日志），参数为 EventType（事件类型）、作业 ID 号、操作时间、失败、特定自定义日志内容（EventLog.buildEventLog（EventType.job_execute，“application_20_0544”，10，EventLog.MONITOR_STATUS_FAILED，“我是模拟作业执行失败日志”）.toString（））;

　　第三方请求日志

　　参数包括事件类型、第三方名称、操作时间、成功或失败以及特定的自定义日志内容（EventLog.buildEventLog（EventType.thirdparty_call，“xx1”，100，EventLog.MONITOR_STATUS_FAILED，“我是模拟第三次失败日志”），;(事件日志（EventType.thirdparty_call，“xx1”，100，EventLog.MONITOR_STATUS_SUCCESS，“我是模拟第三次成功日志”）.到字符串（））;(事件日志（EventType.thirdparty_call，“xx2”，100，EventLog.MONITOR_STATUS_成功，“我是模拟第三次成功日志”）.toString（））;(事件日志（EventType.thirdparty_call，“xx2”，100，EventLog.MONITOR_STATUS_FAILED，“我是模拟第三次失败日志”）.到字符串（））;

　　完整的解决方案:一种web数据自动采集系统的*敏*感*词*法

　　一种使web数据自动化采集系统的方法

　　【摘要】本发明公开了一种WEB数据自动采集系统，包括WEB客户端、WEB服务器和应用服务器。WEB客户端收录一个索引图，索引图保存了图形与数据的关系和链接。WEB客户端将客户端点击的图形或数据对应的链接发送给WEB服务器，WEB服务器从应用服务器采集链接相应的图形或数据，链接采集接收到的图形或数据转换成SVG文件返回给WEB客户端。本发明可以将半结构化和非结构化数据转化为结构化元数据，实现对飞行数据的动态跟踪和监控。

　　【专利说明】一种WEB数据自动采集系统

　　【技术领域】

　　[0001] 本发明涉及一种数据采集系统，更准确地说是一种WEB数据自动采集系统。

　　【背景技术】

　　[0002] Web服务系统主要实现信息发布功能，这是配电网自动化系统的基本功能之一。客户使用浏览器通过Web服务系统了解和分析配电网的运行状况。目前在线运行的配网自动化系统基本都是运行在EMS（Energy Manage System，能源管理系统）系统的Ⅰ控制区，然后通过隔离装置将数据同步到非控制Ⅲ区，并通过非控制III区提供外部。网络每月服务。配电自动化系统提供的Web服务大多基于ActiveX控制技术或Java控制技术。无论是基于哪种控制技术，用户需要下载相应的控件。将所有数据下载到客户端，从而快速响应用户的查看请求，但用户看到的并不是配网自动化系统当前的运行状态。此外，为了系统安全，网络配电自动化系统需要在保护模式下运行控件。如果操作权限设置不正确，这些控件的功能将失效，导致客户端用户体验不佳。网络配电自动化系统需要在保护模式下运行控制。如果操作权限设置不正确，这些控件的功能将失效，导致客户端用户体验不佳。网络配电自动化系统需要在保护模式下运行控制。如果操作权限设置不正确，这些控件的功能将失效，导致客户端用户体验不佳。

　　【发明内容】

　　[0003] 本发明的目的在于提供一种WEB数据自动采集系统，能够解决上述现有技术的不足。

　　本发明采用以下技术方案：

　　一种WEB数据自动采集系统，包括WEB客户端、WEB服务器和应用服务器，所述WEB客户端包括索引图，所述索引图保存图与数据的对应关系和链接，WEB客户端发送客户端点击的图或数据对应的链接到WEB服务器，WEB服务器从应用服务器采集链接对应的图或数据，将图传到采集的图或者将数据转换成SVG文件返回给WEB客户端；还包括Web无线数据采集控制系统，Web无线数据采集控制系统由数据采集发送模块和数据接收模块组成。数据采集发射模块包括信号调理模块，A/D转换模块、微控制器和无线模块。信号采集通过信号调理模块传送到A/D转换模块。A/ D转换模块与单片机相连；数据接收模块包括无线模块和微控制器，无线模块的输入端与数据采集发送模块中的微控制器相连，无线模块的输出端与数据发送模块中的微控制器相连。数据接收模块 微处理器与 PC 相连。

　　所述WEB服务器包括：

　　

　　[0007] 链接分析模块，用于分析WEB客户端发送的链接，得到链接的内容，将SVG文件导出程序转换后的SVG文件返回给WEB客户端；

　　[0008] 图形数据采集模块，用于从应用服务器采集链接解析模块解析出的内容对应的图形或数据；

　　[0009] SVG文件导出程序用于将图形或图形数据采集模块采集的数据转换成SVG文件并转发给链接分析模块。

　　[0010] WEB服务器还包括SVG文件拓扑着色程序，用于对转换成SVG文件的厂区图进行拓扑着色，输出给链接分析模块，链接分析模块进行拓扑着色SVG 文件。返回WEB客户端。

　　[0011] 信号处理模块包括信号放大电路和滤波电路，信号放大电路输出端连接滤波电路；微控制器是STM32芯片。

　　[0012] 本发明的优点是：可以将半结构化和非结构化数据转化为结构化元数据，实现对飞行数据的动态跟踪和监控。

　　【详细方法】

　　[0013] 下面进一步阐述本发明【具体实施例】：

　　本发明公开了一种WEB数据自动采集系统，包括WEB客户端、WEB服务器和应用服务器，其特征在于，所述WEB客户端包括索引图，所述索引图保存图和数据对应与链接的关系，WEB客户端将客户端点击的图或数据对应的链接发送给WEB服务器，WEB服务器链接来自应用服务器的对应图或数据采集，采集采集接收到的图形或数据转换成SVG文件返回给WEB客户端；它还包括一个Web无线数据采集控制系统，Web无线数据采集控制系统由数据采集发送模块和数据接收模块组成。资料采集发送模块包括信号调理模块、A/D转换模块、微控制器和无线模块。采集 接收到的信号通过信号调理模块传输给A。/D转换模块，A/D转换模块与单片机相连；数据接收模块包括无线模块和微控制器，无线模块的输入端与数据采集发送模块中的微控制器相连，无线模块的输出端与数据发送模块中的微控制器相连。数据接收模块与PC机连接。通过信号调理模块传输到A。/D转换模块，A/D转换模块与单片机相连；数据接收模块包括无线模块和微控制器，无线模块的输入端与数据采集发送模块中的微控制器相连，无线模块的输出端与数据发送模块中的微控制器相连。数据接收模块与PC机连接。通过信号调理模块传输到A。/D转换模块，A/D转换模块与单片机相连；数据接收模块包括无线模块和微控制器，无线模块的输入端与数据采集发送模块中的微控制器相连，无线模块的输出端与数据发送模块中的微控制器相连。数据接收模块与PC机连接。

　　所述WEB服务器包括：链接分析模块，用于分析WEB客户端发送的链接并获取链接的内容，并将SVG文件导出器转换后的SVG文件返回给WEB客户端；图形数据采集模块，用于从应用服务器解析出的内容对应的图形或数据采集链接解析模块；SVG文件导出器，用于图形数据采集模块采集或者数据转换成SVG文件转发给链接解析模块。

　　[0016] WEB服务器还包括SVG文件拓扑着色程序，用于对转换成SVG文件的厂区图进行拓扑着色并输出给链接分析模块，链接分析模块将拓扑着色SVG 文件。返回WEB客户端。

　　[0017] 信号处理模块包括信号放大电路和滤波电路，信号放大电路输出与滤波电路连接；微控制器是STM32芯片。

　　

　　[0018] Web数据自动采集技术涉及Web数据挖掘、Web信息检索、信息抽取、搜索引擎等技术。所谓Web数据自动化采集是指从大量非结构化、异构的Web信息中发现有效的、新颖的、潜在可用的信息（包括概念、模式、规则、规律、约束和可视化）资源。) 是一个重要的过程。包括Web内容挖掘、Web结构挖掘和Web使用挖掘。

　　[0019] 本发明的WEB数据自动采集技术的性能是对指定航空公司、OTA、GDS的海量航班数据进行信息检索、信息提取和分析网站根据飞行数据组成规则。对数据进行处理、校验和去噪，整合数据，将半结构化和非结构化数据转化为结构化元数据，实现对飞行数据的动态跟踪和监控。

　　[0020] 本发明可以将半结构化和非结构化数据转化为结构化元数据，从而实现对飞行数据的动态跟踪和监控。

　　以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应收录在本发明之内。发明。在本发明的保护范围内。

　　【权利要求】

　　1.一种WEB数据自动采集系统，包括WEB客户端、WEB服务器和应用服务器，其特征在于，所述WEB客户端包括索引图，所述索引图保存图与数据之间的链接。WEB客户端将客户点击的图形或数据对应的链接发送给WEB服务器，WEB服务器从应用服务器采集链接相应的图形或数据，链接采集将接收到的图形或数据转换成SVG文件返回给WEB客户端；它还包括Web无线数据采集控制系统，Web无线数据采集控制系统由数据采集发送模块和数据接收模块组成。数据采集 发送模块包括信号调理模块、A/D转换模块、微控制器和无线模块。采集接收到的信号通过信号调理模块传送到A/D转换模块。，A/D转换模块与单片机相连；数据接收模块包括无线模块和微控制器，无线模块的输入端与数据采集发送模块中的微控制器相连，无线模块的输出端与数据接收模块相连微控制器，微处理器连接到PC。A/D转换模块与微控制器连接；数据接收模块包括无线模块和微控制器，无线模块的输入端与数据采集发送模块中的微控制器相连，无线模块的输出端与数据接收模块相连微控制器，微处理器连接到PC。A/D转换模块与微控制器连接；数据接收模块包括无线模块和微控制器，无线模块的输入端与数据采集发送模块中的微控制器相连，无线模块的输出端与数据接收模块相连微控制器，微处理器连接到PC。

　　2.根据权利要求1所述的WEB数据自动采集系统，其特征在于，所述WEB服务器包括： 链接分析模块，用于分析WEB客户端发送的链接并获取链接的内容，并返回SVG文件导出器转换成WEB客户端的SVG文件；图形数据采集模块，用于从应用服务器采集链接解析模块解析出的内容对应的图形或数据；SVG 文件导出 用于将图形数据采集模块采集中的图形或数据转换为 SVG 文件并转发到链接解析模块的程序。

　　3.根据权利要求2所述的WEB数据自动采集系统，其特征在于，所述WEB服务器还包括SVG文件拓扑着色程序，用于对转换成SVG文件的厂区地图进行拓扑着色。输出到链接分析模块，链接分析模块将拓扑彩色的SVG文件返回给WEB客户端。

　　4.根据权利要求1至3中任一项所述的WEB数据自动采集系统，其特征在于，所述信号处理模块包括信号放大电路和滤波电路，所述信号放大电路的输出端连接至滤波电路；微控制器是STM32芯片。

　　【文件编号】H04L29/08GK104283914SQ2

　　【公示日期】2015年1月14日申请日期：2013年7月4日优先日期：2013年7月4日

　　【发明人】发明人不予公布申请人：上海浪脉网络科技*敏*感*词*