网站自动采集系统(西安电子科技大学硕*敏*感*词*论文网站实时时序数据采集系统的设计与实现)

　　网站自动采集系统(西安电子科技大学硕*敏*感*词*论文网站实时时序数据采集系统的设计与实现)

　　西安电子科技大学

　　硕士论文

　　网站实时时序数据采集系统设计与实现

　　姓名：孙亚楠

　　申请学位等级：硕士

　　专业：计算机技术

　　指导教师：蒋建国；范爱晶

　　20100601

　　概括

　　随着经济技术的进步，互联网的普及，信息高速公路的发展，社会的各个角落

　　但是，存在大量实时变化的数据。一些实时变化的数据与人们的生活息息相关，

　　比如股票、汇率等，虽然这些数据信息可以通过网站实时观察到，但是数据本身并没有

　　获取方法。本文针对这个问题设计了网站时间序列数据采集系统。

　　针对目前网站data采集系统的种种不足，本文对网站data采集系统进行了详细分析

　　需要，深入研究网站数据分析提取方法，并在此基础上，设计并实现网站实时

　　时间序列数据采集系统解决了网页数据获取的盲目性和网页数据本身的不可访问性问题。

　　问题实现自动生成URL、用户定位数据、快速网页数据、数据查询和代改

　　曲线等重要功能。

　　本系统的重点是建立通用的网页数据解析规则，从而能够响应网站的大部分动态

　　数据进行采集。多线程技术的使用解决了网页下载时程序界面无响应的问题。

　　设置配置文件，解决重启系统时重置的问题。Unicode 程序是“utf8”。领带

　　系统界面力求简洁易用。菜单栏建立，整个界面只有一个按钮，所有设置项都可以访问

　　通过弹出菜单。

　　程序是Linux系统Qt上实现的C++项目，由作者在Linux系统上编程

　　第一次尝试，系统通过了测试，效率比较高，工作比较稳定，适用性比较强。

　　关键词：实时数据数据采集源码分析与多线程

　　抽象的

　　随着经济和科技的发展，互联网的普及和

　　信息高速公路的发展，在社会的每一个角落，都有大量的

　　实时数据的数量。一些实时数据与人们的生活息息相关，例如

　　股票、外汇等。虽然这些数据可以实时观察

　　通过网站，但无法获取数据本身。在本文中，设计和

　　网络实时数据采集系统的实现是专为

　　问题。

　　针对目前网络数据采集系统性能不佳的问题，笔者

　　对系统进行了详细的需求分析，深入研究了实现方式

　　现场数据分析和提取。并在此基础上，实时时间序列数据

　　设计并实现了采集系统。论文解决了获取的困难

　　页数的变化。最后，作者完成了生成的 URL

　　自动，用户的数据位置，rapi