网站实时时序数据采集系统的设计与实现

　　网站实时时序数据采集系统的设计与实现

　　西安电子科技大学硕*敏*感*词*论文网站实时时序数据采集系统的设计与实现姓名： 孙亚南申请学位级别： 硕士专业： 计算机技术指导班主任： 姜建国; 樊爱京20100601论文论文 摘要 随着经济和技术的进步、 互联网的普及和信息高速公路的发展， 在社会的各个角落， 存在着大量的实时变化的数据。 有些实时变化的数据与人们的生活密切相关，如股票， 外汇牌价等。 这些数据信息似乎可以通过网站实时观察， 但是数据本身难以得到。 本文针对这一问题设计了网站时序数据采集系统。 本文针对当前网站数据采集系统的种种不足， 详细剖析了网站数据采集系统的需求， 深入研究了网站数据剖析与提取的方式， 并在此基础上设计实现了网站实时时序数据采集系统， 解决了获取网页数据盲目 性大及网页数据本身难以得到的问题， 实现了网址手动生成、 用户定位数据、 网页数据快速采集、 数据查询及生成变化曲线等重要功能。 本系统的重点在于构建通用的网页数据解析规则， 做到才能对大部分网站的动态数据进行采集。 运用多线程技术解决了网页下载时程序界面不响应的问题， 通过构建配置文件解决了重启系统时须要重新设置的问题。 程序统一字符编码为“utf8”。

　　 系统界面力求简约， 易用。 建立了菜单栏， 整个界面只有一个按键， 所有设置项均通过弹出式菜单实现。 程序是在 Linux 系统中的 Qt 上实现的 C++工程， 是作者在 Linux 系统上编程的第一次尝试， 系统早已通过测试， 效率比较高， 工作较稳定， 适用性较强。 关键词： 实时数据 数据采集 源代码解析 多线程论文论文 Abstract With the economic and technological development, the popularity of the Internet and the development of the information highway, in every corner of society, there are a large number of real-time data. Some real-time data is closely related to people's lives, such as stocks, foreign exchange and so on. Although these data can be observed in real time through the website, but the data itself cannot be acquired. In this paper, Design and Implementation of the Network Real-time Data Gathering System is designed for the problem. For the poor performance of the current Network Data Gathering System， the author has made a detailed requirements analysis of the systems, and in-depth study of the way of the site data analysis and extraction. And on this basis, the r...