c爬虫抓取网页数据(2017年本科毕业论文主题网络爬虫的设计与实现-orientedcrawler)

　　c爬虫抓取网页数据(2017年本科毕业论文主题网络爬虫的设计与实现-orientedcrawler)

　　本科毕业论文题目：面向学科爬虫的设计与实现 姓名：陆刚 学号：234 学院：软件学院 系：软件工程专业：软件工程 年级：2005级 导师：石亮副教授 2009 年 6 月 I 总结 目前，信息网络中信息量很大，但通过人工浏览很难安全地浏览和整理信息，大量有用的信息白白丢失，造成大量信息不能及时应用的矛盾，这对用户来说。这造成了很多不便。为了解决这个问题，新的搜索引擎热门技术应运而生。本文结合信息网络的特点，利用信息抽取和网页分析技术，设计并实现了搜索引擎最重要的部分。——网络爬虫，为互联网搜索服务提供分类更细致准确、数据更全面深入、更新更及时的互联网搜索服务。本文首先总结了网络爬虫的发展历程，然后分析了网络爬虫的架构和实现原理，深入分析了Web上主题页面的分布特征和主题相关性的判别算法。具体工作如下：（1)爬虫部分，爬取设计*敏*感*词*网站，下载尽可能完整且满足用户要求的网站。

　　但不能仅通过人为方式访问和清理所有信息，过多的导入信息会丢失，还会导致破*敏*感*词*事*敏*感*词*，给用户带来很大的不便。为了解决这个问题，搜索引擎技术成为了新的热点。,利用信息提取和网络分析技术提供更详细的分类精度,