服务采集文章|基于python的爬虫技术人力花一周时间完成的历史巨单分析

　　服务采集文章|基于python的爬虫技术人力花一周时间完成的历史巨单分析

　　文章采集程序一般会对文章进行爬虫采集，可以选择的采集工具很多，几十款几百款的都有，像百度等大的搜索引擎都有官方api提供，就比如文章采集工具，360、搜狗等也都有类似的服务，很多都免费开放。如果您对中国国家统计局公布的网站感兴趣，可以尝试去关注它们，除此之外您可以尝试人工爬虫：爬取新浪财经、搜狐、网易等门户网站。

　　从主流软件开始，以深度爬虫为主。利用mongodb等集群对主流网站进行自动化爬取。服务采集文章|基于python的爬虫技术人力花一周时间完成的历史巨单分析相信大家都已经看过不少了，这篇文章呢是为了追求更快的爬取效率，这次仅仅是分析了400多万条历史巨单，具体情况如下：找准数据需求，把爬虫解析可视化放在我们需要分析的网站上。

　　整个爬虫工程可分为5个环节：前端网页抓取（把网页编码识别后载入开发框架中）；后端抓取数据库（一般采用http）；数据存储(采用mongodb)；处理网页结构存储在sqlite数据库中（后端http）；定向爬取（对爬取数据的某些页面进行内容追加）；利用numpy、sklearn等后端工具对爬取的数据进行后续处理。

　　每个环节的工作都可以写成一篇相应的python爬虫小文章，本文将主要介绍前端http爬取，后端一致大家都懂的mongodb存储，在一开始的工作中主要讲述http提供的网站可以免费python抓取一些页面数据。先来了解一下爬虫所要解析的网页：1、首先，通过阅读相关文档你需要掌握的是：beautifulsoup、pyquery、phantomjs。

　　a）beautifulsoup针对网页的元素（*）和标签的详细信息，如：http头、http简介、robots协议。包括：路径（response.path）:类似的场景：打开一个页面，通过urllib的构造函数，找到相应url后按下标访问其所在的页面。/*///index.html//table.htmlb）pyquery针对页面的内容（*），如：页面标题（title）、页面标签（tag）、标签内部节点（tags）、方法（options）、方法的返回值（results）等等。

　　links是pyquery默认按顶部与底部来编码，urls是通过var来包装访问这些页面。c）phantomjs针对页面所有元素浏览（*），由于该工具需要浏览器的支持，所以不算一个新的工具。主要代码都放在一个script的这里。