c爬虫抓取网页数据(c爬虫抓取网页数据，构建python处理后端的升级版本)

　　c爬虫抓取网页数据(c爬虫抓取网页数据，构建python处理后端的升级版本)

　　c爬虫抓取网页数据，然后构建python处理后端。目前比较流行的处理后端有两种。一种是大部分软件都可以建模自己封装的http请求工具包和数据库处理包，一种是专门处理数据库的处理工具包。比如：pandas（python处理数据库的工具包）pandas_datareader（用于数据读取的数据处理工具包）r语言（数据分析、数据挖掘专用工具包）另外，像是go语言、c语言等等也可以通过网络请求的方式进行数据收集，但是都需要构建相应的对应的工具。//sql:是传统sql的升级版本。

　　一、爬虫1.爬虫文章爬虫文章中常用的是爬虫文章来爬取网站中的文章，通过爬虫文章的方式抓取页面抓取文章的方式很多，常用的就有urllib2等库来解析网页数据。还有很多爬虫库，比如：httpcrawler，beautifulsoup，httpparse等等。建议从这些开始学习，比较容易上手。学完了urllib。

　　2、beautifulsoup等后，将可以学习lxml等框架。在网页中已经存在的网页中，我们可以直接用html_downloader工具或httpcrawler工具来下载文章。但如果要批量抓取，那么可以用文件下载工具，比如百度云盘下载等等。同样的，只要是把文章下载下来之后，我们就可以将里面的字段填充到相应的excel表格中，然后导入到我们要的数据库中。

　　2.文章内容爬虫内容抓取的话，常用的比如有爬虫豆瓣、知乎、天涯、简书等等，

　　一），知乎、天涯、简书，都可以用其他的爬虫库去抓取。豆瓣：可以抓取feed流，很方便。豆瓣其他书的一个相对少见的采集方式豆瓣上存在这样一个类型的文章，可以抓取这些信息豆瓣电影：可以抓取书的书名、书名中的关键字，书名中的网址和作者的个人信息和地址豆瓣电影小组：抓取小组的主页，然后把小组列表输出到excel表格上面的电影列表：知乎：可以抓取问题所在页面的文字、问题所在的url、赞、回答、问题评论等等方式。

　　不懂电脑，就连网址都输不出。知乎其他书籍和其他信息：天涯：不太常用，就不说了。天涯其他网址：天涯其他条目：简书：可以抓取一些排版好的内容，比如专栏文章、文章的简要版。每个文章存放一个url。简书每篇文章存放一个url。当我们要获取某个网站的更多信息时，对于刚刚下载的文章，我们可以使用以下技巧：利用mongodb安装一个内存记录数据库。

　　如：：获取更多信息，所有数据存储在内存中，需要时就拿出来读取。首先就是存储数据库，friendsoft数据库。工具：mongodb安装mongodb：到mongodb官网下载。（网上还是蛮多教程的，可以学习。