web开发关键词文章采集如何在python中爬取网页

　　web开发关键词文章采集如何在python中爬取网页

　　关键词文章采集如何在python中爬取网页？要想爬取网页的话，我们可以使用python来抓取网页上的数据。首先我们需要安装python爬虫工具库，这里安装好python你的环境就基本搞定了。flask是简单web框架，使用简单明了，他封装了web框架方便我们开发web，而且他对web开发很友好，非常实用。

　　他提供了很*敏*感*词*和方法，这里就不详细介绍了。这里我安装python3.x的版本，安装教程可以看我的文章。python3.x在运行任何python项目的时候，我们通常需要输入的语句是：importwebfromflaskimportflaskasf;有的时候我们只需要获取网页的内容，却不需要显示出来。没关系，我们可以使用代理爬虫来完成这个需求。

　　代理爬虫可以分为http代理和https代理。http代理就是抓包、抓包ip分配等功能。https代理则是代理ip的端口和显示端口都不同的代理。这个问题的解决方法网上已经说过很多遍了，不过之前比较粗糙，这里我们把自己总结的一套实战经验写出来。1.搭建爬虫环境vim编辑器或者vim应用。在系统环境下在命令行敲入：vimscripts目录下的scripts文件夹下，有一个命令"script"。

　　可以用中文（首选ascii字符）引起。例如：vimscript'bazing：bazingscript'然后就可以切换到此目录下了，pythonweb开发环境。2.分析网页结构这一步就非常简单了，使用flask。flask有一个script文件夹（开发环境下命令中都可以输入名字而不是文件名），里面的所有文件都是相互可以对应的。

　　例如在web开发中就相当于相互是controller层文件，每个文件都是一个controller。我们知道我们爬取的网页都是静态页面，都是基于javascript的。我们需要基于这些javascript文件找到相应的页面请求。例如你要爬取“上汽大众”这个页面，我们需要得到这个页面的链接“;page=3”。

　　首先我们需要的就是上汽大众汽车的网址，你可以在其网站中查找，如果找不到的话可以上车我的主页，基本所有的信息都有。其次我们就需要手动去爬取页面，爬取javascript文件这里有很多的方法。如果一定要使用爬虫，我们需要有一个文件，名字叫api。例如：controller文件夹下的controllers文件夹，然后就可以开始爬虫抓取了。

　　通过上图红色这个地方，可以看到这些页面的url，只需要使用flask爬取了这些url，再使用python里的正则表达式，就可以找到需要爬取的页面。方法可以很多，上面说到的可以用flask的script-get方法抓取到页面源代码，可以看这篇文章也可以看看上汽大众汽车。