python抓取动态网页一）技术的方法思路与方法

　　python抓取动态网页一）技术的方法思路与方法

　　python抓取动态网页

　　一）

　　三)爬虫技术该部分通过通俗易懂的例子来讲解python语言入门。由于python常被大多数初学者认为是一门弱类型的编程语言，学习难度较大，所以本节课程会通过理论部分的知识讲解，使得学习者对python基础运用的过程有很大的提升，让学习者找到有效的学习方法。通过正确的知识查阅和使用正确的知识点来掌握python编程，能够让掌握python编程的过程更有效率。

　　由于python的常见用途为网页抓取、爬虫技术，故本文首先将会讲解网页抓取的一些重要的知识。网页抓取指从互联网上获取具有某种特征的网页（含文字、图片等等）,是一种网络上资源抓取和管理的方法，网页抓取技术是通过用户的输入去寻找网页，如果找到则返回搜索结果给用户。在进行抓取的过程中抓取网站也可以进行多次抓取，利用网页的一次抓取方法或者利用一个网站多次抓取，都能够不断抓取到目标网站，给用户浏览的体验度提高。

　　本节课我们首先来学习python的基础知识，简单介绍一下抓取网页的方法以及原理，其次讲解scrapy框架及requests库，它们是python网络爬虫框架的基础。1.python抓取网页的方法思路1.1最简单的方法urllib（库）urllib库用于爬取http的网页内容。

　　我们在网页中获取某个链接的原理一般分为两种情况：

　　1）直接获取：例如：获取网页中某个页面中的某个url地址，并根据页面中的url地址进行网页内容提取。

　　2）爬取提取：例如：提取网页中某个链接，并提取其内容，获取网页内容后再进行提取。1.2正则表达式requests（库）requests爬取正则表达式的网页的方法一般可以分为以下四种：requests.get(url).headersrequests.post(url).headersrequests.delete(url).headersrequests.header其中：requests.get(url),requests.post(url)为第一种获取方法，而requests.headers(string),requests.headers(user-agent)等等的只是第二种方法，requests.delete(url),requests.headers(string)为第三种获取方法，下面将进行详细的讲解。

　　2.网页爬取实例:爬取中国电信的cmcc中国电信自1998年成立以来，一直是连接世界的中国综合性宽带网络。各类网站的服务器根据访问流量来收费，所以cmcc针对不同的访问流量有不同的cmcc套餐和呼叫中心来收费。一般来说需要访问量越大的网站需要订购越贵的套餐，通常这些网站的ip主要集中在国内，为了节省服务器空间和节省带宽，也可以通过。

　　一、首先要知道如何下载cmcc的数据源网址：，