自动采集编写python爬虫程序本教程教你利用python爬取

　　自动采集编写python爬虫程序本教程教你利用python爬取

　　自动采集编写python爬虫程序本教程教你利用python爬取b站站内的视频。b站视频爬取是数据分析、数据采集等任务中的基础技能，爬取视频主要包括4个步骤：请求页面（url地址）下载视频源代码（视频文件）解析视频文件的标签内容（tag字段及规则）利用requests库和beautifulsoup库解析视频文件内容本文就利用beautifulsoup解析页面编写代码，接下来的爬虫程序利用python如何进行视频页面的爬取。

　　1.请求页面在python中爬取页面主要是请求页面。请求页面分为2种方式，一种是浏览器访问网站的url地址，另一种是通过urllib2模块的urllib。urllib2对浏览器提供request和request_url两个对象用于请求网站。建议在程序之前使用urllib，因为python在ie中可能会在请求网站时跳出各种浏览器ui布局。

　　至于request_url模块请求并获取网页的请求头中的参数。pythonurllib中用“pageno,pagespace,content”3个参数来构成url，即获取网页的第一段url。如图所示：请求方式request_url爬取网页常用的两种方式是get和post。get方式是request方法自动获取页面地址地址，如“”即“/”，这也是爬虫程序比较常用的方式。

　　post方式则是向目标网站传递参数，如："username"、"password"（“post请求参数”的get方式是“get”，但是两者在爬取效率上并没有太大的区别，区别主要是在程序是否编译到c++中去而已）。更多爬虫视频教程python爬虫视频教程|识君-博客园2.下载视频源代码根据视频在b站的url地址（/）及其视频的描述（）写下载程序，参考了慕课网的视频下载爬虫代码。

　　分析了b站是使用python3.x版本开发的，因此仅根据url获取页面下载内容。有了下载目标页面的内容后，下载所有视频的源代码。很多情况下都是抓取特定页面内容进行下载，这样做有好处，可以最大程度缩小抓取的单个页面的数量。3.解析页面文件标签内容继续利用requests库以及beautifulsoup库，抓取页面源代码：先使用urllib2请求网站源代码：获取页面链接地址：urllib2模块的url请求地址中含有页面名称及视频名称，抓取下来的文件包含urllib2.pageno,urllib2.pagespace，把“pageno，pagespace”3个参数获取出来。

　　同时利用beautifulsoup库找到网页标签，如图所示：和python的requests库抓取页面代码相同，抓取标签内容主要利用两个方法获取。download()获取整个页面下载代码requests库提供downloader对象，downloader.request(url,headers=headers)，requests库自带。