网页文章采集器(Python爬虫学习第二章-2-使用requests模块实现网页采集器)

　　网页文章采集器(Python爬虫学习第二章-2-使用requests模块实现网页采集器)

　　Python爬虫学习第二章-使用requests模块实现网页采集器

　　本节使用requests抓取搜狗中指定词条对应的搜索结果页面，即网页采集器

　　1、先介绍防爬机制和防爬策略：

　　反爬机制和反爬策略：UA（User-Agent：请求载体的身份。如果请求是浏览器发起的，那么当前请求载体的身份就是浏览器；它也可以使用requests.get方法发起请求。此时请求载体的身份不再是浏览器，而是爬虫）

　　UA 伪装必须在以后的每个案例中应用

　　2、网页代码采集器：

　　import requests

if __name__=="__main__":

#step1：指定url并进行UA伪装

#进行UA伪装：将对应的User-Agent封装到一个字典中,headers参数作用在get方法中，是get方法的参数,此处用的User-Agent是谷歌浏览器，也就是伪装成了谷歌浏览器

url = 'https://www.sogou.com/web?'

headers = {

'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'

}

#处理url携带的参数：将url所携带的参数封装到字典中

kw = input('enter a word:')

param = {

'query':kw

}

#step2：发起请求

#对指定的url发起的请求对应的url是携带参数的，并且的请求过程中处理了参数

response=requests.get(url = url,params=param,headers=headers) #params表示参数，动态拼接参数，headers表示UA伪装，此处是伪装成谷歌浏览器

#step3：获取数据

page_text = response.text

#step4:持久化存储 注意存储代码的写法

filename = kw+'.html'

with open(filename,'w',encoding='utf-8') as fp:

fp.write(page_text)

print(filename,'保存成功')

　　注意with open的使用：with open是用来打开本地文件的。文件处理完毕后，文件会自动关闭，无需手动编写close()。

　　在此处查看一些博客文章：

　　“你了解 open 和 with open 的用法吗？”

　　“如何与 open() 一起使用”

　　“如何使用open”