网页文章采集器(importrequestsUA伪装：#UA:User-Agent(请求载体的身份标识))

　　网页文章采集器(importrequestsUA伪装：#UA:User-Agent(请求载体的身份标识))

　　首页>博客文章求实战网页采集器

　　withpy2021-11-05

　　介绍importrequests#UA camouflage：#UA:User-Agent（请求载体的身份识别）检测：#Portal网站服务器会检测请求对应的身份载体标识，如果检测到请求的载体身份是某个Section Browser#表示该请求是正常请求，但是如果检测到请求的运营商身份不是某个浏览器的，则表示该请求不是正常请求（爬取）

　　标签：__网页请求载体url标识采集器requestsUA

　　import requests

#UA伪装：

#UA:User-Agent(请求载体的身份标识)检测:

#门户网站的服务器会检测对应请求的身份载体标识，如果检测到请求的载体身份标识为某一款浏览器

#说明该请求是一个正常的请求，但是，如果检测到请求的载体身份标识不是某一款浏览器的，则表示该请求不是正常的请求（爬虫）

#则服务器端就可能拒绝该请求

#UA伪装:让爬虫对应的请求载体的身份标识伪装成某一款浏览器

if __name__ == "__main__":

#UA伪装：将对应的User-Agent封装到一个字典中

headers = {

'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2626.106 Safari/537.36'

}

url = 'https://www.sogou.com/web'

#处理url携带的参数:封装到字典中

kw = input('enter a word:')

param = {

'query':kw

}

#对指定的url发起的请求是携带参数的，并且请求的过程中处理了参数

response = requests.get(url=url,params=param,headers=headers)

page_text = response.text

fileName = kw+'.html'

with open(fileName,'w',encoding='utf-8') as fp:

fp.write(page_text)

print(fileName,'保存成功')

　　标签：__、网页、请求、运营商、url、标志、采集器、请求、UA