百度网页关键字抓取(《Web·简介》代码9 )

　　百度网页关键字抓取(《Web·简介》代码9

)

　　栏目：网络·

　　简介本文文章主要介绍HTTP协议请求实战-抓取百度搜索关键词对应网页信息及相关经验技巧，文章约812字，356次浏览， 9个赞，强烈推荐！

　　1 通过分析搜索关键词对应的URL，发现字段名和内容都在URL中，可以将URL简化为搜索关键词

　　根据分析的规则，可以使用爬虫自动查询某个关键词

　　通过构建获取请求在百度上。

　　代码如下：

　　import urllib.request 导入urllib.request

keywd = ‘高同同‘ 指定关键词

keywd_cod = urllib.request.quote(keywd)将关键词进行编码

url = ‘https://www.baidu.com/s?wd=‘输入网址

url_all = url +keywd_cod构造出最终抓取网址

req =urllib.request.Request(url)使用urllib.request.Request构造一个Request对象并赋给变量req

data = urllib.request.urlopen(req).read()通过url.request.urlopen()打开对应的Request对象

fandle = open(‘D:/siq/part4/10.html‘,‘wb‘)

fandle.write(data)

将爬去的内容写到一个html文件中

fandle.close()结束

思路总结：

1构建对应的url地址，该url包含get请求的字段名称及字段内容等信息并且url地址满足get请求格式“http://网址？字段名1=字段内容1&字段名2=字段内容2”

2以对应的url为参数，构建request对象

3通过urlopen()打开构建的request对象

4读取内容并保存