python抓取网页数据(requetsrequests库requests库 )

优采云 发布时间: 2021-10-05 10:16

  python抓取网页数据(requetsrequests库requests库

)

  要求

  Requests是一个简单易用的HTTP库,用Python实现,比urllib简单得多

  因为它是第三方库,所以在使用之前需要安装CMD

  pip安装请求

  安装完成后,将其导入。如果正常,则表示可以使用

  基本用法:

  请求。Get()用于请求目标网站,类型为HTTP响应类型

  mport requests

response = requests.get('http://www.baidu.com')

print(response.status_code) # 打印状态码

print(response.url) # 打印请求url

print(response.headers) # 打印头信息

print(response.cookies) # 打印cookie信息

print(response.text) #以文本形式打印网页源码

print(response.content) #以字节流形式打印

  为您的请求添加标题

  import requests

heads = {}

heads['User-Agent'] = 'Mozilla/5.0 ' \

'(Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 ' \

'(KHTML, like Gecko) Version/5.1 Safari/534.50'

response = requests.get('http://www.baidu.com',headers=headers)

  靓汤

  简而言之,BeautifulSoup是一个Python库。它的主要功能是从网页中获取数据。官方解释如下:

  Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序。

Beautiful Soup自动将输入文档转换为Unicode编码,输出文档转换为utf-8编码。你不需要考虑编码方式,除非文档没有指定一个编码方式,这时,Beautiful Soup就不能自动识别编码方式了。然后,你仅仅需要说明一下原始编码方式就可以了。

Beautiful Soup已成为和lxml、html6lib一样出色的python解释器,为用户灵活地提供不同的解析策略或强劲的速度。

  Eautiful soup支持Python标准库中的HTML解析器和一些第三方解析器。如果我们不安装它,python将使用python的默认解析器。Lxml解析器功能更强大,速度更快。建议安装它

  语法分析器文档具有很强的容错性

  Lxml速度块,容错能力强

  XML是唯一支持XML的解析器,它的速度非常快

  Html5lib速度慢,容错性最强

  实现简单的爬虫练习

  import requests

from bs4 import BeautifulSoup

def getHTMLText(url):

try:

r = requests.get(url ,timeout = 30)

r = raise_for_status()

r.encoding = "utf-8"

return r.text

except:

return ""

url = "http://www.baidu.com"

print(getHTMLText(url))

  import requests

from bs4 import BeautifulSoup

url = "http://www.baidu.com"

r = reuqests.get(url)

r.encoding = "utf-8"

soup = BeautifulSoup(r ,"xml")

print(soup.title.arrts)

print(soup.title.name)

print(soup.title.string)

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线