python抓取动态网页(Python小技巧02从Web抓取信息【抓取】【】)

　　python抓取动态网页(Python小技巧02从Web抓取信息【抓取】【】)

　　Python提示02从web获取信息

　　

　　“Web爬网”是一个术语，指使用程序从Web下载和处理内容

　　WebBrowser，一个常见的web爬行模块

　　import webbrowser

webbrowser.open('http://baidu.com')

　　使用open（）函数在浏览器中打开页面，括号中传递的参数是目标web地址。这可能是WebBrowser唯一能做的事情

　　但唯一的效果是有时做一些有趣的事情

　　使用网络浏览器。Open（）打开Google地图并获取指定位置的地图

　　import pyperclip

import sys

import webbrowser

if len((sys.argv)) > 1:

# 从命令行获取位置信息

address = ' '.join(sys.argv[1:])

else:

# 从剪切板中获得address

address = pyperclip.paste()

# 打开指定网页获取地图

webbrowser.open('https://www.google.com/maps/place/' + address)

　　请求

　　请求模块可以从web下载文件。它不是python的内置模块，所以在使用它时需要下载它

　　安装请求模块终端下载：

　　pip3 install requests

　　Pychar用户

　　按以下顺序完成：

　　Preferences-> Project: {Project_name} -> Project Interpreter -> 点击左下角加号 -> 搜索requests下载 -> done.

　　requests.get（url）

　　呼叫请求。Get（URL）将返回一个响应对象，其中收录web服务器对您的请求的响应

<p>import requests

url = &#39;https://www.baidu.com&#39;

response = requests.get(url)

print(requests) #

# Get the status code and compare it with requests.codes.ok(这个是200)

sta_code = response.status_code

print(sta_code) # 200

print(sta_code == requests.codes.ok) # True

# 请求成功之后下载的页面保存在Response对象的text中。下面我们输出其中的头250个字符

print(response.text[0:250])

"""output: