php 抓取网页生成图片([博物馆]())

　　php 抓取网页生成图片([博物馆]())

　　黄聪：Python访问和抓取网页的常用命令（本地保存图片、模拟post、get、中文编码）

　　简单网络爬网：

　　import urllib.request

url="http://google.cn/"

response=urllib.request.urlopen(url) #返回文件对象

page=response.read()

　　将URL直接保存为本地文件：

　　import urllib.request

url="http://www.xxxx.com/1.jpg"

urllib.request.urlretrieve(url,r"d:\temp\1.jpg")

　　发布模式：

　　import urllib.parse

import urllib.request

url="http://liuxin-blog.appspot.com/messageboard/add"

values={"content":"命令行发出网页请求测试"}

data=urllib.parse.urlencode(values)

#创建请求对象

req=urllib.request.Request(url,data)

#获得服务器返回的数据

response=urllib.request.urlopen(req)

#处理数据

page=response.read()

　　获取方法：

　　import urllib.parse

import urllib.request

url="http://www.google.cn/webhp"

values={"rls":"ig"}

data=urllib.parse.urlencode(values)

theurl=url+"?"+data

#创建请求对象

req=urllib.request.Request(theurl)

#获得服务器返回的数据

response=urllib.request.urlopen(req)

#处理数据

page=response.read()

　　有两种常用方法，geturl（），info（）

　　Geturl（）设置为标识是否存在服务器端URL重定向，而info（）收录一系列信息

　　Encode（）编码和解码（）将用于处理中文问题：