php 抓取网页源码(用Python脚本从网络中抓取图片保存到本地，欢迎大家拍砖 )

　　php 抓取网页源码(用Python脚本从网络中抓取图片保存到本地，欢迎大家拍砖

)

　　使用Python脚本从网上抓取图片并保存到本地。这个脚本有很多来源，用于在 Python 中抓取网页。感觉Spartan Python_搜索引擎爬虫爬虫还是不错的。喜欢的朋友可以去玩蛇网找python多线程爬虫全集学习。

　　我也尝试写一个小的python程序来捕捉图片。练习吧。

　　Spartan Python_搜索引擎爬虫爬取视频教程（1)，有很多集都是系列的好，推荐！

　　对于这段代码，我使用了 os\sys\re\urllib 等 python 模块方法。具体操作方法也可以在上找到。我不会说太多。我将在下面发布我的代码。欢迎大家拍照。砖。

　　

#coding=utf-8

import os

import sys

import re

import urllib

URL_REG = re.compile(r'(http://[^/\\]+)', re.I)

IMG_REG = re.compile(r']*?src=([\'"])([^\1]*?)\1', re.I)

def download(dir, url):

'''''下载网页中的图片

dir 保存到本地的路径

url 网页url

www.iplaypy.com

'''

global URL_REG, IMG_REG

m = URL_REG.match(url)

if not m:

print '[Error]Invalid URL: ', url

return

host = m.group(1)

if not os.path.isdir(dir):

os.mkdir(dir)

# 获取html,提取图片url

html = urllib.urlopen(url).read()

imgs = [item[1].lower() for item in IMG_REG.findall(html)]

f = lambda path: path if path.startswith('http://') else \

host + path if path.startswith('/') else url + '/' + path

imgs = list(set(map(f, imgs)))

print '[Info]Find %d images.' % len(imgs)

# 下载图片

for idx, img in enumerate(imgs):

name = img.split('/')[-1]

path = os.path.join(dir, name)

try:

print '[Info]Download(%d): %s'% (idx + 1, img)

urllib.urlretrieve(img, path)

except:

print "[Error]Cant't download(%d): %s" % (idx + 1, img)

def main():

if len(sys.argv) != 3:

print 'Invalid argument count.'

return

dir, url = sys.argv[1:]

download(dir, url)

if __name__ == '__main__':

# download('D:\\Imgs', 'http://www.163.com')

main()