网页爬虫抓取百度图片(#第一次学习爬虫后,自己编码抓取图片' )
优采云 发布时间: 2022-02-16 05:11网页爬虫抓取百度图片(#第一次学习爬虫后,自己编码抓取图片'
)
#第一次学爬虫后,自己编码和抓图
##下面介绍主要流程
先打开一个你要抓图的网页,我以''为例|
url = 'https://www.quanjing.com/creative/topic/29'
2.然后阅读网页的源码,我们可以在源码中找到我们要抓取的图片对应的链接|
这里可能有人文,网页的源代码在哪里?
答:右键找到网页源代码,或者直接F12
html = urllib.request.urlopen(url).read().decode('utf-8')
运行后,我们可以看到链接抓取成功,都是以列表的形式抓取的:
3.下面使用 urllib.request.urlretrieve(url, 'target address')
要从对应链接下载图片,首先要把上面得到的字符串形式转换成不带“”的链接
html1 = i.replace('"','')``
4.批量下载到本地
```python
for i in page_list:
html1 = i.replace('"','')
print(html1)
global x
urllib.request.urlretrieve(html1, 'image\%s.jpg' % x)
x+=1
这里保存到py文件对应目录下的image文件中