js 抓取网页内容(【图片来源于】今日头条的街拍美图和抓取分析)

　　js 抓取网页内容(【图片来源于】今日头条的街拍美图和抓取分析)

　　前言

　　本文文字和图片来源于网络，仅供学习交流，不做任何商业用途。版权归原作者所有。如果您有任何问题，请联系我们进行处理。

　　

　　本节我们以今日头条为例，尝试通过分析Ajax请求来抓取网页数据。这次要抓拍的目标是今日头条的街拍。抓拍完成后，每组图片都会下载到本地文件夹并保存。

　　准备好工作了

　　在开始本节之前，请确保已安装 requests 库。如果没有安装，可以参考第一章爬取分析

　　在爬取之前，先分析一下爬取的逻辑。打开今日头条首页，如图6-15所示。

　　右上角有一个搜索入口，这里我们尝试抓拍街拍，输入“街拍”一词进行搜索，结果如图6-16所示。

　　然后打开开发者工具，查看所有网络请求。首先打开第一个网络请求，这个请求的URL就是当前链接街拍，打开Preview标签查看Response Body。如果页面中的内容是根据第一次请求的结果来渲染的，那么第一次请求的源代码必须收录页面结果中的文本。为了验证，我们可以尝试搜索搜索结果的标题，比如“路人”这个词，如图6-17所示。

　　我们发现网页源代码中没有收录这两个词，搜索匹配数为0，因此可以初步判断这些内容是通过Ajax加载，然后通过JavaScript渲染的。接下来，我们可以切换到 XHR 过滤选项卡，看看是否有任何 Ajax 请求。

　　不出所料，这里有一个相当常规的 Ajax 请求，看看它的结果是否收录来自页面的相关数据。

　　点击数据栏展开，发现这里有很多条数据。点击第一项展开，可以发现有一个title字段，它的值就是页面中第一条数据的标题。再次查看其他数据，正好是一一对应的，如图6-18所示。

　　

　　这证实了数据确实是由 Ajax 加载的。

　　我们的目的是捕捉漂亮的图片，其中一组图片对应上一个数据字段中的一条数据。每条数据还有一个 image_detail 字段，它是一个列表的形式，其中收录了该组图像中所有图像的列表，如图 6-19 所示。

　　

　　因此，我们只需要提取列表中的 url 字段并下载即可。为每组图片创建一个文件夹，文件夹的名称就是组图片的标题。

　　接下来可以直接用Python模拟Ajax请求，然后提取相关美图链接下载。但在此之前，我们还需要分析一下 URL 的规律。

　　切换回 Headers 选项卡，观察其请求 URL 和 Headers 信息，如图 6-20 所示。

　　

　　图 6-20 请求信息

　　可以看到，这是一个GET请求，请求URL的参数有offset、format、keyword、autoload、count、cur_tab。我们需要找出这些参数的规律，因为这很容易被程序构造出来。

　　接下来，您可以滑动页面以加载更多新结果。在加载过程中，可以发现网络中有很多Ajax请求，如图6-21所示。

　　

　　观察此处后续链接的参数，发现唯一变化的参数是offset，其他参数不变，第二次请求的offset值为20，第三次为40，第四次为60，所以可以找到规律，这个offset值就是offset，可以推断count参数是一次获取的数据条数。因此，我们可以使用offset参数来控制数据分页。这样我们就可以通过接口批量获取数据，然后解析数据并下载图片。

　　实操演练

　　刚才我们分析了Ajax请求的逻辑，下面我们用程序来下载美图。另外，如果您不熟悉 ajax。

　　首先，实现方法 get_page() 来加载单个 Ajax 请求的结果。唯一变化的参数是offset，所以我们把它作为参数传递，实现如下：

　　import requests

from urllib.parse import urlencode

def get_page(offset):

params = {

'offset': offset,

'format': 'json',

'keyword': '街拍',

'autoload': 'true',

'count': '20',

'cur_tab': '1',

}

url = 'http://www.toutiao.com/search_content/?' + urlencode(params)

try:

response = requests.get(url)

if response.status_code == 200:

return response.json()

except requests.ConnectionError:

return None

　　这里我们使用urlencode()方法构造请求的GET参数，然后使用requests请求链接。如果返回的状态码为 200，调用响应的 json() 方法将结果转换为 JSON 格式并返回。

　　接下来，实现一个解析方法：提取每条数据的image_detail字段中的每一个图片链接，并返回图片链接和图片所属的标题。这时候就可以构建*敏*感*词*了。实现代码如下：

　　def get_images(json):

if json.get('data'):

for item in json.get('data'):

title = item.get('title')

images = item.get('image_detail')

for image in images:

yield {

'image': image.get('url'),

'title': title

}

　　接下来，实现一个用于保存图像的 save_image() 方法，其中 item 是前面的 get_images() 方法返回的字典。该方法首先根据item的标题创建一个文件夹，然后请求图片链接，获取图片的二进制数据，以二进制形式写入文件。图片名称可以使用其内容的MD5值，可以去除重复。相关代码如下：

　　import os

from hashlib import md5

def save_image(item):

if not os.path.exists(item.get('title')):

os.mkdir(item.get('title'))

try:

response = requests.get(item.get('image'))

if response.status_code == 200:

file_path = '{0}/{1}.{2}'.format(item.get('title'), md5(response.content).hexdigest(), 'jpg')

if not os.path.exists(file_path):

with open(file_path, 'wb') as f:

f.write(response.content)

else:

print('Already Downloaded', file_path)

except requests.ConnectionError:

print('Failed to Save Image')

　　最后，只需构造一个偏移量数组，遍历偏移量，提取图片链接，下载即可：

　　from multiprocessing.pool import Pool

def main(offset):

json = get_page(offset)

for item in get_images(json):

print(item)

save_image(item)

GROUP_START = 1

GROUP_END = 20

if __name__ == '__main__':

pool = Pool()

groups = ([x * 20 for x in range(GROUP_START, GROUP_END + 1)])

pool.map(main, groups)

pool.close()

pool.join()

　　这里定义了分页的起始页和结束页，分别是 GROUP_START 和 GROUP_END。也使用了多线程线程池，调用它的map()方法实现多线程下载。

　　这样，整个程序就完成了。运行后，可以发现街拍照片保存在文件夹中，如图6-22所示。

　　

　　通过本节，我们了解了Ajax分析的过程，Ajax分页的模拟以及图片的下载过程。

　　本节内容需要掌握，在实战中我们会多次用到这样的分析和抓拍。

　　最后小编想说：我是一名python开发工程师，整理了一套最新的python系统学习教程。如果你想要这些资料，可以关注私信小编“01”，希望对你有所帮助。