抓取网页生成电子书(requests-html快速指南发送一个get(请求：requests))

　　抓取网页生成电子书(requests-html快速指南发送一个get(请求：requests))

　　安装

　　安装很简单，直接执行：

　　

pip install requests-html

　　就是这样。

　　分析页面结构

　　通过浏览器查看元素，可以发现这本电子书网站是用wordpress构建的。主页上的列表元素非常简单和规则。

　　

　　所以我们可以搜索 .entry-title> a 得到所有书籍详情页的链接，然后我们进入详情页找到下载链接，如下图

　　

　　可以发现 .download-links>a 中的链接是该书的下载链接。回到列表页面，可以发现该站点有700多个页面，因此我们可以遍历列表以获取所有下载链接。

　　requests-html 快速指南

　　发送获取请求：

　　

from requests_html import htmlsession

session = htmlsession()

r = session.get('https://python.org/')

　　requests-html的方便之处在于它解析html的方式就像使用jquery一样简单，例如：

　　

# 获取页面的所有链接可以这样写：

r.html.links

# 会返回 {'//docs.python.org/3/tutorial/', '/about/apps/'}

# 获取页面的所有的绝对链接：

r.html.absolute_links

# 会返回 {'https://github.com/python/pythondotorg/issues', 'https://docs.python.org/3/tutorial/'}

# 通过 css 选择器选择元素：

about = r.find('.about', first=true)

# 参数 first 表示只获取找到的第一元素

about.text # 获取 .about 下的所有文本

about.attrs # 获取 .about 下所有属性像 id, src, href 等等

about.html # 获取 .about 的 html

about.find('a') # 获取 .about 下的所有 a 标签

　　构建代码

　　

from requests_html import htmlsession

import requests

import time

import json

import random

import sys

'''

想要学习python？python学习交流群：984632579满足你的需求，资料都已经上传群文件，可以自行下载！

'''

session = htmlsession()

list_url = 'http://www.allitebooks.com/page/'

user_agents = [

"mozilla/5.0 (macintosh; intel mac os x 10_7_3) applewebkit/535.20 (khtml, like gecko) chrome/19.0.1036.7 safari/535.20",

"mozilla/5.0 (windows nt 6.1; wow64) applewebkit/537.1 (khtml, like gecko) chrome/21.0.1180.71 safari/537.1 lbbrowser",

"mozilla/5.0 (windows nt 6.1; wow64) applewebkit/535.11 (khtml, like gecko) chrome/17.0.963.84 safari/535.11 lbbrowser",

"mozilla/4.0 (compatible; msie 7.0; windows nt 6.1; wow64; trident/5.0; slcc2; .net clr 2.0.50727; .net clr 3.5.30729; .net clr 3.0.30729; media center pc 6.0; .net4.0c; .net4.0e)",

"mozilla/4.0 (compatible; msie 6.0; windows nt 5.1; sv1; qqdownload 732; .net4.0c; .net4.0e)",

"mozilla/4.0 (compatible; msie 7.0; windows nt 5.1; trident/4.0; sv1; qqdownload 732; .net4.0c; .net4.0e; 360se)",

"mozilla/4.0 (compatible; msie 6.0; windows nt 5.1; sv1; qqdownload 732; .net4.0c; .net4.0e)",

"mozilla/5.0 (windows nt 6.1; wow64) applewebkit/537.1 (khtml, like gecko) chrome/21.0.1180.89 safari/537.1",

"mozilla/5.0 (ipad; u; cpu os 4_2_1 like mac os x; zh-cn) applewebkit/533.17.9 (khtml, like gecko) version/5.0.2 mobile/8c148 safari/6533.18.5",

"mozilla/5.0 (windows nt 6.1; win64; x64; rv:2.0b13pre) gecko/20110307 firefox/4.0b13pre",

"mozilla/5.0 (x11; ubuntu; linux x86_64; rv:16.0) gecko/20100101 firefox/16.0",

"mozilla/5.0 (windows nt 6.1; wow64) applewebkit/537.11 (khtml, like gecko) chrome/23.0.1271.64 safari/537.11",

"mozilla/5.0 (x11; u; linux x86_64; zh-cn; rv:1.9.2.10) gecko/20100922 ubuntu/10.10 (maverick) firefox/3.6.10"

]

# 获取当前列表页所有图书链接

def get_list(url):

response = session.get(url)

all_link = response.html.find('.entry-title a') # 获取页面所有图书详情链接

for link in all_link:

getbookurl(link.attrs['href'])

# 获取图书下载链接

def getbookurl(url):

response = session.get(url)

l = response.html.find('.download-links a', first=true)

if l is not none: # 运行后发现有的个别页面没有下载链接，这里加个判断

link = l.attrs['href'];

download(link)

#下载图书

def download(url):

# 随机浏览器 user-agent

headers={ "user-agent":random.choice(user_agents) }

# 获取文件名

filename = url.split('/')[-1]

# 如果 url 里包含 .pdf

if ".pdf" in url:

file = 'book/'+filename # 文件路径写死了，运行时当前目录必须有名 book 的文件夹

with open(file, 'wb') as f:

print("正在下载 %s" % filename)

response = requests.get(url, stream=true, headers=headers)

# 获取文件大小

total_length = response.headers.get('content-length')

# 如果文件大小不存在，则直接写入返回的文本

if total_length is none:

f.write(response.content)

else:

# 下载进度条

dl = 0

total_length = int(total_length) # 文件大小

for data in response.iter_content(chunk_size=4096): # 每次响应获取 4096 字节

dl += len(data)

f.write(data)

done = int(50 * dl / total_length)

sys.stdout.write("\r[%s%s]" % ('=' * done, ' ' * (50-done)) ) # 打印进度条

sys.stdout.flush()

print(filename + '下载完成！')

if __name__ == '__main__':

#从这运行，应为知道列表总数，所以偷个懒直接开始循环

for x in range(1,756):

print('当前页面: '+ str(x))

get_list(list_url+str(x))

　　运行结果：

　　

　　以上就是小编为大家介绍的内容。我已经用python抓取了7000多本电子书进行了详细的集成和集成。我希望它会对你有所帮助。