scrapy分页抓取网页(国内docker仓库镜像对比安装运行Splash.jsJS渲染解析 )

　　scrapy分页抓取网页(国内docker仓库镜像对比安装运行Splash.jsJS渲染解析

)

　　随着越来越多的网站开始在客户端浏览器中使用JS动态渲染网站，很多我们需要的数据无法从原创html中获取，加上Scrapy不提供JS渲染和解析的功能。通常，我们一般使用两种方法来爬取这种类型的网站数据：

　　通过分析网站，找到数据对应的接口，模拟接口获取我们需要的数据（见Scrapy抓取Ajax动态页面），但是一旦网站的接口被隐藏深入，或者接口的加密太复杂，这种方法可能行不通。在JS内核的帮助下，将得到的收录JS脚本的页面交给JS内核进行渲染，最后将渲染后生成的html返回给Scrapy进行分析，这是比较常见的WebKit和Scrapy-Splash

　　本文文章的目的是介绍如何使用Scrapy-Splash用Scrapy爬取动态页面。

　　准备

　　Docker安装，具体安装步骤请参考Docker官网

　　为什么要安装 Docker？

　　由于Scrapy-Splash使用Splash HTTP API，需要提供Splash实例，并且Docker镜像中已经存在Splash实例，可以方便的使用。

　　Docker镜像源变更，参考国内docker仓库镜像对比

　　安装并运行 Splash

　　docker pull scrapinghub/splash #从docker镜像中拉取splash实例

docker run -p 8050:8050 scrapinghub/splash #启动splash实例

　　Scrapy 配置

　　在 Scrapy 项目的 setting.py 中添加以下内容：

　　SPLASH_URL = 'http://localhost:8050'

DOWNLOADER_MIDDLEWARES = {

'scrapy_splash.SplashCookiesMiddleware': 723,

'scrapy_splash.SplashMiddleware': 725,

'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810,

}

SPIDER_MIDDLEWARES = {

'scrapy_splash.SplashDeduplicateArgsMiddleware': 100,

}

DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter'

HTTPCACHE_STORAGE = 'scrapy_splash.SplashAwareFSCacheStorage'

　　实际代码分析

　　我们以腾讯证券页面为例。腾讯证券新闻列表是js动态渲染的

　　我们直接打开这个链接，然后打开开发者工具，找到新闻列表：

　　

　　当我们查看网络第一个请求的Response时，发现返回的html中的列表页是空的

　　

　　实际数据隐藏在JS中，加载完成后通过JS操作完成DOM插入

　　

　　因为这里实际数据是塞进了一个JS变量中，并不是通过Ajax调用接口获取的，所以为了避免手动拦截JS变量，我们将页面交给Scrapy-Splash进行渲染

　　import scrapy

from FinancialInfoSpider.items import ArticleItem

from scrapy_splash import SplashRequest

from w3lib.html import remove_tags

import re

from bs4 import BeautifulSoup

class TencentStockSpider(scrapy.Spider):

name = "TencentStock"

def start_requests(self):

urls = [

'http://stock.qq.com/l/stock/ywq/list20150423143546.htm',

]

for url in urls:

yield SplashRequest(url, self.parse, args={'wait': 0.5})

def parse(self,response):

sel = scrapy.Selector(response)

links = sel.xpath("//div[@class='qq_main']//ul[@class='listInfo']//li//div[@class='info']//h3//a/@href").extract()

requests = []

for link in links:

request = scrapy.Request(link, callback =self.parse_article)

requests.append(request)

return requests

def parse_article(self,response):

sel = scrapy.Selector(response)

article = ArticleItem()

article['title'] = sel.xpath('//*[@id="Main-Article-QQ"]/div/div[1]/div[1]/div[1]/h1/text()').extract()[0]

article['source'] = sel.xpath('//*[@id="Main-Article-QQ"]/div/div[1]/div[1]/div[1]/div/div[1]/span[2]').xpath('string(.)').extract()[0]

article['pub_time'] = sel.xpath('//*[@id="Main-Article-QQ"]/div/div[1]/div[1]/div[1]/div/div[1]/span[3]/text()').extract()[0]

html_content = sel.xpath('//*[@id="Cnt-Main-Article-QQ"]').extract()[0]

article['content'] = self.remove_html_tags(html_content)

return article

def remove_html_tags(self,html):

soup = BeautifulSoup(html)

[s.extract() for s in soup('script')]

[s.extract() for s in soup('style')]

content = ''

for substring in soup.stripped_strings:

content = content + substring

return content

　　主要代码就一句话，将获取的页面发送到本地Splash实例进行渲染解析，最后将结果返回给parse函数进行解析

　　SplashRequest(url, self.parse, args={'wait': 0.5})

　　BeautifulSoup 库用于去除 html 中的 script 和 style 标签。具体用法可以参考这两篇文章文章：

　　Python爬虫第二把武器Beautiful Soup的用法

　　使用 BeautifulSoup 删除 html 中的脚本和注释

　　输出结果：