文章采集调用( 如何使用Scrapy结合PhantomJS采集天猫商品内容的小程序？)
优采云 发布时间: 2022-01-04 21:01文章采集调用(
如何使用Scrapy结合PhantomJS采集天猫商品内容的小程序？)
1、介绍
最近在看Scrapy爬虫框架，尝试用Scrapy框架写一个简单的小程序，可以实现网页信息采集。在尝试的过程中遇到了很多小问题，希望大家给点建议。
本文主要介绍如何使用Scrapy结合PhantomJS采集天猫产品内容。文章中自定义了一个DOWNLOADER_MIDDLEWARES，用于采集需要加载js的动态网页内容。看了很多关于DOWNLOADER_MIDDLEWARES的资料，总结起来，使用简单，但是会阻塞框架，所以性能不好。有资料提到自定义DOWNLOADER_HANDLER或者使用scrapyjs可以解决框架阻塞的问题。有兴趣的朋友可以去研究一下，这里就不多说了。
2、具体实现2.1、环境要求
准备Python开发运行环境需要进行以下步骤：
Python--从官网下载安装部署环境变量（本文使用的Python版本为3.5.1）
lxml--从官网库下载对应版本的.whl文件，然后在命令行界面执行“pip install .whl文件路径”
Scrapy--在命令行界面执行“pip install Scrapy”。详情请参考《Scrapy的首次运行测试》
selenium--执行“pip install selenium”的命令行界面
PhantomJS --官网下载
以上步骤展示了两种安装方式： 1、安装本地下载的wheel包； 2、使用Python安装管理器进行远程下载安装。注意：包版本需要与python版本匹配
2.2、开发测试流程
首先找到需要采集的网页，这里简单搜索一个天猫产品，网址，页面如下：
然后开始写代码，下面的代码默认在命令行界面执行
1)，创建一个scrapy爬虫项目tmSpider
E:\python-3.5.1>scrapy startproject tmSpider
2)，修改settings.py配置
配置如下：
DOWNLOADER_MIDDLEWARES = {
'tmSpider.middlewares.middleware.CustomMiddlewares': 543,
'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None
}
3)，在项目目录下创建一个middlewares文件夹，然后在该文件夹下创建一个middleware.py文件，代码如下：
# -*- coding: utf-8 -*-
from scrapy.exceptions import IgnoreRequest
from scrapy.http import HtmlResponse, Response
import tmSpider.middlewares.downloader as downloader
class CustomMiddlewares(object):
def process_request(self, request, spider):
url = str(request.url)
dl = downloader.CustomDownloader()
content = dl.VisitPersonPage(url)
return HtmlResponse(url, status = 200, body = content)
def process_response(self, request, response, spider):
if len(response.body) == 100:
return IgnoreRequest("body length == 100")
else:
return response
4)，使用selenium和PhantomJS编写一个网页内容下载器，也在上一步创建的middlewares文件夹中创建一个downloader.py文件，代码如下：
# -*- coding: utf-8 -*-
import time
from scrapy.exceptions import IgnoreRequest
from scrapy.http import HtmlResponse, Response
from selenium import webdriver
import selenium.webdriver.support.ui as ui
class CustomDownloader(object):
def __init__(self):
# use any browser you wish
cap = webdriver.DesiredCapabilities.PHANTOMJS
cap["phantomjs.page.settings.resourceTimeout"] = 1000
cap["phantomjs.page.settings.loadImages"] = True
cap["phantomjs.page.settings.disk-cache"] = True
cap["phantomjs.page.customHeaders.Cookie"] = 'SINAGLOBAL=3955422793326.2764.1451802953297; '
self.driver = webdriver.PhantomJS(executable_path='F:/phantomjs/bin/phantomjs.exe', desired_capabilities=cap)
wait = ui.WebDriverWait(self.driver,10)
def VisitPersonPage(self, url):
print('正在加载网站.....')
self.driver.get(url)
time.sleep(1)
# 翻到底，详情加载
js="var q=document.documentElement.scrollTop=10000"
self.driver.execute_script(js)
time.sleep(5)
content = self.driver.page_source.encode('gbk', 'ignore')
print('网页加载完毕.....')
return content
def __del__(self):
self.driver.quit()
5) 创建爬虫模块
在项目目录E:python-3.5.1tmSpider，执行如下代码：
E:\python-3.5.1\tmSpider>scrapy genspider tmall 'tmall.com'
执行后会在项目目录E:python-3.5.1tmSpidermSpiderspiders下自动生成tmall.py程序文件。该程序中的解析函数处理scrapy下载器返回的网页内容。 采集网页信息的方法可以是：
# -*- coding: utf-8 -*-
import time
import scrapy
import tmSpider.gooseeker.gsextractor as gsextractor
class TmallSpider(scrapy.Spider):
name = "tmall"
allowed_domains = ["tmall.com"]
start_urls = (
'https://world.tmall.com/item/526449276263.htm',
)
# 获得当前时间戳
def getTime(self):
current_time = str(time.time())
m = current_time.find('.')
current_time = current_time[0:m]
return current_time
def parse(self, response):
html = response.body
print("----------------------------------------------------------------------------")
extra=gsextractor.GsExtractor()
extra.setXsltFromAPI("31d24931e043e2d5364d03b8ff9cc77e", "淘宝天猫_商品详情30474","tmall","list")
result = extra.extract(html)
print(str(result).encode('gbk', 'ignore').decode('gbk'))
#file_name = 'F:/temp/淘宝天猫_商品详情30474_' + self.getTime() + '.xml'
#open(file_name,"wb").write(result)
6)，启动爬虫
在E:python-3.5.1tmSpider项目目录下执行命令
E:\python-3.5.1\simpleSpider>scrapy crawl tmall
输出结果：
提一下，上面的命令一次只能启动一个爬虫。如果你想同时启动多个爬虫怎么办？然后需要自定义一个爬虫启动模块，在spider下创建模块文件runcrawl.py，代码如下
# -*- coding: utf-8 -*-
import scrapy
from twisted.internet import reactor
from scrapy.crawler import CrawlerRunner
from tmall import TmallSpider
...
spider = TmallSpider(domain='tmall.com')
runner = CrawlerRunner()
runner.crawl(spider)
...
d = runner.join()
d.addBoth(lambda _: reactor.stop())
reactor.run()
执行runcrawl.py文件并输出结果：
3、展望
通过自定义DOWNLOADER_MIDDLEWARES调用PhantomJs实现爬虫后，一直在纠结框架阻塞的问题，一直在想解决办法。后面会研究scrapyjs、splash等调用浏览器的方式，看看能不能有效的解决这个问题。
4、相关文件
1、Python即时网络爬虫：API说明
5、采集GooSeeker开源代码下载源码
1、GooSeeker开源Python网络爬虫GitHub源码
6、文档修改历史
1, 2016-07-07: V1.0
