即将发布:诚达车主号码采集软件(手机号码采集器) v3.2 最新版

　　即将发布:诚达车主号码采集软件(手机号码采集器) v3.2 最新版

　　诚达车主号码采集软件就是这样一款功能强大的在线搜索和提取*敏*感*词*的软件，提供手机号码采集器功能，提取最新*敏*感*词*，快速帮到你识别客户。营销上有成达。机主号采集软件绝对可以大大提升性能。

　　成大车主号采集软件特色：

　　

　　1.在线采集最新*敏*感*词*；

　　2.与网络24小时同步更新；

　　3、支持指定区域批量采集；

　　4、信息来源为汽车行业网、分类信息网等知名网站，真实可靠；

　　

　　5、数据过滤：过滤重复数据，使*敏*感*词*管理更加精准；

　　6、数据准确：专业实名制数据、图片防骚扰数据；

　　7、采集接收到的数据可以导入个人电脑，支持EXCEL、TXT文本等格式。

　　内容分享:Python网页信息采集：使用PhantomJS采集某猫宝商品内容

　　1 简介

　　最近一直在看Scrapy爬虫框架，尝试用Scrapy框架写一个可以实现网页信息的简单小程序采集。在尝试的过程中遇到了很多小问题，希望大家多多指教。

　　本文主要介绍如何结合PhantomJS采集天猫产品内容使用Scrapy。文本为需要用js加载的采集动态网页内容自定义了一个DOWNLOADER_MIDDLEWARES。看了很多DOWNLOADER_MIDDLEWARES的资料，总之，好用，但是会阻塞框架，所以性能不好。有资料提到自定义DOWNLOADER_HANDLER或者使用scrapyjs可以解决框架阻塞的问题。有兴趣的小伙伴可以研究一下，这里就不多说了。

　　2、具体实现

　　2.1、环境要求

　　准备 Python 开发和运行环境需要以下步骤：

　　以上步骤展示了两种安装方式： 1. 将下载好的wheel包安装到本地；2、使用Python安装管理器进行远程下载安装。注意：包的版本需要与python版本相匹配

　　2.2、开发测试流程

　　首先找到需要采集的网页，这里是一个简单的天猫产品，网址是/item/526449276263.htm，页面如下：

　　然后开始写代码，下面的代码默认在命令行界面执行

　　1）、创建scrapy爬虫项目tmSpider

　　E:\python-3.5.1>scrapy startproject tmSpider

　　2)、修改settings.py配置

　　配置如下：

　　DOWNLOADER_MIDDLEWARES = {

'tmSpider.middlewares.middleware.CustomMiddlewares': 543,

'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None

}

　　3）、在项目目录下创建middlewares文件夹，然后在文件夹中创建middleware.py文件，代码如下：

　　# -*- coding: utf-8 -*-

from scrapy.exceptions import IgnoreRequest

from scrapy.http import HtmlResponse, Response

import tmSpider.middlewares.downloader as downloader

class CustomMiddlewares(object):

def process_request(self, request, spider):

url = str(request.url)

dl = downloader.CustomDownloader()

content = dl.VisitPersonPage(url)

return HtmlResponse(url, status = 200, body = content)

def process_response(self, request, response, spider):

if len(response.body) == 100:

return IgnoreRequest("body length == 100")

else:

return response

　　4）、使用selenium和PhantomJS编写一个网页内容下载器，同样在上一步创建的middlewares文件夹下创建downloader.py文件，代码如下：

　　# -*- coding: utf-8 -*-

import time

from scrapy.exceptions import IgnoreRequest

from scrapy.http import HtmlResponse, Response

from selenium import webdriver

<p>

import selenium.webdriver.support.ui as ui

class CustomDownloader(object):

def __init__(self):

# use any browser you wish

cap = webdriver.DesiredCapabilities.PHANTOMJS

cap["phantomjs.page.settings.resourceTimeout"] = 1000

cap["phantomjs.page.settings.loadImages"] = True

cap["phantomjs.page.settings.disk-cache"] = True

cap["phantomjs.page.customHeaders.Cookie"] = &#39;SINAGLOBAL=3955422793326.2764.1451802953297; &#39;

self.driver = webdriver.PhantomJS(executable_path=&#39;F:/phantomjs/bin/phantomjs.exe&#39;, desired_capabilities=cap)

wait = ui.WebDriverWait(self.driver,10)

def VisitPersonPage(self, url):

print(&#39;正在加载网站.....&#39;)

self.driver.get(url)

time.sleep(1)

# 翻到底，详情加载

js="var q=document.documentElement.scrollTop=10000"

self.driver.execute_script(js)

time.sleep(5)

content = self.driver.page_source.encode(&#39;gbk&#39;, &#39;ignore&#39;)

print(&#39;网页加载完毕.....&#39;)

return content

def __del__(self):

self.driver.quit()</p>

　　5）创建爬虫模块

　　在工程目录E:\python-3.5.1\tmSpider，执行如下代码：

　　E:\python-3.5.1\tmSpider>scrapy genspider tmall &#39;tmall.com&#39;

　　执行后会在项目目录E:\python-3.5.1\tmSpider\tmSpider\spiders中自动生成tmall.py程序文件。该程序中的parse函数对scrapy下载器返回的网页内容进行处理。采集网页信息的方法可以是：

　　# -*- coding: utf-8 -*-

import time

import scrapy

import tmSpider.gooseeker.gsextractor as gsextractor

class TmallSpider(scrapy.Spider):

name = "tmall"

allowed_domains = ["tmall.com"]

start_urls = (

&#39;https://world.tmall.com/item/526449276263.htm&#39;,

)

# 获得当前时间戳

def getTime(self):

<p>

current_time = str(time.time())

m = current_time.find(&#39;.&#39;)

current_time = current_time[0:m]

return current_time

def parse(self, response):

html = response.body

print("----------------------------------------------------------------------------")

extra=gsextractor.GsExtractor()

extra.setXsltFromAPI("31d24931e043e2d5364d03b8ff9cc77e", "淘宝天猫_商品详情30474","tmall","list")

result = extra.extract(html)

print(str(result).encode(&#39;gbk&#39;, &#39;ignore&#39;).decode(&#39;gbk&#39;))

#file_name = &#39;F:/temp/淘宝天猫_商品详情30474_&#39; + self.getTime() + &#39;.xml&#39;

#open(file_name,"wb").write(result)</p>

　　6)、启动爬虫

　　执行E:\python-3.5.1\tmSpider项目目录下的命令

　　E:\python-3.5.1\simpleSpider>scrapy crawl tmall

　　输出结果：

　　需要说明的是，上述命令一次只能启动一个爬虫。如果你想同时启动多个呢？然后需要自定义一个爬虫启动模块，在spiders下创建模块文件runcrawl.py，代码如下

　　# -*- coding: utf-8 -*-

import scrapy

from twisted.internet import reactor

from scrapy.crawler import CrawlerRunner

from tmall import TmallSpider

...

spider = TmallSpider(domain=&#39;tmall.com&#39;)

runner = CrawlerRunner()

runner.crawl(spider)

...

d = runner.join()

d.addBoth(lambda _: reactor.stop())

reactor.run()

　　执行 runcrawl.py 文件并输出结果：

　　三、展望

　　以自定义DOWNLOADER_MIDDLEWARES调用PhantomJs的方式实现爬虫后，被框架阻塞的问题纠结了很久，一直在想解决办法。以后我们会研究scrapyjs、splash等方式调用浏览器，看看能不能有效解决这个问题。

　　四、相关文件

　　一、Python即时网络爬虫：API说明

　　5. Jisouke GooSeeker开源代码下载源

　　1. GooSeeker开源Python网络爬虫GitHub源码

　　6.文档修改历史

　　1、2016-06-30：V1.0