scrapy分页抓取网页( 小编来一起通过示例代码介绍的详细学习方法-乐题库)

　　scrapy分页抓取网页(

小编来一起通过示例代码介绍的详细学习方法-乐题库)

　　python scrapy项目下spider中多个爬虫同时运行的实现

　　更新时间：2021年4月21日08:36:40 作者：刘星哲 6

　　本文文章主要介绍了python scrapy项目下蜘蛛中多个爬虫同时运行的实现。文中介绍的示例代码非常详细，对大家的学习或工作有一定的参考学习价值。有需要的朋友和小编一起学习吧

　　一般创建scrapy文件夹后，可能需要编写多个爬虫。如果您希望它们同时运行而不是顺序运行，我该怎么办？

　　一种。在spiders目录的同级目录下创建commands目录，并在该目录下创建crawlall.py，将scrapy源码中commands文件夹下的crawl.py源码复制，只修改run()方法即可它！

import os

from scrapy.commands import ScrapyCommand

from scrapy.utils.conf import arglist_to_dict

from scrapy.utils.python import without_none_values

from scrapy.exceptions import UsageError

class Command(ScrapyCommand):

requires_project = True

def syntax(self):

return "[options] "

def short_desc(self):

return "Run all spider"

def add_options(self, parser):

ScrapyCommand.add_options(self, parser)

parser.add_option("-a", dest="spargs", action="append", default=[], metavar="NAME=VALUE",

help="set spider argument (may be repeated)")

parser.add_option("-o", "--output", metavar="FILE",

help="dump scraped items into FILE (use - for stdout)")

parser.add_option("-t", "--output-format", metavar="FORMAT",

help="format to use for dumping items with -o")

def process_options(self, args, opts):

ScrapyCommand.process_options(self, args, opts)

try:

opts.spargs = arglist_to_dict(opts.spargs)

except ValueError:

raise UsageError("Invalid -a value, use -a NAME=VALUE", print_help=False)

if opts.output:

if opts.output == '-':

self.settings.set('FEED_URI', 'stdout:', priority='cmdline')

else:

self.settings.set('FEED_URI', opts.output, priority='cmdline')

feed_exporters = without_none_values(

self.settings.getwithbase('FEED_EXPORTERS'))

valid_output_formats = feed_exporters.keys()

if not opts.output_format:

opts.output_format = os.path.splitext(opts.output)[1].replace(".", "")

if opts.output_format not in valid_output_formats:

raise UsageError("Unrecognized output format '%s', set one"

" using the '-t' switch or as a file extension"

" from the supported list %s" % (opts.output_format,

tuple(valid_output_formats)))

self.settings.set('FEED_FORMAT', opts.output_format, priority='cmdline')

def run(self, args, opts):

#获取爬虫列表

spd_loader_list=self.crawler_process.spider_loader.list()#获取所有的爬虫文件。

print(spd_loader_list)

#遍历各爬虫

for spname in spd_loader_list or args:

self.crawler_process.crawl(spname, **opts.spargs)

print ('此时启动的爬虫为：'+spname)

self.crawler_process.start()

　　湾 您必须在其中添加一个 _init_.py 文件

　　C。还没完，settings.py配置文件还需要加一个。

　　COMMANDS_MODULE ='项目名称。目录名'

COMMANDS_MODULE = 'ds1.commands'

　　d. 最后，开始 crawlall！

　　当然，为了安全起见，可以先在命令行进入项目所在目录，输入scrapy -h查看是否有crawlall命令。如果有，则成功，可以启动

　　我写了一个启动文件放在第一层

　　或者直接在命令控制台cmd中输入scrapy crawlall

　　##注意爬虫好像是同时运行的，运行时间是交叉的？

　　而设置中的文件，仅适用于其中之一？

　　至此，这篇关于python scrapy项目文章下的spider同时运行多个爬虫的文章就到这里了。更多python scrapy项目下蜘蛛同时运行多个爬虫的相关内容，请搜索之前的脚本首页文章或者继续浏览相关文章希望大家多多支持Scripthome在将来！