scrapyscrapy-logger实例scrapy的日志信息采集功能
优采云 发布时间: 2021-08-20 04:01scrapyscrapy-logger实例scrapy的日志信息采集功能
文章采集功能由scrapy扩展实现,scrapy扩展只能使用自己的相应接口、spider、scrapy-logger或者其他相关工具。使用的扩展模块是gemfield发布的scrapy-logger模块。关于logger模块的使用,详见scrapyscrapy-logger实例scrapy的日志信息采集原理是基于zip包构建的runjson文件。
logger文件里要有index等子容器作为其路径,路径之间也要有逻辑关系。采集报告主要有两个步骤:logging.set_header('errno','none')selector.process_wait('connecting')。
scrapy2.11已经兼容了errorhandlers了,
作者写文档的时候就是没有考虑中文的感受不给python3本来就有奇怪的中文问题的情况(答案都是中文)2.11之后更是如此,python3直接写报告你不知道会发生什么情况不能够调试现在只能等siglog-num的提交,
scrapy2.11之后已经可以利用zip包将scrapy的pipeline打包为一个runjson文件了,在executors里可以自定义一个logging-pipeline指定其日志的路径,简单方便的不要不要的。
用zip来包模块,