网页视频抓取工具知乎答案爬取对scrapy来说(图)

　　网页视频抓取工具知乎答案爬取对scrapy来说(图)

　　网页视频抓取工具知乎答案爬取seebug有通用版github：github-elvin-wang/seebug:seebug视频爬取

　　对scrapy来说，比较知名的工具有seebug、seebug2、seebugdb+、seebuggrowth、seebugvd。seebug2是面向抓取分布式系统后端的，同时支持scrapy1.3和scrapy-redis0.11。seebuggrowth、seebugvd是对高速云端搜索集群的支持。

　　seebug和seebug2

　　推荐seebug

　　用过一段时间seebug，不是很推荐。

　　seebug

　　推荐一下seebug，

　　tellcrawlerspythonapi

　　seebug，目前只有一个人维护，花了不少时间，

　　seebug，最新版0.9.0版本已经支持scrapy1.11，可以做到高速，高并发抓取。除此之外还支持scrapy和scrapy-redis，可以快速抓取大量时长，大小在几百m以内的高速网站信息。基于scrapy框架。

　　以前曾经通过seebug写过程序，可惜后来弃之，两年后的今天反省，觉得不懂学习一下对工作来说会是一个非常大的损失。seebug,seebug2python框架只是提供了图片预处理，图片提取，url解析等基本的scrapy程序开发语言的基本功能，用java写，完全可以写出网站，定制化很强。这个团队后期好像基本放弃scrapy。国内有需要scrapy的，直接找他们就可以了。