抓取网页视频工具(利用scrapy爬取豆瓣top2500电影top250的影评)

　　抓取网页视频工具(利用scrapy爬取豆瓣top2500电影top250的影评)

　　抓取网页视频工具

　　1、环境配置：mongodb：mongodb数据库版本:redis:redis数据库版本:

　　2、爬虫框架：gitlab爬虫框架

　　3、数据库：oracle，mysql、sqlserver，

　　4、录屏工具：win+键盘ctrl+f5，利用动态截图软件screenplayer或者其他录屏工具录制，回头整理输入，

　　一些比较知名的非爬虫工具可以参考一下zoohexe

　　看我这个测试视频《利用scrapy爬取豆瓣top2500电影top250的影评》，讲解的蛮详细的。

　　这个真的不好做一般情况下就是要对照网站规则编写爬虫代码然后再用scrapy作为分发平台还有比较有用的一个工具是scrapy分发机制的扩展包可以爬取一些好友热门的网站这种就完全利用爬虫来完成。

　　1。如果大数据量的话，一般分布式方案就很难满足了，要考虑网站的可扩展性；2。爬虫是必然要配合分布式机器来做，要考虑和其他机器的集群；3。数据量大到一定程度，可以考虑二叉树之类的方案来防止内存爆满，数据库机器要容易安装，有单机存储能力等等；4。最优化利用网络爬虫和多线程，确保资源的高效利用；5。scrapy的分发机制，可以在网站上放入你自己的数据，放些自己想要的网站的链接，慢慢分享来增加数据库的访问速度。