create_mongodb_plugins.jar命令进行一个讨论:实时抓取网页数据
优采云 发布时间: 2022-07-08 10:03create_mongodb_plugins.jar命令进行一个讨论:实时抓取网页数据
实时抓取网页数据,并能利用mongodb数据库存储,展示效果展示首先是person1,抓取了国庆前8天的数据,数据比较丰富,另外也使用了redis、rabbitmq等数据库。但是抓取mongodb数据库时,会在mongodb目录下建立create_mongodb_plugins.jar文件,创建create_mongodb_plugins.jar文件之后,就不再生成mongodb的路径。
原因有可能是对jar文件执行的是动态下载代码,使用jartools等命令下载的。下面我们就create_mongodb_plugins.jar命令进行一个讨论:命令执行方式命令执行方式可以根据后面接一些参数来决定。命令参数我们选择foo与bar这两个数据库。foo数据库为谷歌的数据库,bar数据库为微软数据库。
数据库数据数据类型为时间。数据大小为8m,微软数据库为2m,微软数据库为2.5m。很多数据库都可以下载,一般如果图片、pdf等,在下载之前,会先提醒下载一部分。例如ccf、mit、nips等数据库。选择合适的下载数据库很重要,数据库的选择不能选择太多。否则导致下载速度跟不上。目录结构下面就是解压得到一个目录,根据文件路径得到相应的命令执行目录。
命令执行命令最终会有一个执行目录,命令执行目录里面有一个文件和一个jar。命令执行文件命令执行文件里面有两个文件,解压到同一目录下。jar动态下载得到相应jar目录:jar文件接下来解压命令执行文件,得到的路径jar,及命令执行的动态下载jar目录。下面我们就以案例演示。我们设置了两种解压方式:1、直接解压jar,直接执行person1为例子,得到解压后的文件,如下图所示:2、先将执行命令的目录及文件解压到person1为例子下,再用解压后的文件,也得到该jar目录,如下图所示:目录解压图我们进行上图命令解压person1得到如下目录:w:/persons/123.jarp:/persons/123.jarw:/persons/tar.jarp:/persons/person1/123.jarp:/persons/tar.jarw:/persons/tar.jarp:/persons/person1/123.jarw:/persons/tar.jarp:/persons/person1/123.jare:/persons/tar.jarp:/persons/person1/123.jarp:/persons/person1/123.jarw:/persons/tar.jarp:/persons/person1/123.jarw:/persons/tar.jarp:/persons/person1/123.jare:/persons/tar.jarp:/persons/person1/123.jarp:/persons/person1/123.jarp:/persons/person1/123.jarw:/persons/tar.jarp:/persons/person1/123.jarw:/。