collmz: 该程序使用golang采集各个网站的女孩的照片库和本地相似数据

优采云 发布时间: 2020-08-08 19:06

  #collmz

  简介

  COLL-MZ项目主要用于采集煎鸡蛋,苍蝇G,姐妹图片,秀林网站以及本地相似图片和视频等文件,并将其显示在浏览器中.

  特别声明

  该项目主要是学习golang的个人开发的第一个测试程序. 请不要将此项目用于非法目的.

  功能界面预览和浏览界面

  

  采集界面

  

  使用方法

  1. 将项目下载到任何本地文件;

  2,运行collmz-server-.. exe文件;

  3. 通过浏览器访问: 8888可以看到项目,您可以在./config/config.json文件中修改端口.

  4. 初始用户名: ,密码: adminadmin

  构建代码编译环境的步骤

  1. 安装golang语言操作环境并配置环境变量;

  2,安装gcc编译环境,并配置环境变量,建议使用mingw,下载链接:

  3. 安装golang第三方库:

  * goquery

github.com/PuerkitoBio/goquery

* sqlite3

github.com/mattn/go-sqlite3

* session

github.com/gorilla/sessions

  4. 将项目代码下载到golang工作目录中的任何目录. 建议使用git clone.

  5. 由于它是在win10 x64下开发和编译的,因此只能保证它在此环境中能很好地运行. 请亲自对其他环境进行故障排除.

  项目地址

  Github:

  OSchina:

  项目协议

  Apache许可

  2.0版,2004年1月

  常见问题解答

  1. 可以直接使用而不部署代码吗?

  是,下载整个项目,然后运行exe文件. 项目中的controller文件夹可以自己删除.

  2. 编译失败会怎样?

  常见错误主要是由sqlite3引起的,因为第三方库是用C实现的,并且需要使用GCC编译器(即mingw),因此,如果安装了错误的版本并且未配置环境变量,则错误将被报告. 64位系统必须使用64位GCC编译.

  3. 如何在此结构上构建其他采集器

  控制器下有coll-children -... go文件. 这些文件是相应的采集器代码. 您可以参考这些代码来编写所需的采集项目.

  您可以使用构建的相关框架. 首先,在coll.go中注册采集器,以便您可以通过浏览器直接访问采集器;然后您可以创建go文件并自己编写代码,就是这样.

  请注意,如果这是一个正在开发的项目,则CollChildren.dev应该尽可能等于true,以便在浏览器中轻松区分.

  CollOperate.Auto ...(),这些方法在大多数情况下集成了采集工作,可以极大地方便采集工作.

  关于项目逻辑和思维导图

  

  4. 采集速度是多少?

  由于sqlite3无法打开多个线程,因此采集器只能对应一个并发操作. 如果发现它在采集过程中反复运行并浏览数据,它将被自动阻止.

  每个采集器都有其自己的线程.

  5. 为什么不能使用某些采集器?

  由于国内局域网的限制,个人采集器需要自行解决问题.

  其次,采集的网站很少具有JS动态加载功能和阻止采集工作的各种功能,因此,将来,在个人开发能力提高之后,将可以解决该问题. 这样的采集器会标记为开发人员状态,您可以在采集界面中看到它.

  6. 如何修改初始用户名和密码?

  当我写这篇文章时,我记得我没有做这个页面,所以请暂时使用sqlite工具打开./content/database/coll-mz.sqlite数据库,并修改用户表里面的数据.

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线