collmz: 该程序使用golang采集各个网站的女孩的照片库和本地相似数据
优采云 发布时间: 2020-08-08 19:06#collmz
简介
COLL-MZ项目主要用于采集煎鸡蛋,苍蝇G,姐妹图片,秀林网站以及本地相似图片和视频等文件,并将其显示在浏览器中.
特别声明
该项目主要是学习golang的个人开发的第一个测试程序. 请不要将此项目用于非法目的.
功能界面预览和浏览界面
采集界面
使用方法
1. 将项目下载到任何本地文件;
2,运行collmz-server-.. exe文件;
3. 通过浏览器访问: 8888可以看到项目,您可以在./config/config.json文件中修改端口.
4. 初始用户名: ,密码: adminadmin
构建代码编译环境的步骤
1. 安装golang语言操作环境并配置环境变量;
2,安装gcc编译环境,并配置环境变量,建议使用mingw,下载链接:
3. 安装golang第三方库:
* goquery
github.com/PuerkitoBio/goquery
* sqlite3
github.com/mattn/go-sqlite3
* session
github.com/gorilla/sessions
4. 将项目代码下载到golang工作目录中的任何目录. 建议使用git clone.
5. 由于它是在win10 x64下开发和编译的,因此只能保证它在此环境中能很好地运行. 请亲自对其他环境进行故障排除.
项目地址
Github:
OSchina:
项目协议
Apache许可
2.0版,2004年1月
常见问题解答
1. 可以直接使用而不部署代码吗?
是,下载整个项目,然后运行exe文件. 项目中的controller文件夹可以自己删除.
2. 编译失败会怎样?
常见错误主要是由sqlite3引起的,因为第三方库是用C实现的,并且需要使用GCC编译器(即mingw),因此,如果安装了错误的版本并且未配置环境变量,则错误将被报告. 64位系统必须使用64位GCC编译.
3. 如何在此结构上构建其他采集器?
控制器下有coll-children -... go文件. 这些文件是相应的采集器代码. 您可以参考这些代码来编写所需的采集项目.
您可以使用构建的相关框架. 首先,在coll.go中注册采集器,以便您可以通过浏览器直接访问采集器;然后您可以创建go文件并自己编写代码,就是这样.
请注意,如果这是一个正在开发的项目,则CollChildren.dev应该尽可能等于true,以便在浏览器中轻松区分.
CollOperate.Auto ...(),这些方法在大多数情况下集成了采集工作,可以极大地方便采集工作.
关于项目逻辑和思维导图
4. 采集速度是多少?
由于sqlite3无法打开多个线程,因此采集器只能对应一个并发操作. 如果发现它在采集过程中反复运行并浏览数据,它将被自动阻止.
每个采集器都有其自己的线程.
5. 为什么不能使用某些采集器?
由于国内局域网的限制,个人采集器需要自行解决问题.
其次,采集的网站很少具有JS动态加载功能和阻止采集工作的各种功能,因此,将来,在个人开发能力提高之后,将可以解决该问题. 这样的采集器会标记为开发人员状态,您可以在采集界面中看到它.
6. 如何修改初始用户名和密码?
当我写这篇文章时,我记得我没有做这个页面,所以请暂时使用sqlite工具打开./content/database/coll-mz.sqlite数据库,并修改用户表里面的数据.