自动采集网站内容(#全网网址采集器全网可用在哪里运行本采集器可用运行 )
优采云 发布时间: 2021-09-03 23:04自动采集网站内容(#全网网址采集器全网可用在哪里运行本采集器可用运行
)
整个网站采集器(cobweb)
这是一个golang写的网站采集器,可以自动抓取所有可以到达的网站信息。 URL采集器会自动采集并分析网站的标题、站点描述、微信、QQ、*敏*感*词*、网站使用的运行环境、ip信息等,甚至分析使用的框架网站。
全新升级,使用sqlite作为数据库,不再需要安装mysql,直接运行可执行文件即可抓取内容。
为什么全网URL采集器全网URL采集器能采集什么内容
这个采集器can采集的内容是:文章title、文章关键词、文章description、文章detailed content、文章author、文章release time、 文章views。
##全网网站采集器可以运行的地方采集器可以运行在Windows系统、Mac系统、Linux系统(Centos、Ubuntu等),可以下载编译好的程序直接执行,或者你可以下载源代码自己编译。
如何安装和使用
go env -w GOPROXY=https://goproxy.cn,direct
最后执行如下命令
go mod tidy
go mod vendor
go build app/main.go
## 跨平台编译Windows版本
CGO_ENABLED=1 CC=x86_64-w64-mingw32-gcc CXX=x86_64-w64-mingw32-g++ GOOS=windows GOARCH=amd64 go build -x -v -ldflags "-s -w" -o cobweb.exe ./app/main.go