自动采集网站内容(#全网网址采集器全网可用在哪里运行本采集器可用运行 )

　　自动采集网站内容(#全网网址采集器全网可用在哪里运行本采集器可用运行

)

　　整个网站采集器(cobweb)

　　这是一个golang写的网站采集器，可以自动抓取所有可以到达的网站信息。 URL采集器会自动采集并分析网站的标题、站点描述、微信、QQ、*敏*感*词*、网站使用的运行环境、ip信息等，甚至分析使用的框架网站。

　　全新升级，使用sqlite作为数据库，不再需要安装mysql，直接运行可执行文件即可抓取内容。

　　为什么全网URL采集器全网URL采集器能采集什么内容

　　这个采集器can采集的内容是：文章title、文章关键词、文章description、文章detailed content、文章author、文章release time、 文章views。

　　##全网网站采集器可以运行的地方采集器可以运行在Windows系统、Mac系统、Linux系统（Centos、Ubuntu等），可以下载编译好的程序直接执行，或者你可以下载源代码自己编译。

　　如何安装和使用

　　go env -w GOPROXY=https://goproxy.cn,direct

　　最后执行如下命令

　　go mod tidy

go mod vendor

go build app/main.go

## 跨平台编译Windows版本

CGO_ENABLED=1 CC=x86_64-w64-mingw32-gcc CXX=x86_64-w64-mingw32-g++ GOOS=windows GOARCH=amd64 go build -x -v -ldflags "-s -w" -o cobweb.exe ./app/main.go