自动采集网站内容(#全网网址采集器全网可用在哪里运行本采集器可用运行 )

　　自动采集网站内容(#全网网址采集器全网可用在哪里运行本采集器可用运行

)

　　整个网站采集器（蜘蛛网）

　　这是一个由golang编写的网站采集器，可以自动抓取所有可以到达的网站信息。网站采集器会自动分析采集的标题、网站描述、微信、QQ、网站的*敏*感*词*、网站使用的运行环境、ip信息等., 甚至 网站 使用的框架。

　　全新升级，使用sqlite作为数据库，不再需要安装mysql，直接运行可执行文件即可抓取内容。

　　为什么会有这样的全网网站采集器全网网站采集器可以采集什么内容

　　这个采集器可以是采集的内容有：文章标题、文章关键词、文章描述、文章详细内容，文章作者，文章发布时间，文章浏览量。

　　##我可以在哪里运行这个网站采集器我可以在哪里运行这个网站采集器它可以在Windows、Mac、Linux（Centos、Ubuntu等）上运行，你可以下载编译好的程序直接执行，也可以下载源码自己编译。

　　如何安装和使用

　　go env -w GOPROXY=https://goproxy.cn,direct

　　最后执行如下命令

　　go mod tidy

go mod vendor

go build app/main.go

## 跨平台编译Windows版本

CGO_ENABLED=1 CC=x86_64-w64-mingw32-gcc CXX=x86_64-w64-mingw32-g++ GOOS=windows GOARCH=amd64 go build -x -v -ldflags "-s -w" -o cobweb.exe ./app/main.go