自动采集网站内容(#全网网址采集器全网可用在哪里运行本采集器可用运行 )

优采云 发布时间: 2021-09-03 23:04

  自动采集网站内容(#全网网址采集器全网可用在哪里运行本采集器可用运行

)

  整个网站采集器(cobweb)

  这是一个golang写的网站采集器,可以自动抓取所有可以到达的网站信息。 URL采集器会自动采集并分析网站的标题、站点描述、微信、QQ、*敏*感*词*、网站使用的运行环境、ip信息等,甚至分析使用的框架网站。

  全新升级,使用sqlite作为数据库,不再需要安装mysql,直接运行可执行文件即可抓取内容。

  为什么全网URL采集器全网URL采集器能采集什么内容

  这个采集器can采集的内容是:文章title、文章关键词、文章description、文章detailed content、文章author、文章release time、 文章views。

  ##全网网站采集器可以运行的地方采集器可以运行在Windows系统、Mac系统、Linux系统(Centos、Ubuntu等),可以下载编译好的程序直接执行,或者你可以下载源代码自己编译。

  如何安装和使用

  go env -w GOPROXY=https://goproxy.cn,direct

  最后执行如下命令

  go mod tidy

go mod vendor

go build app/main.go

## 跨平台编译Windows版本

CGO_ENABLED=1 CC=x86_64-w64-mingw32-gcc CXX=x86_64-w64-mingw32-g++ GOOS=windows GOARCH=amd64 go build -x -v -ldflags "-s -w" -o cobweb.exe ./app/main.go

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线