文章采集内容(万能文章采集器能采集哪些内容本采集器可用在哪里运行)

　　文章采集内容(万能文章采集器能采集哪些内容本采集器可用在哪里运行)

　　通用文章采集器(采集器)

　　这是一个golang写的采集器，可以自动识别文章列表和文章的内容。使用它采集文章不需要写正则表达式，只需要提供文章列表页的链接即可。

　　为什么会有这么普遍的

　　这个采集器可以是采集的内容有：文章标题、文章关键词、文章描述、文章详情、文章 作者、文章 发布时间、文章 浏览量。

　　我什么时候需要使用 Magnum文章采集器

　　当我们需要给网站采集文章时，这个采集器可以派上用场，这个采集器不需要有人值班，24小时不间断day Run，它会每10分钟自动遍历一次采集列表，抓取收录文章的链接，随时抓取回文，也可以设置自动发布自动发布到指定的文章在表中。

　　Universal文章采集器 在哪里可以运行

　　这个采集器可以在Windows、Mac、Linux（Centos、Ubuntu等）上运行，可以下载编译好的程序直接执行，也可以下载源码自己编译。

　　通用文章采集器是否可用伪原创

　　这个采集器暂时不支持伪原创功能，后续会添加合适的伪原创选项。

　　如何安装和使用

　　go env -w GOPROXY=https://goproxy.cn,direct

　　最后执行以下命令

　　go mod tidy

go mod vendor

go build

# to linux

# CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -o collector

# to windows

# CGO_ENABLED=0 GOOS=windows GOARCH=amd64 go build -o collector.exe

# to mac

# CGO_ENABLED=0 GOOS=darwin GOARCH=amd64 go build -o collector

　　编译结束后，运行编译好的文件，然后双击运行可执行文件。在打开的浏览器的可视化界面中，填写数据库信息，完成初始配置，添加采集源码开始采集之旅。

　　发展计划协助改善

　　欢迎有能力和有贡献精神的个人或团体参与本采集器的开发和完善，共同完善采集的功能。请fork一个分支，然后修改，修改后提交pull request合并请求。