网站自动采集发布并不在于它支持哪些模块。。

　　网站自动采集发布并不在于它支持哪些模块。。

　　网站自动采集发布并不在于它支持哪些模块。而是它看上去好看，最好有个仿名人的自动化工具。以我个人经验，你要做的是把爬虫的模块写对了，哪个地方有ai抓取，按他的样子写抓取模块就行了。

　　大部分网站对于采集基本上都做过很多限制，比如是否支持ua验证，是否有禁止抓取的内容，验证码、文字验证等等，几乎每个网站都会对爬虫有明确的限制。自动采集的代码自然是受限于限制情况下写出来的，问题多多。按理说ua验证模块是绕不过去的，那么唯一的解决方案就是在采集过程中做ua验证，在这个层面上美工和前端可以最大程度地解放人力，当然也会有工作量的增加。

　　有些网站的ua验证比较复杂，有时候还要需要让非爬虫模块接手验证，这就牵扯到后端怎么实现了。我也有过自动采集需求，后来被很多人吐槽整个项目非常不利于seo,才放弃了。建议可以考虑结合html5的模板，利用第三方的api读取原有页面，处理下就好了。

　　这个靠后端一个人完成的话，工作量和设计难度比较大，没有前端基础的话，做起来更容易出错。不过采集数据用来定期推送数据到前端的话，前端代码是可以规范化的。后端爬取的时候可以适当对页面做一些处理，不同页面用不同的代码，用接口分别自动采集对应的页面数据，根据处理结果进行对比，更好做些；也可以考虑类似spider分页和分段爬取的模式。