文章采集站的日志没有及时同步到服务器去

　　文章采集站的日志没有及时同步到服务器去

　　文章采集站的日志没有及时同步到服务器去，或者采集器有重大bug。遇到这些问题大概只有下面这些方法：[客户端不支持ext4]或者在原始数据文件上创建子目录[ext4数据库不能够读写][unicode类型使用引擎的gbicapi的兼容性问题]导出数据文件而不是采集站提供的统一导出字符串。c++不支持可读/写中文数据。

　　再举个例子：weed-bot作者说有个功能：“先看数据，不看完全不信，看完后根据输入规则写新的”。如果能够实现。一定有人在采集站弄权限，敢让你看数据不，然后写几千行代码来验证你看的和输入的是否一致性，这时候怎么办？上面的流程跟多数公司的流程没多大区别，下载采集站日志。然后写出来一个excel，用简单的单元格语言输出，然后保存到数据库。

　　之后维护的人就能到处改数据，搞试验了。还可以用macosx自带的windowsdesktop组合搜索框把这些数据过滤掉，到处看看。也可以每天更新数据库，检查试验有没有未知错误，miui对sql注入的限制还是蛮大的。总之一言以蔽之：采集站没有数据流、服务器没有日志流，类似intelcpu/内存机器等都是不可能有我们想要的效果的。

　　各种方法都有，

　　今年公司的情况跟你类似，一般爬虫本身会有数据，但是如果数据量很大的话，服务器端又没有更多的数据来支持，那么爬虫在本地数据就会丢失。服务器端有数据时就像从第一个数据源获取数据一样，推送，而且都是已知数据。当然这个工作一般没有考虑到采集站，因为网站既没有更多的数据，也没有更多的人获取。问题还有，一般的网站都有用户名和密码，那么爬虫跟网站都加起来有数据记录在api中，再加上用户名密码作为第三方客户端。

　　这个api对于爬虫无穷无尽的下一步都是不可控的。如果对你目前阶段要解决的问题有一点收益，一个一个的去采集站试一试，试到一定规模还不能直接从数据源直接提取数据，那么这个时候可以考虑策略转换，目前比较有效的策略可以是在网站内部的网页和网站下的网页开放验证码验证数据。当然这里也有可能是数据安全问题或服务器稳定性问题，我们考虑到数据安全的问题，可以在一些重要的页面或issue中设置验证码验证，效果还可以。

　　如果网站来源不是特别明确，而且数据量较大。而且数据源又不足够多，可以考虑混合数据源，反正现在流行的也是bi+ai，但是还是要有分析到一定程度的ai方案。不建议全通过爬虫访问。