电商网站采集器的自动识别算法应该是跟后台的

　　电商网站采集器的自动识别算法应该是跟后台的

　　采集器的自动识别算法应该是跟后台的每个电商网站的数据处理和渲染自动化集成相关的。一个支持大量电商网站数据采集的自动化采集器的程序算法确实是必须的，同时跟采集频率也是相关的。个人猜测，如果从无到有自己开发算法，肯定是自带特征码识别程序。这个算法完全可以跟自动化集成的网站生成代码配合，甚至可以用ai技术让算法自动识别软件报文中的数据，只需要写api文档配置软件即可实现，成本不高。这是我的猜测。

　　由于站点数量很多，查询效率不一样，成本不同，每个网站都不一样，建议用短文件匹配，没有采集箱干预，效率最高。或者你可以采用查询代理。

　　先谢邀。我只对软件开发感兴趣，对采集器的算法了解有限。采集器一般要实现很多网站，不同网站之间比较难以兼容，所以算法研发会有一些挑战。每个网站的频率不一，数据量不一，对算法要求就不一样。建议先做完整的数据查询，数据库结构完善之后再考虑采集器，否则前期算法的研发工作就会很难跟踪、跟踪性能和效率。欢迎关注我的专栏，一起学习、交流采集数据的心得。

　　去做页面级采集软件，根据具体技术方案和实际需求进行查询识别，这样成本最低。

　　我理解是频率，频率低，大量重复数据，可以用数据库转发处理，包括客户端读取，数据库打断点，