解决方案:Smartbi:统一Excel模板化配置，让批量数据采集补录简单又高效！
优采云 发布时间: 2022-12-10 02:55解决方案:Smartbi:统一Excel模板化配置，让批量数据采集补录简单又高效！
企业的数据来源多种多样，其中一些数据需要一线员工实时采集存储在Excel文件中，再由技术人员批量上传至业务数据库，以供后续数据分析。
例如，某一线销售人员不定期采集记录客户的公司名称、客户代码、地区、内部交易等客户基本信息数据，然后依靠IT人员进行补充记录并上传至业务数据库。这些采集补录补录的要求并不复杂，但在实际操作中，可能会遇到补录不及时、数据不完整等问题，给相关数据采集人员带来困扰，技术人员和数据分析师。
针对以上问题，Smartbi提供了批量数据采集功能——Excel模板导入来帮你解决！数据采集补录器通过统一的模板配置，可以一键批量导入Excel文件中的数据，补录到数据库中。既减轻了开发人员的工作量，又满足了业务人员的数据采集需求，让Excel数据批量导入变得简单高效。
我们来看看这个功能是如何满足用户需求的：
1.模板化配置
Excel模板导入支持统一模板配置。技术人员首先通过可视化操作实现Excel模板与数据库表的映射关系，支持绑定列、校验规则设置、数据插入更新选择等，并上传采集补充数据录入的Excel模板文件，方便业务人员下载填写数据。
2.支持绑定表单
Excel 导入模板支持绑定到电子表格。通过绑定表单，可以导入报表数据，可以导入固定值、系统值、参数值等，还可以实现数据的动态更新和导入。
例如，用户希望下载的补充条目模板中已经收录了一些数据（如公司代码、公司名称、客户代码、业务分类等），而这部分现有数据可能会动态变化。如果切换不同的业务分类参数，下载的数据是不同的。实际上，用户只需根据已有数据在“线型”和“是否交易”字段填写数据即可。
这时候我们可以在配置模板的时候选择创建电子表格为Excel模板，这样在下载模板的时候，我们可以选择报表的参数，下载不同的数据模板。
3、统一管理
管理员统一配置和管理Excel模板。通过资源授权，可以将导入模板授权给相关用户。只有获得授权的用户才能进行导入操作，方便填写用户的导入。
4.一键导入
技术人员配置模板并授权灌装人员后，灌装人员可以下载模板和采集数据。当数据采集完成后，他们可以一键上传完成补数据记录操作，非常方便简单。
导入成功或失败会有明确的提示。如果用户导入失败，可以下载异常数据查看导入失败的具体数据和原因。
5.扩展性好
Smartbi的Excel模板导入功能支持扩展接口，可以帮助用户通过Java类实现自定义数据处理需求或规则校验需求。
在实际的录后操作中，客户也可能有自定义的数据处理或规则校验需求，比如判断两个指标的值是否相等。如果指标不相等，则验证失败。这时，如果有相关的提示信息，这个需求可以通过自定义规则校验类来实现。
教程:优采云采集器软件特色
优采云采集器是抓取网络资讯的必备工具，简单的一系列操作，针对传统的数据手机，帮助用户提供各种新闻频道，快速抓取数据整理，自动数据采集为很多用户节省了大量的搜索时间，进一步提高了工作效率。
优采云采集器软件功能
满足各种业务场景
适合产品、运营、销售、数据分析、政府机构、电商从业者、学术研究等职业
舆情监测
全面监测公共信息，提前掌握舆情动向
市场分析
获取真实的用户行为数据，充分把握客户的真实需求
产品开发
强大的用户调研支持，准确获取用户反馈和偏好
风险预测
高效信息采集和数据清洗，及时应对系统风险
优采云采集器使用提示
1、首先我们新建一个任务-->进入流程设计页面-->在流程中添加一个循环步骤-->选择循环步骤-->勾选软件右侧的URL列表复选框--> 打开 URL 列表文本框 --> 将准备好的 URL 列表填入文本框
2、接下来将打开网页的步骤拖入循环-->选中打开网页的步骤-->选择使用当前循环中的URL作为导航地址-->点击保存。系统会在界面下方的浏览器中打开循环选择的URL对应的网页
3、至此，循环打开网页的流程就配置好了。运行进程时，系统会把循环中设置的url一个一个打开。最后，我们不需要配置一个采集data步骤，这里就不多说了。从入门到精通可以参考系列一：采集单网页文章。下图是最终和过程
4、以下是流程最终运行结果
优采云采集器更新日志
修复step retry本地不生效的问题采集
修复部分网址采集失败的问题（如Booking）
修复使用模板时版本限制错误的问题
修复修改任务名称时不弹出同名提示的问题
修复了本地 采集 完成后的 采集 状态错误
修复设置去重字段时去重状态显示不正确的问题
