文章采集发布(优采云安装发布插件的执行步骤及注意事项!!!)
优采云 发布时间: 2021-09-03 11:22文章采集发布(优采云安装发布插件的执行步骤及注意事项!!!)
优采云采集平台提供将文章等数据从网页采集直接发布到数据库的功能。发布数据库方法非常通用和灵活。它不需要安装发布插件。主要用于用户自主开发的系统的数据访问。因此该功能涉及开发知识,建议开发者自行配置。执行步骤如下:
一、添加发布目标:
进入优采云控制台,从【我的采集tasks】列表中打开一个任务,进入采集任务管理页面,找到【发布目标管理】==》点击【数据库】,然后点击【数据库】发布配置】页面填写数据库的基本信息,然后保存下一步,如下图:
二、数据库字段映射:
正确配置好数据库的基本信息后,进入【添加表字段并用捕获的字段映射】页面,会列出选中的数据库表中的所有字段,用户需要选择映射采集在source 1中抓入参数,或者source 2填写固定值(参数值source 1和source 2,从2中选择1,source 1优先),最后记得保存;
提醒:如果【数据库表字段】的“选择字段”中没有下拉项,请检查第一步中数据库的基本信息配置是否正确完整。
注意:如果数据库字段ID自增,请删除ID映射行,否则发布失败;
三、数据发布:
(类似于发布到wordpress,请参考发布到wordpress)
四、Release FAQ:数据库连接失败,请检查数据库用户访问权限设置,可以使用Navicat软件连接查找问题;如果数据库字段ID自增,请删除ID映射行,否则发布失败如果发布失败,请检查数据库表字段的字符类型,目前仅支持字符串和整数字段的映射发布(例如,如果需要映射一个日期字段,则需要将数据表中对应的字段改为字符串类型);字段长度 请检查数据库字段的长度是否能满足插入的采集内容的长度;如果发布失败,如果发布到阿里云数据库等安全服务器,需要将优采云IP加入白名单;发布失败了 可能是数据库字符集问题。有些特殊字符是4个字节,而mysql的utf8编码最多3个字节,所以无法插入数据。解决方法请参考文章将MySQL数据库编码改为utf8mb4,注意备份;