智能采集(优采云采集器支持Webhook功能采集到的数据发布到HTTP地址 )
优采云 发布时间: 2021-10-10 18:32智能采集(优采云采集器支持Webhook功能采集到的数据发布到HTTP地址
)
优采云采集器 支持 Webhook 功能。通过该函数，优采云采集器可以将采集收到的数据发布到一个HTTP地址。
Webhook的设置在启动任务的设置中，如下图：
开启Webhook功能后，采集收到的数据会以JSON格式发送。任务采集结束时，会发送采集结束的事件通知。
HTTP 标头是“Content-Type: application/json; charset=utf-8”。
发送数据示例：
{
"task_id": 3920415, // 采集任务ID，可在“全部任务列表”中查看
"task_name": "采集任务名称", // 采集任务名称
"type": "data", //此次webhook发送的是采集到的数据
"urls": [ //采集任务的入口地址
"http://www.88888.com/list",
"http://www.88888.com/list2"
],
"sign": "**********************", // 签名算法为 md5(webhook_token+timestamp)
"timestamp": 1555326657, // 当前时间戳
"data_list": [ // 采集数据列表
{
"_id": "0000000000001", // 数据ID
"data": {
"title": "风景",
"url": "http://www.*****.com/scenery/"
} // 采集字段内容
},
{
"_id": "0000000000002", // 数据ID
"data": {
"title": "风景2",
"url": "http://www.*****.com/scenery2/"
} // 采集字段内容
}
]
}
发送采集结束通知示例：
{
"task_id": 3920415, // 采集任务ID，可在“全部任务列表”中查看
"task_name": "采集任务名称", // 采集任务名称
"type": "finish", //此次webhook发送的是采集结束的通知
"urls": [ //采集任务的入口地址
"http://www.88888.com/list",
"http://www.88888.com/list2"
],
"sign": "**********************", // 签名算法为 md5(webhook_token+timestamp)
"timestamp": 1555326657 // 当前时间戳
}
