自动采集编写(先上一个图片看看我们要达到的实际效果。。(图))
优采云 发布时间: 2021-09-04 13:08自动采集编写(先上一个图片看看我们要达到的实际效果。。(图))
看文章之前先来个图看看我们想要达到的实际效果。
这样的效果是怎么实现的呢,可能对于一般的技术思维,觉得其实就是一个自动脚本的效果,但这是错误的,首先,以头条字节跳动公司的技术水平不可能没有对这方面进行防范,其次本地图片的上传不是简单脚本可以实现了,所以下面进行技术分析。
1、图片捕捉
您需要捕获目标图像并将其保存在本地,以防您在发布时选择本地上传。这里的主要方法是构建一个本地爬取服务应用,从网页向服务应用发送爬取请求。并按照指定路径保存图片。
2、文字内容发布
这个可以直接使用前端脚本实现抓取到输入的过程,并且对于这个可以使用的方法很多,例如chrome插件、植入js脚本等。
3、本地图片上传
这是整个技术的核心部分。应该和第一步有关,所以图片的抓取和上传应该是一个过程。可以这样实现:本地服务实现图片抓取,模拟图片上传的全过程。图片抓取其实就是通过URL请求将图片保存到本地,并将保存地址返回给浏览器前端。前端拿到图片保存地址后,调用上传流程,但是浏览器没有权限控制上传文件的流程,所以这就需要一个可以实现图片上传的功能。这个功能怎么实现?我目前的想法是调用系统内核接口,开发一个客户端服务端程序来实现。
4、last