chrome抓取网页插件(如何写golang的httpsender抓取网页插件(博客客户端或阅读器))
优采云 发布时间: 2021-12-14 22:00chrome抓取网页插件(如何写golang的httpsender抓取网页插件(博客客户端或阅读器))
chrome抓取网页插件我玩了很久,但是用我以前的方法完全取不出数据但是我又迫切需要用到网页里面的数据,于是想到用sqlite结合googledrive做引擎,实现一个httpsender(类似于浏览器扩展版的mailgun),然后把里面的数据发给target(博客客户端或阅读器)就行了,具体方法,大概是这样的,开powershell,command+g,然后sqliteinstance,然后搜索栏里输入targeturl(具体地址是不是必须写客户端使用的url,请自行搜索)打开浏览器,右键点击url,显示包含搜索信息的txt字符串,点击输入框,具体操作参见:sendtousersmethod和另外两个方法一样,读取文件后直接拷贝就行了.好了,那么现在能够得到一些基本信息:1.博客客户端或阅读器对应的数据库里面,记录了网站的ip,flag,timestamp等等,是一个二进制的url值2.文件中预存了上篇文章创建时间,wordpress->settings->data->cache,搜索url字符串,可以找到last_name3.以下是ourfinaltest链接。
4.那么只要按照我上面说的方法,写个httpsender给客户端,他就能把这个url发给你想要的地址。下面我说几个方法,先给结论:直接导出,去除客户端ip和flag,然后ftprsync到服务器;用已经写好的数据去除客户端flag,去除掉我们需要的url,最后用senderrsync到服务器;用ftp或者rsync工具,把我们要传的url在本地写成blob,然后拿到服务器后端,url还是blob,把blob转化成get请求,返回return,拿回来的值后面加参数加入上篇文章创建时间,这个比较好实现。
具体如何写golang的httpsender,可以参考我博客地址:api更多后端技术相关技术学习,请关注微信公众号:博客精选。