采集器采集(优采云采集器V9如何使用Json工具来采集数据(图))
优采云 发布时间: 2021-10-04 16:00采集器采集(优采云采集器V9如何使用Json工具来采集数据(图))
很多网站数据结构使用Json格式,所以遇到这种格式的数据,很难用正常的采集规则来完善采集,所以优采云采集器V9 还提供了 Json采集 的功能。今天给大家介绍一下Json功能以及如何使用Json工具采集数据。
这里主要介绍Json,于是找了个Json格式的网页。只介绍了Json格式采集的功能,其他的就省略了,所以我也直接用Json格式数据的URL作为内容页。请参阅下文。详细解释。
我们要采集的数据在网页上是这样显示的,如下图:
我们想要采集表中的数据,发现网页源代码中并没有这样的数据,通过抓包获取数据URL:(这里说的是Json,不过我不会说如何获得。)
打开网站,我们发现数据是这样的,如下图:
通过上图,老司机可能觉得这也可以通过正常规则采集,没错,上面的部分内容确实可以通过正常规则采集,但是请注意保证描述,保证金额等。没有办法正常采集。其实懂的人一眼就能看出这是一个Json格式的数据。如果人们不理解,他们应该怎么做?没关系,如果遇到类似格式的数据,我们先假设是Json,然后使用优采云采集器的Json工具看看数据是否可以读取。下面介绍如何使用优采云采集器使用Json工具采集。
先看上图,在这里的内容标签采集设置中,我们选择JSON提取,可以看到JSON工具,我们点击,出现下图:
参考上图,点击选择按钮,然后选择URL地址(这里只介绍了URL类型),然后输入我们上面的URL,点击确定,如果出现下图,这样的目录结构,那么就可以了必须是 Json 格式
继续,默认都是关闭的,我们需要点一下,然后一一点一下,才找到你想要的数据,数据一般在data里面,如上图,desc里面的文字信息是什么我们要的数据一共有16条,每一条都是必填的。上图右下角提示按Ctrl选择多个节点获取多个数据。这里告诉大家,不管有多少,如果要获取多个数据,不需要每个都点击两个,直接点击两个,就可以看到JSON表达式中最后一个[]中的值上图变为*,表示多条数据为采集。就是这样,我们可以保存,等等,设置其他标签,就这么简单,使用JSON工具点击选择即可。
经过测试,完美的采集已经到来。顺便说一句,如果有多条数据,则需要设置一个循环。赶紧试试Json工具