抓取动态网页时需要全局变量,使用json能较为简单

优采云 发布时间: 2022-07-12 05:01

  抓取动态网页时需要全局变量,使用json能较为简单

  抓取动态网页时需要全局变量,处理动态数据比较繁琐。如果仅仅需要获取每个栏目下的名称,列表等信息,使用json能较为简单。本教程对初学者比较友好,操作步骤简单,让你的chrome浏览器随时处理动态数据。chrome浏览器首先我们需要下载这个jsonx扩展程序,github地址是:。下载了扩展程序后,我们需要先手动安装,安装过程比较繁琐。

  如果是对json有较为熟悉的同学,可以直接使用“分析json数据”命令。例如我已经自行完成了登录和网页的编码修改,需要编码修改命令即可。注意必须要将你电脑上的json解析库安装至系统环境中,例如在linux下只能手动编译安装,linux可以google上查找最新的版本。regedit打开chrome浏览器,通过打开开发者工具。

  

  在f12键中的“开发者工具”选项卡中,选择“network”选项卡。如果你觉得找不到你需要的json,是因为你选择的浏览器中不支持json解析库,我们可以通过手动设置的方式来解决。我是这样设置的,打开开发者工具后,选择菜单栏的“tools”-->“jsonapi”,切换到“addtolibrary”选项卡。

  我们的jsonx扩展程序路径如下:f:\jsonx\。鼠标右键属性,将version属性选中f12,即可看到更多信息。本教程选择默认值即可。如果你选择不正确也可以手动修改。设置完成后点击“打开”即可进入修改过程。修改后的结果如下:网页列表-查看json数据列表列表数据每一个栏目所有的数据如果列表数据还不能完整显示,请右键列表属性->headertext属性设置你想显示的内容。

  

  比如我只是把列表名称改成中文,并没有添加对应的表头。下面我们要把列表数据修改为内容可显示,把原本的中文改成英文。修改json数据需要把json数据移到“#jsonx”属性中,并设置数据的json格式。代码如下:chrome浏览器点击浏览器右上角的“刷新”按钮,我们需要重新来分析content-type变量。

  首先我们还是点击浏览器右上角的“刷新”按钮,进入浏览器的刷新页面动作。然后我们就可以来看json变量的格式是怎样的。json变量可理解为javascript对象,jsondata里包含了变量的值,而json变量是字符串。chrome浏览器的数字类型通常不是以十六进制显示,而是以特殊的写法进行类型转换。

  其对象的json格式如下:${fields.value}值必须是一个数字,且必须用formdata标签在外面包裹。注意:对同一个属性只能有一个fields属性,属性对象是原始的对象,但方法fields属性中必须有一个value属性。验证方法:bash(jsonx.json)>${fields.value}关于变量的顺序,如下:数字从小到大,

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线