自动采集器怎么用(他家发一个优采云采集器使用动态代理ip的配置方法介绍)
优采云 发布时间: 2022-04-06 15:22自动采集器怎么用(他家发一个优采云采集器使用动态代理ip的配置方法介绍)
使用对应互联网的动态代理ip反响非常好。下面是优采云采集器使用动态代理ip到他家的一个配置方法:
本文档主要介绍v9版本。其他类似,只是修改了调用地址,其他没有变化。
配置方法:
首先先启动采集器,然后双击规则打开规则编辑页面,然后配置列表地址抓包,如图:
图片说明,先点击URL采集规则,然后在地址格式的地址前添加动态代理地址接口(http:************),改成绿色到对方的地址,然后确认,如图。
二、进入修改规则的地方抓取替换内容地址并添加代理接口调用,如图:
图片说明,选择手动设置规则获取,然后在提取规则中获取对方的内容地址,如图,根据你的规则修改设置。
拼接地址:这里是通过上面的抽取规则得到的数据拼接起来的新地址。对方是这里的规则捕获的完整路径,所以我会直接通过上面得到的参数进行拼接。有些地址不是完整的地址。完整的地址通常以 http 或 https 开头。如果没有,添加对方的协议和域名拼接出一个可以直接访问的地址,然后在前面添加代理地址接口。其他设置根据情况设置,一般不需要设置如下,如图。
三、进行列表采集规则测试,如图:
如图所示,获取到的地址如果前面加上proxy ip接口就可以正常使用了。如果没有,那就有问题了。
四、内容测试,如图:
优采云采集规则设置内容采集规则下有个内容地址测试,如图,如果不知道这个地址怎么写,可以直接复制在第三步测试中获得的列表中的任何地址。选择一个复制过来,如图,然后选择Test,如果一切正常,保存退出即可正常使用。
注意,以上方法仅供参考,需要根据自己的实际情况进行修改。如果您在使用过程中有任何疑问或问题,可以联系技术处理。