php抓取网页json数据(之前我写过一遍php外挂python脚本处理视频的文章 )

　　php抓取网页json数据(之前我写过一遍php外挂python脚本处理视频的文章

)

　　之前我写了一个php插件python脚本来处理视频文章。今天给大家分享一下php插件python实现关键字搜索的脚本。

　　先来分析一波网站：

　　我们可以看到，普通的爬取网站已经不能满足我们的需求了。这个 网站 使用了第二次数据采集。再来看看头部；

　　可以看到数据是通过ajax获取的。我们把拿到的链接放到浏览器中直接打开，报错了。有些网站可以通过获取链接直接获取数据，但是很明显，这个接口使用的是post接口请求

　　让我们先请求一个 wave：

　　代码开始：

　　# -*- coding: utf-8 -*-

# @Time : 2019/9/4 14:43

# @Author : wujf

# @Email : 1028540310@qq.com

# @File : 爬取ajax数据.py

# @Software: PyCharm

'''

json.loads(json_str) json字符串转换成字典

json.dumps(dict) 字典转换成json字符串

'''

import requests

import json

url = "http://nddb.ic361.cn:8080/proc/getrows/dp_cloudprice_gets"

seach = input("请输入您要搜索的内容：")

list = ['507786','14922','-1']

list.append(seach)

d = {

'token':'A0E5CD90-ECE4-440C-8B39-084C0FE61E69',

'uid':'507786',

'mycoid':'14922',

'con':'15',

'a':list

}

　　果然可以得到数据。

　　然后就很简单了：

　　关于代码--------

　　import requests

import json

import sys

url = "http://nddb.ic361.cn:8080/proc/getrows/dp_cloudprice_gets"

seach = sys.argv[1]

#seach1 = sys.argv[2]

#item = seach+'-'+seach1

# with open(r'D:\\phpStudy_server\\PHPTutorial\\WWW\\demo\\log.txt','a') as f:

# try:

# f.write(seach)

# except Exception as e:

# print(e)

# seach = input("请输入您要搜索的内容：")

list = ['507786','14922','-1']

list.append(seach)

d = {

'token':'A0E5CD90-ECE4-440C-8B39-084C0FE61E69',

'uid':'507786',

'mycoid':'14922',

'con':'15',

'a':list

}

r = requests.post(url,data=d)

dic = r.json()

print(json.dumps(dic))

　　接下来我们看一下打印结果：