php抓取网页json数据(之前我写过一遍php外挂python脚本处理视频的文章 )

　　php抓取网页json数据(之前我写过一遍php外挂python脚本处理视频的文章

)

　　之前写过一个php插件python脚本处理视频文章。今天给大家分享php插件python实现关键字搜索的脚本

　　首先，我们来分析一波网站：

　　我们可以看到，普通的爬取网站已经不能满足我们的需求了。此 网站 使用辅助数据采集。我们再来看看头部；

　　可以看到数据是通过ajax获取的。我们把我们得到的链接放到浏览器中直接打开就报错了。有的网站可以通过获取链接直接获取数据，但是很明显，这个接口使用的是post接口请求

　　让我们先提出一个请求：

　　代码开始：

　　# -*- coding: utf-8 -*-

# @Time : 2019/9/4 14:43

# @Author : wujf

# @Email : 1028540310@qq.com

# @File : 爬取ajax数据.py

# @Software: PyCharm

'''

json.loads(json_str) json字符串转换成字典

json.dumps(dict) 字典转换成json字符串

'''

import requests

import json

url = "http://nddb.ic361.cn:8080/proc/getrows/dp_cloudprice_gets"

seach = input("请输入您要搜索的内容：")

list = ['507786','14922','-1']

list.append(seach)

d = {

'token':'A0E5CD90-ECE4-440C-8B39-084C0FE61E69',

'uid':'507786',

'mycoid':'14922',

'con':'15',

'a':list

}

　　确实有足够的数据。

　　接下来很容易做到：

　　上面的代码---------

　　import requests

import json

import sys

url = "http://nddb.ic361.cn:8080/proc/getrows/dp_cloudprice_gets"

seach = sys.argv[1]

#seach1 = sys.argv[2]

#item = seach+'-'+seach1

# with open(r'D:\\phpStudy_server\\PHPTutorial\\WWW\\demo\\log.txt','a') as f:

# try:

# f.write(seach)

# except Exception as e:

# print(e)

# seach = input("请输入您要搜索的内容：")

list = ['507786','14922','-1']

list.append(seach)

d = {

'token':'A0E5CD90-ECE4-440C-8B39-084C0FE61E69',

'uid':'507786',

'mycoid':'14922',

'con':'15',

'a':list

}

r = requests.post(url,data=d)

dic = r.json()

print(json.dumps(dic))

　　那我们看看打印结果：