汇总:Python关键词百度指数采集，抓包Cookie及json数据处理

　　汇总:Python关键词百度指数采集，抓包Cookie及json数据处理

　　百度索引是一个基于百度海量网民行为数据的数据分析平台。它是当前Internet乃至整个数据时代最重要的统计分析平台之一。自发布之日起，它已成为许多公司的营销决策。重要参考。

　　简单的厄运

　　Python关键词百度索引采集，

　　数据包捕获Cookie和json数据处理，

　　需要注意协议头的添加，

　　特别是cookie！

　　一些要点：

　　1.数据包捕获处理

　　2.Cookie用法添加3.json数据处理转换

　　批采集关键词百度索引，必须使用Cookie池！

　　百度帐户Cookie为“ BDUSS = xxx”

　　百度指数是百度大数据的一种统计方法。它以数据的形式显示了百度中关键词的每日搜索量，以便您可以更好地了解每个关键词的搜索量。

　　百度索引有什么用？

　　1：查询关键词受欢迎程度

　　百度索引可以直观地看到每个关键词的受欢迎程度。索引越高，该词的商业价值就越高。

　　2：查询趋势

　　放大索引时间，您会发现关键词的总体趋势是上升还是下降？它可以帮助您判断未来的业务决策。

　　3：查询相关单词

　　点击需求图，查看正在搜索关键词的用户正在查看什么。通过分析，您可以知道每个人都在搜索什么。

　　4：查看人群肖像

　　单击人群肖像，您可以看到正在搜索关键词的人的人群肖像，分为区域，年龄分布和性别分布。

　　协议头捕获：

　　效果：

　　附上完整的源代码参考：

　　#关键词百度指数采集

#20191119 by 微信：huguo00289

# -*- coding: UTF-8 -*-

import requests,json,time

def get_index(keyword,cook):

headers={

'Accept': 'application/json, text/plain, */*',

'Accept-Encoding': 'gzip, deflate',

'Accept-Language': 'zh-CN,zh;q=0.9',

'Connection': 'keep-alive',

'Cookie': cook,

'Host': 'index.baidu.com',

'Referer': 'http://index.baidu.com/v2/main/index.html',

'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',

'X-Requested-With': 'XMLHttpRequest',

}

#keyword="seo"

url=f'http://index.baidu.com/api/SearchApi/index?word={keyword}&area=0&days=30'

response=requests.get(url,headers=headers).text

time.sleep(2)

#req=requests.get(url,headers=headers).json() #转换为json

req=json.loads(response) #转换为json

print(req)

print(req['data']['generalRatio'][0])

for k,v in req['data']['generalRatio'][0].items():

print(k,v)

data=req['data']['generalRatio'][0]

all_avg=data['all']['avg'] #百度指数

pc_avg=data['pc']['avg'] #百度pc端指数

wise_avg=data['wise']['avg'] #百度移动端指数

print(f'百度指数:{all_avg}')

print(f'百度pc端指数:{pc_avg}')

print(f'百度移动端指数:{wise_avg}')

if __name__ == '__main__':

keyword=input('请输入要查询百度指数的关键词：')

cook =input('请添加百度账号的cookies：')

get_index(keyword, cook)

　　请注意，协议标头需要您自己重新添加！

　　百度索引采集需要登录百度帐户！