网页抓取解密(前几天学习Python模拟登录知乎实例-几天加密处理方法)
优采云 发布时间: 2021-12-09 15:02网页抓取解密(前几天学习Python模拟登录知乎实例-几天加密处理方法)
前几天学的Python模拟登录知乎例子，涉及到fromdata的加密处理。在学习的过程中发现使用chrome devtool调试分析网页还有很多技巧需要学习，于是自己找了个简单的例子来学习js加密。
一、示例网站
本例中的网站是中国空气质量分析平台。学习使用chome浏览器的devtool工具对数据进行加密。
二、分析页面逻辑
1.抓包分析
用chrome打开网页，然后按F12打开开发者工具devtool，点击切换到“网络”选项卡。为方便查看，先清空之前的请求流程，然后在网页切换城市即可看到新的xhr请求。
可以看到模拟登录POST的链接。我们的最终目标是构建 POST 请求所需的标头和表单数据。
继续查看请求头信息。对比不同城市的查询结果，发现Headers并没有什么独特的特征，所以我们只保留了一部分必要的信息。
接下来，我们需要考虑如何构造表单数据。
2.调试分析
考虑到在页面上点击查询按钮时会发生网络请求，按钮肯定会有相应的时间来处理。
在html文件中找到查询按钮的位置，然后我们定位到对应的js事件。
找到事件方法后，我们继续分析。
我们尝试进入 getAQIData() 方法。
首页查询条件栏中的数据是在这里找到的，所以我们分析getServerData方法，在当前页面没有搜索到这个方法的详细内容，所以进行全局搜索（ctrl+shift +F 搜索）。
点击跳转到js页面，搜索getServerData方法，发现没有找到。网上查询发现网站给迷惑了，这个方法放在jqury-1.8.0.min.js?v=1.2文件中，并且混淆后，可以使用在线工具进行去混淆，例如：。
使用开发者工具破解调试，进入getServerData方法。
最后，我们看到了Form Data，可以看到内容是通过getParm()方法返回的。
3.密码分析
知道位置后，我们可以直接把这个加密的js方法扣出来，在一个html文件中执行。
var getParam = (function () {
function ObjectSort(obj) {
var newObject = {};
Object.keys(obj).sort().map(function (key) {
newObject[key] = obj[key]
});
return newObject
}
return function (method, obj) {
var appId = '1a45f75b824b2dc628d5955356b5ef18';
var clienttype = 'WEB';
var timestamp = new Date().getTime();
var param = {
appId: appId,
method: method,
timestamp: timestamp,
clienttype: clienttype,
object: obj,
secret: hex_md5(appId + method + timestamp + clienttype + JSON.stringify(ObjectSort(obj)))
};
param = BASE64.encrypt(JSON.stringify(param));
return AES.encrypt(param, aes_client_key, aes_client_iv)
}
})();
将本方法中涉及的js方法一起提取出来，jqury中需要的除外-1.8.0.min.js?v=1.2文件中除了方法之外，我们还需要提取city_detail.html中的getAQIData方法，把所有的JavaScript放到一个html文件中，放到script标签中。
记得把查询条件数据放入方法中。
在js中执行document.write(getAQIData())，页面输出正确。
三、Python 实现加密
要使用python的execjs执行JavaScript代码，除了安装execjs包，还需要安装node环境。具体安装请参考在线教程。
def encrypt(self, form_data):
'''
对查询条件栏的数据，进行加密
:param form_data: 查询条件栏的数据，包括城市名称，开始结束时间等
:return:加密后的字符串
'''
with open('encrypt.js',encoding='utf-8') as f:
js = execjs.compile(f.read())
return js.call('getAQIData',form_data)
测试过程中，如果遇到execjs._exceptions.ProgramError: ReferenceError: localStorage is not defined错误，localStorage是浏览器端数据存储方式之一，注释掉js中的相关代码，继续测试。
//加密
function getServerData(method, object, callback, period) {
const key = hex_md5(method + JSON.stringify(object));
// const data = getDataFromLocalStorage(key, period);
// if (!data) {
var param = getParam(method, object);
return param
// } else {
// callback(data)
// }
}
成功输出结果。
四、Python 抓取网页
得到加密后的字符串后，需要通过POST请求将内容提交给服务器。但是在实施过程中发现返回的内容与前台返回的内容不一致。经过一些查询，
发现得到的加密字符串的内容只与“view decoded”的显示内容一致。我们尝试在发出 POST 请求之前对数据进行 URL 编码。最终成功获取返回值。
接下来我们对返回的字符串进行解密，在分析getServerData方法时发现decodeData方法与解密有关。
def decrypt(self, resp_text):
'''
对服务器请求成功后返回的数据，进行解密
:param resp_text: 返回的数据
:return:解密后的字符串，json格式
'''
with open('encrypt.js',encoding='utf-8') as f:
js = execjs.compile(f.read())
return js.call('decodeData',resp_text)
对服务器返回的内容进行解密，最终得到我们想要的数据。
详细代码请到：
