网页抓取解密(前几天学习Python模拟登陆知乎实例解析的加密处理)

　　网页抓取解密(前几天学习Python模拟登陆知乎实例解析的加密处理)

　　前几天学习Python模拟登录知乎例子，里面涉及到fromdata的加密处理。在学习的过程中，发现使用chrome devtool调试分析网页还有很多技巧需要学习，于是找了一个简单的例子来学习js加密。 html

　　1、实例网站节点

　　网站本例中是一个中国空气质量分析平台，学习使用chome浏览器的devtool工具对fromdata进行加密。蟒蛇

　　2、分析页面逻辑git

　　1.抓包解析github

　　在chrome中打开页面，然后按F12打开开发者工具devtool，点击切换到“网络”标签。为了方便查看，先清除之前的请求流程，然后在网页上切换城市就可以看到新的xhr请求了。

　　

　　可以看到模拟登录POST的连接。我们的最终目标是构建 POST 请求所需的 headers 和 Form 数据。

　　

　　继续查看 Requests Headers 信息。通过对比不同城市的查询结果，发现Headers没有任何独特的特征，所以我们只保留了一些必要的信息。

　　

　　接下来，我们需要考虑如何构造Form数据数据。网络

　　2.调试分析chrome

　　考虑到页面点击查询按钮时会有网络请求，判断该按钮有相应的时间处理。

　　

　　在html文件中找到查询按钮的位置，然后我们定位到对应的js事件。

　　

　　找到事件方法后，我们继续分析。

　　

　　让我们尝试进入 getAQIData() 方法。

　　

　　首页的查询条件栏中的数据是在这里找到的，所以我们分析getServerData方法，当前页面没有搜索到该方法的详细信息，所以我们进行全局搜索（ctrl+shift+ F 搜索）。

　　

　　点击跳转到js页面，搜索getServerData方法，发现没有找到。网上查询发现网站为了混淆，把这个方法放在jqury-1.8.0.min.js?v=1.2文件中，而通过混淆，可以使用在线工具去混淆，例如：.

　　

　　开发者工具断开调试后，进入getServerData方法。

　　

　　最后，我们看到Form Data，可以看到内容是getParm()方法返回的。 json

　　3.加密分析浏览器

　　知道位置后，我们可以直接将这个加密的js方法推导出来，在一个html文件中执行。服务器

　　var getParam = (function () {

function ObjectSort(obj) {

var newObject = {};

Object.keys(obj).sort().map(function (key) {

newObject[key] = obj[key]

});

return newObject

}

return function (method, obj) {

var appId = '1a45f75b824b2dc628d5955356b5ef18';

var clienttype = 'WEB';

var timestamp = new Date().getTime();

var param = {

appId: appId,

method: method,

timestamp: timestamp,

clienttype: clienttype,

object: obj,

secret: hex_md5(appId + method + timestamp + clienttype + JSON.stringify(ObjectSort(obj)))

};

param = BASE64.encrypt(JSON.stringify(param));

return AES.encrypt(param, aes_client_key, aes_client_iv)

}

})();

　　把这个方法中涉及到的js方法一起提取出来，除了jqury-1.8.0.min.js?v=1.2文件中除了必要的方法，我们还需要提取city_detail.html中的getAQIData方法，把所有的JavaScript放到一个html文件中，放到script标签中。

　　记得将查询条件数据放入方法中。

　　

　　

　　在js中执行document.write(getAQIData())，页面输出正确。

　　

　　3、Python 实现加密

　　要使用python的execjs执行JavaScript代码，除了安装execjs包外，还需要安装node环境。具体安装可以参考网上教程。

　　def encrypt(self, form_data):

'''

对查询条件栏的数据，进行加密

:param form_data: 查询条件栏的数据，包括城市名称，开始结束时间等

:return:加密后的字符串

'''

with open('encrypt.js',encoding='utf-8') as f:

js = execjs.compile(f.read())

return js.call('getAQIData',form_data)

　　在测试过程中，如果遇到错误execjs._exceptions.ProgramError: ReferenceError: localStorage is not defined，localStorage是浏览器端数据存储方式之一。将js中的相关代码注释掉，继续测试。

　　//加密

function getServerData(method, object, callback, period) {

const key = hex_md5(method + JSON.stringify(object));

// const data = getDataFromLocalStorage(key, period);

// if (!data) {

var param = getParam(method, object);

return param

// } else {

// callback(data)

// }

}

　　成功输出结果。

　　4、Python 抓取网页

　　获取加密字符串后，需要通过POST请求将内容提交给服务器，但在执行过程中发现返回的内容与前台返回的内容不一致。经过一番询问，

　　

　　发现得到的加密字符串内容与“查看解码”显示内容相同，我们尝试对数据进行URL编码，然后进行POST请求。终于成功拿到返回值了。

　　接下来，我们解密返回的字符串。在对getServerData方法的分析中，我们发现decodeData方法与解密有关。

　　def decrypt(self, resp_text):

'''

对服务器请求成功后返回的数据，进行解密

:param resp_text: 返回的数据

:return:解密后的字符串，json格式

'''

with open('encrypt.js',encoding='utf-8') as f:

js = execjs.compile(f.read())

return js.call('decodeData',resp_text)

　　解密服务器返回的内容，最终得到我们想要的数据。

　　

　　详细代码请到：