网页抓取 加密html(之前学习Python模拟登录知乎实例(一)加密处理)

　　网页抓取 加密html(之前学习Python模拟登录知乎实例(一)加密处理)

　　之前学过Python模拟登录知乎，里面涉及到fromdata的加密处理。学习过程中发现用chrome devtool调试分析网页的技巧还是有很多的，所以找了一个简单的。示例用于学习js加密。

　　

　　学无止境一、例子网站

　　网站本例中为中国空气质量分析平台，学习使用chome浏览器的devtool工具对fromdata进行加密。

　　二、分析页面逻辑1.抓包分析

　　在chrome中打开页面，然后按F12打开开发者工具devtool，点击切换到“网络”标签。为了方便查看，先清除之前的请求流程，然后在网页上切换城市就可以看到新的xhr请求了。

　　

　　您可以看到模拟登录POST的链接。我们的最终目标是构建 POST 请求所需的标头和表单数据。

　　

　　继续查看 Requests Headers 信息。对比不同城市的查询结果，发现Headers没有任何独特的特征，所以我们只保留了一些必要的信息。

　　

　　接下来，我们需要考虑如何构造Form数据。

　　2.调试分析

　　考虑到页面点击查询按钮时发生网络请求，该按钮肯定需要时间处理。

　　

　　在html文件中找到查询按钮的位置，然后我们定位到对应的js事件。

　　

　　找到事件方法后，我们继续分析。

　　

　　让我们尝试进入 getAQIData() 方法。

　　

　　首页的查询条件栏中的数据是在这里找到的，所以我们分析getServerData方法，当前页面没有搜索到该方法的详细信息，所以我们进行全局搜索（ctrl+shift+ F 搜索）。

　　

　　点击跳转到js页面，搜索getServerData方法，发现没有找到。网上查询发现网站为了混淆，把这个方法放在jqury-1.8.0.min.js?v=1.2文件中，而混淆后，您可以使用在线工具进行反混淆，例如：.

　　

　　使用开发者工具调试断点，进入getServerData方法。

　　

　　最后，我们看到了由 getParm() 方法返回的表单数据。

　　3.密码分析

　　知道了位置后，我们可以直接把这个加密的js方法推导出来，放到一个html文件中执行。

　　var getParam = (function () {<br />    function ObjectSort(obj) {<br />        var newObject = {};<br />        Object.keys(obj).sort().map(function (key) {<br />            newObject[key] = obj[key]<br />        });<br />        return newObject<br />    }<br /><br />    return function (method, obj) {<br />        var appId = &#39;1a45f75b824b2dc628d5955356b5ef18&#39;;<br />        var clienttype = &#39;WEB&#39;;<br />        var timestamp = new Date().getTime();<br />        var param = {<br />            appId: appId,<br />            method: method,<br />            timestamp: timestamp,<br />            clienttype: clienttype,<br />            object: obj,<br />            secret: hex_md5(appId + method + timestamp + clienttype + JSON.stringify(ObjectSort(obj)))<br />        };<br />        param = BASE64.encrypt(JSON.stringify(param));<br />        return AES.encrypt(param, aes_client_key, aes_client_iv)<br />    }<br />})();<br />

　　提取该方法涉及的js方法，jqury中需要的除外-1.8.0.min.js?v=1.2文件另外对于方法，我们还需要提取city_detail.html中的getAQIData方法，把所有的JavaScript放到一个html文件中，放到script标签中。

　　记得将查询条件数据放入方法中。

　　

　　

　　在js中执行document.write(getAQIData())，页面输出正确。

　　

　　三、Python 实现加密

　　要使用python的execjs执行JavaScript代码，除了execjs包外，还需要安装node环境。具体安装请参考在线教程。

　　    def encrypt(self, form_data):<br />        &#39;&#39;&#39;<br />        对查询条件栏的数据，进行加密<br />        :param form_data: 查询条件栏的数据，包括城市名称，开始结束时间等<br />        :return:加密后的字符串<br />        &#39;&#39;&#39;<br />        with open(&#39;encrypt.js&#39;,encoding=&#39;utf-8&#39;) as f:<br />            js = execjs.compile(f.read())<br />            return js.call(&#39;getAQIData&#39;,form_data)<br />

　　在测试过程中，如果遇到错误execjs._exceptions.ProgramError: ReferenceError: localStorage is not defined，localStorage是浏览器端数据存储方式之一。将js中的相关代码注释掉，继续测试。

　　//加密<br />function getServerData(method, object, callback, period) {<br />    const key = hex_md5(method + JSON.stringify(object));<br />    // const data = getDataFromLocalStorage(key, period);<br />    // if (!data) {<br />        var param = getParam(method, object);<br />        return param<br />    // } else {<br />    //     callback(data)<br />    // }<br />}<br />

　　成功输出结果。

　　四、Python 抓取网页

　　获取加密字符串后，需要通过POST请求将内容提交给服务器，但在执行过程中发现返回的内容与前台返回的内容不一致。经过一番询问，

　　

　　发现得到的加密字符串的内容只与“查看解码”显示的内容一致，我们尝试对数据进行URL编码，然后进行POST请求。终于成功拿到返回值了。

　　接下来，我们解密返回的字符串。在对getServerData方法的分析中，我们发现decodeData方法与解密有关。

　　    def decrypt(self, resp_text):<br />        &#39;&#39;&#39;<br />        对服务器请求成功后返回的数据，进行解密<br />        :param resp_text: 返回的数据<br />        :return:解密后的字符串，json格式<br />        &#39;&#39;&#39;<br />        with open(&#39;encrypt.js&#39;,encoding=&#39;utf-8&#39;) as f:<br />            js = execjs.compile(f.read())<br />            return js.call(&#39;decodeData&#39;,resp_text)<br />

　　解密服务器返回的内容，最终得到我们想要的数据。

　　

　　详细代码请到：