js提取指定网站内容(之前学习Python模拟登录知乎实例(一)加密处理)

　　js提取指定网站内容(之前学习Python模拟登录知乎实例(一)加密处理)

　　之前学习Python模拟登录知乎例子，其中涉及到数据加密处理，在学习的过程中发现使用chrome devtool调试分析网页还有很多技巧需要学习，于是我发现一个简单的例子，用于学习js加密。

　　学无止境一、例子网站

　　本例中的网站是中国空气质量分析平台。学习使用chome浏览器的devtool工具对数据进行加密。

　　二、分析页面逻辑1.抓包分析

　　用chrome打开网页，然后按F12打开开发者工具devtool，点击切换到“网络”标签。为方便查看，先清空之前的请求流程，然后在网页切换城市即可看到新的xhr请求。

　　可以看到模拟登录POST的链接。我们的最终目标是构建 POST 请求所需的标头和表单数据。

　　继续查看请求标头信息。对比不同城市的查询结果，发现Headers并没有什么独特的特征，所以我们只保留了一部分必要的信息。

　　接下来，我们需要考虑如何构造Form数据。

　　2.调试分析

　　考虑到在页面上点击查询按钮时会发生网络请求，按钮肯定会有相应的时间来处理。

　　在html文件中找到查询按钮的位置，然后我们定位到对应的js事件。

　　找到事件方法后，我们继续分析。

　　我们尝试进入 getAQIData() 方法。

　　首页查询条件栏中的数据是在这里找到的，所以我们分析getServerData方法，在当前页面没有搜索到这个方法的详细内容，所以进行全局搜索（ctrl+shift +F 搜索）。

　　点击跳转到js页面，搜索getServerData方法，却发现没有找到，网上查询发现网站为了混淆，把这个方法放在jqury-1.8.0.min.js?v=1.2 文件中，经过混淆后，可以使用在线工具进行去混淆，如：。

　　使用开发者工具调试断点并进入 getServerData 方法。

　　最后，我们看到了Form Data，可以看到getParm()方法返回的内容。

　　3.密码分析

　　知道位置后，我们可以直接将加密后的js方法扣出来，在html文件中执行。

　　var getParam = (function () {<br />    function ObjectSort(obj) {<br />        var newObject = {};<br />        Object.keys(obj).sort().map(function (key) {<br />            newObject[key] = obj[key]<br />        });<br />        return newObject<br />    }<br /><br />    return function (method, obj) {<br />        var appId = &#39;1a45f75b824b2dc628d5955356b5ef18&#39;;<br />        var clienttype = &#39;WEB&#39;;<br />        var timestamp = new Date().getTime();<br />        var param = {<br />            appId: appId,<br />            method: method,<br />            timestamp: timestamp,<br />            clienttype: clienttype,<br />            object: obj,<br />            secret: hex_md5(appId + method + timestamp + clienttype + JSON.stringify(ObjectSort(obj)))<br />        };<br />        param = BASE64.encrypt(JSON.stringify(param));<br />        return AES.encrypt(param, aes_client_key, aes_client_iv)<br />    }<br />})();<br />

　　将本方法中涉及的js方法一起提取出来，jqury中需要的除外-1.8.0.min.js?v=1.2文件中除了方法之外，我们还需要提取city_detail.html中的getAQIData方法，把所有的JavaScript放到一个html文件中，放到script标签中。

　　记得把查询条件数据放入方法中。

　　在js中执行document.write(getAQIData())，页面输出正确。

　　三、Python 实现加密

　　要使用python的execjs执行JavaScript代码，除了安装execjs包，还需要安装node环境。具体安装请参考在线教程。

　　    def encrypt(self, form_data):<br />        &#39;&#39;&#39;<br />        对查询条件栏的数据，进行加密<br />        :param form_data: 查询条件栏的数据，包括城市名称，开始结束时间等<br />        :return:加密后的字符串<br />        &#39;&#39;&#39;<br />        with open(&#39;encrypt.js&#39;,encoding=&#39;utf-8&#39;) as f:<br />            js = execjs.compile(f.read())<br />            return js.call(&#39;getAQIData&#39;,form_data)<br />

　　测试过程中，如果遇到execjs._exceptions.ProgramError: ReferenceError: localStorage is not defined错误，localStorage是浏览器端数据存储方式之一，注释掉js中的相关代码，继续测试。

　　//加密<br />function getServerData(method, object, callback, period) {<br />    const key = hex_md5(method + JSON.stringify(object));<br />    // const data = getDataFromLocalStorage(key, period);<br />    // if (!data) {<br />        var param = getParam(method, object);<br />        return param<br />    // } else {<br />    //     callback(data)<br />    // }<br />}<br />

　　成功输出结果。

　　四、Python 抓取网页

　　得到加密后的字符串后，需要通过POST请求将内容提交给服务器。但是在执行过程中发现返回的内容与前台返回的内容不一致。经过一些查询，

　　发现得到的加密字符串的内容只与“view decoded”中显示的内容一致。我们尝试在发出 POST 请求之前对数据进行 URL 编码。最终成功获取返回值。

　　接下来我们对返回的字符串进行解密，在分析getServerData方法时发现decodeData方法与解密有关。

　　    def decrypt(self, resp_text):<br />        &#39;&#39;&#39;<br />        对服务器请求成功后返回的数据，进行解密<br />        :param resp_text: 返回的数据<br />        :return:解密后的字符串，json格式<br />        &#39;&#39;&#39;<br />        with open(&#39;encrypt.js&#39;,encoding=&#39;utf-8&#39;) as f:<br />            js = execjs.compile(f.read())<br />            return js.call(&#39;decodeData&#39;,resp_text)<br />

　　对服务器返回的内容进行解密，最终得到我们想要的数据。

　　详细代码请到：