网页抓取解密(网页抓取解密(一)_网页解密__)

　　网页抓取解密(网页抓取解密(一)_网页解密__)

　　网页抓取解密在很多网站上都会抓取网页，或者抓取下载的文件。我们又要做到分析网页还得想办法解密，这个确实也是比较棘手的事情。又或者还要处理被抓取的页面，这个难度更是可想而知。之前推荐过，可以使用xmlhttprequest库进行网页抓取，可实现各种url对应的对应的解析和预处理，有兴趣的可以查看这篇文章：urlcheatsheet相关阅读：让javascript大显身手的库：customjs、selenium库抓取分析一般不会使用phantomjs对浏览器的底层进行逆向分析。

　　使用浏览器常见的url对应解析方法也足够了。如http协议逆向分析库：urlreverse、selenium库，文章（此处省略3000字）现在几乎几乎所有的网站都有各种各样的文件需要抓取，又要实现网页的逆向分析，然后生成自己的可执行文件，然后进行复杂的调用机制等等。即可能要费很多脑细胞，并且会有很多坑。

　　其实，可以尝试在chrome浏览器中使用js进行逆向分析，直接使用chrome的js加密库，如ejs进行网页逆向分析，可以非常方便的实现网页的读取加密，文件提取与分析等步骤。安装chrome好用的js库：jsoup4，selenium好用的js库：ejs（xml、form等）等，flask好用的js库：less、markdown、python代码在flask中的用法：flaskwsgijsoup4spider4,selenium(webdriver)另外，给大家推荐一个flask博客站：flask-bootstrap-front-end-blogs，有需要的，可以查看下，其中关于代码的安装方法也进行了讲解。

　　对于有些标签，如，?，???，这些标签在解析js/xml时，可能会对js文件起到中间人的作用，如：if-->if-->if-->else等等。如下图代码是解析js文件，而jsoup4可以正确解析js文件。flask为了保证在nginx中的flask程序不被转向到apache。我们需要如下方法：第一步，在flask程序的public目录下创建default_domains_paths文件夹，第二步，将需要解析的js文件上传到这个文件夹下，在python代码中使用setoptions(properties,exec_files,flask_modules)，设置需要解析的js文件的路径。

　　flask代码如下：importflaskasf;flask_modules=[];public_domains_paths=[];//定义一个路径，将js文件路径绑定过来flask_modules=["localhost","","??。