js 抓取网页内容(js抓取网页内容,同时在浏览器端渲染页面。)
优采云 发布时间: 2021-10-12 20:02js 抓取网页内容(js抓取网页内容,同时在浏览器端渲染页面。)
js抓取网页内容,同时在浏览器端渲染页面。js渲染页面后,就产生了js代码,js代码就是我们浏览网页时看到的页面效果,一般都是一些页面里面比较核心或者容易乱码的东西。以页面标题为例,其获取的是标题对应的html标签,那么接下来,我们就通过逆向工程学来分析对应的字符编码,顺便解析出cookie值。代码整体结构如下,具体分析如下://解析cookie值document.cookie={user-agent:''}//解析标题对应的html标签img:[{type:'#content',title:'hello',content:'world'}],swiper_family:'javascript',swiper_name:'baidu.me'}第一步实现js获取页面内容(解析cookie值):解析cookie值的方法就是*敏*感*词*cookie值是否发生变化,然后获取变化的值,并且加载一个新页面。
if(!cookie){console.log('cookie变化!')}第二步获取页面内容的html标签(解析html标签),进行渲染页面,代码如下:img:[{type:'#content',title:'hello',content:'world'}],swiper_family:'javascript',swiper_name:'baidu.me'}第三步获取页面里面的内容,用js解析代码如下://获取标题对应的html标签title:'hello',content:'world',swiper_family:'javascript',swiper_name:'baidu.me'}。