curl 抓取网页(curl和js文件怎么做抓取网页。抓包分析)

　　curl 抓取网页(curl和js文件怎么做抓取网页。抓包分析)

　　curl抓取网页。fiddler抓包分析http请求，然后就会得到js和css文件。js，css文件不仅仅是静态文件，js一般是表单提交、广告展示等等的实际页面代码，css主要就是图片、样式等等。可以先进行抓包，抓到页面代码后用fiddler可以分析css和js文件。

　　建议先做一下信息采集

　　wireshark可以抓到http请求

　　用sqlmap或者postman

　　技术这种东西，还是实战出真知吧，用万能的去下载一下，然后用一些插件或者新建一个web标签页访问，

　　利用浏览器插件如：selenium或httplib，可以抓住动态的js、css文件，动态的页面地址。通过一个http请求，分析js、css文件的处理过程，即可知道抓取页面是否需要动态获取哪些功能。

　　页面扫描本身就是一门学问

　　dom扫描

　　要看是什么样的网站，js，css，js一类的不需要动态获取，抓到后进行简单的css样式的修改加载图片等等。像什么.txt这种网站，看到后直接找对应的js和css，进行搜索。

　　扫描结果属性里面会告诉你一些网站可能的页面结构，这样查看页面是不是有设计的嫌疑可以判断是否有xss，或者钓鱼行为，另外sqlmap可以直接查询页面的数据，静态页也是如此。