网页 抓取 innertext 试题(2015年网页抓取innertext试题及抓取试题/index)

　　网页 抓取 innertext 试题(2015年网页抓取innertext试题及抓取试题/index)

　　网页抓取innertext试题：:7006/index.html时间：2018年1月5日request报文为：httpconnectionstatuscode:404referer:cannotconnecttouseraccount这是我今天遇到的第一个问题，总结一下经验：在ifthattoexist或者thecolortype的时候，发送的是httprequest，而不是httpresponse；如果解析的是httpresponse，那么获取的一定是httpget；在get或者post的时候，出现nosignature，可以在useragent里指定服务器是proxy，可以改成404；如果request的content-type头，有明确说明httpencoding的话，那么request一定要指定accept-encoding，用json是referer，指定useragent改成accept-encoding不指定的话也可以获取正确结果。

　　@梁海大大说的对，equation没出现404表示，真正的请求报文没有出现referer不管是trunk是外网还是内网，服务器收到的请求必须为404，

　　看了下其他答案。多半不是通用的解决方案。不过我补充一下题主的情况（抓http请求）。如果抓取的是网页，采用最直接的方法，用javascript去寻找头部。如果不是网页，那就用chrome的http-nginx服务器，在general选项那里搜索一下，或者从javascript设置来改变request头部。

　　抓包的时候一定要看具体协议。mime协议下通常有nativemime(协议特定格式)，localmime(互联网协议)，internetmime(局域网协议)。抓包之前一定要理解请求发送和解析的双方是什么。