php多线程抓取网页(ip多线程变化,定位网站缓存区和log区,ip变化)

　　php多线程抓取网页(ip多线程变化,定位网站缓存区和log区,ip变化)

　　php多线程抓取网页得到wap和html代码

　　我也刚刚入门,见过的抓包问题就是ip多线程变化,定位网站缓存区和log区,ip变化的话,可以尝试从127.0.0.1抓包,后台一定要留痕迹,比如抓取com的值

　　打开终端输入如下命令：php--header-list=,抓取com的session,因为其它端口都是动态改变的

　　我在安卓上也遇到这个问题，不知道你是在哪抓取的，

　　不用修改原来的，php和http协议栈上，

　　原来是没有封tcp协议通道导致请求异常

　　看看封没封tcp

　　看看底部那个缓存的拦截，那里没拦截的话就能在该域名返回时使用开发者工具抓包了。看下是不是没弄sessionfilename（一般会有)之类的，或者在url分发上没弄重点，

　　发现wap页在抓取失败的情况下，无法生成请求到相应的html文件。试了好多方法还是不行。

　　最新情况：1.将你这个wap链接通过114导出（所有的公开数据都可以导出）2.把最近出现的wap链接全都加上时间戳，用mongodb保存，这样就可以永久保存了3.插到wap开发者模式（首页的一个地方，在你的浏览器中，可以显示链接所有之前已经抓取到的数据），可以更新排名（在chrome中）4.使用公共http2开发的wap抓包工具（比如阿里妈妈抓包王之类的）进行抓包。用户体验应该是最好的。