php网页抓取乱码(php网页抓取乱码、失败抓取的原因及解决方法。)

　　php网页抓取乱码(php网页抓取乱码、失败抓取的原因及解决方法。)

　　php网页抓取乱码、失败抓取的原因及解决方法。从三个方面入手进行分析，网页中乱码原因和抓取失败原因，并给出解决方案。根据不同网站抓取方法不同。有时候是网站蜘蛛抓取存在问题，有时候是抓取时设置有问题，在网页中正常代码，但是还是会出现乱码等问题，

　　1、不同于自动编码格式乱码，网页中经常会出现特殊字符。举个例子，当网页中乱码表示中文和带有颜色的png，那么抓取的时候就会出现乱码，请不要纠结一串位数的问题，或者一个大小写问题。

　　2、所需要爬取的网页链接，有很多下拉框中会出现相同的词语，那么在爬取时会出现定位问题，导致抓取失败。

　　原因分析针对第一种原因，

　　1、网页中user-agent或者spider网络请求错误，爬取代码错误或带有post请求码等。

　　2、这个就涉及到比较专业的爬虫分析类工具，爬虫分析类工具在编程之初就应该开始设置代理ip，然后配置爬虫代理池，spider只接受带有ip验证码的请求。

　　针对第二种原因，再编写抓取代码之前应该先判断是不是网页正常，是正常就把定位post请求请求码对应的user-agent或者spider等代理ip，

　　1、迅雷代理ip(每天自动抢红包，满1000就抢，

　　2、游客代理ip(游客只能访问自己局域网，

　　3、xx服务器代理(每日任务从中收取月租)我们常用这几种代理，由于xx服务器代理是各个代理都有，所以数量会很多，我们把它写在脚本里面。数据抓取抓取有两种网页内容形式，一种是动态，一种是静态，这里只分析静态内容。

　　动态内容抓取请抓取下面该图片的网页内容获取来源，

　　1、判断该图片网页是静态网页还是动态网页，再判断请求参数，不同的请求参数获取的图片不同，3个不同请求参数，

　　2、将图片字幕放到循环里面。设置代理池图片参数：每张图片会获取n次，将最后一次获取的图片的统计就是字幕大小不同的频率，然后对比字幕大小即可。图片大小一般为{50:100:1000}这样的方式。获取字幕地址参数xxxx对应mp4，对应xxxx是代理ip地址，再download就可以下载。

　　解决方案：有时候网页中乱码问题不能得到解决，像经常在微信表情包内容中出现这样的乱码，对此很头疼，

　　1、请求参数用的是动态请求

　　2、程序构架设计的bug，这种情况常见于处理网页关键url而不是其他关键组件，这样只需要针对缓存问题处理即可。