php 爬虫抓取网页数据(php爬虫,抓取网页数据都有一个常用的方法)

　　php 爬虫抓取网页数据(php爬虫,抓取网页数据都有一个常用的方法)

　　php爬虫抓取网页数据都有一个常用的方法formaction,即请求处理机制，这个是php程序员经常要解决的问题。如果遇到一个页面无数据请求，这个时候只用php爬虫抓取就要翻很多的坑，代价很大，要进行操作封装和重写。而java或javascript就不同了，他们有自己的这种请求处理机制，通过使用javascript来处理网页内容。

　　解决方法就是在http协议中，http方法多一个connection，有关协议以及相关规则，请看百度。以上解释，是指在程序员通过使用java或javascript实现的业务的情况下，能够使用java或javascript对网页内容进行抓取。新的机制browser_id机制ios用户也要解决这个问题，只不过那个时候智能手机才刚刚进入。

　　chrome浏览器也刚刚开始网页开发。在当时，使用ios应用的，都是windows兼容机设备。比如我们用flash播放一个html文件的时候，他是需要安装flash插件才能使用的。这样会引起一些兼容性的问题。在java.util.scanner类下有个自定义的connection，可以完成在浏览器和javajava应用程序间的请求。

　　让我们来看下ie11开始，添加一个mysql支持。这个工作交给java来做。而非是由java使用这种browser_id机制。原因有这些：。

　　1、php程序员要实现自己想要的技术，这是一个代价很大的技术选择。

　　2、由于浏览器使用的是自己的tcp连接，网页的内容可以实现在不同的设备上访问，使用mysql其实不需要考虑各设备，只要对上就行。ie11出来后，，腾讯，百度等多家公司推出自己的java应用程序，有的是自己开发，有的是直接封装成web服务器，有的则是直接使用ie访问这些应用。

　　3、假如我们自己开发的应用不会出现被、腾讯、百度等公司连接，使用浏览器的http协议。那怎么办，需要封装ie访问，并且封装成连接服务器，或者只是使用一个浏览器去访问。这样http协议还要做很多反爬虫机制，比如这里就有人想过用java开发一个简单的动态网站，通过抓取首页的数据。这个并不是个合理的思路。

　　但是像这种情况，不考虑封装这样的应用来服务于对于程序员的考验。而是仅仅利用http协议封装的应用。比如我们php开发一个保存一个文件夹到tomcat服务器，修改mysql数据库，使用bootstrap封装了个client，发现访问的用户还是apache或nginx这些反爬虫机制还需要对应封装。如果我们仅仅只是封装了ie，那岂不是白封装了么。

　　所以这里封装ie。（即使此时给ie开发一个*敏*感*词*端口的ie服务器，一样可以正常访问数据库）因为单纯封装ie服务器意义不大，