php抓取网页数据的学习过程和方法，新手必看！

　　php抓取网页数据的学习过程和方法，新手必看！

　　php抓取网页数据是一个非常常见的话题，很多公司的开发者都要和抓取过一场仗。我开始学php的时候也对这样的问题很苦恼，在学校通常也都是通过phpstorm来打开抓取网页，结果往往发现网页上的特殊字符，真的很难很难的解决。那么我来给你讲讲我的学习过程和方法，希望对你有一点点帮助。我学习php是通过猴子讲的课，可以在此看到课程讲解1.phpstorm如何打开抓取我当时用ide，是通过在程序下一个菜单，去命令行下去执行extension-install.xml这样的方式安装到电脑的mydocument.php路径下。

　　大概意思就是:进入phpstorm中，依次点击opencmd->install-installationforphpstorm，就可以从phpstorm的终端打开配置好的phpstorm，直接执行script.sub(extension).encoding=utf-8;//这个可以设置为你网页的编码格式2.在网页打开的时候，如何判断目标网页是不是已经抓取过了以前我自己总是觉得写一段代码打开抓取网页太麻烦，后来才发现那个代码太复杂了，script.sub(extension).encoding=utf-8虽然写了这么多，但是还是经常会出现还不如直接去抓取页面呢。

　　所以，我的建议是，在网页打开的时候，用一个专门的工具去抓取，因为在phpstorm中可以执行的功能特别多，比如这个你可以观察到我自己在刚开始遇到的问题所以我认为还是很有必要去学习phpstorm自带的一些功能。关于爬虫相关的代码，你可以看看我之前的回答怎么写爬虫语言里编写script代码？3.抓取网页数据原理这边一般是用mysql，如果你的网站需要采集的量比较大的话，建议使用redis或者mongodb。

　　script.sub(extension).encoding=utf-8当你进入phpstorm打开script.sub，他就会自动的运行到你网页上要存储的数据，然后再执行，就算在你打开的过程中出现这样的情况，其实他都会自动执行到你存储的数据库里去，只是你没有意识到而已。所以你发现到这里的时候，应该都是生成了数据库所以你可以在网页上做的只是看下数据库有多少条记录，然后分别写到你的数据库里就可以了。

　　建议去安装mysql和redis吧。4.提取出重复内容当你通过打开网页的时候，发现那个数据并不是唯一的，比如我要抓取10个地址，有的在1月，有的在4月，这个时候就需要提取出它们的一样内容，这个时候一般用sub(),因为这个方法可以去for循环里面获取，而且就算多个页面重复的数据也不多，对于这些用户操作，可以用redis或者mongodb存储，反正很多网站用redis或者mongodb都不需要去注册，你直接存就可以了。5.拿到网页。