php 爬虫抓取网页数据(开发爬虫其实不用纠结用什么语言，省去一次爬虫开发不难)

　　php 爬虫抓取网页数据(开发爬虫其实不用纠结用什么语言，省去一次爬虫开发不难)

　　因为我已经开始开发一个蜘蛛池站群系统，其中涉及爬虫自动去全网寻找符合关键词或关键词密度标准的页面，然后加速内容，然后使用它。NLP相关的技术有伪原创，定期将文章发布到库中，发布这样一个模块，也是用php开发的。我也在这里和大家分享一下我对爬虫的看法。

　　实际上，您无需担心使用哪种语言来开发爬虫。只要PHP在性能不太高的情况下完全够用，我也推荐PHP工程师用PHP来做，这样可以节省学习一门新语言的时间成本。

　　再次，爬虫开发并不难。

　　主要是定位到你想要实现的爬虫类型。

　　根据互联网上所有爬虫的功能和特点，可分为批处理型、增量型和垂直型三种。

　　批处理类型，具有明显的爬取范围和目标，设置爬取时间限制、爬取数据限制、或在固定范围内爬取页面限制等，当爬虫的任务达到预设目标时停止。一般来说，采集 工具或内容采集 任务都是批处理类型。一般只抓取固定网站的固定内容，或者为某个资源设置固定的目标数据量。当达到设定的限制时，抓取的数据或时间将自动停止。这种爬虫是典型的批量爬虫。

　　增量类型也可以称为通用类型。百度、谷歌、搜狗等搜索引擎的爬虫可以称为增量爬虫。增量式不同于批处理式。没有固定的目标、范围和时间限制。一般会无休止地爬取，直到抓到全网的数据。增量类型一般不仅需要爬取尽可能多的页面，还要对已经爬取过的页面进行爬取和更新。因为这些爬虫爬进数据库的页面不是静态的，可能会更新，甚至404。一般来说，增量爬虫的这些功能应该是标准的。至于去重，排名不在这里。在答案中讨论。

　　垂直型，也叫聚焦爬虫，只爬取固定主题内容或固定行业网页，一般集中在一定的有限范围内进行增量爬取。垂直爬虫不像增量爬虫那样追求大而全的覆盖。相反，他们在增量爬虫上增加了对网页抓取的限制，根据需求抓取收录目标内容的网页。不符合要求的网页就让它静静地躺在url队列中。比如我之前做的蜘蛛池内容爬虫模块就是这个垂直爬虫。

　　以上为大家大致介绍了爬虫的​​种类。我猜你应该可以大致定位到你要开发的爬虫。

　　谈技术关键词，开始开发的时候直接查这几个字，然后用上。

　　CURL：不用说，如果要爬取一个页面，首先要请求这个页面，得到对方服务器返回的数据（一般是html，如果直接看懂别人的api接口，就当我没看吧说吧）过去这句话）。

　　simple_html_dom：HTML 节点解析器。使用curl请求html文档后，可以用这个来解析dom节点，方便匹配需要采集爬取的内容。

　　正则表达式：用于匹配你想要的内容，与simple_html_dom功能相同，但会更加灵活。如果两者匹配起来，就会更加流畅。哈哈：）

　　worker 或 swoole：用于做多线程或多进程以提高效率。我更推荐workerman，因为学习成本低，文档清晰易学！Swoole 对新手确实很不友好，但是它的功能比workerman 强一点，这里就不讨论了。

　　Redis：用于存储 URL 队列。如果不追求太高的效率，可以无视。

　　对于这些关键词来说，入门级的爬虫差不多就够了。很想研究一下数千万的采集对分布式爬虫的追求。我建议出去左转 Python 或其他语言主题下的提问。

　　最后说一下实现思路。

　　首页上的爬虫需要一个*敏*感*词*页，比如“中国新闻网”首页。这个爬虫使用curl请求*敏*感*词*页面，获取html数据，使用正则表达式匹配a标签的所有href属性，然后根据自己定义的一些规则匹配符合规则的url或者url已自行处理。例如，一些a标签可能没有http或https头，或者可能有没有域名的url，例如“/news/gn/”。这时候你需要做一点判断和处理，把添加的加进去，然后用sha1加密url，然后用hash去查数据库看是否有相同的hash，如果有，表示url已经有了（go Heavy），然后将url和hash同时存入url队列数据库中。

　　做完以上操作后，一定要记得给被爬取的URL一个已爬取状态，避免重复爬取。

　　然后在重复之前的操作之前，从数据库中检查一个新的没有被爬取过的URL，这样你的爬虫就形成了，它会继续往你的URL队列中添加URL。

　　关键时刻到了。如果我们简单地爬取URL并放入数据库，那是没有用的，对吧？

　　这时候该说一下内容采集了，url就在那里。这时候写一个爬虫，不断的取出url库中的url来爬回这个页面的内容，然后再写规则匹配内容之后，就可以保存到数据库中了。

　　就是这样。这个入门级爬虫就做好了。

　　但是真正的爬虫开发工作肯定会遇到很多很多的问题和意想不到的问题，比如：蜘蛛陷阱、反爬虫、动态加载的内容无法爬取、效率问题、程序报错后是否有重启机制并在遇到异常、法律风险等问题后停止运行。

　　以下所有问题都留给你在实战中自己解决，因为每个人的业务不同，报出的错误肯定也不同。没有办法说的太清楚。这篇文章文章主要是为了给大家提供一个思路。我也欢迎大家加入我。让我们一起交流讨论爬虫的各种知识和技巧。如果人多，我也可以组成一个交流群，大家交流。学习。

　　一不小心写了两千多字，没费心复习这句话，没啥意思。如果有错别字，大家都会看的。我的 vx 有问题。