php 抓取网页(基于R语言爬虫技术的网页信息抓取方法研究庄旭东王志坚)

　　php 抓取网页(基于R语言爬虫技术的网页信息抓取方法研究庄旭东王志坚)

　　基于R语言爬虫技术的Web信息抓取方法研究

　　庄旭东王志坚

　　摘要：随着互联网的飞速发展和大数据时代的到来，互联网上的数据和信息呈爆炸式增长，网络爬虫技术越来越流行。本文以抓取二手房销售数据为例探讨了R语言爬虫技术的网页信息抓取方法，发现基于R语言rvest函数包和SelectorGadget工具的网页信息抓取方法更简单快捷比传统方法。

　　关键词：R语言；网络爬虫；网页信息抓取；二手房

　　传统的网络搜索引擎在网络信息资源的搜索中发挥着非常重要的作用，但仍然存在很多局限性。如今，R语言在网络信息爬取方面有着其独特的优势。它写的爬虫语法比较直观简洁，规则比较灵活简单，对操作者的要求比较低。无需深入学习某个软件或编程。语法不必有很多与网络相关的知识。非专业人士甚至初学者都可以轻松掌握其方法，快速方便地获取所需的网络信息。此外，R软件可以非常自如地处理百万级以下的数据，本身就是一个强大的统计计算和统计绘图工具。使用R软件进行操作，实现了爬虫技术的网页。通过信息采集获得的数据可以直接进行统计分析和数据挖掘，无需重新导入或整合数据，更加直接方便。

　　1 研究方法概述

　　本文使用R软件中的rvest函数包来抓取网页信息数据。使用这个包中的三个函数read_html()、html_nodes()和html_text()配合SelectorGadget工具（以下简称工具）。使用read_html()函数抓取整个网页的原创HTML代码，然后使用html_nodes()函数从整个网页的元素中选择工具获取的路径信息，最后使用html_text()函数将HTML代码中的文本数据提取出来，得到我们需要的数据。并根据网页的规则，使用for()循环函数实现多个网页的信息抓取。然后对比不同的爬取网页信息的方法，得到R语言作为爬虫的优势，并对R语言爬虫技术的网页信息爬取方法进行了比较和展望，并对大数据时代的数据获取方法和技术进行了进一步的探讨。探索。

　　2 网络爬虫的相关概念和步骤

　　2.1 网络爬虫概念

　　网络爬虫是一种用于自动提取网页信息的程序。它可以自动从万维网上下载网页并将采集到的信息存储在本地数据库中。根据网络爬虫系统的结构和实现技术，大致可以分为以下几类：通用网络爬虫、聚焦网络爬虫、增量网络爬虫、深度网络爬虫。这些爬虫技术的出现就是为了提高爬虫的效率，我们需要在更短的时间内获取尽可能多的有用的页面信息。

　　2.2 网络爬虫步骤

　　实现一个网络爬虫的基本步骤是：①首先从*敏*感*词*网址中精心挑选出一部分；②将这些*敏*感*词*放入待抓取的URL队列中；③从待爬取的URL队列中取出待爬取的URL，解析DNS，得到主机的ip，下载该URL对应的网页并存储在下载的网页库中。另外，将这些网址放入已爬取的网址队列中；④解析已爬取的URL队列中的URL，分析其中的其他URL，并将该URL放入待爬取的URL队列中，从而进入下一个循环。

　　3 基于R语言rvest包实现网页信息抓取

　　本文使用SelectorGadget路径选择工具直接定位到我们需要的数据，结合R语言rvest包，以2018年4月链家网广州二手房销售数据为例，抓取我们需要的数据从网页。

　　3.1 准备网页信息爬取

　　3.1.1 选择