国外网页视频抓取工具(便捷快速的R语言爬虫方法，轻松实现简单的数据抓取)

　　国外网页视频抓取工具(便捷快速的R语言爬虫方法，轻松实现简单的数据抓取)

　　作为一个没有开发经验、非计算机背景的数据爱好者，刚进这个坑的时候就饱受爬行困难的困扰。当他不知道Python的方式时，写一个scrapy框架是极其痛苦的。现在想想大数据技术这么厉害，为什么我抓取了一个数据，到处被屏蔽，然后我觉得我的技术不够强大。本文以拉勾网为例介绍一种方便快捷的R语言爬虫方法。通过Revest包+SelectorGdaget选择器可以轻松实现简单的数据采集。

　　01 准备工具：Revest包+SelectorGadget选择器

　　下载并安装 Rvest 包：

　　<p> install.packages("Rvest")

　　 library(Rvest)

　　 要想全面了解Rvest包的朋友可以去查官方帮助文档：

　　 help(package="Rvest")</p>

　　Selectorgadget 插件，作为一个轻量级、快速的 CSS 选择器，使用起来非常简单，只需点击几下鼠标就可以生成你想要抓取的 html 节点信息。这样的神器，调用方法也极其简单，打开任意一个搜索页面，输入Selectorgadget，点击第一个链接，也是Selectorgadget的官方链接，拖到页面底部的第二个链接，将其拖至浏览器采集夹，下次打开需要抓取的网页时点击启用。

　　需要拖拽的链接如图（或者把这个链接拖到你的书签栏）：

　　下次调用时，打开要抓取的网页，点击我们拖到采集夹的Selectorgadget，网页右下角会出现一个矩形条，在网页上点击任意我们要抓取的信息，并会生成相应的条形图。将这些文本表达式复制到Revest包对应的爬虫函数中，轻松完成爬取。需要注意的是，使用Selectorgadget选择节点信息是一个筛选过程，在此过程中我们需要反复点击不需要的信息（点击后变成红色）删除，留下需要的信息（绿色和*敏*感*词*部分）。

　　02、拉勾数据抓取

　　我们选择抓取拉勾网数据分析师的职位信息：

　　爬取代码如下：

　　library(stringr)library(xml2)

library(rvest) #加载包

i%html_text()

　　#存储以上信息

<p><p>job_inf