chrome 插件 抓取网页qq聊天记录( 这是简易数据分析系列的第1个原因是怎样的？ )

　　chrome 插件 抓取网页qq聊天记录(

这是简易数据分析系列的第1个原因是怎样的？

)

　　

　　这是简易数据分析系列文章 的第 1 部分。

　　为什么叫简单数据分析？

　　第一个原因是本教程面向纯新手用户，不写代码或公式，迈出数据分析的第一步。

　　第二个原因，生活中很多数据分析场景都是非常轻量级的，不需要Python爬虫、高并发架构、机器学习等重武器，一个浏览器加一个Excel就够了：

　　比如某门课程投稿后才几天，急需快速爬取数据进行数据分析。这时候现场学习Python爬虫知识的时间还不够；

　　做一些市场调研和运营工作需要采集数据，如果技术部门支持，流程周期太长，还是自己做比较好；

　　跳槽，想了解市场的技能要求和薪资分布，需要采集数据，分析市场需求；

　　 …

　　这些都是生活中会遇到的问题。面对这些少量数据（100~10000)）的分析需求，对于非互联网技术人员来说，学习一些编程知识并不划算。我们还不如利用手头的东西. 最常用的工具，Excel 和浏览器，用于分析和整理数据，以帮助思考和更好的决策。

　　这也是本教程的目的——用20%的精力解决80%的数据分析需求，解放个人生产力。

　　本教程将在三个主要方向进行扩展：数据采集、数据清洗和数据可视化。

　　

　　数据采集是利用爬虫软件从网上爬取想要的数据，然后存储到本地；

　　数据清洗是对采集到的数据进行格式化，方便后续分析；

　　数据可视化是利用各种分析方法对数据进行不同维度的解读，并以图表的直观形式表达出来，更好地辅助我们决策；

　　从下一篇文章文章开始，我们学习如何采集从互联网上获取数据。

　　

　　这是简易数据分析系列文章 的第二部分。

　　上一篇文章讲了数据分析在生活中的重要性。从这篇文章中，我们将进入实际的分析内容。数据分析，数据分析，没有数据怎么分析？所以我们首先要学习采集data。

　　研究了很多采集数据软件，综合评测后发现最好的是Web Scraper，它是一个Chrome浏览器插件。

　　

　　推荐理由如下：

　　1.门槛够低，只要电脑上安装了Chrome浏览器就可以使用

　　2.永久免费，无付费功能，无需注册

　　3.操作简单，鼠标点几下就可以爬取网页，0行代码写一个真正意义上的爬虫

　　既然这么棒，当然是立马安装了。

　　由于 Web Scraper 是 Chrome 浏览器插件，我当然是第一个使用 Chrome 的人。

　　不过受限于国内网络环境，访问Chrome插件应用商店可能不是很方便。如果第一种方式不行，我们可以试试第二种方式，使用浏览器曲线救国（360浏览器暂时不提供Web Scraper插件）。

　　两个浏览器内核是一样的，只是界面不同。我的后续教程将基于 Chrome 浏览器。浏览器可能略有不同。如有差异，读者需自行区分。

　　1. 在 Chrome 浏览器上安装 Web Scraper 插件

　　1.1 安装 Chrome 浏览器

　　这个没什么好说的，Windows电脑的各大应用商店都有最新版的Chrome浏览器，或者百度，首页一般都有安装包地址，下载安装即可；

　　（为减少兼容性问题，最好安装最新版本的Chrome浏览器）

　　1.2 安装 Web Scraper 插件

　　可以访问外网的同学，直接访问“Chrome Web Store”，搜索Web Scraper下载安装：

　　

　　暂时无条件接入外网，我们可以手动安装外挂曲线救国，当然会比上面的麻烦一点：

　　首先我们访问这个国产浏览器插件网站，搜索Web Scraper，下载插件。注意此时插件不是直接安装在浏览器上，而是下载到本地：

　　

　　然后，我们在浏览器的URL输入框中输入chrome://extensions/，这样就可以打开浏览器的插件管理后台了：

　　

　　下一步是解压缩并安装刚刚下载的插件。

　　如果您是 Mac 用户，请先将安装包的后缀从 .crx 更改为 .zip。

　　

　　然后切换到浏览器的插件管理后台，打开右上角的开发者模式，把Web Scraper.zip文件拖进去，就安装好了。

　　

　　一般这个安装会出现一个红色的错误按钮，我们不管，直接忽略即可。

　　如果你是 windows 用户，你需要这样做：

　　1.把.crx后缀的插件改成.rar，然后解压

　　2.进入 chrome://extensions/ 页面，开启开发者模式

　　3.点击“加载解压扩展”，选择第一步解压后的文件夹，正常情况下安装成功。

　　

　　至此，我们的Chrome浏览器已经成功安装了Web Scraper插件。

　　2.在浏览器上安装 Web Scraper 插件

　　2.1 安装浏览器

　　前往各大应用商店或访问网站下载安装。

　　浏览器PC版官网下载地址：

　　浏览器Mac版官网下载地址：

　　2.2 安装 Web Scraper 插件

　　Mac用户可以直接访问浏览器左上角的“应用中心”，点击进入并搜索Web Scraper进行安装。

　　

　　Windows用户首先点击浏览器左上角的≡菜单栏，在弹出的菜单栏中选择“应用中心”，点击进入并搜索Web Scraper进行安装。

　　

　　至此，我们的Web Scraper插件已经安装成功。在下一篇文章中，我们将探索一些浏览器操作，为我们后续的学习打下良好的基础。

　　

　　这是简易数据分析系列的第三部分文章。

　　我们在上面安装了 Web Scraper 插件。我相信这对大多数人来说非常简单。在这个文章中，我们会讲一些不一样的东西，讲一下浏览器中那些大多数人都不知道的东西。低俗的操作。

　　作为普通用户，每个人都使用浏览器来查看信息和浏览网页。但在开发者眼中，Chrome浏览器提供了非常强大的开发能力。

　　通过本文章的学习，可以掌握一些浏览器开发的小知识（相信我，一点都不难），方便我们后续学习Web Scraper插件。

　　下面开始正文。

　　1 打开开发者后台

　　这个功能其实在我之前的文章《造谣的成本到底有多低？一行代码就可以截图造假了》。如前所述，如果你想从普通浏览模式切换到开发者模式，你只需要按 F12（浏览器 F12 被禁用）。

　　Mac电脑也可以用option+command+I打开，Win电脑可以用Ctrl+Shift+I打开。

　　

　　2 一行代码自由伪造截图

　　这也是一篇老文章《谣言成本有多低？一行代码可以截图，造假内容。很多朋友都表示已经操作成功了，有兴趣的同学可以了解一下。

　　

　　3 切换开发者后台的位置

　　控制台打开后，通常显示在网页底部。其实我们也可以切换到网页右侧进行显示。具体操作是点击后台面板右侧的⋮按钮，然后修改显示位置。具体操作如下。

　　

　　4 使用电脑浏览器模拟手机浏览器

　　使用电脑浏览器模拟手机浏览器是一个非常有用的功能。因为现在是移动互联网时代，公司的大部分网页都是先支持移动端的，而且移动端浏览器的数据结构更加清晰，更有利于我们抓数据。

　　开启模拟手机也很简单，只需点击开发者后台左侧的手机切换图标，然后刷新即可。

　　

　　我们可以用豆瓣网站来证明这一点。

　　

　　当然，我们也可以用这个功能做其他事情，比如上班时开小屏偷偷刷微博。被老板抓到的时候别说我教过你。

　　

　　好了，这就是今天的准备工作。下一期，我们将学习如何使用 Web Scraper 抓取网页数据。

　　●深入理解Web协议（一)：HTTP包体传输

　　●JavaScript测试系列实战（四)：掌握React Hooks测试技巧

　　●打开React Hooks *敏*感*词*和实战（一)：useState 和useEffect

　　·结尾·

　　图克社区

　　采集精彩的免费实用教程