解决方案:f12开发者关键词采集器按效果的分类及分类

　　解决方案:f12开发者关键词采集器按效果的分类及分类

　　关键词采集器按效果分为两类：按效果分类第一类：静态静态的页面爬取大家应该都比较清楚了，那么对于广大的非洲土豪来说，在f12开发者工具模式下找到页面元素，即可对页面元素进行查找，获取网页信息。在非洲这一块，最常见的就是各大视频网站里面的视频，每个视频的脚本文件都是有且只有一个。一般搜索java相关的关键词可以找到相应的css/js。

" />

　　除此之外，网页在加载初期会出现缓冲区域，这个时候我们可以将相应的页面地址分段（前后双）保存，然后对每一段进行爬取。同时，对比该网页其他页面的时候，我们可以依据首页到播放列表页进行分段爬取，这样就可以从不同的页面中获取到其他网页中的页面地址了。除此之外，对于新闻站，或者体育类站点来说，当爬取页面量过多的时候，爬取速度会变慢，所以，我们也可以直接通过热度变化（dom）进行查找，关键词就是通过热度值来进行取值，如：音乐网站，英文歌就是字母表的第一个+i根据网页的需求调用一些应用程序，比如知乎就有开发者工具，那么我们可以将所需的python环境搭建好，爬取知乎的网页即可。

" />

　　第二类：动态这种动态页面我们就要多注意了，通常见到动态页面，一般会以下几种方式：a.加载动态页面加载动态页面的关键点在于：请求这一块（基本跟静态页面差不多）在页面加载的过程中，爬取该网页中后台没有爬取的页面相关元素，这个过程对于爬虫来说，即可获取整个网页的元素。当然，这个过程也涉及到负载均衡的问题。a.多线程b.轮询c.断点续传d.同步请求e.网络iof.数据库读写动态页面对于很多公司来说，对于这部分的需求还是相对比较大的，一般都是基于*敏*感*词*分布式部署的服务器（基于ror服务器）来进行*敏*感*词*的爬取，即需要有大量的服务器来共同工作，这样爬取的速度就要快很多。

　　同时，涉及到发布公网问题，发布知乎的api接口要求有大量的公网地址，就意味着抓取其他站点，知乎是要把api地址返回给站点的，当然，在不考虑抓取公网的情况下，也可以对站点进行包装，采用动态模拟登录（简单来说，即通过某人账号，抓取另一个人账号的内容）。当然，没有什么是一个包可以解决的，所以，就需要自己的优化了。也就是我们经常说的，对于网站自身爬取速度的优化！！！。