如何搭建爬虫（3）动态分组采集核心关键词(3)

　　如何搭建爬虫（3）动态分组采集核心关键词(3)

　　文章采集链接(3)动态分组&采集核心关键词一个个提取重要字段放到excel中本篇文章我们不讨论python的模块，所以下篇文章我们将来详细学习一下如何搭建系统爬虫，毕竟我从业多年，切实见证了当前社会“人性的贪婪”。今天我们来讨论一下如何搭建爬虫最近一段时间时间以来，在python快速爬虫框架方面有大量的公司正在招聘爬虫这个职位，scrapy,scrapy-item，requests、queryselector等等都在很多互联网企业很多招聘网站上和公司的招聘信息上出现过，互联网人才的“需求旺盛”但其实不同招聘网站要求的语言不尽相同，比如在拉勾网只是需要linux操作系统的运行环境，要求会使用python和requests就可以；而在智联网要求会urllib2和html的最新标准，以及python的掌握基本语法操作，这些都是在拉勾和智联网的官网招聘信息上都会看到的信息，本篇文章就来具体分析拉勾网的招聘信息是否要求掌握python并且要求会python做爬虫。

　　在拉勾网上爬取职位信息需要先准备如下库：scrapy需要掌握如何构建爬虫web服务器，http请求，http响应；python需要掌握django框架；以及db需要掌握mongodb等；tornado需要掌握以及http请求协议；那为什么我们不直接找公司总部开放的外包爬虫职位来爬取职位信息呢？经过多次尝试，同一个爬虫功能可以分为不同的机构提供的外包爬虫业务和公司提供的常规爬虫业务。

　　比如说开放外包爬虫在提供服务的角度来看有2种（tmsi业务，sse业务），如下：tmsi业务开放给python学习者，大部分课程都需要2年以上的python基础教育经验的专科生/本科生，并且这个人群的人数无上限，那这个业务我是否可以理解为特殊多需求人群？sse业务在某些大企业中占比比较小，但一般是大型传统企业才会开放，大部分都是小型创业公司，那这个业务是否需要存在我们的业务特殊性？所以我们可以得出，特殊性本身不是一个非常好的坑，必须要结合我们的业务特点，那具体是什么呢？我们通过一个公司的jd可以发*敏*感*词*融培训，人力资源服务，物流服务，科技咨询培训，教育培训，还有很多所谓的中小学选课系统，都有在招聘培训类的员工或者外包人员。

　　由于这些人才在培训行业的存在，像java这样的语言我们就不能对他们是否属于it业务经历人员来进行区分，或者其他类型。所以从培训业务来看，那也不属于人力业务经历人群。那么根据特殊性我们可以定义一个岗位，比如这个岗位要求要掌握。