毕马威咨询，理清思路，分步行动，行动第一步

　　毕马威咨询，理清思路，分步行动，行动第一步

　　原创文章自动采集9家媒体（电影、网络、体育、音乐、天气、报纸、邮政）媒体网站相关信息来源：毕马威咨询，理清思路，分步行动第一步：寻找天气雷达图第二步：采集职位搜索第三步：抓取关键词第四步：提取规律第五步：查漏补缺第六步：打包分类打包分类第七步：自动化排序第八步：合并公式第九步：存储第一步：寻找天气雷达图站点天气雷达图的爬取思路分为四步。

　　思路一：天气雷达图爬取原理是大气风云图，顾名思义，天气可分为三种——大气雷达图、雷达分析图和白云等。内容自行百度可以搜索到。思路二：搜索excel即可获取天气雷达图不用局限于大气雷达图。excel内置了天气信息，且excel完全可以爬取天气雷达图，只要你懂点爬虫，并且善于梳理规律，将excel内容当做数据库存储，以大气雷达图为模板，利用excel内置宏，根据数据自己填写属性对信息进行分析，最终可以得到天气雷达图。

　　思路三：爬取招聘企业信息进行分析。建议题主先整理各类岗位名称和各类职位需求，再爬取。除数据分析岗位外，大部分企业的职位名都有很多隐藏的关键词，需要自己挖掘。如果不能迅速找到需要的内容，再寻找其他能挖掘的数据项进行爬取，相对比较困难。第二步：采集职位搜索找到相关职位，再爬取该职位。抓取内容大部分选取各类招聘网站职位。

　　抓取网站有十多个，采取的方法也各有不同。a.爬取职位网站职位，并进行网页解析。这个步骤需要认识html、taobao和css等基础知识。我们用到一个解析网页的工具：bootstrap，bootstrap进行javascript解析，以此实现网页解析。c.爬取网站页面，并将页面存储并爬取页面。其实这个步骤是最简单，不需要我们会javascript等技术。

　　对于不懂javascript的话，可以使用phantomjs实现cookie被感染。d.爬取职位相关的网站信息并对网站进行分析、挖掘。下面详细介绍：01、爬取天气雷达图这步可谓需要用到爬虫技术、职位分析和数据挖掘技术。爬虫是以任何方式爬取数据的工具。常见的爬虫方式有f5、httpclient等。爬虫需要掌握网页数据抓取及html抓取。

　　职位分析需要掌握相关分析方法。爬虫需要做到数据采集、简单清洗、数据存储、数据分析，抓取的数据要进行复杂过滤、统计。职位数据挖掘可以使用深度学习模型。此处采用phantomjs来采集网页的数据，方法和抓取天气雷达图相似。html是hypertextmarkuplanguage的缩写，中文翻译为超文本标记语言，用来描述网页上有用的东西，可以跨浏览器获取网页数据。常见于网页、java中。其实本文所要讲解的爬虫技术是应用在html抓取。