2017年上海事业单位招聘考试资源介绍-乐题库

　　2017年上海事业单位招聘考试资源介绍-乐题库

　　资源介绍

　　[课程内容]

　　第一章课程介绍

　　介绍课程目标，通过课程可以学到的内容，以及系统开发前需要掌握的知识

　　第二章windows下搭建开发环境

　　介绍项目开发需要安装的开发软件，python virtual virtualenv和virtualenvwrapper的安装和使用，最后介绍pycharm和navicat的简单使用

　　第3章爬虫基础知识复习

　　介绍爬虫开发需要的基础知识，包括爬虫能做什么、正则表达式、深度优先和广度优先的算法和实现、爬虫URL去重策略，彻底阐明unicode和utf8编码和应用的区别.

　　第4章scrapy爬取知名技术文章网站

　　搭建scrapy的开发环境。本章介绍scrapy的常用命令和项目目录结构分析。本章还将详细讲解xpath和css选择器的使用。然后使用scrapy提供的spider完成文章的所有爬取。然后详细讲解item和item loader的方法来完成具体字段的提取，并使用scrapy提供的pipeline将数据分别保存到json文件和mysql数据库中。 ……

　　第5章scrapy爬行知名问答网站

　　本章主要完成网站问答的提取。本章除了分析网站的网络请求外，还会分别通过requests和scrapy的FormRequest完成网站的模拟登录。本章详细分析网站的网络请求，分别分析@k14。 @Question 回答api请求接口并提取数据保存在mysql中。 ……

　　第六章通过CrawlSpider爬取全站招聘网站

　　本章完成了招聘网站职位的数据表结构的设计，通过链接提取器和规则的形式完成了招聘网站中所有职位的爬取，并配置了CrawlSpider。本章也会从源码的角度分析CrawlSpider，让大家对CrawlSpider有一个深入的了解。

　　第 7 章 Scrapy 突破反爬虫的极限

　　本章先讲解爬虫和反爬虫的较量，然后讲解scrapy的原理，然后通过随机切换user-agents和设置scrapy的ip代理来突破反爬虫的各种限制。本章还将详细介绍httpresponse和httprequest，详细分析scrapy的功能。最后，我们将使用云编码平台完成在线验证码识别并禁用cookies和访问频率，以减少爬虫被拦截的可能性。 ……

　　第8章高级scrapy开发

　　本章将解释scrapy更高级的特性。这些高级功能包括通过 selenium 和 phantomjs 抓取动态网站 数据以及将两者集成到scrapy、scrapy 信号、自定义中间件、暂停和启动scrapy 爬虫、scrapy 核心api、scrapy telnet、scrapy web 服务、scrapy log配置和邮件发送等这些功能让我们不仅可以使用scrapy来完成...

　　第9章scrapy-redis分布式爬虫

　　Scrapy-redis分布式爬虫的使用和scrapy-redis分布式爬虫源码分析，让大家可以根据自己的需要修改源码，满足自己的需求。最后解释一下如何将bloomfilter集成到scrapy-redis中。

　　第十章elasticsearch搜索引擎的使用

　　本章将讲解elasticsearch的安装和使用，elasticsearch的基本概念介绍以及api的使用。本章还将讲解搜索引擎的原理和elasticsearch-dsl的使用，最后讲解如何通过scrapy管道将数据保存到elasticsearch。

　　第11章Django楼搜索网站

　　本章讲解了如何通过django快速构建搜索网站，本章还讲解了如何完成django和elasticsearch之间的搜索查询交互。

　　第十二章scrapyd部署scrapy爬虫

　　本章主要使用scrapyd完成scrapy爬虫的在线部署。

　　第 13 章课程总结

　　重新组织系统开发的全过程，让学生对系统和开发过程有更直观的了解