搜索引擎优化高级编程：php版(【资源介绍】【课程内容】第1章课程介绍介绍)

　　搜索引擎优化高级编程：php版(【资源介绍】【课程内容】第1章课程介绍介绍)

　　资源介绍

　　【课程内容】

　　第一章课程介绍

　　介绍课程目标，通过课程可以学到的内容，以及系统开发前需要掌握的知识

　　第二章windows下搭建开发环境

　　介绍项目开发需要安装的开发软件，python virtual virtualenv和virtualenvwrapper的安装和使用，最后介绍pycharm和navicat的简单使用

　　第 3 章爬虫基础回顾

　　介绍爬虫开发需要的基础知识，包括爬虫能做什么、正则表达式、深度优先和广度优先的算法和实现、爬虫URL去重策略，彻底阐明unicode和utf8编码的区别和应用。

　　第4章Scrapy爬取知名技术文章网站

　　搭建scrapy的开发环境。本章介绍scrapy的常用命令和项目目录结构分析。本章还将详细讲解xpath和css选择器的使用。然后使用scrapy提供的spider完成文章的所有爬取。然后详细讲解item和item loader的方法来完成具体字段的提取，并使用scrapy提供的pipeline将数据分别保存到json文件和mysql数据库中。…

　　第5章Scrapy爬取知名问答网站

　　本章主要完成对网站的问答抽取。本章除了分析问答网站的网络请求外，还将分别通过requests和scrapy的FormRequest完成网站的模拟登录。本章详细分析网站的网络请求，分析网站问题答案的API请求接口并提取数据保存在mysql中。…

　　第六章使用CrawlSpider爬取整个招聘网站网站

　　本章完成了招聘网站职位的数据表结构的设计，通过链接提取器和规则的形式完成了所有招聘网站职位的爬取，并配置了CrawlSpider。本章也会从源码的角度分析CrawlSpider let。大家对CrawlSpider都有很深的了解。

　　第7章 Scrapy突破反爬虫的极限

　　本章将讲解爬虫与反爬虫的较量，然后讲解scrapy的原理，然后通过随机切换user-agents和设置scrapy的ip代理来突破反爬虫的各种限制。本章还将详细介绍httpresponse和httprequest，详细分析scrapy的功能。最后，我们将使用云编码平台完成在线验证码识别并禁用cookies和访问频率，以减少爬虫被拦截的可能性。…

　　第8章高级scrapy开发

　　本章将解释更高级的scrapy特性。这些高级功能包括通过 selenium 和 phantomjs 抓取动态 网站 数据并将两者集成到 scrapy、scrapy 信号、自定义中间件、暂停和启动 Scrapy 爬虫、scrapy 核心 api、scrapy telnet、scrapy web 服务、scrapy 日志配置以及邮件发送等，这些功能让我们不仅可以使用scrapy来完成...

　　第九章scrapy-redis分布式爬虫

　　Scrapy-redis分布式爬虫的使用和scrapy-redis分布式爬虫源码分析，让大家可以根据自己的需要修改源码，满足自己的需求。最后，我将解释如何将bloomfilter集成到scrapy-redis中。

　　第10章Elasticsearch搜索引擎的使用

　　本章将讲解elasticsearch的安装和使用，elasticsearch的基本概念介绍以及api的使用。本章还将讲解搜索引擎的原理和elasticsearch-dsl的使用，最后讲解如何通过scrapy管道将数据保存到elasticsearch。

　　第11章Django楼搜索网站

　　本章讲解了如何通过django快速构建搜索网站，本章还讲解了如何完成django和elasticsearch之间的搜索查询交互。

　　第十二章scrapyd部署scrapy爬虫

　　本章主要使用scrapyd完成scrapy爬虫的在线部署。

　　第十三章课程总结

　　重新组织系统开发全过程，让学生对系统和开发过程有更直观的了解