搜索引擎优化知识(搜索引擎优化知识复杂难懂，需要有基础的html/css/javascript)

　　搜索引擎优化知识(搜索引擎优化知识复杂难懂，需要有基础的html/css/javascript)

　　搜索引擎优化知识复杂难懂，需要有基础的html/css/javascript/dom/设计方面知识，还需要大量阅读源码，对于新手来说确实是个比较高大上的工作，一开始无从下手。于是我就根据知乎上各位大牛经验和常用api为同学们写一个简单的爬虫，为大家提供快速入门环境。不过由于我水平有限，如果遇到错误，请在评论区指出错误出在哪里，谢谢。

　　整个爬虫流程分为四步：爬取api数据api请求scrapy爬取数据通过scrapy封装selenium自动化所有爬虫流程首先是api数据获取，这一步和服务器端是分开编写的。下面是编写代码如下：importscrapyasscrapyimportreimportjsonimporttimeimporttimeimportcopytry:page=scrapy.request("start.page",timeout=1,method="post",url="/")#page为请求链接，后面scrapy会与我们提供的/结合使用，由于是早期的数据包的集合，不适合用来找数据包，但是考虑到我们爬取的数据非常大，所以就在这个链接上放置了各种字段比如useragent用户登录ip，location指定搜索url等等。

　　注意list需要用逗号隔开。page.read()except:passstart=scrapy.future()scrapy.start()time.sleep(。

　　1)login_api.run()以上代码的编写重点在于future-future-future，只有编写了future-future-future，scrapy才能够在异步进行计算和调用，这样对于代码的可维护性好很多。到这里我们大概可以得到我们想要的数据了。

　　下面我们直接以scrapyspider为例子来编写爬虫：defspider_crawler(self,url,timeout=

　　1):root=scrapy.request(url,timeout=

　　1)spider=spider_crawler(root,url=url)spider.post("/")spider.post("/")ifspider.reload('session'):spider.save()spider.start()forrootinroot:root.save()从代码上可以看出我们爬取的root是需要保存在root/crawler目录下的，并且我们要在spider.py里面增加xx（如下），否则在我们spider的start方法执行后这个crawler目录会被spider_crawler覆盖掉。python爬虫。