如何开发自动化爬虫的爬虫：你不需要的关键词

　　如何开发自动化爬虫的爬虫：你不需要的关键词

　　通过关键词采集文章采集api本质上是，抓取你要的关键词+其他相关人工搜索。python爬虫中，自动化采集多是基于web框架的，所以让我们先来看看如何开发自动化爬虫api。然后我们再看看apisscrapy是一个常用的爬虫框架。这意味着什么？它比起我们之前使用的python爬虫框架的开发更为简单。现有的爬虫框架如果想开发一个自动化python爬虫，你可能需要把你的数据全部爬下来。

　　但是这时候你就面临一个问题，数据从哪里来？或者说你有爬虫框架，当你想爬这个数据或者其他数据源时你就面临着两个问题，你是从这些爬虫采集呢？还是找到另一个爬虫框架替你完成这个采集？以及你是自己爬还是买别人的？例如使用githubpages来采集，如果你想使用restapi或者有的甚至还没有restapi那会是个比较棘手的问题。

　　在我们开始了解一下这两种情况之前，我们先解释一下什么是pythonapi：pythonapi是一种运行在web上的功能代码，通过接受某种python语言特性，调用任何webapi（可以使用浏览器，也可以直接用javascript方式调用）。怎么样？看起来挺吓人，一个一个api，来回开发+接收消息！的确是如此，几乎很难。

　　当然，它的确是一门难度很高的技术。这也是为什么python如此受欢迎，还有一个原因是python拥有很多实用的python库，这些库的内容及接口简单，代码量也小，有很多库可以方便地从api做采集和抓取，但是采集的设置也相对复杂。我们想找到一个满足pythonapi的框架，下面将从githubpages和爬虫框架两个主要的角度来阐述如何开发pythonapi的爬虫：你不需要去想python的具体问题，你可以去想怎么爬取这些api。

　　现在用一句话，githubspider就是一个爬虫框架，可以实现一个相对容易的自动化爬虫程序。下面的内容会用到python程序框架lxml来编写一个github上的爬虫，你可以到github上找lxml的博客尝试其他框架。对于前端开发人员而言，web框架常常因为它们比较高效而不知所措。现在的所有框架都同时支持html和xml，你可以使用几种方法来编写爬虫，这里将介绍api库githubpages：前面我们已经写过一个githubpages爬虫，即让githubspider去爬取我们的网站。

　　当你写完api之后你也可以添加一个githubspider，用于抓取github上的api。githubspider支持form和dom页面，对于后端开发人员，不要担心这两个方法。你只需要像使用别的类似爬虫爬取一样编写api即可，以下将详细讲解爬虫的选择和编写1、githubspider首先来谈谈githubspider，它用于抓取github上的api。