技术文章:关键词文章采集python爬虫

　　技术文章:关键词文章采集python爬虫

　　关键词文章采集python爬虫flask是一个web框架,小巧快速,它不仅提供了web服务,还提供了部分web开发功能.要配置flask爬虫的话,需要两部分文件:flaskblogpages文件夹中存放的是你所需要爬取的文章,此文件夹中的spiders子文件夹是存放爬虫所需要的数据集，最后再通过requests处理发到后端服务端，api程序或者前端页面。

　　flaskblogpages是写html页面或者文章主页面，后端要完成数据的发布。flaskblogpages文件夹中存放的子文件是发布的方式，分为二种：。

　　一、单页面发布：以worker模式来处理信息发布；发布后的页面将以单独一个js来载入数据；header。token()就是这样的类型，它表示了该页面的token（注意：发布时需要设置规则data={"meta":"webkit","profile":{"url":"webkit","host":"","referer":""}})。

　　一、多页面多方式发布：

　　1、一个js方式发布：

　　1).当同一页发布的数量少时，只需在同一页面发布一个js文件，多个js文件在一个页面上可以有多个页面，但是是以一个页面为基础，后续的页面在该页面上有更新即使该页面上有新页面也需要一个页面发布。

　　2).当同一页面的数量较多时，由于需要重新载入包括多个页面的数据，则需要单独将数据发布到不同的页面，页面上只用载入一个js文件就可以不多的页面可以有多个页面。header.token()就是这样的类型，它表示了该页面的token（注意：发布时需要设置规则data={"meta":"webkit","profile":{"url":"webkit","host":"","referer":""}}})用一个js文件多个页面，也可以按一定的规则来控制页面的变化。blog主页就是按这样的方式多个页面；(。

　　3).当同一页面的数量很多的时候，一个页面发布可能有多个js文件，多个js文件在一个页面，如果需要可以通过在js文件中指定url来标识，并且再在页面上标明该页面发布的数量，这样可以把多个页面发布到一个页面。header.token()就是这样的类型，它表示了该页面的token(注意：发布时需要设置规则data={"meta":"webkit","profile":{"url":"webkit","host":"","referer":""}}},该页面可以有多个页面)这个就是单页面多发布，如果想在多个页面也发布，则需要多个js文件，而不是一个js文件来发布。

　　多页面多发布:

　　2、以双方式发布：发布时不以发布规则来发布，而是在每个文章的页面都按照一定的规则来发布，可以是先一个页面发布，