怎样抓取网页数据(学习ci框架推荐/tidb·github学习配置化和模块化的编程推荐)

　　怎样抓取网页数据(学习ci框架推荐/tidb·github学习配置化和模块化的编程推荐)

　　怎样抓取网页数据，

　　如果你的项目设计比较简单,那么可以用openrestygithub-soeventeda/openresty:openrestyforcomputerprogramming

　　学习ci框架推荐树熊sobloglabs/tidb·github学习配置化和模块化的编程推荐kibana

　　openresty是一个优秀的多语言构建的一体化框架，支持基于httpserver和fastcgiserver构建网络应用。优点之一是基于xml构建，可以兼容其他开源项目，尤其是一些已经发布成熟的项目。主要特点包括：超级容器引擎，支持自定义loader和runtime，自动绑定容器内的socket,接收从容器外的socket传输过来的数据；跨语言，通过http/server可以构建跨平台的桌面应用；支持嵌入式构建，跨平台运行在不同的终端设备上；命令行接口，使用命令行接口把api集成到各个应用程序。

　　标准的不行，爬虫，设计模式，编程模式，因为这些框架编写起来有代码*敏*感*词*和yaml，xml配置，非标准的，就要自己写了，比如数据去重，tidb之类的。我觉得可以学习使用google的开源框架比如apachekafka，编写写爬虫，amazon的pythongeneric以及docker也可以，但是数据维护比较麻烦。各有各的好处吧。