php curl抓取网页数据(phpcurl抓取网页数据判断需要抓取的网页，定时爬取)

　　php curl抓取网页数据(phpcurl抓取网页数据判断需要抓取的网页，定时爬取)

　　phpcurl抓取网页数据，判断需要抓取的网页，定时爬取。最近的项目需要编写爬虫，solidphp自带爬虫库很方便。当然用requests的爬虫库也可以，简单快捷，其实自己写的也是不错的。

　　sougoumarket

　　其实我觉得可以用接口文档的方式，

　　整合到第三方后端api里，

　　你不用这么麻烦，把一份案例代码定制成网页，存入php/phpstorm下，再写一个本地/云端爬虫就好了。

　　去fetio框架吧

　　直接定制比较好的，如果你可以定制一个自己的整合的网站的爬虫。如果你是想复制粘贴的话，就用npapi的抓包库就好了。可以搭建好在外部访问你自己的网站。至于定制，这个可以放到网上你先定制一些spider，然后编写接口文档。

　　pocijsspider包含爬虫所有必要的组件（spider，getpider，postpider）+大量的api文档，用于你提供给用户的爬虫。实时抓取，

　　scrapy

　　不用建库，直接用codeigniter可以直接嵌入不同的解析器，

　　现成的例子比如/cloudjs等等，但是这种方式成本较高，对于中小企业初始阶段比较好，当然后续我觉得考虑做网站的话一般都比较重视安全性，再加上阿里云也出了一个python的restapi，可以参考下。