php网页抓取(php网页抓取返回数据算法(一)_e操盘_微交易)

　　php网页抓取(php网页抓取返回数据算法(一)_e操盘_微交易)

　　php网页抓取返回数据算法

　　1、应用：看你要用来做什么，是用来做云服务？php？还是做网页抓取服务？2、技术：应用大部分是iis或者apache，配置就可以，网页抓取是lamp的概念，

　　我写过爬虫代码，nginx搭一个反向代理，php反向代理加抓取服务器端，然后用爬虫抓抓人物，总结一下，主要分成了三个方面：1。爬虫服务器端实现，网页爬虫/微博爬虫/p2p等等，虽然有些工作是php来写的，但其实大部分的工作还是是iis或者nginx转发请求，然后配置里面先写fcgi-logdump-execlog，spider和preprocessor，然后拿到返回的数据循环去解析数据库等内容，最后把数据返回给爬虫服务器端2。

　　爬虫配置，其实主要看看你的爬虫需要怎么权限，开发爬虫主要还是来拿真实数据，所以所有的权限设置是必要的3。爬虫解析，简单说就是把爬虫的解析，网页翻译，流式等方法做好，python库numpy、pandas可以做到至于其他的，gs搭一个图床也不错。

　　最基本的，

　　iis主机要懂一些linux的基本操作，

　　最基本的话：python+linux常用操作就ok，