php抓取网页域名(php抓取网页域名不是一个专业的开发工程师)

　　php抓取网页域名(php抓取网页域名不是一个专业的开发工程师)

　　php抓取网页域名不是一个专业的开发工程师能理解的（如果你理解了，那恭喜你，肯定是个合格的开发工程师了），抓取其他非http的网页，是可以专业设计一个应用的。

　　爬虫是个分类很多的概念。

　　1、是爬虫有端口限制，限制只能爬取本机端口段内的ip，

　　2、爬虫要有请求数据的请求方法，爬虫要有处理请求的解析方法，爬虫要有代理和负载均衡支持，

　　3、爬虫要有对请求的处理结果数据的封装等，还要有自定义的去重分类查询等。

　　4、爬虫工程师是个泛称，主要的的方向是scrapy框架层的爬虫工程师和nginx负载均衡等工具层的爬虫工程师。

　　爬虫和通讯模块是两个概念，目前通讯模块很多，抓取部分和处理部分都有，

　　c++数据库，sql优化。

　　首先，引入"c/c++/python"这个三个框架。数据库要设计好，一定的rowmaker是必要的，之后就是数据库的设计和调度。c++要熟悉，linux等东西要会。python抓取，http协议等也要懂一些。

　　公司用的是phplnmp，服务器可以简单的用pythonlhostr封装。抓取部分用selenium，运维部分用redis或gevent。到最后就看数据库的部分了，但数据库是必须要会的。前后端要有能力分开的应该是做数据库的。