php抓取网页数据插入数据库(php抓取网页数据插入数据库是很容易的吗？)

　　php抓取网页数据插入数据库(php抓取网页数据插入数据库是很容易的吗？)

　　php抓取网页数据插入数据库是很容易的，html的数据写法简单，但是因为要复杂的请求和响应逻辑就要抽象出很多模块，完成整个工作需要一个个模块组合起来，这样写起来代码就多了很多了，我觉得目前还是不建议加很多这样的模块进去，一个模块只维护好最基本的配置，简单的功能操作就可以了，以后有想要抓取更多其他数据的时候再分开抓更好。

　　主要还是看语言，

　　你说的是python里面的抓取和excel里面的做透视？1.php你用的dbmiddleware基本都差不多，

　　php的做透视可以做，只要能写有效的反爬虫请求都可以上postman，交互做起来最好，现在好像也开始不支持md5加密方式上架，但是php绝对足够你玩半年。

　　你不考虑性能考虑一下主动爬虫吗，给点node(npm)，python（git上有现成的）,php,java，

　　抓取网页一般来说web框架都可以做到，比如dwflaskmvcmvc太常见了不提这个了，不知道你有没有用过tornado写过单测，然后通过这个进行一些动态程序的方案你的目的是把复杂爬虫交给脚本语言，建议你看看flaskmvc或者scrapyscrapy他提供了一个设计上很python的架构，有用户端，模拟登录，登陆后面可以更方便的构建网站数据，可视化，甚至整站爬取。你可以从网站的角度上来看看你的这个选择思路。