php 网页抓取(php网页抓取数据库是不是有什么不妥？)

　　php 网页抓取(php网页抓取数据库是不是有什么不妥？)

　　php网页抓取数据库是不是有什么不妥？我觉得可以在每次抓取之前都去构造一个html代码，然后保存为一个txt文件，然后保存给客户端，然后在用反向代理保存代理ip，直接传递给服务器即可。

　　不合理。不建议尝试读取网页。学python+爬虫（强烈推荐）。

　　哈哈，这跟php搭不搭边，关键你想通过php抓什么东西，数据库不都是那些东西。我只能说，你随便抓什么抓去，然后用scrapyhttp2这些框架抓取就行。或者一些轮子。具体细节，从加载页面到处理数据到分析分页这些东西你抓个csv文件都一样的（python一定要去学），我是phper，都不是特别了解php，仅供参考。

　　据我所知，抓取数据库和抓取网页是两回事儿。你需要买爬虫和分析数据是两回事儿。其实就是你会php并不代表你一定能抓到数据库。

　　说实话，这种不切实际的问题在不了解具体情况下，

　　php不适合网页抓取，比如抓取下用户的隐私数据，对于普通网站效果还是很不好的。建议web爬虫，工程最小，容易上手。

　　“php应该可以获取数据库中的所有信息”？？？看来应该买一套好点的服务器了

　　不恰当的比喻，估计php就像是汽车行业，普通人靠ps还能做出最基本的优化，但是对于汽车行业的研发人员来说，你的ps能力不如一个轮子呢，所以只能暂时用轮子。但是会造车，没有轮子可能是在深渊。再说下网页抓取，你在网页中的抓取，在php里面，一看就是用request，而对于request而言，对于互联网基本上都有，即使没有，request还是可以依靠url抓取的，所以抓取是可以的。

　　这就是网页抓取和数据库之间的关系。php可以抓取网页，你能把“数据库中的所有信息”获取过来吗？或者说我会造一个轮子，我仅仅就想通过php传递给服务器端或者是json能够用就够了么？不是所有网页抓取都必须用php的吧，有的可以用json解析机制获取，这不一样啊。所以这不是php不能php都不好的问题，而是并不适合用来做网页抓取。

　　其实在做网页抓取的时候应该考虑一下服务器端或者json怎么处理，这样也不错，关键还是不了解对方怎么使用这个技术的。