php 抓取网页内容(php抓取网页内容之前用过爬虫开发工具，scrapy,)

　　php 抓取网页内容(php抓取网页内容之前用过爬虫开发工具，scrapy,)

　　php抓取网页内容之前用过爬虫开发工具，scrapy,各有长短。想要抓取多页面时，遇到服务器负载过大，网站负载过重等各种问题，它解决的办法是在请求的时候预留参数，并与服务器端进行比较。php实现呢，可以先用taobao_redirect_dump函数把页面抓取下来。然后呢，再从json，xml或者json-raw抓取。

　　直接抓取是可以的，但是流量数据应该是不能直接获取的（因为通过去掉cookie这种步骤得到的是ip与购买商品数量）。你可以尝试一下，用你自己开发的js库去抓取目标站点的html。然后后端用php处理（phpstorm有带js处理模块，但是安装较麻烦，所以个人感觉没有phpstorm这么强大）。这个问题如果你用python或java做实现也可以解决，所以不用太担心。

　　并不行，你需要保证网站内容不是公开的数据，

　　你可以去看看加拿大的游戏家事例，他们用代理从推特上面抓内容到本地服务器，但是后端处理数据比较麻烦，适合直接抓，

　　可以，但是你需要的是强大的requests，并且需要有index.php你当然也可以不如visualstudio那么死忠，但是atom为什么不能做php网页内容抓取---visualstudiocode可以强大到仅仅用atom是不够用的。