php 爬虫抓取网页数据(我看你php是用于爬取热门主页的吗？)

　　php 爬虫抓取网页数据(我看你php是用于爬取热门主页的吗？)

　　php爬虫抓取网页数据，用webserver（服务器）记录下来用，不能单独用。另外java和python可以互相调用的。找你要抓取的php页面，用代理连接到java爬虫的服务器，要求java帮你把php页面的链接替换成你自己定义的网址，然后你直接从java爬虫接收数据即可。我看你php是用于爬取热门主页的吗？我推荐你可以从scrapy框架抓取主页：scrapy-self。

　　讲个故事吧。以前以为php里面有语言会爬取到数据，现在发现java也有这个api。这个对爬虫的用处不大，因为都是爬下来连接网页编程而已。

　　我想爬一些我觉得有用的资源，用于向人讲学。求简单，求技术含量大，简单，又时效性强的办法。

　　可以建立一个scrapy服务器，但为了知乎规定，文章自动推送在“知乎-与世界分享你的知识、经验和见解”这个专栏里，推荐到“python技术”专栏让服务器上的用户抓，

　　我就想知道，知乎有啥“实用性”需求，让爬虫给爬过来啊。以下是正经回答python提供了很多个爬虫比如pythontime.sleep(500)对tcp或者http网络进行500毫秒的阻塞干扰,pythontornado可以实现异步轮询,一个tornado可以支持大多数http代理服务器,对于有多个爬虫的知乎来说,python自己是无法支持500毫秒这么长的时间,而且人人必须是认证用户.pythontornado如何做的,简单的简单用bio做下代理,首先抓取你想抓取的页面,url的url用get方法,如果你这个页面有多个url或者url不唯一,这个时候需要抓取多个页面然后写入到队列,抓取到后先从队列取你想要抓取的页面,然后去拿这个页面的url,然后进行循环判断从队列拿url是否是你想要的url,一旦不是,就返回结果并退出等待状态然后去抓取下一个url,如果抓取到还是不是的话,就返回结果并退出等待状态.在做这个循环判断过程时,用python队列也可以用str.strip()。