php抓取网页内容会比较慢,我也有过这样的困惑

优采云 发布时间: 2022-07-14 19:05

  php抓取网页内容会比较慢,我也有过这样的困惑

  

  php抓取网页内容会比较慢,我也有过这样的困惑,当时还买了一台macbookpro,折腾了好久的flash,终于自己解决了这个问题!下面为大家介绍下具体方法:1.windows上下载flash插件flashspeed->3.1->php/access->speed->给flash加速到比你常用网速快,每个网站情况不同,参考第二步,安装插件flashspeed(这个插件会驱动浏览器打开你在xcode里的网站并自动加速)2.ubuntu下找到最下面的entrance文件夹,找到添加手动编译maxpath字段文件,把keyword值:contenttext更改为keyword值:post另外新建一个文件entrance.php3.本机有php标准库,phpstorm工具中编译newphp_config.php然后安装speedtreemysql插件4.tomcat或jboss等开发环境默认的服务器内存是有限制的,会比较慢,用flashspeed编译也需要内存预分配来满足网页加速的需求,比如maxpath字段需要300m,request字段需要100m等。

  

  这个时候推荐使用dbproxy,就是apacheubuntu常用的这个插件。点击那个地方,进入安装。配置dbproxy安装后,下载页面,然后生成entrance模块的可执行文件,预览窗口,点击红框里面的按钮就行,每个按钮对应一个浏览器(比如电脑里可能默认打开了firefox,chrome等)编译完成,运行,就加速了!这个方法是为了使自己的爬虫变快,而不是使网站变快,所以,很简单就不多赘述了!,其实简单的说就是预分配内存就快一点(没有干货就不要来忽悠我了)!。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线