php多线程抓取网页(批量调用过程如下：一系列数量很大数据(一)_官方手册)
　　何琪:
　　对于一系列收录大量非热门数据且希望被爬行器抓取的页面，在爬行器抓取的高峰期，响应时间将非常高
　　前人做过这样一件事：页面被分成三个块，由三个内部接口提供，条目文件是curl_uuu_uu*一系列函数获取三个内部接口的内容，并将它们组装成一个页面
　　这可能会影响性能
　　所以学习和分析
　　阅读官方PHP手册后，批处理调用过程总结如下：
　　curl\uuu multi\uu Init-返回一个新的curl批处理句柄，作为Init生成的单个curl句柄的curl\uu容器
　　curl\uumulti\uuadd\uhandle-向curl批处理会话添加单独的curl句柄
　　curl\uumulti\uexec-运行当前curl句柄的子连接，select（）的curl\umulti\uvalue
　　curl\uumulti\uuselect-等待所有curl批处理中的活动连接
　　curl\uumulti\uuGetContent-如果设置了curlopt\uReturnTransfer，则返回获得的输出的文本流
　　curl\uumulti\uuremove\uhandle-从curl批处理句柄资源中移除句柄资源
　　curl\uumulti\uclose——关闭一组卷曲控制柄
　　从PHP官方网站获取示例代码：
　　疑虑和想法：
　　1.批量请求的原理
　　PHP没有多线程。它是在操作系统的多线程帮助下实现的（见Internet）
　　2.batch请求基于操作系统的多线程机制，理论上会消耗大量CPU
　　a。在开发机器上验证，当发出大量请求时，CPU调用确实会急剧增加
　　b。对比在线前端机的负载和页面响应时间延长的时间点，发现在线前端机的负载没有明显增加（维持在0.3（左和右）
　　c、 当select（）的返回值不是-1（表示存在尚未处理的请求）时，我在Internet上看到有人在curl中使用了multi100)，休眠以避免由于不读取处理状态而导致不必要的CPU压力
　　注意:
　　2中a和B之间存在矛盾，根本原因尚未找到
　　2中的C未在实践中进行测试
　　欢迎读者批评指正
　　作者：肖帅将军 查看全部

　　php多线程抓取网页(PHP利用CurlFunctions可以实现并发多线程的访问多个url地址
)
　　PHP 可以使用 Curl Functions 完成各种文件传输操作，比如模拟浏览器发送 GET、POST 请求等，但是 PHP 语言本身不支持多线程，所以开发爬虫程序效率低下不高。这时候往往需要借助Curl Multi Functions来实现对多个URL地址的并发和多线程访问。
　　既然Curl Multi Function这么强大，我可以用Curl Multi Function来写并发多线程下载文件吗？当然，我的代码如下：
　　$urls= array(
'http://www.sina.com.cn/',
'http://www.sohu.com/',
'http://www.163.com/'
); // 设置要抓取的页面URL

$save_to='/test.txt'; // 把抓取的代码写入该文件

$st= fopen($save_to,"a");
$mh= curl_multi_init();

foreach($urlsas$i=> $url) {
$conn[$i] = curl_init($url);
curl_setopt($conn[$i], CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)");
curl_setopt($conn[$i], CURLOPT_HEADER ,0);
curl_setopt($conn[$i], CURLOPT_CONNECTTIMEOUT,60);
curl_setopt($conn[$i], CURLOPT_FILE,$st); // 设置将爬取的代码写入文件
curl_multi_add_handle ($mh,$conn[$i]);
} // 初始化

do{
curl_multi_exec($mh,$active);
} while($active); // 执行

foreach($urlsas$i=> $url) {
curl_multi_remove_handle($mh,$conn[$i]);
curl_close($conn[$i]);
} // 结束清理

curl_multi_close($mh);
fclose($st);
　　代码2：将得到的代码先放入变量中，再写入文件
　　$urls= array(
'http://www.sina.com.cn/',
'http://www.sohu.com/',
'http://www.163.com/'
);

$save_to='/test.txt'; // 把抓取的代码写入该文件
$st= fopen($save_to,"a");

$mh= curl_multi_init();
foreach($urlsas$i=> $url) {
$conn[$i] = curl_init($url);
curl_setopt($conn[$i], CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)");
curl_setopt($conn[$i], CURLOPT_HEADER ,0);
curl_setopt($conn[$i], CURLOPT_CONNECTTIMEOUT,60);
curl_setopt($conn[$i],CURLOPT_RETURNTRANSFER,true); // 设置不将爬取代码写到浏览器，而是转化为字符串
curl_multi_add_handle ($mh,$conn[$i]);
}

do{
curl_multi_exec($mh,$active);
} while($active);

foreach($urlsas$i=> $url) {
$data= curl_multi_getcontent($conn[$i]); // 获得爬取的代码字符串
fwrite($st,$data); // 将字符串写入文件。当然，也可以不写入文件，比如存入数据库
} // 获得数据变量，并写入文件

foreach($urlsas$i=> $url) {
curl_multi_remove_handle($mh,$conn[$i]);
curl_close($conn[$i]);
}

curl_multi_close($mh);
fclose($st); 查看全部

　　php多线程抓取网页(PHP用pcntl可以实现多线程操作数据库操作数据，逻辑自己研究喽)
　　PHP 使用 pcntl 实现多线程数据库操作。直接上代码，Logic自己研究一下。
　　示例代码为：
　　/**
* 并发多线程运行任务，把任务拆解成区块，用多线程去并发执行
* @param callable $exeWorkers [任务函数体]
* @param [type] $maxJob [最大数量]
* @param [type] $threadNum [线程数量]
*/
function runJobWithThread(callable $exeWorkers,$maxJob,$threadNum)
{
$pids = array();
for($i = 0; $i < $threadNum; $i++){
$pids[$i] = pcntl_fork();
switch ($pids[$i]) {
case -1:
echo "fork error : {$i} \r\n";
exit;
case 0:
$totalPage=ceil($maxJob / $threadNum);
$param = array(
//'lastid' => $maxJob / $threadNum * $i,
//'maxid' => $maxJob / $threadNum * ($i+1),
'page_start' => $totalPage*$i,
'page_end' => $totalPage*($i+1),
);
$exeWorkers($param);
exit;
default:
break;
}
}
foreach ($pids as $i => $pid) {
if($pid) {
pcntl_waitpid($pid, $status);
}
}
}
　　使用时：
　　//1000个任务，10个线程
runJobWithThread(function($para){
echo '进程ID：'.getmypid().'，最小ID是【'.$para['page_start'].'】最大ID为：【'.$para['page_end'].'】'.PHP_EOL;
},1011,10);
　　可以实现多线程操作数据。
　　并发链接数据库时，可以通过设置线程ID来实现并发链接。
　　具体代码类似：
　　class DB {
public static function getInstance()
{
static $instances = array();
$key = getmypid();
if (empty($instances[$key]))
{
$instances[$key] = new DB();

}
return $instances[$key];
}
}
　　把代码贴上来，大家可以自己试试。数据库的并发操作可以大大提高处理数据的性能，这对于定时任务和数据处理非常有用。 查看全部

　　php多线程抓取网页(C++支持库（充分利用C++11/14新特性编写完成）-易语言)
　　C++支持库（充分利用C++11/14的新特性来完成）-easy语言
　　由于论坛中缺少有用的支持库，以及Yi本身的C++版本较低，很多新的C++特性无法使用。这次我们使用C++11/14的标准库和一些知名的C++库（RapidJson、Curl）来编写支持库，这样编程就不会太落后了。与微软类库相比，C++11/14标准库与微软无关，可以跨平台。并且它拥有许多高级语法，其效率和稳定性是毋庸置疑的。如果可以直接用标准库来完成，就不要重新发明轮子了。这次封装了线程、线程池、哈希表（UnOrderedMap）、读写锁、互斥、定时器、定时器、Json、Curl等，其中Json封装在RapidJson中。这个库是C++中最快的Json库，比论坛上其他工具效率高数百倍。 Curl 是一个著名的Http 库，是很多公司和个人的首选。由于 Yilang5.6 的核心库与其他版本不同，静态编译时会出现一些问题，请不要使用5.6 版本。由于使用了高版本的C++库，Easy Language自带的VC6编译器肯定无法编译。这里的支持库使用了论坛的VS2014编译器，完美的实现了静态编译。如果你有这个编译器，请务必使用这个Substitution进行二次匹配，否则会出现库短缺的情况。至于编译出来的程序能否支持XP，我想说这个是肯定的。具体操作方法请参考压缩包中的说明。备用地址：链接：提取代码：u1hs（里面收录编译器、支持库和例程） 文件比较大，编辑需要的链接器已经收录
　　立即下载 查看全部