php curl抓取网页内容(phpcurl()方法是什么_百度知道我能答的就是上面)
　　phpcurl抓取网页内容，index-url()方法是什么_百度知道我能答的就是上面这个百度知道里的。简单查看了一下，有两种方法：curl获取/>url编码转换date+数字=双向日期curl-c"/users/xxxxxx/desktop/test.jpg"/>date-a"yyyymmdd"(?=aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa")。
　　curl-o"/users/xxxxxx/desktop/test.jpg"xxxxx
　　我写了一个采集java版的：github-jihangjiang/java-curl:采集java网站内容
　　github-sillyzhongk/index-url:index-urlorindex-urlimplementationforphpurlrequest
　　curl，
　　貌似只能通过urlresponse来解析。如果通过json包装一下效果更好。本来json格式的话应该很难解析，多年从事web开发多年的经验告诉我以前在不了解json格式的前提下是可以用正则表达式搞定一部分的，
　　如果是git，
　　使用golang之前，我对url的理解是，至少要包含以下几个要素：常见的格式(http,https等)需要分别处理通过服务端支持的查询方式对网站返回结果进行排序通过服务端返回的内容如果需要返回给客户端，那么还需要更精确的一些格式，比如redis。useragent。requestheader等那时的网站，比如或者114，更需要考虑服务端返回的数据中"index。php"能不能直接体现出来。 查看全部

　　php curl抓取网页内容(抓ajax异步内容页面和抓普通的页面区别。
)
　　其实抓取ajax异步内容页面和抓取普通页面没有太大区别。 Ajax 只是发出一个异步 http 请求。用类似firebug的工具，找到请求的后端服务url和传参值，然后抓取url传参即可。
　　使用 Firebug 的网络工具
　　
　　如果抓取一个页面，内容中没有显示的数据就是一堆JS代码。
　　
　　代码
　　
$cookie_file=tempnam('./temp','cookie');
$ch = curl_init();
$url1 = "http://www.aspku.com/";
curl_setopt($ch,CURLOPT_URL,$url1);
curl_setopt($ch,CURLOPT_HTTP_VERSION,CURL_HTTP_VERSION_1_1);
curl_setopt($ch,CURLOPT_HEADER,0);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
curl_setopt($ch,CURLOPT_FOLLOWLOCATION,1);
curl_setopt($ch, CURLOPT_ENCODING ,'gzip'); //加入gzip解析
//设置连接结束后保存cookie信息的文件
curl_setopt($ch,CURLOPT_COOKIEJAR,$cookie_file);
$content=curl_exec($ch);
curl_close($ch);
$ch3 = curl_init();
$url3 = "http://www.cdut.edu.cn/xww/dwr ... 3B%3B
$curlPost = "callCount=1&page=/xww/type/1000020118.html&httpSessionId=12A9B726E6A2D4D3B09DE7952B2F282C&scriptSessionId=295315B4B4141B09DA888D3A3ADB8FAA658&c0-scriptName=portalAjax&c0-methodName=getNewsXml&c0-id=0&c0-param0=string:10000201&c0-param1=string:1000020118&c0-param2=string:news_&c0-param3=number:5969&c0-param4=number:1&c0-param5=null:null&c0-param6=null:null&batchId=0";
curl_setopt($ch3,CURLOPT_URL,$url3);
curl_setopt($ch3,CURLOPT_POST,1);
curl_setopt($ch3,CURLOPT_POSTFIELDS,$curlPost);
//设置连接结束后保存cookie信息的文件
curl_setopt($ch3,CURLOPT_COOKIEFILE,$cookie_file);
$content1=curl_exec($ch3);
curl_close($ch3); 查看全部

　　php curl抓取网页内容(php网页数据实现远程获取和采集内容2、实现模拟登陆
)
　　实现的功能：
　　1、实现远程访问和采集内容
　　2、实现php网页版的ftp上传下载
　　3、实现模拟登录：去邮件系统，curl可以模拟cookies
　　4、 实现接口对接（api）、数据传输等：通过平台发送短信，抓取并传输传输的信息。
　　5、 实现模拟cookie等：部分属性需要登录后才能操作。
　　如何使用 curl 功能：
　　默认添加php不支持curl，需要在php.ini中开启该功能
　　;extension=去掉php_curl.dll前面的分号
　　1 整个操作的第一步是用cur_init()函数进行初始化
　　
$curl = curl_init(‘www.jb51.net')
　　2.使用 curl_setopt() 设置选项。
　　3.设置好后，执行事务 curl_exec($curl);
　　4 最后关闭 curl_close();
　　使用php curl实现传输获取功能（后传方式）：获取远程网页数据
　　
$user = "admin";
$pass = "admin";
$curlpost = "user=$user&pass=$pass";
$ch = curl_init(); //初始化一个curl对象
curl_setopt($ch, curlopt_url, "http://localhost/edu/login.php");
//设置你所需要抓取的url
curl_setopt($ch, curlopt_returntransfer, 0);
//设置curl参数，要求结果是否输出到屏幕上，为true的时候是不返回到网页中
假设上面的0换成1的话，那么接下来的$data就需要echo一下。
curl_setopt($ch, curlopt_post, 1);
//post提交
curl_setopt($ch, curlopt_postfields, $curlpost);
$data = curl_exec($ch);
//运行curl,请求网页。
curl_close($ch);
[/code]
　　实现远程模拟登录最基本的部分。
　　curl 还需要配置用户名和密码，但是被浏览器隐藏了。
　　================================================ ==============================
　　curl 模拟登录
　　模拟登录：无需登录php100论坛即可查看相应信息。
　　分析登录字段--->登录后保持cookie状态-->读取cookie并跳转到相关页面-->抓取次数
　　1、模拟登录后创建文件保存cookie内容
　　2、通过读取生成的cookie内容模拟用户登录状态
　　3、前往相关页面获取所需内容
　　tempname 创建一个临时文件
　　tempnam() 函数创建一个具有唯一文件名的临时文件。如果成功，该函数返回新的临时文件名。如果失败，则返回 false。
　　tempnam(dir,prefix)
　　参数说明
　　目录是必需的。指定创建临时文件的目录。
　　前缀是必需的。指定文件名的开头。
　　相当于 fopen  fwirte  fclose
　　它可以返回一个布尔值。使用第三方登录你的qq和msn是非常危险的，因为它可以记录你的登录状态并抓取你的用户名和密码。
　　使用curl模拟登录php100论坛
　　1、分析输入框字段名和登录需要的字段数
　　2、保存cookie模拟登录获取会员金币数量
　　代码：
　　
//初始化一个 curl 对象
$curl = curl_init();
//设置你需要抓取的url
curl_setopt($curl, curlopt_url, " http://www.baidu.com ");
//设置curl 参数，要求结果保存到字符串中还是输出到屏幕上。
curl_setopt($curl, curlopt_returntransfer, 0);
//运行curl，请求网页
$data = curl_exec($curl);
//关闭url请求
curl_close($curl);
$user = "admin";
$pass = "admin100";
$curlpost = "user=$user&pass=$pass";
$ch = curl_init();
curl_setopt($ch, curlopt_url, " http://localhost/curl/login.php ");
curl_setopt($ch, curlopt_returntransfer, 0);
curl_setopt($ch, curlopt_post, 1);
curl_setopt($ch, curlopt_postfields, $curlpost);
$data = curl_exec($ch);
curl_close($ch);
?>
if($_post['user']=="admin"){
echo "";
}else{
echo "";
}
//print_r($_post);
?> 查看全部

　　php curl抓取网页内容(本文讲述的是如何用Curl模拟登陆？答案是什么？
)
　　本文介绍如何使用 Curl 抓取网页。原理与 PHP、Python、C 和 C# 相同。
　　对于简单简单的页面，可以直接写一个程序来抓取。很简单，但是很多时候这是做不到的，因为可能会涉及到Cookie、Referer、表单、JS等一系列非常麻烦的操作，这时候就需要有效定位问题了。. 在类似的问题中，我看到最多的就是如何用Curl模拟登录？答案是：哈哈。
　　对于更复杂的页面抓取，最有效的方法是 Chrome 的开发者工具（Firefox 应该也可以）。本文将通过一个例子来描述详细的过程。
　　
　　点击鼠标位置的Filter，中间位置的XHR是一个ajax请求。开发者工具有个很有趣的功能，看下图
　　
　　复制的curl命令行命令如下：
　　curl "http://v.hao123.com/dianshi/" -H "Accept-Encoding: gzip,deflate,sdch" -H "Accept-Language: en-US,en;q=0.8,zh-CN;q=0.6,zh;q=0.4" -H "User-Agent: Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.111 Safari/537.36" -H "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8" -H "Cache-Control: max-age=0" -H "Cookie: BAIDUID=A5571E0790BFB2DBC44E4F27EFB2B7FD:FG=1; static=1; FLASHID=A5571E0790BFB2DBC44E4F27EFB2B7FD:FG=1; scrollflag=1414681499315; HUM=; HUN=; loc2=1"%"7C"%"E5"%"8C"%"97"%"E4"%"BA"%"AC"%"7C"%"E5"%"8C"%"97"%"E4"%"BA"%"AC; mtip=0; Hm_lvt_f60abe83e86964c3e30ba20fa7dc2709=1414680909,1414823686; Hm_lpvt_f60abe83e86964c3e30ba20fa7dc2709=1414823686" -H "Connection: keep-alive" --compressed
　　什么是curl命令行以及如何自己使用谷歌。执行后会输出采集的页面。
　　
　　
　　没有将 curl 命令行转换为 php 语法、python 语法、c 语法或任何其他语言语法的技术内容。例如，以PHP为例：
　　-H 参数对应 CURLOPT_HTTPHEADER
　　curl_setopt(CURLOPT_HTTPHEADER,$ch,array("Accept-Encoding: gzip,deflate,sdch","Accept-Language: en-US,en;q=0.8,zh-CN;q=0.6,zh;q=0.4","User-Agent: Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.111 Safari/537.36","Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8","Cache-Control: max-age=0",....)); 查看全部

　　php curl抓取网页内容(php+c++,java,c#(web))
　　phpcurl抓取网页内容先获取网页域名：获取网页内容phpcurl打开一个url进行操作：获取网页内容后保存到文件：使用chmod或chown指定文件名，找到对应的文件名：创建文件：将存在的web文件拷贝出来，如果本地路径不匹配，只需要修改路径：重命名文件名：复制文件名：wget解压：放入本地：复制路径：phpamd模块已经内置了这些操作函数。
　　跟答主一样从无到有学的，现在能够解决大部分要求，也能快速满足自己对电脑熟悉要求。回归正题！要学会利用php，c++，
　　php+c++,java,c#(这个也可以由java,c++代替,不过不推荐）,找一门足够流行且足够好用的框架。
　　php+java+c++（web），这是目前学习比较多的方式php+java（web），目前用的比较多的是php框架，比如dede，shopex都不错看看这些框架都有啥吧，web那边的话相对而言要求高一些，可以再了解下。
　　理解底层，这是必须的。但建议先将php操作浏览器的这部分掌握。选择框架无非就是web，前端，api，有了先掌握php，在去掌握其他。之后了解一下java，
　　在这了解一下thinkphp框架吧，免费的。 查看全部

　　php curl抓取网页内容(你的PHP代码并没有出错(1)_光明网(组图))
　　用curl单独取是可行的，但是如果取一系列相同类型的网站会报错，把它们放在数组中
　　在 $linkList 中，分别以此类推。
　　
　　function getJobsHubuNotice()
{

$curl = curl_init('http://jobs.hubu.edu.cn/List.aspx?ArticleChannelId=81');
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
$result = curl_exec($curl);
//内容处理
$result = strip_tags($result,'');
$result = stristr($result, 'nbsp当前位置：');
$result = str_replace('nbsp当前位置：', '', $result);
$result = stristr($result, '当前1/2页',true);
$result = stristr($result, '通知公告');
$result = str_replace('通知公告', '', $result);
preg_match_all('/(? 通知公告', '', $result);
$result = stristr($result, '$(document).ready',true);
$result = trim($result);
$result = str_replace("\r\n", '
', $result);
$result = preg_replace('/(\){1,}/', '
', $result);
echo $result;
echo '
';
echo "退出makePage函数";
return $result;
}
}
　　首先使用getJobsHubuNotice()函数获取新闻的链接、标题、日期，然后使用makePage()函数获取内容
　　
　　这是在 makePage 中打印链接的结果。用浏览器打开链接没有问题。
　　您的 PHP 代码中没有错误。初步怀疑是你请求时传递的URL有误，如下图：
　　
　　在你的代码中
　　错误输出实际上在你得到的网页上
　　输出的内容。
　　再次更新，我想我知道是什么导致了您的请求中的错误：
　　您从网页获取的URL地址为：Detail.aspx?ArticleChannelId=81&ArticleId=2777，
　　
　　& 中的字符是 & 的 HTML 实体字符，在你的
　　输出时（即在您的屏幕截图中），它显示 &，当您发出真实请求时，将使用以下内容：
　　
　　您只需要恢复它或简单地将 URL 中的 & 替换为 & 然后再次请求它。
　　再次更新：
<p> 查看全部

　　php curl抓取网页内容(这里有新鲜出炉的PHP面向对象编程，程序狗速度看过来！)
　　这里是新发布的PHP面向对象编程，看看程序狗的速度！
　　PHP 开源脚本语言 PHP（外文名：Hypertext Preprocessor，中文名：“超文本预处理器”）是一种通用的开源脚本语言。语法吸收了C语言、Java和Perl的特点，入门门槛低，易学，应用广泛。主要适用于Web开发领域。PHP 的文件扩展名为 php。
　　CURL 是一个强大的 PHP 库。使用PHP的cURL库可以方便有效的抓取网页和采集内容，设置cookies来完成模拟登录网页，curl提供了丰富的功能，开发者可以从PHP手册中获取更多关于cURL的信息。本文以模拟登录开源中国（oschina）为例，有需要的朋友可以参考
　　PHP的curl()在抓取网页的效率上比较高，并且支持多线程，而file_get_contents()的效率稍低。当然，使用curl时需要开启curl扩展。
　　代码实战
　　我们先来看看登录部分的代码：
　　
//模拟登录
function login_post($url, $cookie, $post) {
$curl = curl_init();//初始化curl模块
curl_setopt($curl, CURLOPT_URL, $url);//登录提交的地址
curl_setopt($curl, CURLOPT_HEADER, 0);//是否显示头信息
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 0);//是否自动显示返回的信息
curl_setopt($curl, CURLOPT_COOKIEJAR, $cookie); //设置Cookie信息保存在指定的文件中
curl_setopt($curl, CURLOPT_POST, 1);//post方式提交
curl_setopt($curl, CURLOPT_POSTFIELDS, http_build_query($post));//要提交的信息
curl_exec($curl);//执行cURL
curl_close($curl);//关闭cURL资源，并且释放系统资源
}
　　函数login_post()首先初始化curl_init()，然后使用curl_setopt()设置相关选项信息，包括要提交的URL地址，保存的cookie文件，post数据（用户名密码等信息），是否返回信息等，然后curl_exec执行curl，最后curl_close()释放资源。请注意，PHP 自带的 http_build_query() 可以将数组转换为串联字符串。
　　接下来，如果登录成功，我们需要获取登录成功后的页面信息。
　　
//登录成功后获取数据
function get_content($url, $cookie) {
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie); //读取cookie
$rs = curl_exec($ch); //执行cURL抓取页面内容
curl_close($ch);
return $rs;
}
　　函数get_content()也是先初始化curl，然后设置相关选项，执行curl，释放资源。其中，我们设置CURLOPT_RETURNTRANSFER为1自动返回信息，CURLOPT_COOKIEFILE可以读取登录时保存的cookie信息，最终返回页面内容。
　　我们的最终目标是获取模拟登录后的信息，即只有正常登录成功才能获取的有用信息。接下来我们以开源中国移动版为例，看看登录成功后如何抓取信息。
　　
//设置post的数据
$post = array (
'email' => 'oschina账户',
'pwd' => 'oschina密码',
'goto_page' => '/my',
'error_page' => '/login',
'save_login' => '1',
'submit' => '现在登录'
);
//登录地址 $url = "http://m.oschina.net/action/user/login"; //设置cookie保存路径 $cookie = dirname(__FILE__) . '/cookie_oschina.txt'; //登录后要获取信息的地址 $url2 = "http://m.oschina.net/my"; //模拟登录
login_post($url, $cookie, $post); //获取登录页的信息 $content = get_content($url2, $cookie); //删除cookie文件
@ unlink($cookie); //匹配页面信息 $preg = "/(.*)/i";
preg_match_all($preg, $content, $arr); $str = $arr[1][0]; //输出内容 echo $str;
　　使用总结
　　1、初始化curl；
　　2、使用curl_setopt设置目标url，以及其他选项；
　　3、curl_exec，执行curl；
　　4、 执行后关闭curl；
　　5、 输出数据。
　　感谢您的阅读，希望对您有所帮助，感谢您对本站的支持！ 查看全部

　　php curl抓取网页内容(网站制作居于LINUX+PHP+MYSQL框架，循环取出需要的内容)
　　(.*?)
　　(.*?)
　　＃是';
　　preg_match_all($regular,$html_data,$connect);//进行正则匹配得到你想要的
　　//循环出需要的内容数组
　　foreach($connect as $k =&gt;$var){
　　if($k==2 || $k==3|| $k==5 || $k==7){
　　$b = array_merge(array_filter($connect[$k]));
　　$array[]=$b;
　　}
　　}
　　获取到数据数组后，可以根据需要添加数据
　　内容详情需要爬取获取新闻内容页面的链接，也需要使用curl获取信息
　　需要注意的是，正则表达式中的html需要和页面的格式一致。可以到原来的网站，右键查看源码，查看格式，复制html即可抓包。如果仍然无法捕获 内容可能格式不正确。有些地方可能会有更少或更多的空间。这时候直接在标签之间(.*?)。也可以一点一点的进行匹配，看看哪个部分不匹配。
　　天龙网络为客户提供网站开发定制服务，网站生产生活在LINUX+PHP+MYSQL框架下，欢迎客户咨询我们的建站热线 查看全部

　　php curl抓取网页内容(使用PHP的cURL库可以简单和有效地去抓网页。)
　　使用 PHP 的 cURL 库来简单有效地抓取网页。你只需要运行一个脚本，然后分析你抓取的网页，然后你就可以通过编程的方式得到你想要的数据。无论您是想从链接中获取部分数据，还是获取 XML 文件并将其导入数据库，即使只是获取网页内容，cURL 都是一个强大的 PHP 库。本文主要介绍如何使用这个PHP库。
　　启用卷曲设置
　　首先我们要先判断我们的PHP是否启用了这个库，可以通过php_info()函数来获取这个信息。
　　﹤?php<br />phpinfo();<br />?﹥
　　如果在网页上可以看到如下输出，说明cURL库已经开启。
　　如果你看到它，那么你需要设置你的 PHP 并启用这个库。如果你是windows平台，很简单，你需要改变你的php.ini文件的设置，找到php_curl.dll，去掉前面的分号。如下：
　　//取消下在的注释<br />extension=php_curl.dll
　　如果你在 Linux 下，那么你需要重新编译你的 PHP。编辑时需要开启编译参数——在configure命令中添加“--with-curl”参数。
　　一个小例子
　　如果一切就绪，这里有一个小程序：
　　﹤?php
　　// 初始化一个 cURL 对象
　　$curl = curl_init();
　　// 设置你需要爬取的网址
　　curl_setopt($curl, CURLOPT_URL,'#39;);
　　// 设置标题
　　curl_setopt($curl, CURLOPT_HEADER, 1);
　　// 设置cURL参数，询问结果是保存在字符串中还是输出到屏幕上。
　　curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
　　// 运行 cURL 并请求一个网页
　　$data = curl_exec($curl);
　　// 关闭 URL 请求
　　curl_close($curl);
　　// 显示获取的数据
　　var_dump($data);
　　如何发布数据
　　上面是抓取网页的代码，下面是到某个网页的POST数据。假设我们有一个处理表单的URL，可以接受两个表单域，一个是电话号码，一个是短信内容。
　　﹤?php<br />$phoneNumber = &#39;13912345678&#39;;<br />$message = &#39;This message was generated by curl and php&#39;;<br />$curlPost = &#39;pNUMBER=&#39; . urlencode($phoneNumber) . &#39;&MESSAGE=&#39; . urlencode($message) . &#39;&SUBMIT=Send&#39;;<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, &#39;http://www.example.com/sendSMS.php&#39;);<br />curl_setopt($ch, CURLOPT_HEADER, 1);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);<br />curl_setopt($ch, CURLOPT_POST, 1);<br />curl_setopt($ch, CURLOPT_POSTFIELDS, $curlPost);<br />$data = curl_exec();<br />curl_close($ch);<br />?﹥
　　从上面的程序可以看出，CURLOPT_POST是用来设置HTTP协议的POST方法而不是GET方法的，然后CURLOPT_POSTFIELDS是用来设置POST数据的。
　　关于代理服务器
　　以下是如何使用代理服务器的示例。请注意高亮的代码，代码很简单，我就不多说了。
　　﹤?php <br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, &#39;http://www.example.com&#39;);<br />curl_setopt($ch, CURLOPT_HEADER, 1);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);<br />curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, 1);<br />curl_setopt($ch, CURLOPT_PROXY, &#39;fakeproxy.com:1080&#39;);<br />curl_setopt($ch, CURLOPT_PROXYUSERPWD, &#39;user:password&#39;);<br />$data = curl_exec();<br />curl_close($ch);<br />?﹥<br />
　　关于 SSL 和 Cookie 查看全部

　　php curl抓取网页内容(PHP获取远程网页内容的代码(fopen,)的相关知识和一些Code实例)
　　想知道PHP获取远程网页内容的代码（fopen，curl已经测试）的相关内容吗？在本文中，我将仔细讲解远程网页的相关知识和一些代码示例。欢迎阅读和指正。先重点介绍一下：fopen、curl，大家一起学习。
　　1、fopen的使用
　　复制代码代码如下：
　　复制代码代码如下：
　　// 以下代码可用于 PHP 5 及更高版本
　　但是上面的代码很容易出现打开流失败：HTTP request failed！错误，解决方法
　　有人说在php.ini中，有两个选项：allow_url_fopen = on（代表可以通过url打开远程文件），user_agent="PHP"（代表通过哪个脚本访问网络，默认有“ ;" 在它前面。是的。）重新启动服务器。
　　但有些人仍然有这个警告信息。想要完美解决，还是一步之遥。您必须在 php.ini 中设置 user_agent。php 的默认 user_agent 是 PHP。我们把它改成 Mozilla/4.0 (compatible ; MSIE 6.0; Windows NT 5.0) 来模拟浏览器
　　<IMG src="http://files.jb51.net/upload/2 ... ot%3B border=0>
　　user_agent="Mozilla/4.0（兼容；MSIE 6.0；Windows NT 5.0)”
　　工作中遇到这个问题，后来完美解决了，所以分享给大家。
　　2、由 curl 实现
　　复制代码代码如下：
　　linux下可以使用以下代码下载
　　exec("wget {$url}");
　　PHP中fopen/file_get_contents/curl抓取外部资源的区别
　　fopen / file_get_contents 会对每一个请求重新做DNS查询，DNS信息不会被缓存。
　　但是 CURL 会自动缓存 DNS 信息。请求同域名下的网页或图片，只需要进行一次DNS查询。
　　这大大减少了 DNS 查询的数量。
　　所以CURL的性能要比fopen/file_get_contents好很多。 查看全部

　　php curl抓取网页内容(phpcurl抓取网页内容(开发环境)获取网页信息在线网页抓取教程)
　　phpcurl抓取网页内容(开发环境)bash&curlgopathvim编写代码(开发环境)phpcurl获取网页信息在线网页抓取教程开发vs编写php对象模型在线网页抓取教程curl文件http返回码解读在线网页抓取教程dotest动态http请求在线网页抓取教程在线网页抓取教程url地址解析问题关键字wherethenelse在线网页抓取教程post请求在线网页抓取教程用post传递数据在线网页抓取教程用url函数传递数据。
　　网上应该有答案：自动抓取网页的api有哪些？-手机
　　php还是不建议自己写这种程序，api又不公开。除非你要写一个完整的api...比如各种网站的表单验证什么的，可以考虑考虑自己编程抓取。
　　前段时间随便抓了个，看你想要爬什么数据了...人家网站签了协议不让爬，
　　有个项目是写给自己和同事使用的。爬豆瓣上所有电影的时间线，python代码。其实我也不懂那些。学着研究。1.首先你要查一下，豆瓣对这个api是否开放，收费多少？有一些需要交互验证。2.上豆瓣爬下来的数据要怎么用？豆瓣上公开的表单，online的restapi都拿过来。找一下文档可以学。3.爬到的表单数据有规律，数据表结构是什么？有点可怕。
　　如果题主不打算详细学习，也不打算深入研究，请忽略3和4。所以，还是回到第一个问题，一个页面多少数据？2页是15万个数据，15万个数据多吗？30万个是不是太多了还不如你爬个3页。爬下来的数据就能变成25万的数据了。表单还省了手动填数据的麻烦。 查看全部

　　php curl抓取网页内容(phpcurl抓取网页内容curl命令需要两步get(图))
　　phpcurl抓取网页内容curl命令执行网页的相关内容，以及缓存算法等信息。
　　1、/php?id=5和/php?id=10请求比较安全，一旦中间有这些重复phpurl，
　　2、get方式：curl命令需要两步get请求数据：url=""params=";amp;amp;amp;scheme=smtp&amp;amp;size=16"所以当网页有两个类似的amp标识的时候，就可以建立连接：curl"/"url="get/"params=";amp;amp;amp;amp;scheme=smtp&amp;amp;size=16"当请求发送成功的时候，服务器会返回一个params对象给客户端，这里的amp标识就代表：amp=smtp标识连接。默认是禁止多种请求的。
　　3、post方式：curl命令用上面的url建立了连接，所以有两步post请求，第一次只发送post数据给params，第二次请求发送整个params，body不会发送给服务器。上面简单介绍了建立连接后的过程，
　　4、check_all()方法check_all()方法返回此次断开连接后的记录数，如果断开连接后有大量记录发送请求，或者记录不合法的post请求，断开连接会自动清除这部分记录。如果断开连接后有非主要的请求，后续请求不会被加入到整个队列。但是这个方法不断开连接的时候也会不断发送断开请求。check_all()方法原理：先断开后台线程，避免后台线程负载均衡分摊多个请求或者多个web服务器。
　　断开的线程process_spawn()方法，就可以断开在后台运行的线程。它并不是可以阻塞一个线程的。解决这个情况，可以使用ifndef_exists_check_all_thread{if(sched.in_check_all_thread()){if(sched.in_check_all_thread().start()){}else{}}}。
　　5、try_else方法当http请求报文里包含了非post、put、patch、patition等请求方式的时候，如果没有请求，将这个报文推送给后台，所以每次断开连接，此时会在后台多推送几个请求，所以请求就堆积起来了，就会发现消息延迟比较慢。这种情况可以使用while或者try_else来使用try_else来处理请求而不会在后台产生大量的非主要请求。
　　6、这些方法中比较简单的需要try_else的方法，因为try_else是内层循环，是不断执行的，可以直接过滤掉。
　　7、check_else就是检查是否是preload的，也就是页面内容是post或者put方式发送的。 查看全部

　　php curl抓取网页内容(使用PHP的cURL库可以简单和有效地去抓网页)
　　PHP的CURL库可以简单且有效地转到网页。您只需要运行脚本，然后分析您划伤的网页，然后您可以通过方式获取所需的数据。无论您是想从链接中获取一些数据，还是拍摄XML文件并将其导入数据库，它才害怕简单地获取Web内容，并且Curl是一个强大的PHP库。本文主要说明使用此PHP库。
　　使能卷曲设置
　　首先，我们必须先确定我们的PHP是否已打开此库，并且可以使用PHP_INFO（）函数来获取此信息。
　　﹤?php<br style="font-size: 14px">phpinfo();<br style="font-size: 14px">?﹥
　　如果您可以在Web上看到下面的输出，则卷曲库已打开。
　　如果您看到，那么您需要设置您的PHP并转动此库。如果您在Windows平台下，它非常简单，您需要更改PHP.ini文件设置，查找php_curl.dll，并取消以前的分号注释。如下所示：
　　//取消下在的注释<br style="font-size: 14px">extension=php_curl.dll
　　如果您在Linux下，则需要重新编译您的PHP，编辑，您需要打开编译参数 - 在Configure命令上添加“-with-curl”参数。
　　一个小的例子
　　如果一切准备好，以下是一个小程序：
<p> 查看全部

　　php curl抓取网页内容(phpcurl抓取网页内容详细请看下面这篇文章抓取物流详情分享)
<p>phpcurl抓取网页内容详细请看下面这篇文章抓取物流详情分享链接：拿走不谢！求人不如求己，选择最适合自己的抓取方式最重要。按照提示注册登录，全新建立服务器，设置合适的编码方式，系统将在开始抓取后自动生成抓取链接（非动态链接，因为你这个链接不会被后端知道），上面所有的文字都是高度清晰的。步骤如下：1.在自己已有的服务器上，执行命令phppath'/'，确保path变量指向本地编码的内容，否则将报错!text();//error-36004843这是因为在复制文件链接时/指定了文件编码形式，/var/lib/php/libs中的文件编码方式为utf-8.2.首先要确定本地编码方式在执行phppath'/'时的编码方式set_encoding=utf-83.上传自己编码的内容到本地编码参数.php文件中，目标网页使用默认编码方式my_encoding('utf-8')点开始抓取4.浏览器打开本地编码链接http("");5.这里还可以选择发送邮件给对方，如下：http("");6.浏览器打开邮件域名，回车之后，即可开始抓取列表当然这一步也可以给服务器发送两次命令phppath'/';index.phpset_encoding=utf-8;index.phphttp("/");7.服务器接收到站点发送的邮件之后，会将每个地址抓取一个列表，再通过邮件将整个列表提取出来，如下：//downloadone-of-things.phphttp("");8.查看每个地址是否已经被抓取index.phpreal_url("");9.取出了每个地址的列表之后，提取其中的链接，如下：/#!/http("");for(;i=1;i 查看全部

　　php curl抓取网页内容(PHP利用CurlFunctions实现并发多线程抓取网页或者下载文件操作
)
　　PHP使用curl函数完成各种文件传输操作，例如模拟浏览器发送get和post请求。但是，由于PHP语言本身不支持多线程，开发爬虫程序的效率不高，因此，经常需要使用curl multi functions函数访问多个URL地址，进行并发多线程抓取网页或下载文件。具体实施过程请参考以下示例：
　　（1）下面的代码是对多个URL进行爬网，然后将爬网URL的页面代码写入指定文件
　　
$urls = array(
'http://www.phpernote.com/',
'http://www.google.com/',
'http://www.example.com/'
); // 设置要抓取的页面URL
$save_to='/test.txt'; // 把抓取的代码写入该文件
$st = fopen($save_to,"a");
$mh = curl_multi_init();
foreach ($urls as $i => $url) {
$conn[$i] = curl_init($url);
curl_setopt($conn[$i], CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)");
curl_setopt($conn[$i], CURLOPT_HEADER ,0);
curl_setopt($conn[$i], CURLOPT_CONNECTTIMEOUT,60);
curl_setopt($conn[$i], CURLOPT_FILE,$st); // 将爬取的代码写入文件
curl_multi_add_handle ($mh,$conn[$i]);
} // 初始化
do {
curl_multi_exec($mh,$active);
} while ($active); // 执行
foreach ($urls as $i => $url) {
curl_multi_remove_handle($mh,$conn[$i]);
curl_close($conn[$i]);
} // 结束清理
curl_multi_close($mh);
fclose($st);
　　（2）下面的代码与上面的代码含义相同，但此处是先将获取的代码放入变量中，然后将获取的内容写入指定的文件
　　（3）下面的代码使用PHP的curl函数实现并发多线程文件下载
　　
$urls=array(
'http://www.phpernote.com/5w.zip',
'http://www.phpernote.com/5w.zip',
'http://www.phpernote.com/5w.zip'
);
$save_to='./home/';
$mh=curl_multi_init();
foreach($urls as $i=>$url){
$g=$save_to.basename($url);
if(!is_file($g)){
$conn[$i]=curl_init($url);
$fp[$i]=fopen($g,"w");
curl_setopt($conn[$i],CURLOPT_USERAGENT,"Mozilla/4.0(compatible; MSIE 7.0; Windows NT 6.0)");
curl_setopt($conn[$i],CURLOPT_FILE,$fp[$i]);
curl_setopt($conn[$i],CURLOPT_HEADER ,0);
curl_setopt($conn[$i],CURLOPT_CONNECTTIMEOUT,60);
curl_multi_add_handle($mh,$conn[$i]);
}
}
do{
$n=curl_multi_exec($mh,$active);
}while($active);
foreach($urls as $i=>$url){
curl_multi_remove_handle($mh,$conn[$i]);
curl_close($conn[$i]);
fclose($fp[$i]);
}
curl_multi_close($mh);$urls=array(
'http://www.phpernote.com/5w.zip',
'http://www.phpernote.com/5w.zip',
'http://www.phpernote.com/5w.zip'
);
$save_to='./home/';
$mh=curl_multi_init();
foreach($urls as $i=>$url){
$g=$save_to.basename($url);
if(!is_file($g)){
$conn[$i]=curl_init($url);
$fp[$i]=fopen($g,"w");
curl_setopt($conn[$i],CURLOPT_USERAGENT,"Mozilla/4.0(compatible; MSIE 7.0; Windows NT 6.0)");
curl_setopt($conn[$i],CURLOPT_FILE,$fp[$i]);
curl_setopt($conn[$i],CURLOPT_HEADER ,0);
curl_setopt($conn[$i],CURLOPT_CONNECTTIMEOUT,60);
curl_multi_add_handle($mh,$conn[$i]);
}
}
do{
$n=curl_multi_exec($mh,$active);
}while($active);
foreach($urls as $i=>$url){
curl_multi_remove_handle($mh,$conn[$i]);
curl_close($conn[$i]);
fclose($fp[$i]);
}
curl_multi_close($mh); 查看全部

　　php curl抓取网页内容(accept,调用phpsendmessage接口的静态文件及处理方法)
　　phpcurl抓取网页内容最基本的方法就是phpcurl调用phpsendmessage，由于flash不支持get方法，所以phpsendmessage主要是通过get方法来进行接收和处理的。调用phpsendmessage接口需要传递四个参数accept,accept-language,options,format=，如果要得到一个字符串是封装好的，则需要传递string参数。下面通过php实现抓取网页中所有数据，并通过解析获取自己需要的数据。
　　1、初始化工程test.php文件中定义一个名为test.php的静态文件，主要包含对dom对象的代码定义。
　　2、定义一个函数phpcurlget，调用这个函数，可以看到网页数据的来源地址。
　　3、开始抓取第一行代码：$a=curlget($url,"get");$b=curlget($url,"post");$c=curlget($url,"put");$d=curlget($url,"delete");$e=curlget($url,"encode");$f=curlget($url,"format");$g=curlget($url,"get");$h=curlget($url,"header");$m=curlget($url,"method");$n=curlget($url,"post");$j=curlget($url,"json");$l=curlget($url,"line");$p=curlget($url,"post");$r=curlget($url,"request");$s=curlget($url,"status");$t=curlget($url,"text");$sp=curlget($url,"status");$tr=curlget($url,"text");$trb=curlget($url,"string");$td=curlget($url,"text");$sd=curlget($url,"data");$spq=curlget($url,"data");$sh=curlget($url,"response");$size=format("json",$td);$body=try_encode($b);第二行代码：{"cookie":{"id":0}}定义一个基于iis9的cookie对象，每个文件都需要提供一个唯一的ie的cookie变量名称。
　　注意：auto-cookie_id修改$a=curlget($url,"format");定义一个cookie函数cookie_format（）用于定义cookie映射的格式，前面的urlname还不完整，需要用urllib的get方法获取一下数据，以后的一些格式化之类的也都在这里处理。@functioncookie_format(experimental_version);@functioncookie_create($experimental_version)@functioncookie_add($args)@functioncookie_create_from_frame($args)@functioncookie_add_to_text(。 查看全部

　　php curl抓取网页内容(在php中经常用到的采集函数就是file_get_contents和curl函数)
　　php中经常用到的采集函数是file_get_contents和curl函数。 PHP在使用file_get_contents函数采集网站时会返回false，但是在浏览器中打开连接地址就可以看到网页的内容了。
　　这是因为在服务器上进行了设置。 User_agent是通过php $_SERVER["HTTP_USER_AGENT"]获取来判断是否是正常的浏览器请求，因为php的file_get_contents函数默认不发送User_agent。
　　User Agent 的中文名称是 User Agent，简称 UA。它是一个特殊的字符串头，使服务器能够识别客户端使用的操作系统和版本、CPU 类型、浏览器和版本、浏览器渲染引擎和浏览器语言。 、浏览器插件等
　　我测试通过，待抓取页面的输出变量$_SERVER["HTTP_USER_AGENT"]为空。这样$_SERVER["HTTP_USER_AGENT"]的值就是在被爬取的服务器上通过php获取的。如果为空，则会跳转到404错误页面，从而无法抓取页面信息。
　　有两种方法可以解决这个问题
　　1、设置php.ini配置文件，找到要启用的user_agent，去掉前面的分号；
　　2、通过php的ini_set()方法设置用户代理。
　　示例如下
　　ini_set('user_agent','Mozilla/4.0 (兼容; MSIE 6.0; Windows NT 5.2; SV1; .NET CLR 1.1.4322)');
　　echo file_get_contents('你想要采集的页面url');
　　通过以上两种方法，可以让$_SERVER["HTTP_USER_AGENT"]的值不为空，就可以成功采集获取到你想要的内容了。
　　注意：设置user_agent时，最好使用浏览器版本或者spider，比如我上面设置的就是火狐，这样采集服务器才能正常通过认证。因为服务器不会屏蔽蜘蛛或浏览器的版本，这个问题大家要注意了，哈哈。如果他屏蔽了这个，就会阻止蜘蛛抓取页面，也无法识别用户使用的浏览器。 查看全部

　　php curl抓取网页内容(PHP中使用cURL实现get和请求的方法(一)
)
　　PHP发送http请求获取网页内容方法：cURL、file_get_contents()、fopen()区别：1.相比file_get_contents()、fopen()，curl支持的功能更多
　　cURL 支持更多的协议，目前支持 http、https、ftp、gopher、telnet、dict、file、Idap 协议，也支持 HTTPS 认证、HTTP POST、HTTP PUT、FTP 上传（这个也可以通过 PHP 的 FTP 上传扩展完成），基于HTTP表单上传，代理，cookies，用户名+密码认证。 PHP 使用 cURL 来实现 get 和 post 请求。
　　2.相比file_get_contents()和fopen()，cURL的性能更高
　　cURL 性能较高的原因在于：file_get_contents()、fopen() 会对每个请求重新做DNS查询，不会缓存DNS信息； cURL会自动缓存同域名下的网页的DNS信息或者图片请求只需要一次DNS查询，大大减少了DNS查询次数。
　　请求3.get时，相比curl，file_get_contents()和fopen()设置更简单，代码更少，file_get_contents()代码最少
　　file_get_contents() 和 fopen() 默认使用 get 请求方法。如果需要使用post方法，可以使用stream_context_create()来设置。
　　4.file_get_contents(), fopen() 常用于读取文件内容
　　file_get_contents() 是将整个文件读入字符串以及将文件内容读入字符串的首选方法。 fopen()是打开一个文件，可以设置不同的打开规则，然后进行读取文件等操作
　　一般情况下，经常使用cURL来发送http请求。对于性能要求不高的简单get请求，使用file_get_contents()和fopen()更简洁，代码更少。
　　一、cURL 使用示例
　　二、file_get_contents() 使用示例
　　获取请求：
　　发布请求，需要设置stream_context_create()：
　　三、fopen() 用法示例 查看全部