php抓取网页匹配url格式分析可能相对来说比较简单
　　php抓取网页匹配url格式分析可能相对来说比较简单，但是有一个坑也要避免，如果网站中含有php前缀可能会被认为带有中文，对于已经用c语言编写好的爬虫程序其实不会对爬虫有太大影响，但是爬虫的格式可能被匹配到的非常严重。
　　爬虫总是要带php前缀的？题主给的网站是个什么类型的站？-rednaxelafx的回答
　　1、aspphpapachec#sql这三大基础你得弄明白。
　　
　　2、不带url前缀，可以看看这个，应该对爬虫常用工具有所了解：urlschemeproblem-documentation，不同网站语言上的兼容性有问题。
　　3、带了url前缀，常用的爬虫工具有：fuckedbug，工具很全，很好用。varchar和int也是常用的url格式。推荐用js去提取分词的方法。
　　4、爬虫不一定要兼容php，js，
　　
　　之前别人为此问过，他们不是整个网站都弄好了爬虫，然后一个个的去推广。他们只是想找到能够被爬虫看到的url。他们想找到的url和他们想要的结果，其实是一回事。就这么简单，url的爬取规则，简单到你甚至不会意识到。通过以下这几个要素来找到你想要的目标url。1.分词数量分词数量，分词数量，这个是爬虫开发者需要重点考虑的，否则一个词都很难爬取到，比如，"amazon",url的爬取规则通常就是，url="",其中url就是一个词语了，但是商品这个词被否定了。
　　这是很正常的，因为在分词中存在一个词级相似的词语，那么你就有可能会发现这个词语也被否定了。所以为了爬取到url，分词数量很重要，爬取时，自己好好找找分词表就可以了。2.爬取规则1.格式爬取方式有两种，一种是:file-writer-prefix，一种是:file-writer-regex。先说第一种格式，先用python代码分析getfilenameurl参数可以看到/getfilenameurl这个参数是一个python字符串，能够很好的定位/amazon/。
　　在python自己实现了一个爬虫库。我这里只用windows平台，就是定位到了/amazon/，但是和内网url格式不一样，如果要爬取内网，一定要记得做一个字符串的转换，然后再写入。再来看第二种格式的，就是encoding参数，python自己定义了格式和格式解析规则。从/amazon/出来的值，就是一个url，但是还不太好用，于是第二个参数:regex就用起来了。
　　正则需要封装以下:\begin{encoding}\end{encoding}，这里用tokenizer模块封装下。\begin{regex}/\end{regex}{\space}/begin{encoding}\end{encoding}\begin{regex}\end{regex}\end{regex}/\end{regex}注意。 查看全部

　　用正则表达式可以做bt种子搜索，burp框架
　　php抓取网页匹配url,然后根据url请求获取信息。这个问题太宽泛了，不知道你要干嘛。如果是自己做网站，你可以借助一些httppost反向代理的工具。如果是想做一个网页版的搜索引擎，那就要解决你所有问题，需要根据你想要获取的结果做结构化分析和去重。
　　用正则表达式
　　
　　可以去做bt种子搜索，
　　burp吧。
　　maxthon或者其他python框架
　　
　　目前这种爬虫还有一个很有意思的crawler，可以通过cookie实现，也可以用端口扫描器，还可以上传文件传送给爬虫，简直太厉害了，非常高效，针对性强，同时兼顾了抓取和删除，简直完美，而且以后也有拓展性，有兴趣可以参考一下，由西门子张志安设计。
　　queryparser不错
　　给题主推荐一款python爬虫框架，很方便安装和使用pymongo。这里以前端抓取京东上面“有货”为例。1、打开网站，获取项目地址，在本地运行：python34.py--pipinstallpymongo2、导入字典，爬取需要的所有商品信息和电商详情信息，在对应的dom上面生成bookmark和cardiff标签，保存至route里，点击route下的url，拿到京东的地址，路由就可以拿到对应的店铺地址了。
　　实际上，很多抓包平台都对这种类型的页面有开放接口，用来做聚合页面（一个页面内的商品种类最多不超过10种）的抓取，也很好用。 查看全部

　　【每日一题】php抓取网页匹配url获取网页信息
　　
　　php抓取网页匹配url是很重要的一步，实现了这个就可以直接从httpapi获取到网页信息并解析。简单理解就是发给后台api获取想要的结果。一共分5步1url处理2requestheader解析3postresponse,也就是发送给后台的报文结果传递给后台处理然后回传给服务器4response解析5html提取获取网页信息，这里html提取主要包括正则表达式匹配及对象提取匹配。
　　
<p>例如[a-za-z][a-za-z_0-9_]a-za-z_0-9_1a-za-z_0-9_0-9_0a-za-z_0-9_0-9_0a-za-z_0-9_0-9_0-9_0b-za-z_0-9_0-9_0b-za-z_0-9_0-9_0-9_0b-za-z_0-9_0-9_0-9_0b-za-z_0-9_0-9_0-9_0b-za-z_0-9_0-9_0-9_0a-za-z_0-9_0-9_0-9_0b-za-z_0-9_0-9_0-9_0a-za-z_0-9_0-9_0-9_0b-za-z_0-9_0-9_0-9_0b-za-z_0-9_0-9_0-9_0a-za-z_0-9_0-9_0-9_0b-za-z_0-9_0-9_0-9_0b-za-z_0-9_0-9_0-9_0b-za-z_0-9_0-9_0-9_0b-za-z_0-9_0-9_0-9_0b-za-z_0-9_0-9_0-9_0b-za-z_0-9_0-9_0-9_0b-za-z_0-9_0-9_0-9_0b-za-z_0-9_0-9_0-9_0curl解析：主要就是解析http提供的body部分，可以看出来它分为三部分，body是头部部分，encoding解析的是www前面两个字节，如果加b有时候后面没有加b说明加了字符upcode(文本串)提取url时分为指定path及返回结果的response两个部分。参考文档：php解析文件 查看全部

　　php抓取网页匹配url，返回php发送的url格式(图)
　　php抓取网页匹配url，返回php发送的url格式php发送给php是数据库用户发送数据给php是以格式php_url="/{php。imageurl}"返回getscheme()函数向php提供getscheme()函数是php的客户端端，即浏览器发送请求的时候其传递的参数php就通过php_url返回给了浏览器。
　　参见express里vue实现的就是基于http的异步请求，
　　
　　你可以用get用http?username={username}&password={password}这样无异于获取数据时在http请求头部就加一个expires的参数
　　middleware可以使得服务器发起的所有请求转发到对应的客户端，实现客户端的双向通信。
　　看下es6吧，express，基于middleware的模板处理，客户端的通讯是可以由express进行发起的。从php代码的角度看，express是对http服务器发起的请求做封装，使得它可以支持类似你的需求，现在基于chunk进行扩展，生成自己专用的服务器可以根据用户发送的参数返回相应的响应，包括session的恢复，服务器发起的cookie的丢失等。
　　
　　假设你的数据是根据url不同返回结果不同那么你可以考虑用restfulapi:login-restful.js
　　从以下几个方面考虑1。对于实现客户端发送请求,发送key,mapkey为用户id,注册时由系统返回2。对于web服务端,发送url地址后将返回requestmethod,在其中定义request的method接受key3。如果客户端不返回某个key,那么其返回的requestmethod将会根据http请求头中规定的type(例如是get)加上相应返回method(例如是post)来返回4。
　　其他可以参照restfulphp客户端的做法,第一次请求为get第二次请求为post等5。题主的实现可以参考下swoole-swoole/swoole。 查看全部

　　[精选] 模拟登陆并抓取数据，用php也是可以做到的
　　点击加入：
　　商务合作请加微信(QQ)：2230304070
　　精选文章正文
　　服务器活动推荐：【腾讯云12月份服务器限时秒杀活动，最低99元】活动地址：
　　使用PHP的Curl扩展库可以模拟实现登录，并抓取一些需要用户账号登录以后才能查看的数据。具体实现的流程如下
　　1. 首先需要对相应的登录页面的html源代码进行分析，获得一些必要的信息：
　　1）登录页面的地址；
　　2）验证码的地址；
　　3）登录表单需要提交的各个字段的名称和提交方式；
　　4）登录表单提交的地址；
　　5）另外要需要知道要抓取的数据所在的地址。
　　2. 获取cookie并存储（针对使用cookie文件的网站）
　　$login_url = 'http://www.xxxxx';  //登录页面地址<br />$cookie_file = dirname(__FILE__)."/pic.cookie";  //cookie文件存放位置（自定义）<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $login_url);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);<br />curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);<br />curl_exec($ch);<br />curl_close($ch);<br />
　　3. 获取验证码并存储（针对使用验证码的网站）
　　$verify_url = "http://www.xxxx";   //验证码地址<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $verify_url);<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);<br />$verify_img = curl_exec($ch);<br />curl_close($ch);<br />$fp = fopen("./verify/verifyCode.png",'w');  //把抓取到的图片文件写入本地图片文件保存<br />fwrite($fp, $verify_img);<br />fclose($fp);<br />
　　说明：
　　由于不能实现验证码的识别，所以我这里的做法是，把验证码图片抓取下来存放到本地文件中，然后在自己项目中的html页面中显示，让用户去填写，等用户填写完账号、密码和验证码，并点击提交按钮之后再去进行下一步的操作。
　　4. 模拟提交登录表单：
　　$ post_url = 'http://www.xxxx';   //登录表单提交地址<br />$post = "username=$account&password=$password&seccodeverify=$verifyCode";//表单提交的数据（根据表单字段名和用户输入决定）<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $ post_url);<br />curl_setopt($ch, CURLOPT_HEADER, false);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);<br />curl_setopt($ch, CURLOPT_POSTFIELDS, $post);     //提交方式为post<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />curl_exec($ch);<br />curl_close($ch);<br />
　　5. 抓取数据：
　　$data_url = "http://www.xxxx";   //数据所在地址<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $data_url);<br />curl_setopt($ch, CURLOPT_HEADER, false);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,0);<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />$data = curl_exec($ch);<br />curl_close($ch);<br />
　　到目前为止，已经把数据所在地址的这个页面都抓取下来存储在字符串变量$data中了。
　　需要注意的是抓取下来的是一个网页的html源代码，也就是说这个字符串中不仅包含了你想要的数据，还包含了许多的html标签等你不想要的东西。所以如果你想要从中提取出你需要的数据的话，你还要对存放数据的页面的html代码进行分析，然后结合字符串操作函数、正则匹配等方法从中提取出你想要的数据。 查看全部

　　[精选] 模拟登陆并抓取数据，用php也是可以做到的
　　点击加入：
　　商务合作请加微信(QQ)：2230304070
　　精选文章正文
　　服务器活动推荐：【腾讯云12月份服务器限时秒杀活动，最低99元】活动地址：
　　使用PHP的Curl扩展库可以模拟实现登录，并抓取一些需要用户账号登录以后才能查看的数据。具体实现的流程如下
　　1. 首先需要对相应的登录页面的html源代码进行分析，获得一些必要的信息：
　　1）登录页面的地址；
　　2）验证码的地址；
　　3）登录表单需要提交的各个字段的名称和提交方式；
　　4）登录表单提交的地址；
　　5）另外要需要知道要抓取的数据所在的地址。
　　2. 获取cookie并存储（针对使用cookie文件的网站）
　　$login_url = 'http://www.xxxxx';  //登录页面地址<br />$cookie_file = dirname(__FILE__)."/pic.cookie";  //cookie文件存放位置（自定义）<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $login_url);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);<br />curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);<br />curl_exec($ch);<br />curl_close($ch);<br />
　　3. 获取验证码并存储（针对使用验证码的网站）
　　$verify_url = "http://www.xxxx";   //验证码地址<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $verify_url);<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);<br />$verify_img = curl_exec($ch);<br />curl_close($ch);<br />$fp = fopen("./verify/verifyCode.png",'w');  //把抓取到的图片文件写入本地图片文件保存<br />fwrite($fp, $verify_img);<br />fclose($fp);<br />
　　说明：
　　由于不能实现验证码的识别，所以我这里的做法是，把验证码图片抓取下来存放到本地文件中，然后在自己项目中的html页面中显示，让用户去填写，等用户填写完账号、密码和验证码，并点击提交按钮之后再去进行下一步的操作。
　　4. 模拟提交登录表单：
　　$ post_url = 'http://www.xxxx';   //登录表单提交地址<br />$post = "username=$account&password=$password&seccodeverify=$verifyCode";//表单提交的数据（根据表单字段名和用户输入决定）<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $ post_url);<br />curl_setopt($ch, CURLOPT_HEADER, false);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);<br />curl_setopt($ch, CURLOPT_POSTFIELDS, $post);     //提交方式为post<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />curl_exec($ch);<br />curl_close($ch);<br />
　　5. 抓取数据：
　　$data_url = "http://www.xxxx";   //数据所在地址<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $data_url);<br />curl_setopt($ch, CURLOPT_HEADER, false);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,0);<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />$data = curl_exec($ch);<br />curl_close($ch);<br />
　　到目前为止，已经把数据所在地址的这个页面都抓取下来存储在字符串变量$data中了。
　　需要注意的是抓取下来的是一个网页的html源代码，也就是说这个字符串中不仅包含了你想要的数据，还包含了许多的html标签等你不想要的东西。所以如果你想要从中提取出你需要的数据的话，你还要对存放数据的页面的html代码进行分析，然后结合字符串操作函数、正则匹配等方法从中提取出你想要的数据。 查看全部

　　[精选] 模拟登陆并抓取数据，用php也是可以做到的
　　点击加入：
　　商务合作请加微信(QQ)：2230304070
　　精选文章正文
　　服务器活动推荐：【腾讯云12月份服务器限时秒杀活动，最低99元】活动地址：
　　使用PHP的Curl扩展库可以模拟实现登录，并抓取一些需要用户账号登录以后才能查看的数据。具体实现的流程如下
　　1. 首先需要对相应的登录页面的html源代码进行分析，获得一些必要的信息：
　　1）登录页面的地址；
　　2）验证码的地址；
　　3）登录表单需要提交的各个字段的名称和提交方式；
　　4）登录表单提交的地址；
　　5）另外要需要知道要抓取的数据所在的地址。
　　2. 获取cookie并存储（针对使用cookie文件的网站）
　　$login_url = 'http://www.xxxxx';  //登录页面地址<br />$cookie_file = dirname(__FILE__)."/pic.cookie";  //cookie文件存放位置（自定义）<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $login_url);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);<br />curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);<br />curl_exec($ch);<br />curl_close($ch);<br />
　　3. 获取验证码并存储（针对使用验证码的网站）
　　$verify_url = "http://www.xxxx";   //验证码地址<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $verify_url);<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);<br />$verify_img = curl_exec($ch);<br />curl_close($ch);<br />$fp = fopen("./verify/verifyCode.png",'w');  //把抓取到的图片文件写入本地图片文件保存<br />fwrite($fp, $verify_img);<br />fclose($fp);<br />
　　说明：
　　由于不能实现验证码的识别，所以我这里的做法是，把验证码图片抓取下来存放到本地文件中，然后在自己项目中的html页面中显示，让用户去填写，等用户填写完账号、密码和验证码，并点击提交按钮之后再去进行下一步的操作。
　　4. 模拟提交登录表单：
　　$ post_url = 'http://www.xxxx';   //登录表单提交地址<br />$post = "username=$account&password=$password&seccodeverify=$verifyCode";//表单提交的数据（根据表单字段名和用户输入决定）<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $ post_url);<br />curl_setopt($ch, CURLOPT_HEADER, false);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);<br />curl_setopt($ch, CURLOPT_POSTFIELDS, $post);     //提交方式为post<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />curl_exec($ch);<br />curl_close($ch);<br />
　　5. 抓取数据：
　　$data_url = "http://www.xxxx";   //数据所在地址<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $data_url);<br />curl_setopt($ch, CURLOPT_HEADER, false);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,0);<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />$data = curl_exec($ch);<br />curl_close($ch);<br />
　　到目前为止，已经把数据所在地址的这个页面都抓取下来存储在字符串变量$data中了。
　　需要注意的是抓取下来的是一个网页的html源代码，也就是说这个字符串中不仅包含了你想要的数据，还包含了许多的html标签等你不想要的东西。所以如果你想要从中提取出你需要的数据的话，你还要对存放数据的页面的html代码进行分析，然后结合字符串操作函数、正则匹配等方法从中提取出你想要的数据。 查看全部

　　[精选] 模拟登陆并抓取数据，用php也是可以做到的
　　点击加入：
　　商务合作请加微信(QQ)：2230304070
　　精选文章正文
　　服务器活动推荐：【腾讯云12月份服务器限时秒杀活动，最低99元】活动地址：
　　使用PHP的Curl扩展库可以模拟实现登录，并抓取一些需要用户账号登录以后才能查看的数据。具体实现的流程如下
　　1. 首先需要对相应的登录页面的html源代码进行分析，获得一些必要的信息：
　　1）登录页面的地址；
　　2）验证码的地址；
　　3）登录表单需要提交的各个字段的名称和提交方式；
　　4）登录表单提交的地址；
　　5）另外要需要知道要抓取的数据所在的地址。
　　2. 获取cookie并存储（针对使用cookie文件的网站）
　　$login_url = 'http://www.xxxxx';  //登录页面地址<br />$cookie_file = dirname(__FILE__)."/pic.cookie";  //cookie文件存放位置（自定义）<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $login_url);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);<br />curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);<br />curl_exec($ch);<br />curl_close($ch);<br />
　　3. 获取验证码并存储（针对使用验证码的网站）
　　$verify_url = "http://www.xxxx";   //验证码地址<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $verify_url);<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);<br />$verify_img = curl_exec($ch);<br />curl_close($ch);<br />$fp = fopen("./verify/verifyCode.png",'w');  //把抓取到的图片文件写入本地图片文件保存<br />fwrite($fp, $verify_img);<br />fclose($fp);<br />
　　说明：
　　由于不能实现验证码的识别，所以我这里的做法是，把验证码图片抓取下来存放到本地文件中，然后在自己项目中的html页面中显示，让用户去填写，等用户填写完账号、密码和验证码，并点击提交按钮之后再去进行下一步的操作。
　　4. 模拟提交登录表单：
　　$ post_url = 'http://www.xxxx';   //登录表单提交地址<br />$post = "username=$account&password=$password&seccodeverify=$verifyCode";//表单提交的数据（根据表单字段名和用户输入决定）<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $ post_url);<br />curl_setopt($ch, CURLOPT_HEADER, false);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);<br />curl_setopt($ch, CURLOPT_POSTFIELDS, $post);     //提交方式为post<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />curl_exec($ch);<br />curl_close($ch);<br />
　　5. 抓取数据：
　　$data_url = "http://www.xxxx";   //数据所在地址<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $data_url);<br />curl_setopt($ch, CURLOPT_HEADER, false);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,0);<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />$data = curl_exec($ch);<br />curl_close($ch);<br />
　　到目前为止，已经把数据所在地址的这个页面都抓取下来存储在字符串变量$data中了。
　　需要注意的是抓取下来的是一个网页的html源代码，也就是说这个字符串中不仅包含了你想要的数据，还包含了许多的html标签等你不想要的东西。所以如果你想要从中提取出你需要的数据的话，你还要对存放数据的页面的html代码进行分析，然后结合字符串操作函数、正则匹配等方法从中提取出你想要的数据。 查看全部

　　[精选] 模拟登陆并抓取数据，用php也是可以做到的
　　点击加入：
　　商务合作请加微信(QQ)：2230304070
　　精选文章正文
　　服务器活动推荐：【腾讯云12月份服务器限时秒杀活动，最低99元】活动地址：
　　使用PHP的Curl扩展库可以模拟实现登录，并抓取一些需要用户账号登录以后才能查看的数据。具体实现的流程如下
　　1. 首先需要对相应的登录页面的html源代码进行分析，获得一些必要的信息：
　　1）登录页面的地址；
　　2）验证码的地址；
　　3）登录表单需要提交的各个字段的名称和提交方式；
　　4）登录表单提交的地址；
　　5）另外要需要知道要抓取的数据所在的地址。
　　2. 获取cookie并存储（针对使用cookie文件的网站）
　　$login_url = 'http://www.xxxxx';  //登录页面地址<br />$cookie_file = dirname(__FILE__)."/pic.cookie";  //cookie文件存放位置（自定义）<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $login_url);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);<br />curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);<br />curl_exec($ch);<br />curl_close($ch);<br />
　　3. 获取验证码并存储（针对使用验证码的网站）
　　$verify_url = "http://www.xxxx";   //验证码地址<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $verify_url);<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);<br />$verify_img = curl_exec($ch);<br />curl_close($ch);<br />$fp = fopen("./verify/verifyCode.png",'w');  //把抓取到的图片文件写入本地图片文件保存<br />fwrite($fp, $verify_img);<br />fclose($fp);<br />
　　说明：
　　由于不能实现验证码的识别，所以我这里的做法是，把验证码图片抓取下来存放到本地文件中，然后在自己项目中的html页面中显示，让用户去填写，等用户填写完账号、密码和验证码，并点击提交按钮之后再去进行下一步的操作。
　　4. 模拟提交登录表单：
　　$ post_url = 'http://www.xxxx';   //登录表单提交地址<br />$post = "username=$account&password=$password&seccodeverify=$verifyCode";//表单提交的数据（根据表单字段名和用户输入决定）<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $ post_url);<br />curl_setopt($ch, CURLOPT_HEADER, false);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);<br />curl_setopt($ch, CURLOPT_POSTFIELDS, $post);     //提交方式为post<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />curl_exec($ch);<br />curl_close($ch);<br />
　　5. 抓取数据：
　　$data_url = "http://www.xxxx";   //数据所在地址<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $data_url);<br />curl_setopt($ch, CURLOPT_HEADER, false);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,0);<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />$data = curl_exec($ch);<br />curl_close($ch);<br />
　　到目前为止，已经把数据所在地址的这个页面都抓取下来存储在字符串变量$data中了。
　　需要注意的是抓取下来的是一个网页的html源代码，也就是说这个字符串中不仅包含了你想要的数据，还包含了许多的html标签等你不想要的东西。所以如果你想要从中提取出你需要的数据的话，你还要对存放数据的页面的html代码进行分析，然后结合字符串操作函数、正则匹配等方法从中提取出你想要的数据。 查看全部

　　[精选] 模拟登陆并抓取数据，用php也是可以做到的
　　点击加入：
　　商务合作请加微信(QQ)：2230304070
　　精选文章正文
　　服务器活动推荐：【腾讯云12月份服务器限时秒杀活动，最低99元】活动地址：
　　使用PHP的Curl扩展库可以模拟实现登录，并抓取一些需要用户账号登录以后才能查看的数据。具体实现的流程如下
　　1. 首先需要对相应的登录页面的html源代码进行分析，获得一些必要的信息：
　　1）登录页面的地址；
　　2）验证码的地址；
　　3）登录表单需要提交的各个字段的名称和提交方式；
　　4）登录表单提交的地址；
　　5）另外要需要知道要抓取的数据所在的地址。
　　2. 获取cookie并存储（针对使用cookie文件的网站）
　　$login_url = 'http://www.xxxxx';  //登录页面地址<br />$cookie_file = dirname(__FILE__)."/pic.cookie";  //cookie文件存放位置（自定义）<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $login_url);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);<br />curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);<br />curl_exec($ch);<br />curl_close($ch);<br />
　　3. 获取验证码并存储（针对使用验证码的网站）
　　$verify_url = "http://www.xxxx";   //验证码地址<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $verify_url);<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);<br />$verify_img = curl_exec($ch);<br />curl_close($ch);<br />$fp = fopen("./verify/verifyCode.png",'w');  //把抓取到的图片文件写入本地图片文件保存<br />fwrite($fp, $verify_img);<br />fclose($fp);<br />
　　说明：
　　由于不能实现验证码的识别，所以我这里的做法是，把验证码图片抓取下来存放到本地文件中，然后在自己项目中的html页面中显示，让用户去填写，等用户填写完账号、密码和验证码，并点击提交按钮之后再去进行下一步的操作。
　　4. 模拟提交登录表单：
　　$ post_url = 'http://www.xxxx';   //登录表单提交地址<br />$post = "username=$account&password=$password&seccodeverify=$verifyCode";//表单提交的数据（根据表单字段名和用户输入决定）<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $ post_url);<br />curl_setopt($ch, CURLOPT_HEADER, false);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);<br />curl_setopt($ch, CURLOPT_POSTFIELDS, $post);     //提交方式为post<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />curl_exec($ch);<br />curl_close($ch);<br />
　　5. 抓取数据：
　　$data_url = "http://www.xxxx";   //数据所在地址<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $data_url);<br />curl_setopt($ch, CURLOPT_HEADER, false);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,0);<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />$data = curl_exec($ch);<br />curl_close($ch);<br />
　　到目前为止，已经把数据所在地址的这个页面都抓取下来存储在字符串变量$data中了。
　　需要注意的是抓取下来的是一个网页的html源代码，也就是说这个字符串中不仅包含了你想要的数据，还包含了许多的html标签等你不想要的东西。所以如果你想要从中提取出你需要的数据的话，你还要对存放数据的页面的html代码进行分析，然后结合字符串操作函数、正则匹配等方法从中提取出你想要的数据。 查看全部

　　php抓取网页匹配urls模拟登录转页动作等等太多了
　　php抓取网页匹配urls模拟登录转页动作等等太多了。我喜欢wordpress就是因为其开源，可以给你足够的成长空间。1.1host为本地；1.2登录：一般要求地址url中的ftp是否可以使用tor/ftp服务器；1.3后续步骤如：添加表单信息，获取表单信息等等。
　　程序有很多种，有web前端语言为什么一定要学php呢？因为php最火，不仅语法简单而且可以开发平台，打包环境好搭建。那么对于用php的人来说php就是用来做网站的。
　　http协议最常用的就是getpostputpatrequest了get就是直接以邮箱名或者邮箱地址作为登录用户名，/为登录页，把用户名对应的地址填到js里面保存起来，有人需要的时候把地址发过去。//登录成功数：function(req){if(!access_exists(req)){return2;}//post//登录成功数：function(req){if(!access_exists(req)){returnreq.json();}return0;}//get//返回数据是json格式，用[]作为参数intojson(req.json());returnreq.json({name:'js',gender:'男',code:req.json({name:'js',gender:'女',code:req.json({name:'js',gender:'男',code:req.json({name:'js',gender:'女',code:req.json({name:'js',gender:'男',code:req.json({name:'js',gender:'女',code:req.json({name:'js',gender:'男',code:req.json({name:'js',gender:'男',code:req.json({name:'js',gender:'女',code:req.json({name:'js',gender:'男',code:req.json({name:'js',gender:'男',code:req.json({name:'js',gender:'男',code:req.json({name:'js',gender:'男',code:req.json({name:'js',gender:'男',code:req.json({name:'js',gender:'男',code:req.json({name:'js',gender:'男',code:req.json({name:'js',gender:'男',code:req.json({name:'js',gender:'男',code:req.json({name:'js',gender:'男',code:req.json({name:'js',gender:'男',code:req.json({name:'js',gender:'男',code:req.json({name:'js',gender:'男',。 查看全部

　　[精选] 模拟登陆并抓取数据，用php也是可以做到的
　　点击加入：
　　商务合作请加微信(QQ)：2230304070
　　精选文章正文
　　服务器活动推荐：【腾讯云12月份服务器限时秒杀活动，最低99元】活动地址：
　　使用PHP的Curl扩展库可以模拟实现登录，并抓取一些需要用户账号登录以后才能查看的数据。具体实现的流程如下
　　1. 首先需要对相应的登录页面的html源代码进行分析，获得一些必要的信息：
　　1）登录页面的地址；
　　2）验证码的地址；
　　3）登录表单需要提交的各个字段的名称和提交方式；
　　4）登录表单提交的地址；
　　5）另外要需要知道要抓取的数据所在的地址。
　　2. 获取cookie并存储（针对使用cookie文件的网站）
　　$login_url = 'http://www.xxxxx';  //登录页面地址<br />$cookie_file = dirname(__FILE__)."/pic.cookie";  //cookie文件存放位置（自定义）<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $login_url);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);<br />curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);<br />curl_exec($ch);<br />curl_close($ch);<br />
　　3. 获取验证码并存储（针对使用验证码的网站）
　　$verify_url = "http://www.xxxx";   //验证码地址<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $verify_url);<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);<br />$verify_img = curl_exec($ch);<br />curl_close($ch);<br />$fp = fopen("./verify/verifyCode.png",'w');  //把抓取到的图片文件写入本地图片文件保存<br />fwrite($fp, $verify_img);<br />fclose($fp);<br />
　　说明：
　　由于不能实现验证码的识别，所以我这里的做法是，把验证码图片抓取下来存放到本地文件中，然后在自己项目中的html页面中显示，让用户去填写，等用户填写完账号、密码和验证码，并点击提交按钮之后再去进行下一步的操作。
　　4. 模拟提交登录表单：
　　$ post_url = 'http://www.xxxx';   //登录表单提交地址<br />$post = "username=$account&password=$password&seccodeverify=$verifyCode";//表单提交的数据（根据表单字段名和用户输入决定）<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $ post_url);<br />curl_setopt($ch, CURLOPT_HEADER, false);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);<br />curl_setopt($ch, CURLOPT_POSTFIELDS, $post);     //提交方式为post<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />curl_exec($ch);<br />curl_close($ch);<br />
　　5. 抓取数据：
　　$data_url = "http://www.xxxx";   //数据所在地址<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $data_url);<br />curl_setopt($ch, CURLOPT_HEADER, false);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,0);<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />$data = curl_exec($ch);<br />curl_close($ch);<br />
　　到目前为止，已经把数据所在地址的这个页面都抓取下来存储在字符串变量$data中了。
　　需要注意的是抓取下来的是一个网页的html源代码，也就是说这个字符串中不仅包含了你想要的数据，还包含了许多的html标签等你不想要的东西。所以如果你想要从中提取出你需要的数据的话，你还要对存放数据的页面的html代码进行分析，然后结合字符串操作函数、正则匹配等方法从中提取出你想要的数据。 查看全部

　　facebook之前文章内容匹配url参数的js加密算法程序
　　php抓取网页匹配url参数的js加密算法程序。facebook之前抓取文章内容匹配url参数的js加密算法程序。从facebook抓取自己的文章后的加密解密程序.可以看到基本上都是通过暴力破解算法后用js进行加密。有人说自己的程序没有加密就不要卖了，原因是自己心虚。况且，你怎么就确定所有提供加密算法的程序都是加密后再卖的呢？万一他是用的对方是不加密的方式呢？这明明就是间接骗钱。别人吹嘘自己是原创，你是不是就确定他确实是原创呢？你要是信他，不如不卖东西，当打赏。
　　知乎有人问我：有一种程序可以用js向特定文件夹下的所有文件插入“#change-urls”的命令行参数，使得这些文件夹下的所有文件，每次从cookies中读出的都不一样。
　　php也有一些好玩的加密算法
　　基于ssl算法实现的，
　　国内厂商最近才加入了这个，这个算法相对有知名度点。应该说国内这些个爬虫程序，加密和解密基本就是抓包做二次开发。想卖个干净或者靠谱的，得考虑清楚再下手。
　　你还不如卖那些爬虫软件。比如七牛云啊，比如迅雷中间件啊。
　　一般用标准的ssl加密解密。它的请求肯定会返回istring格式的二进制数据，可以通过反编译得到原始字符串。 查看全部

　　php抓取网页匹配url，查看报错信息.php?
　　php抓取网页匹配url，查看报错信息global.php?filename=url再修改下url发现filename不成功，刷新重新打开就可以了。简单提供思路，
　　我看过我的php不也是这样的问题。我觉得方法肯定有。
　　解决了吗我也一样的问题
　　手动指定页面路径
　　使用正则表达式匹配报错,使用google查了下源码,查到报错的是使用php虚拟主机而不是单独建立index.php文件.还有报错原因是因为在这个项目中只用了php6,没有采用celery协议.
　　1.从服务器下发调用抓取的网页2.服务器端将网页同步到服务器,然后将抓取的网页同步到服务器3.自己构建新的抓取站点
　　楼主我遇到了同样的问题感觉是安全的问题。自己重构了php代码，对返回重新解析。
　　调试下抓取器再尝试。有时候php通过“同步”的方式推送回源代码，
　　正则表达式、apache转发、代理
　　使用正则即可搜索资料：：浏览器重新加载下面是按楼主的思路写的一个测试脚本，遇到的问题是页面activity进行了url劫持:;activity=myload&page=activity&path=this&openedactivity(null){errno('issued');return;}重新渲染后我发现前端发送的数据是这样的：，因为postdata这个dll后缀是activex的，且它使用了自定义的url。
　　因此，需要解决掉类似的问题:使用浏览器自己的http请求封装header，并设置对应的domtree后缀、postdatadll、errno、return的值。效果如下：,发送时header里面"#action"和"#page"的值不变，变成"#action"即使用header中"#"符号从浏览器发送数据，发送一个postdata数据后name参数不变。
　　但是请求并没有成功，总是提示"thistag'url'override'\r\n\r\n'。解决方法有：php.ini或grep正则。或者如果有urltempool/requestgrep等http服务，尽量加上这些参数，因为大多数请求可能都是这样写的。 查看全部

　　[精选] 模拟登陆并抓取数据，用php也是可以做到的
　　点击加入：
　　商务合作请加微信(QQ)：2230304070
　　精选文章正文
　　服务器活动推荐：【腾讯云12月份服务器限时秒杀活动，最低99元】活动地址：
　　使用PHP的Curl扩展库可以模拟实现登录，并抓取一些需要用户账号登录以后才能查看的数据。具体实现的流程如下
　　1. 首先需要对相应的登录页面的html源代码进行分析，获得一些必要的信息：
　　1）登录页面的地址；
　　2）验证码的地址；
　　3）登录表单需要提交的各个字段的名称和提交方式；
　　4）登录表单提交的地址；
　　5）另外要需要知道要抓取的数据所在的地址。
　　2. 获取cookie并存储（针对使用cookie文件的网站）
　　$login_url = 'http://www.xxxxx';  //登录页面地址<br />$cookie_file = dirname(__FILE__)."/pic.cookie";  //cookie文件存放位置（自定义）<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $login_url);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);<br />curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);<br />curl_exec($ch);<br />curl_close($ch);<br />
　　3. 获取验证码并存储（针对使用验证码的网站）
　　$verify_url = "http://www.xxxx";   //验证码地址<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $verify_url);<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);<br />$verify_img = curl_exec($ch);<br />curl_close($ch);<br />$fp = fopen("./verify/verifyCode.png",'w');  //把抓取到的图片文件写入本地图片文件保存<br />fwrite($fp, $verify_img);<br />fclose($fp);<br />
　　说明：
　　由于不能实现验证码的识别，所以我这里的做法是，把验证码图片抓取下来存放到本地文件中，然后在自己项目中的html页面中显示，让用户去填写，等用户填写完账号、密码和验证码，并点击提交按钮之后再去进行下一步的操作。
　　4. 模拟提交登录表单：
　　$ post_url = 'http://www.xxxx';   //登录表单提交地址<br />$post = "username=$account&password=$password&seccodeverify=$verifyCode";//表单提交的数据（根据表单字段名和用户输入决定）<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $ post_url);<br />curl_setopt($ch, CURLOPT_HEADER, false);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);<br />curl_setopt($ch, CURLOPT_POSTFIELDS, $post);     //提交方式为post<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />curl_exec($ch);<br />curl_close($ch);<br />
　　5. 抓取数据：
　　$data_url = "http://www.xxxx";   //数据所在地址<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $data_url);<br />curl_setopt($ch, CURLOPT_HEADER, false);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,0);<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />$data = curl_exec($ch);<br />curl_close($ch);<br />
　　到目前为止，已经把数据所在地址的这个页面都抓取下来存储在字符串变量$data中了。
　　需要注意的是抓取下来的是一个网页的html源代码，也就是说这个字符串中不仅包含了你想要的数据，还包含了许多的html标签等你不想要的东西。所以如果你想要从中提取出你需要的数据的话，你还要对存放数据的页面的html代码进行分析，然后结合字符串操作函数、正则匹配等方法从中提取出你想要的数据。 查看全部

　　php抓取网页匹配url PHP之伪静态与真静态
　　
　　首先，什么是伪静态：
　　伪静态又名URL重写，是动态的网址看起来像静态的网址。换句话说就是，动态网页通过重写 URL 方法实现去掉动态网页的参数，但在实际的网页目录中并没有必要实现存在重写的页面。
　　另外在补充两个名词解析
　　静态网址：纯静态HTML文档，能使用filetype:htm 查询到的网页
　　动态网址：内容存于数据库中，根据要求显示内容，URL中以 ？ # & 显示不同的参数，如：news.php？lang=cn&class=1&id=2
　　动态、静态、伪静态之间的利与弊（新）
　　动态网址
　　首先，动态网址目前对于Google来说，“不能被抓取”的说法是错误的，Google能够很好的处理动态网址并顺利抓取；其次“参数不能超过3个”的说法也不正确，Google能够抓取参数超过3个的动态网址，不过，为了避免URL太长应尽量减少参数。
　　其次，动态网址有其一定的优势，以上面所说的 news.php？lang=cn&class=1&id=2 为例，网址中的参数准确的告诉Google，此URL内容语言为cn、隶属于分类1、内容ID为2，更便于Google对内容的识别处理。
　　最后，动态网址应尽量精简，特别是会话标识（sid）和查询（query）参数，容易造成大量相同页面。
　　静态网址
　　首先，静态网址具有的绝对优势是其明晰，/product/nokia/n95.html和/about.html可以很容易被理解，从而在搜索结果中可能点击量相对较高。
　　其次，静态网址未必就是最好的网址形式，上述动态网址中说到，动态网址能够告诉Google一些可以识别的参数，而静态网址如果文档布置不够恰当（如：过于扁平化，将HTML文档全放在根目录下）及其他因素，反而不如静态网址为Google提供的参考信息丰富。
　　最后，樂思蜀觉得Google此文中是否有其隐藏含义？“更新此种类型网址的页面会比较耗费时间，尤其是当信息量增长很快时，因为每一个单独的页面都必须更改编译代码。”虽然所说的是网站，但在Google系统中是否同样存在这样的问题呢？
　　伪静态网址
　　首先，伪静态网址不能让动态网址“静态化”，伪静态仅仅是对动态网址的一个重写，Google不会认为伪静态就是HTML文档。
　　其次，伪静态可取，但应把重心放在去除冗余参数、规范URL、尽可能的避免重复页上。
　　最后，伪静态有很大潜大危险，最好在对网站系统、网站结构、内容分布、参数意义熟悉的情况下使用。
　　在写伪静态规则时，应保留有价值的参数，不要将有价值的参数全部精简掉，如前面例子中的 news.php？lang=cn&class=1&id=2 最好重写为 news-cn-class1-id2.html，而不是过份精简重写为 news-2.html。
　　再就是伪静态中一定不能包含会话标识（sid）和查询（query）参数，/product.asp？sid=98971298178906&id=1234 这样的动态网址，其中的sid本来Google能够识别并屏蔽，但如果重写为 /product/98971298178906/1234，Google不但无法识别，还在整站中造成无限重复页面（每个会话都会产生一个新的会话ID）。
　　我们应该选择伪静态还是真静态
　　1、使用真静态和假静态对SEO来说没有什么区别
　　2、使用真静态可能将导致硬盘损坏并将影响论坛性能
　　3、使用伪静态将占用一定量的CPU占有率，大量使用将导致CPU超负荷
　　4、最重要的一点，我们要静态是为了SEO
　　所以：
　　1、使用真静态的方法可以直接排除了，因为无论怎么生成，对硬盘来说都是很伤的。
　　2、既然真伪静态的效果一样，我们就可以选择伪静态了。
　　3、但是伪静态大量使用会造成CPU超负荷。
　　4、所以我们只要不大量使用就可以了。
　　5、既然静态只是给SEO看的，我们只需要伪静态给SEO就行了，不需要给用户使用。
　　6、所以我们只要在专门提供给SEO爬的Archiver中使用伪静态就可以了。
　　7、谢谢大家耐心看我写的文章。
　　8、有何不解的地方或是有不同的看法欢迎提出 查看全部

　　[精选] 模拟登陆并抓取数据，用php也是可以做到的
　　点击加入：
　　商务合作请加微信(QQ)：2230304070
　　精选文章正文
　　服务器活动推荐：【腾讯云12月份服务器限时秒杀活动，最低99元】活动地址：
　　使用PHP的Curl扩展库可以模拟实现登录，并抓取一些需要用户账号登录以后才能查看的数据。具体实现的流程如下
　　1. 首先需要对相应的登录页面的html源代码进行分析，获得一些必要的信息：
　　1）登录页面的地址；
　　2）验证码的地址；
　　3）登录表单需要提交的各个字段的名称和提交方式；
　　4）登录表单提交的地址；
　　5）另外要需要知道要抓取的数据所在的地址。
　　2. 获取cookie并存储（针对使用cookie文件的网站）
　　$login_url = 'http://www.xxxxx';  //登录页面地址<br />$cookie_file = dirname(__FILE__)."/pic.cookie";  //cookie文件存放位置（自定义）<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $login_url);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);<br />curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);<br />curl_exec($ch);<br />curl_close($ch);<br />
　　3. 获取验证码并存储（针对使用验证码的网站）
　　$verify_url = "http://www.xxxx";   //验证码地址<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $verify_url);<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);<br />$verify_img = curl_exec($ch);<br />curl_close($ch);<br />$fp = fopen("./verify/verifyCode.png",'w');  //把抓取到的图片文件写入本地图片文件保存<br />fwrite($fp, $verify_img);<br />fclose($fp);<br />
　　说明：
　　由于不能实现验证码的识别，所以我这里的做法是，把验证码图片抓取下来存放到本地文件中，然后在自己项目中的html页面中显示，让用户去填写，等用户填写完账号、密码和验证码，并点击提交按钮之后再去进行下一步的操作。
　　4. 模拟提交登录表单：
　　$ post_url = 'http://www.xxxx';   //登录表单提交地址<br />$post = "username=$account&password=$password&seccodeverify=$verifyCode";//表单提交的数据（根据表单字段名和用户输入决定）<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $ post_url);<br />curl_setopt($ch, CURLOPT_HEADER, false);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);<br />curl_setopt($ch, CURLOPT_POSTFIELDS, $post);     //提交方式为post<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />curl_exec($ch);<br />curl_close($ch);<br />
　　5. 抓取数据：
　　$data_url = "http://www.xxxx";   //数据所在地址<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $data_url);<br />curl_setopt($ch, CURLOPT_HEADER, false);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,0);<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />$data = curl_exec($ch);<br />curl_close($ch);<br />
　　到目前为止，已经把数据所在地址的这个页面都抓取下来存储在字符串变量$data中了。
　　需要注意的是抓取下来的是一个网页的html源代码，也就是说这个字符串中不仅包含了你想要的数据，还包含了许多的html标签等你不想要的东西。所以如果你想要从中提取出你需要的数据的话，你还要对存放数据的页面的html代码进行分析，然后结合字符串操作函数、正则匹配等方法从中提取出你想要的数据。 查看全部

　　[精选] 模拟登陆并抓取数据，用php也是可以做到的
　　点击加入：
　　商务合作请加微信(QQ)：2230304070
　　精选文章正文
　　服务器活动推荐：【腾讯云12月份服务器限时秒杀活动，最低99元】活动地址：
　　使用PHP的Curl扩展库可以模拟实现登录，并抓取一些需要用户账号登录以后才能查看的数据。具体实现的流程如下
　　1. 首先需要对相应的登录页面的html源代码进行分析，获得一些必要的信息：
　　1）登录页面的地址；
　　2）验证码的地址；
　　3）登录表单需要提交的各个字段的名称和提交方式；
　　4）登录表单提交的地址；
　　5）另外要需要知道要抓取的数据所在的地址。
　　2. 获取cookie并存储（针对使用cookie文件的网站）
　　$login_url = 'http://www.xxxxx';  //登录页面地址<br />$cookie_file = dirname(__FILE__)."/pic.cookie";  //cookie文件存放位置（自定义）<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $login_url);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);<br />curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);<br />curl_exec($ch);<br />curl_close($ch);<br />
　　3. 获取验证码并存储（针对使用验证码的网站）
　　$verify_url = "http://www.xxxx";   //验证码地址<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $verify_url);<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);<br />$verify_img = curl_exec($ch);<br />curl_close($ch);<br />$fp = fopen("./verify/verifyCode.png",'w');  //把抓取到的图片文件写入本地图片文件保存<br />fwrite($fp, $verify_img);<br />fclose($fp);<br />
　　说明：
　　由于不能实现验证码的识别，所以我这里的做法是，把验证码图片抓取下来存放到本地文件中，然后在自己项目中的html页面中显示，让用户去填写，等用户填写完账号、密码和验证码，并点击提交按钮之后再去进行下一步的操作。
　　4. 模拟提交登录表单：
　　$ post_url = 'http://www.xxxx';   //登录表单提交地址<br />$post = "username=$account&password=$password&seccodeverify=$verifyCode";//表单提交的数据（根据表单字段名和用户输入决定）<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $ post_url);<br />curl_setopt($ch, CURLOPT_HEADER, false);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);<br />curl_setopt($ch, CURLOPT_POSTFIELDS, $post);     //提交方式为post<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />curl_exec($ch);<br />curl_close($ch);<br />
　　5. 抓取数据：
　　$data_url = "http://www.xxxx";   //数据所在地址<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $data_url);<br />curl_setopt($ch, CURLOPT_HEADER, false);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,0);<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />$data = curl_exec($ch);<br />curl_close($ch);<br />
　　到目前为止，已经把数据所在地址的这个页面都抓取下来存储在字符串变量$data中了。
　　需要注意的是抓取下来的是一个网页的html源代码，也就是说这个字符串中不仅包含了你想要的数据，还包含了许多的html标签等你不想要的东西。所以如果你想要从中提取出你需要的数据的话，你还要对存放数据的页面的html代码进行分析，然后结合字符串操作函数、正则匹配等方法从中提取出你想要的数据。 查看全部

　　php抓取网页匹配url出来的内容，算分就是基于这个php的
　　php抓取网页匹配url出来的内容，算分就是基于这个php的。算分就需要后台增加一个用于计算出分的接口。php没有自己的数据库，要抓取数据库里的数据，要根据后台业务逻辑提供api给数据库。
　　谢邀，这个问题的话我会先分析你要抓取的网页，然后它的内容是怎么样的，然后再去分析你的接口会抓取什么东西。而且你可以看看这个php抓取网页分析程序，
　　你这是一个实用案例，比如像黄页这种网站，是一个总站一个分站的。针对一个网站，后台就有接口。根据接口，
　　如果直接后台写代码抓取的话，会很麻烦，也可以用数据库，或者对象匹配。
　　php只能抓取大流量的页面才有前景，小流量的一般要网站自己增加接口来抓，提供数据和返回给调用的前端。
　　谢邀。1.算分函数完成。2.没有算分函数。我们公司的项目中部分页面是自己开发的一个后台，随时可用。
　　php前台实现没有意义。你也知道php主要的html+css交互，不能开发算分功能，简单说就是没必要，如果非要实现算分，至少我肯定后台要配置数据库的mongodb的插件。
　　算分的意义并不是为了有其他用。估计题主的目的是小流量的网站，那我要说，说一下个人理解的意义。可以基于这个接口得分了，与其说这是个算分的接口，不如说这个接口提供给你，让你自己去看看有多少个来访人数等等，利用这个数据给你个评分或者统计，做为依据， 查看全部

　　php抓取网页匹配url，不用拿到ajax参数来找
　　php抓取网页匹配url，也就是定位网址；拿到网址后就可以post一个json，
　　不会，正则表达式都是自己定义的，可以看一下php正则表达式手册。
　　不会，
　　并不会根据url抓取信息，
　　nginx作为反向代理是可以做相关的操作的，或者自己编写一个反向代理的应用程序，无论是上传还是post拿到返回的字符串都可以直接作为参数传递，拿到参数就可以用正则表达式匹配了。
　　和网页类型无关，根据url匹配元素tags，再匹配对应的表单或功能，post的json格式解析时解析元素表单或功能，然后传参数再执行代码。这样解决网页运行情况下恶意篡改问题。php是通过反向代理的方式操作，其他语言是通过ajax的方式。
　　不会
　　不会，获取匹配response参数，
　　不会吧，我都没在上面实现直接抓取了，
　　不会。php在post的时候，json数据里面是包含pageid,date_info等信息的，直接post获取的话也是匹配对应页码的，不然用户就自己给自己加麻烦了。
　　不用拿到ajax后端生成的那些response参数，可以加request_uri参数来找。 查看全部