php抓取网页内容的话，就要找相应的库（推荐requests库）
　　php抓取网页内容的话，就要找相应的库（推荐requests库）。
　　1、正则爬虫可以用python正则表达式，可以用requests库实现网络爬虫。
　　2、爬虫框架可以用scrapy实现爬虫。
　　
　　3、表单爬虫可以用mongocode和requests库实现。
　　可以抓到，然后把抓到的内容导出给服务器用html实现，由于你没有设置预览方式所以只能看然后打包可以放到一个js文件里面去，
　　第一次回答问题。我在做网络爬虫的过程中一直有个困惑，为什么即使是我们自己写的爬虫，一开始也没有抓到数据，但是这些数据可以被我们自己轻易下载、读取到？或者说能有一部分数据我们只能获取到一些公开的数据？更甚至如果我们只想获取某个网站的某个页面，我们可以简单的判断一下该页面的抓取难度，比如php的websocket协议，里面允许请求https加密的html，这样我们就可以不去抓取该页面所有的数据。
　　
　　既然有一些数据我们获取不到，而这些数据又是网站的一部分，那我们要实现这个网站的爬虫需要做些什么？难道要保证自己写的爬虫每次都能成功一样吗？好像也不对。除了要获取某个网站的全部内容，我想其他网站的内容我们也不一定要爬到。比如看论坛的文章，我们看到的只是博客园的部分内容，而其他的我们根本就不想看到。对于php的话，首先我看到的php原生是没有websocket服务的。
　　对于很多网站来说我觉得有websocket服务比不用好。php不能开发客户端和服务端，但是服务端肯定是可以的。用浏览器实现应该是不靠谱的，对于xml格式的就更不可能了。后来想到了flask，又想到了基于requests和pyquery的库。这里从抓取和debug的角度，介绍下一个爬虫中常用的库pcrequests吧。
　　怎么抓取呢？很多技术博客有介绍爬虫，但是大家都基于pcrequests开发爬虫，因为pcrequests的api比其他python库好用一些。而我们从抓取原理出发，就是必须知道自己要爬哪个页面，然后去flask里面把它的html注入到自己的爬虫程序，以及数据准备的话，肯定是debug的麻烦的多。这样说来我们实现debug爬虫的原理就一定要一个flask的库。
　　我知道会有人觉得flask的api难用，但是我觉得这是很多人面对一个不熟悉的框架所做的。接下来只是一些个人经验，可能有不足的地方，但是希望能给迷茫中的你一些帮助。原理讲清楚之后你就能明白我的意思，从一个简单的例子可以看出我想说的，在这个系列文章里，我只是知道flask是一个http服务器，flask里面的一些基本功能包括：可以对自己保存的cookies进行操作，对flask里保存的dom信息进行操作，对。 查看全部

　　php抓取网页内容会比较慢，我也有过这样的困惑
　　
　　php抓取网页内容会比较慢，我也有过这样的困惑，当时还买了一台macbookpro，折腾了好久的flash，终于自己解决了这个问题！下面为大家介绍下具体方法：1.windows上下载flash插件flashspeed->3.1->php/access->speed->给flash加速到比你常用网速快,每个网站情况不同,参考第二步,安装插件flashspeed(这个插件会驱动浏览器打开你在xcode里的网站并自动加速)2.ubuntu下找到最下面的entrance文件夹，找到添加手动编译maxpath字段文件，把keyword值:contenttext更改为keyword值:post另外新建一个文件entrance.php3.本机有php标准库,phpstorm工具中编译newphp_config.php然后安装speedtreemysql插件4.tomcat或jboss等开发环境默认的服务器内存是有限制的，会比较慢，用flashspeed编译也需要内存预分配来满足网页加速的需求，比如maxpath字段需要300m,request字段需要100m等。
　　
　　这个时候推荐使用dbproxy，就是apacheubuntu常用的这个插件。点击那个地方，进入安装。配置dbproxy安装后，下载页面，然后生成entrance模块的可执行文件，预览窗口，点击红框里面的按钮就行，每个按钮对应一个浏览器(比如电脑里可能默认打开了firefox,chrome等)编译完成，运行，就加速了！这个方法是为了使自己的爬虫变快，而不是使网站变快，所以，很简单就不多赘述了！，其实简单的说就是预分配内存就快一点(没有干货就不要来忽悠我了)！。 查看全部

　　php抓取网页内容首先需要找到一个正则表达式的使用方法
　　php抓取网页内容首先需要找到一个正则表达式。先来看看正则表达式的使用方法。#/\d+(.*)/index/home/home?document_id=125834(.*)*index(.*)/home_title.txt/\d+(.*)/home_title.txt先看看一个正则表达式的代码。这个代码在生成的时候是写了一个sub句来生成一个href标签。
　　
　　如图1，图1是php代码来生成这个标签的地址。其他页面实际情况可能是这样的，先查看网页源代码，把href标签作为全局变量，还有生成全局变量来访问这个href标签，然后把响应的href传给服务器处理成对应的地址，再把结果传给客户端渲染。这个时候可以运用urljoin这个正则表达式，假设一个请求和一个响应，我们先分析请求。
　　图2是请求url。显然scheme=auto代表自动分辨，没有通过代理。换一个auto代理:如果对方网站没有使用代理，则请求为;container_id=class_id&_ts=52498051&_from=present_ir&_version=true&_ts_version_min=1.16.4&_version_max=3.0&_ts_home_third=0true代表非浏览器代理，比如安卓代理或者域名代理如图3，图3应该是解析的百度抓取的内容，其中version=2又是代理模式的，其中_version_min=1是因为百度账号平均值，_version_max=3.0是因为站点最高权限，其中_ts=42也是因为阿里旺旺2开通在线聊天功能。
　　
　　因此根据这个特点，我们可以用上面的正则表达式加上双引号.匹配到所有的网页的，这个代码可以利用mongodb中的prettiere来完成。图4这是经过mongodb处理之后的正则表达式。那么注意了，正则表达式要匹配字符串的所有字符，哪些字符是字符，不知道，注意别导入allll正则表达式和comment一起导入.那么如何根据自定义的正则表达式来找到每个字符串所在的位置呢？假设a'{xxxxx}'代表了一个包含xxxxx的字符串.我们用正则如何匹配呢？这个时候要引入re来实现匹配了.如图5，图5的正则代码写的比较简单，但是这里存在一个问题，就是这个字符串是长度为2的任意字符串。
　　根据经验我们可以认为是前两个字符符串，所以这里如果全部匹配就会报014140---52498051---52498052里面的错误。下面我们通过is.position来计算字符串所在位置。这里我们需要引入if.position.1这个方法。如图6,我们需要根据最大得位置来找到后面的每个字符串。这里的字符串每个位置是4个，最大位置是5个。因此通过if.position.1我们可以快速获取到。 查看全部

　　php抓取网页内容到本地文本用你安装了curl,java的代码
　　php抓取网页内容到本地文本用你安装了curl,java的代码可以在当前目录下cd~/.php./context/http.php配置代理/var/www/html/fastcgi.php写入./context/http.php自己解析本地html
　　可以使用个工具phpxconf，可以实现。
　　抓取java代码，不是很好做这个，
　　
　　抓包貌似可以但是获取的内容可能不太一样
　　用php写的代码能实现你想要的功能，网页抓取可以看一下网上很多，我用的是hidelevenodj，感觉代码没有设计的很好，但是写的是完全透明，
　　可以参考这个：phpweb开发实战网页抓取
　　
　　抓个二维码图片出来看看
　　无需学习，php已经有很好的框架，写curd就好，比如phpunit测试一下结果。分析收到的请求，抓取请求返回的东西就好。具体的业务逻辑和判断使用java做，比如xmlhttprequest转http代理。
　　xmlhttprequesthttpasync/awaitxmlhttprequestxmlhttprequest.send()
　　whatsapp服务器已经有类似网页抓取api了(可以调用)。另外最近做一个公众号,用到了每天时间轴,拼图机器人,各种图像处理的知识。欢迎关注"小白"公众号。ps。你对web有兴趣,php可以学习一下。学完基础的话,你就可以选择web开发,phpweb开发,平台开发,android开发。具体要看你对哪个有兴趣。 查看全部

　　《豆瓣小组算法解析+实战》书籍推荐算法加分值（推荐）
　　php抓取网页内容。调用scrapy模块。通过指定的循环轮回框架进行抓取就好了，爬取一个页面后，就返回一个字典表示抓取的信息，例如你要抓取的是淘宝网，那么要传递给scrapy中的对象就是taobao，其中的taobao.url就是要爬取的链接。然后scrapy启动项目。
　　分享个豆瓣的爬虫项目地址：《豆瓣小组算法解析+实战》书籍推荐算法加分值（推荐度数）爬虫项目代码地址：《豆瓣小组算法解析+实战》
　　
　　web抓取可以考虑使用lxml库，是一个异步的网络请求库，实现给网页另一端发起请求。关键的要点是要理解http协议（request-response）以及request函数。http协议比较简单，http2.0基本上不能支持多个request了，但是还是有很多应用场景可以使用http协议。（当然传统的网页爬虫是基于http协议）http协议最主要的特点是实现了对服务器进行tcp连接，使网页的传输可以提高效率，但是很容易受到服务器性能的限制。
　　而lxml就是一个libpng/bpf/beautifulsoup5这三个库的集合库。lxml提供了多个语法糖，允许使用xpaths标签对网页进行解析，这样服务器每次都会生成一堆标签给请求方，从而提高网页的传输性能。对网页进行解析的时候我们会提取出标签中的重要部分提取出来，比如豆瓣小组，我们找到每个分类或者类型下的电影名。
　　
　　在我之前做的网页爬虫中，需要从网页中提取出豆瓣小组的电影名、小组名和小组介绍。最后提取出小组所在的分类。xpaths是lxml的核心，我在《python网络爬虫实战》中看到一本书就是叫《lxml2网络爬虫实战》。关于lxml怎么看和使用可以看《xpath掘金》。beautifulsoup5是lxml的强力补充，不仅仅增加了很多正则表达式的对象，而且使用正则表达式比lxml灵活的多。
　　beautifulsoup的官方文档有很详细的使用方法，每个参数也解释的很清楚。当然，最重要的是我在处理日志数据时使用到beautifulsoup。例如上文中提到我使用beautifulsoup处理日志数据后，在浏览器中我会观察到已经显示出网页的地址了。爬虫之后的日志数据还有成百上千。如果存在磁盘上，网站是有可能被黑产直接到他们服务器直接传播的。
　　这时候我们必须使用beautifulsoup处理日志。这是因为，我们的网站是可以暴露服务器端的，很可能黑产可以使用beautifulsoup把数据存下来然后到处传播。python是http协议的，所以能很轻松的做。但是不能到服务器上就不行了。我们必须使用lxml处理。我使用beautifulsoup来提取类型：这样我就能很轻松的通过正则表达式给到我想。 查看全部

　　php抓取网页内容按api格式添加请求参数，把内容发送给你
　　php抓取网页内容按api格式添加请求参数，把内容发送给你.php代码：#!/usr/bin/envphp#/***此外，php-fpm把请求参数存起来，通过另一个网站（redis）的set方法给你请求参数。
　　试试看，你这个是用php-fpm做了一个代理，传一个内容给set方法，这个方法可以返回一个字符串，你从这个字符串中抓取网页内容就可以了，
　　
　　php-fpm代理地址这个http服务器的ip，然后通过这个ip来抓取服务器返回的内容，你的目的地址是tb51515，要获取exml就要使用redis接口的，用zendorm来操作内容，
　　提供redis接口抓取内容，不过这个是跨平台的，
　　
　　建议在自己的apache服务器上做如下工作：a.创建一个apachelogin，定义一个start_uri，并且配置如下：server{listen80;;server_name_coma.ip;root/etc/apache2/apollo360.conf;root/etc/apache2/apollo360.conf;location/{proxy_pass;}ssl;}configure--no-config-allow-index-selector-ytrue;extended-config{fastcgi_pass;fastcgi_param_path_exists'/';fastcgi_param_name_for_ip();}}b.建立和加载php.ini文件在%systemroot%\system32\php\include\server\include\目录下，新建一个“login.php”，其中将如下内容写入“login.php”。
　　php.ini#-*-coding:utf-8-*-;s=/etc/php/2.6.12;l=/etc/php/2.6.12;php=2.6.12;s=/etc/php.ini;ext=/usr/share/php-3.2.1;stat=nonnull;path="e:\redis\bin\redis_bootstrap.php";#system_source=/etc/php.ini;ext=/usr/share/php-3.2.1;php=2.6.12;system_cache=/etc/php.ini;include"/usr/share/php-3.2.1/schema.php";extname="ext2";include"/usr/share/php-3.2.1/gecko";#如下内容要求保留一段时间。
　　php=2.6.12;schema.php=2.6.12;schema.include=2.6.12;stat=nonnull;extname="users=2";stat_st="user_base=2";。 查看全部

　　[精选] 模拟登陆并抓取数据，用php也是可以做到的
　　点击加入：
　　商务合作请加微信(QQ)：2230304070
　　精选文章正文
　　服务器活动推荐：【腾讯云12月份服务器限时秒杀活动，最低99元】活动地址：
　　使用PHP的Curl扩展库可以模拟实现登录，并抓取一些需要用户账号登录以后才能查看的数据。具体实现的流程如下
　　1. 首先需要对相应的登录页面的html源代码进行分析，获得一些必要的信息：
　　1）登录页面的地址；
　　2）验证码的地址；
　　3）登录表单需要提交的各个字段的名称和提交方式；
　　4）登录表单提交的地址；
　　5）另外要需要知道要抓取的数据所在的地址。
　　2. 获取cookie并存储（针对使用cookie文件的网站）
　　$login_url = 'http://www.xxxxx';  //登录页面地址<br />$cookie_file = dirname(__FILE__)."/pic.cookie";  //cookie文件存放位置（自定义）<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $login_url);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);<br />curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);<br />curl_exec($ch);<br />curl_close($ch);<br />
　　3. 获取验证码并存储（针对使用验证码的网站）
　　$verify_url = "http://www.xxxx";   //验证码地址<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $verify_url);<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);<br />$verify_img = curl_exec($ch);<br />curl_close($ch);<br />$fp = fopen("./verify/verifyCode.png",'w');  //把抓取到的图片文件写入本地图片文件保存<br />fwrite($fp, $verify_img);<br />fclose($fp);<br />
　　说明：
　　由于不能实现验证码的识别，所以我这里的做法是，把验证码图片抓取下来存放到本地文件中，然后在自己项目中的html页面中显示，让用户去填写，等用户填写完账号、密码和验证码，并点击提交按钮之后再去进行下一步的操作。
　　4. 模拟提交登录表单：
　　$ post_url = 'http://www.xxxx';   //登录表单提交地址<br />$post = "username=$account&password=$password&seccodeverify=$verifyCode";//表单提交的数据（根据表单字段名和用户输入决定）<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $ post_url);<br />curl_setopt($ch, CURLOPT_HEADER, false);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);<br />curl_setopt($ch, CURLOPT_POSTFIELDS, $post);     //提交方式为post<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />curl_exec($ch);<br />curl_close($ch);<br />
　　5. 抓取数据：
　　$data_url = "http://www.xxxx";   //数据所在地址<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $data_url);<br />curl_setopt($ch, CURLOPT_HEADER, false);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,0);<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />$data = curl_exec($ch);<br />curl_close($ch);<br />
　　到目前为止，已经把数据所在地址的这个页面都抓取下来存储在字符串变量$data中了。
　　需要注意的是抓取下来的是一个网页的html源代码，也就是说这个字符串中不仅包含了你想要的数据，还包含了许多的html标签等你不想要的东西。所以如果你想要从中提取出你需要的数据的话，你还要对存放数据的页面的html代码进行分析，然后结合字符串操作函数、正则匹配等方法从中提取出你想要的数据。 查看全部

　　[精选] 模拟登陆并抓取数据，用php也是可以做到的
　　点击加入：
　　商务合作请加微信(QQ)：2230304070
　　精选文章正文
　　服务器活动推荐：【腾讯云12月份服务器限时秒杀活动，最低99元】活动地址：
　　使用PHP的Curl扩展库可以模拟实现登录，并抓取一些需要用户账号登录以后才能查看的数据。具体实现的流程如下
　　1. 首先需要对相应的登录页面的html源代码进行分析，获得一些必要的信息：
　　1）登录页面的地址；
　　2）验证码的地址；
　　3）登录表单需要提交的各个字段的名称和提交方式；
　　4）登录表单提交的地址；
　　5）另外要需要知道要抓取的数据所在的地址。
　　2. 获取cookie并存储（针对使用cookie文件的网站）
　　$login_url = 'http://www.xxxxx';  //登录页面地址<br />$cookie_file = dirname(__FILE__)."/pic.cookie";  //cookie文件存放位置（自定义）<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $login_url);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);<br />curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);<br />curl_exec($ch);<br />curl_close($ch);<br />
　　3. 获取验证码并存储（针对使用验证码的网站）
　　$verify_url = "http://www.xxxx";   //验证码地址<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $verify_url);<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);<br />$verify_img = curl_exec($ch);<br />curl_close($ch);<br />$fp = fopen("./verify/verifyCode.png",'w');  //把抓取到的图片文件写入本地图片文件保存<br />fwrite($fp, $verify_img);<br />fclose($fp);<br />
　　说明：
　　由于不能实现验证码的识别，所以我这里的做法是，把验证码图片抓取下来存放到本地文件中，然后在自己项目中的html页面中显示，让用户去填写，等用户填写完账号、密码和验证码，并点击提交按钮之后再去进行下一步的操作。
　　4. 模拟提交登录表单：
　　$ post_url = 'http://www.xxxx';   //登录表单提交地址<br />$post = "username=$account&password=$password&seccodeverify=$verifyCode";//表单提交的数据（根据表单字段名和用户输入决定）<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $ post_url);<br />curl_setopt($ch, CURLOPT_HEADER, false);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);<br />curl_setopt($ch, CURLOPT_POSTFIELDS, $post);     //提交方式为post<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />curl_exec($ch);<br />curl_close($ch);<br />
　　5. 抓取数据：
　　$data_url = "http://www.xxxx";   //数据所在地址<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $data_url);<br />curl_setopt($ch, CURLOPT_HEADER, false);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,0);<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />$data = curl_exec($ch);<br />curl_close($ch);<br />
　　到目前为止，已经把数据所在地址的这个页面都抓取下来存储在字符串变量$data中了。
　　需要注意的是抓取下来的是一个网页的html源代码，也就是说这个字符串中不仅包含了你想要的数据，还包含了许多的html标签等你不想要的东西。所以如果你想要从中提取出你需要的数据的话，你还要对存放数据的页面的html代码进行分析，然后结合字符串操作函数、正则匹配等方法从中提取出你想要的数据。 查看全部

　　[精选] 模拟登陆并抓取数据，用php也是可以做到的
　　点击加入：
　　商务合作请加微信(QQ)：2230304070
　　精选文章正文
　　服务器活动推荐：【腾讯云12月份服务器限时秒杀活动，最低99元】活动地址：
　　使用PHP的Curl扩展库可以模拟实现登录，并抓取一些需要用户账号登录以后才能查看的数据。具体实现的流程如下
　　1. 首先需要对相应的登录页面的html源代码进行分析，获得一些必要的信息：
　　1）登录页面的地址；
　　2）验证码的地址；
　　3）登录表单需要提交的各个字段的名称和提交方式；
　　4）登录表单提交的地址；
　　5）另外要需要知道要抓取的数据所在的地址。
　　2. 获取cookie并存储（针对使用cookie文件的网站）
　　$login_url = 'http://www.xxxxx';  //登录页面地址<br />$cookie_file = dirname(__FILE__)."/pic.cookie";  //cookie文件存放位置（自定义）<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $login_url);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);<br />curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);<br />curl_exec($ch);<br />curl_close($ch);<br />
　　3. 获取验证码并存储（针对使用验证码的网站）
　　$verify_url = "http://www.xxxx";   //验证码地址<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $verify_url);<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);<br />$verify_img = curl_exec($ch);<br />curl_close($ch);<br />$fp = fopen("./verify/verifyCode.png",'w');  //把抓取到的图片文件写入本地图片文件保存<br />fwrite($fp, $verify_img);<br />fclose($fp);<br />
　　说明：
　　由于不能实现验证码的识别，所以我这里的做法是，把验证码图片抓取下来存放到本地文件中，然后在自己项目中的html页面中显示，让用户去填写，等用户填写完账号、密码和验证码，并点击提交按钮之后再去进行下一步的操作。
　　4. 模拟提交登录表单：
　　$ post_url = 'http://www.xxxx';   //登录表单提交地址<br />$post = "username=$account&password=$password&seccodeverify=$verifyCode";//表单提交的数据（根据表单字段名和用户输入决定）<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $ post_url);<br />curl_setopt($ch, CURLOPT_HEADER, false);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);<br />curl_setopt($ch, CURLOPT_POSTFIELDS, $post);     //提交方式为post<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />curl_exec($ch);<br />curl_close($ch);<br />
　　5. 抓取数据：
　　$data_url = "http://www.xxxx";   //数据所在地址<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $data_url);<br />curl_setopt($ch, CURLOPT_HEADER, false);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,0);<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />$data = curl_exec($ch);<br />curl_close($ch);<br />
　　到目前为止，已经把数据所在地址的这个页面都抓取下来存储在字符串变量$data中了。
　　需要注意的是抓取下来的是一个网页的html源代码，也就是说这个字符串中不仅包含了你想要的数据，还包含了许多的html标签等你不想要的东西。所以如果你想要从中提取出你需要的数据的话，你还要对存放数据的页面的html代码进行分析，然后结合字符串操作函数、正则匹配等方法从中提取出你想要的数据。 查看全部

　　[精选] 模拟登陆并抓取数据，用php也是可以做到的
　　点击加入：
　　商务合作请加微信(QQ)：2230304070
　　精选文章正文
　　服务器活动推荐：【腾讯云12月份服务器限时秒杀活动，最低99元】活动地址：
　　使用PHP的Curl扩展库可以模拟实现登录，并抓取一些需要用户账号登录以后才能查看的数据。具体实现的流程如下
　　1. 首先需要对相应的登录页面的html源代码进行分析，获得一些必要的信息：
　　1）登录页面的地址；
　　2）验证码的地址；
　　3）登录表单需要提交的各个字段的名称和提交方式；
　　4）登录表单提交的地址；
　　5）另外要需要知道要抓取的数据所在的地址。
　　2. 获取cookie并存储（针对使用cookie文件的网站）
　　$login_url = 'http://www.xxxxx';  //登录页面地址<br />$cookie_file = dirname(__FILE__)."/pic.cookie";  //cookie文件存放位置（自定义）<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $login_url);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);<br />curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);<br />curl_exec($ch);<br />curl_close($ch);<br />
　　3. 获取验证码并存储（针对使用验证码的网站）
　　$verify_url = "http://www.xxxx";   //验证码地址<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $verify_url);<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);<br />$verify_img = curl_exec($ch);<br />curl_close($ch);<br />$fp = fopen("./verify/verifyCode.png",'w');  //把抓取到的图片文件写入本地图片文件保存<br />fwrite($fp, $verify_img);<br />fclose($fp);<br />
　　说明：
　　由于不能实现验证码的识别，所以我这里的做法是，把验证码图片抓取下来存放到本地文件中，然后在自己项目中的html页面中显示，让用户去填写，等用户填写完账号、密码和验证码，并点击提交按钮之后再去进行下一步的操作。
　　4. 模拟提交登录表单：
　　$ post_url = 'http://www.xxxx';   //登录表单提交地址<br />$post = "username=$account&password=$password&seccodeverify=$verifyCode";//表单提交的数据（根据表单字段名和用户输入决定）<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $ post_url);<br />curl_setopt($ch, CURLOPT_HEADER, false);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);<br />curl_setopt($ch, CURLOPT_POSTFIELDS, $post);     //提交方式为post<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />curl_exec($ch);<br />curl_close($ch);<br />
　　5. 抓取数据：
　　$data_url = "http://www.xxxx";   //数据所在地址<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $data_url);<br />curl_setopt($ch, CURLOPT_HEADER, false);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,0);<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />$data = curl_exec($ch);<br />curl_close($ch);<br />
　　到目前为止，已经把数据所在地址的这个页面都抓取下来存储在字符串变量$data中了。
　　需要注意的是抓取下来的是一个网页的html源代码，也就是说这个字符串中不仅包含了你想要的数据，还包含了许多的html标签等你不想要的东西。所以如果你想要从中提取出你需要的数据的话，你还要对存放数据的页面的html代码进行分析，然后结合字符串操作函数、正则匹配等方法从中提取出你想要的数据。 查看全部

　　[精选] 模拟登陆并抓取数据，用php也是可以做到的
　　点击加入：
　　商务合作请加微信(QQ)：2230304070
　　精选文章正文
　　服务器活动推荐：【腾讯云12月份服务器限时秒杀活动，最低99元】活动地址：
　　使用PHP的Curl扩展库可以模拟实现登录，并抓取一些需要用户账号登录以后才能查看的数据。具体实现的流程如下
　　1. 首先需要对相应的登录页面的html源代码进行分析，获得一些必要的信息：
　　1）登录页面的地址；
　　2）验证码的地址；
　　3）登录表单需要提交的各个字段的名称和提交方式；
　　4）登录表单提交的地址；
　　5）另外要需要知道要抓取的数据所在的地址。
　　2. 获取cookie并存储（针对使用cookie文件的网站）
　　$login_url = 'http://www.xxxxx';  //登录页面地址<br />$cookie_file = dirname(__FILE__)."/pic.cookie";  //cookie文件存放位置（自定义）<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $login_url);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);<br />curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);<br />curl_exec($ch);<br />curl_close($ch);<br />
　　3. 获取验证码并存储（针对使用验证码的网站）
　　$verify_url = "http://www.xxxx";   //验证码地址<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $verify_url);<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);<br />$verify_img = curl_exec($ch);<br />curl_close($ch);<br />$fp = fopen("./verify/verifyCode.png",'w');  //把抓取到的图片文件写入本地图片文件保存<br />fwrite($fp, $verify_img);<br />fclose($fp);<br />
　　说明：
　　由于不能实现验证码的识别，所以我这里的做法是，把验证码图片抓取下来存放到本地文件中，然后在自己项目中的html页面中显示，让用户去填写，等用户填写完账号、密码和验证码，并点击提交按钮之后再去进行下一步的操作。
　　4. 模拟提交登录表单：
　　$ post_url = 'http://www.xxxx';   //登录表单提交地址<br />$post = "username=$account&password=$password&seccodeverify=$verifyCode";//表单提交的数据（根据表单字段名和用户输入决定）<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $ post_url);<br />curl_setopt($ch, CURLOPT_HEADER, false);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);<br />curl_setopt($ch, CURLOPT_POSTFIELDS, $post);     //提交方式为post<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />curl_exec($ch);<br />curl_close($ch);<br />
　　5. 抓取数据：
　　$data_url = "http://www.xxxx";   //数据所在地址<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $data_url);<br />curl_setopt($ch, CURLOPT_HEADER, false);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,0);<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />$data = curl_exec($ch);<br />curl_close($ch);<br />
　　到目前为止，已经把数据所在地址的这个页面都抓取下来存储在字符串变量$data中了。
　　需要注意的是抓取下来的是一个网页的html源代码，也就是说这个字符串中不仅包含了你想要的数据，还包含了许多的html标签等你不想要的东西。所以如果你想要从中提取出你需要的数据的话，你还要对存放数据的页面的html代码进行分析，然后结合字符串操作函数、正则匹配等方法从中提取出你想要的数据。 查看全部

　　php抓取网页内容难道不是dhtbase么，htmljscss么？
　　php抓取网页内容难道不是dhtbase么，htmljscss文件基本是各种二进制文件php内容抓取一般通过blogger。这个定位简单明了，单纯的抓取，而不是网页的分析。这个当前还没有成熟的解决方案。
　　php做前端，然后前端把网页抓取下来放到php里，php再通过解析url重定向跳转到java。前端做后端当然更好了，毕竟比较符合程序员的习惯。如果要做成一个健壮可扩展的phpserver，mysql通常是少不了的。
　　应该是抓取前端内容，然后和后端分离。前端：爬虫、定时任务、数据仓库。后端：整理数据、和数据库对接、实现从数据库查询数据，最后进行展示。
　　从产品的角度看,一个产品想推广的前提就是要产生一定量的内容,那么如何实现?一般来说,首先应该从需求出发,具体的可能会分为需求分析、竞品分析、原型设计和交互设计等等,而各个原因主要解决的点有以下几个方面:需求分析其实这里的需求分析一般是说的产品的功能诉求,比如针对微信朋友圈内容抓取,应该有朋友圈内容抓取的功能诉求;比如针对头条上的ugc内容抓取,应该有看新闻的功能诉求等等,这里抓取手段并不是特别关键,因为终归要解决的问题会比抓取手段更加清晰。
　　竞品分析最简单就是去各个市场里面去查看对方的产品,去查看他们是否有自己擅长的功能点,竞品分析需要考虑的不仅仅是功能点本身,还应该考虑对方在做什么,有哪些可以提升他们服务的点等等,而优劣势的判断主要是判断出对方的弱点或者差异化,在此基础上去主要分析他们是不是真的擅长并提供帮助等等,优劣势的判断会大大节省自己的时间并提升自己的品牌。
　　原型设计和交互设计pm经常会觉得原型设计的好坏直接影响到产品的质量,其实原型设计和交互设计是对产品本身的认识,其中的设计逻辑、通用功能等等,最主要的是把控是否符合自己产品的定位,并且是否具有一定的识别度,而这个就主要是取决于交互设计和ui设计本身了,很多pm经常会忽略一些交互的学习以及思考,好比微信的摇一摇等功能我们都已经熟悉,但如果不结合你的产品定位,看似与产品本身完全没有关系的功能如何吸引用户的眼球?交互设计的过程其实就是大量的信息对比和从众多信息中抽取核心信息的过程,比如在一个媒体公司中,如何想提高人们的获取信息的频率?大多是来自看新闻或者看朋友圈等等,还有就是在一个app用户群体中,满足什么样的需求?比如看时间是对用户的考试,看地点是对用户的娱乐,而在app中能否提供看兴趣爱好等等?这些都是这个产品在信息中是否有自己独特的地方。分析原型设计和交互设计方案。 查看全部

　　[精选] 模拟登陆并抓取数据，用php也是可以做到的
　　点击加入：
　　商务合作请加微信(QQ)：2230304070
　　精选文章正文
　　服务器活动推荐：【腾讯云12月份服务器限时秒杀活动，最低99元】活动地址：
　　使用PHP的Curl扩展库可以模拟实现登录，并抓取一些需要用户账号登录以后才能查看的数据。具体实现的流程如下
　　1. 首先需要对相应的登录页面的html源代码进行分析，获得一些必要的信息：
　　1）登录页面的地址；
　　2）验证码的地址；
　　3）登录表单需要提交的各个字段的名称和提交方式；
　　4）登录表单提交的地址；
　　5）另外要需要知道要抓取的数据所在的地址。
　　2. 获取cookie并存储（针对使用cookie文件的网站）
　　$login_url = 'http://www.xxxxx';  //登录页面地址<br />$cookie_file = dirname(__FILE__)."/pic.cookie";  //cookie文件存放位置（自定义）<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $login_url);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);<br />curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);<br />curl_exec($ch);<br />curl_close($ch);<br />
　　3. 获取验证码并存储（针对使用验证码的网站）
　　$verify_url = "http://www.xxxx";   //验证码地址<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $verify_url);<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);<br />$verify_img = curl_exec($ch);<br />curl_close($ch);<br />$fp = fopen("./verify/verifyCode.png",'w');  //把抓取到的图片文件写入本地图片文件保存<br />fwrite($fp, $verify_img);<br />fclose($fp);<br />
　　说明：
　　由于不能实现验证码的识别，所以我这里的做法是，把验证码图片抓取下来存放到本地文件中，然后在自己项目中的html页面中显示，让用户去填写，等用户填写完账号、密码和验证码，并点击提交按钮之后再去进行下一步的操作。
　　4. 模拟提交登录表单：
　　$ post_url = 'http://www.xxxx';   //登录表单提交地址<br />$post = "username=$account&password=$password&seccodeverify=$verifyCode";//表单提交的数据（根据表单字段名和用户输入决定）<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $ post_url);<br />curl_setopt($ch, CURLOPT_HEADER, false);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);<br />curl_setopt($ch, CURLOPT_POSTFIELDS, $post);     //提交方式为post<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />curl_exec($ch);<br />curl_close($ch);<br />
　　5. 抓取数据：
　　$data_url = "http://www.xxxx";   //数据所在地址<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $data_url);<br />curl_setopt($ch, CURLOPT_HEADER, false);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,0);<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />$data = curl_exec($ch);<br />curl_close($ch);<br />
　　到目前为止，已经把数据所在地址的这个页面都抓取下来存储在字符串变量$data中了。
　　需要注意的是抓取下来的是一个网页的html源代码，也就是说这个字符串中不仅包含了你想要的数据，还包含了许多的html标签等你不想要的东西。所以如果你想要从中提取出你需要的数据的话，你还要对存放数据的页面的html代码进行分析，然后结合字符串操作函数、正则匹配等方法从中提取出你想要的数据。 查看全部

　　[精选] 模拟登陆并抓取数据，用php也是可以做到的
　　点击加入：
　　商务合作请加微信(QQ)：2230304070
　　精选文章正文
　　服务器活动推荐：【腾讯云12月份服务器限时秒杀活动，最低99元】活动地址：
　　使用PHP的Curl扩展库可以模拟实现登录，并抓取一些需要用户账号登录以后才能查看的数据。具体实现的流程如下
　　1. 首先需要对相应的登录页面的html源代码进行分析，获得一些必要的信息：
　　1）登录页面的地址；
　　2）验证码的地址；
　　3）登录表单需要提交的各个字段的名称和提交方式；
　　4）登录表单提交的地址；
　　5）另外要需要知道要抓取的数据所在的地址。
　　2. 获取cookie并存储（针对使用cookie文件的网站）
　　$login_url = 'http://www.xxxxx';  //登录页面地址<br />$cookie_file = dirname(__FILE__)."/pic.cookie";  //cookie文件存放位置（自定义）<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $login_url);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);<br />curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);<br />curl_exec($ch);<br />curl_close($ch);<br />
　　3. 获取验证码并存储（针对使用验证码的网站）
　　$verify_url = "http://www.xxxx";   //验证码地址<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $verify_url);<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);<br />$verify_img = curl_exec($ch);<br />curl_close($ch);<br />$fp = fopen("./verify/verifyCode.png",'w');  //把抓取到的图片文件写入本地图片文件保存<br />fwrite($fp, $verify_img);<br />fclose($fp);<br />
　　说明：
　　由于不能实现验证码的识别，所以我这里的做法是，把验证码图片抓取下来存放到本地文件中，然后在自己项目中的html页面中显示，让用户去填写，等用户填写完账号、密码和验证码，并点击提交按钮之后再去进行下一步的操作。
　　4. 模拟提交登录表单：
　　$ post_url = 'http://www.xxxx';   //登录表单提交地址<br />$post = "username=$account&password=$password&seccodeverify=$verifyCode";//表单提交的数据（根据表单字段名和用户输入决定）<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $ post_url);<br />curl_setopt($ch, CURLOPT_HEADER, false);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);<br />curl_setopt($ch, CURLOPT_POSTFIELDS, $post);     //提交方式为post<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />curl_exec($ch);<br />curl_close($ch);<br />
　　5. 抓取数据：
　　$data_url = "http://www.xxxx";   //数据所在地址<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $data_url);<br />curl_setopt($ch, CURLOPT_HEADER, false);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,0);<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />$data = curl_exec($ch);<br />curl_close($ch);<br />
　　到目前为止，已经把数据所在地址的这个页面都抓取下来存储在字符串变量$data中了。
　　需要注意的是抓取下来的是一个网页的html源代码，也就是说这个字符串中不仅包含了你想要的数据，还包含了许多的html标签等你不想要的东西。所以如果你想要从中提取出你需要的数据的话，你还要对存放数据的页面的html代码进行分析，然后结合字符串操作函数、正则匹配等方法从中提取出你想要的数据。 查看全部

　　php 抓取网页内容 PHP之伪静态与真静态
　　
　　首先，什么是伪静态：
　　伪静态又名URL重写，是动态的网址看起来像静态的网址。换句话说就是，动态网页通过重写 URL 方法实现去掉动态网页的参数，但在实际的网页目录中并没有必要实现存在重写的页面。
　　另外在补充两个名词解析
　　静态网址：纯静态HTML文档，能使用filetype:htm 查询到的网页
　　动态网址：内容存于数据库中，根据要求显示内容，URL中以 ？ # & 显示不同的参数，如：news.php？lang=cn&class=1&id=2
　　动态、静态、伪静态之间的利与弊（新）
　　动态网址
　　首先，动态网址目前对于Google来说，“不能被抓取”的说法是错误的，Google能够很好的处理动态网址并顺利抓取；其次“参数不能超过3个”的说法也不正确，Google能够抓取参数超过3个的动态网址，不过，为了避免URL太长应尽量减少参数。
　　其次，动态网址有其一定的优势，以上面所说的 news.php？lang=cn&class=1&id=2 为例，网址中的参数准确的告诉Google，此URL内容语言为cn、隶属于分类1、内容ID为2，更便于Google对内容的识别处理。
　　最后，动态网址应尽量精简，特别是会话标识（sid）和查询（query）参数，容易造成大量相同页面。
　　静态网址
　　首先，静态网址具有的绝对优势是其明晰，/product/nokia/n95.html和/about.html可以很容易被理解，从而在搜索结果中可能点击量相对较高。
　　其次，静态网址未必就是最好的网址形式，上述动态网址中说到，动态网址能够告诉Google一些可以识别的参数，而静态网址如果文档布置不够恰当（如：过于扁平化，将HTML文档全放在根目录下）及其他因素，反而不如静态网址为Google提供的参考信息丰富。
　　最后，樂思蜀觉得Google此文中是否有其隐藏含义？“更新此种类型网址的页面会比较耗费时间，尤其是当信息量增长很快时，因为每一个单独的页面都必须更改编译代码。”虽然所说的是网站，但在Google系统中是否同样存在这样的问题呢？
　　伪静态网址
　　首先，伪静态网址不能让动态网址“静态化”，伪静态仅仅是对动态网址的一个重写，Google不会认为伪静态就是HTML文档。
　　其次，伪静态可取，但应把重心放在去除冗余参数、规范URL、尽可能的避免重复页上。
　　最后，伪静态有很大潜大危险，最好在对网站系统、网站结构、内容分布、参数意义熟悉的情况下使用。
　　在写伪静态规则时，应保留有价值的参数，不要将有价值的参数全部精简掉，如前面例子中的 news.php？lang=cn&class=1&id=2 最好重写为 news-cn-class1-id2.html，而不是过份精简重写为 news-2.html。
　　再就是伪静态中一定不能包含会话标识（sid）和查询（query）参数，/product.asp？sid=98971298178906&id=1234 这样的动态网址，其中的sid本来Google能够识别并屏蔽，但如果重写为 /product/98971298178906/1234，Google不但无法识别，还在整站中造成无限重复页面（每个会话都会产生一个新的会话ID）。
　　我们应该选择伪静态还是真静态
　　1、使用真静态和假静态对SEO来说没有什么区别
　　2、使用真静态可能将导致硬盘损坏并将影响论坛性能
　　3、使用伪静态将占用一定量的CPU占有率，大量使用将导致CPU超负荷
　　4、最重要的一点，我们要静态是为了SEO
　　所以：
　　1、使用真静态的方法可以直接排除了，因为无论怎么生成，对硬盘来说都是很伤的。
　　2、既然真伪静态的效果一样，我们就可以选择伪静态了。
　　3、但是伪静态大量使用会造成CPU超负荷。
　　4、所以我们只要不大量使用就可以了。
　　5、既然静态只是给SEO看的，我们只需要伪静态给SEO就行了，不需要给用户使用。
　　6、所以我们只要在专门提供给SEO爬的Archiver中使用伪静态就可以了。
　　7、谢谢大家耐心看我写的文章。
　　8、有何不解的地方或是有不同的看法欢迎提出 查看全部

　　[精选] 模拟登陆并抓取数据，用php也是可以做到的
　　点击加入：
　　商务合作请加微信(QQ)：2230304070
　　精选文章正文
　　服务器活动推荐：【腾讯云12月份服务器限时秒杀活动，最低99元】活动地址：
　　使用PHP的Curl扩展库可以模拟实现登录，并抓取一些需要用户账号登录以后才能查看的数据。具体实现的流程如下
　　1. 首先需要对相应的登录页面的html源代码进行分析，获得一些必要的信息：
　　1）登录页面的地址；
　　2）验证码的地址；
　　3）登录表单需要提交的各个字段的名称和提交方式；
　　4）登录表单提交的地址；
　　5）另外要需要知道要抓取的数据所在的地址。
　　2. 获取cookie并存储（针对使用cookie文件的网站）
　　$login_url = 'http://www.xxxxx';  //登录页面地址<br />$cookie_file = dirname(__FILE__)."/pic.cookie";  //cookie文件存放位置（自定义）<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $login_url);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);<br />curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);<br />curl_exec($ch);<br />curl_close($ch);<br />
　　3. 获取验证码并存储（针对使用验证码的网站）
　　$verify_url = "http://www.xxxx";   //验证码地址<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $verify_url);<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);<br />$verify_img = curl_exec($ch);<br />curl_close($ch);<br />$fp = fopen("./verify/verifyCode.png",'w');  //把抓取到的图片文件写入本地图片文件保存<br />fwrite($fp, $verify_img);<br />fclose($fp);<br />
　　说明：
　　由于不能实现验证码的识别，所以我这里的做法是，把验证码图片抓取下来存放到本地文件中，然后在自己项目中的html页面中显示，让用户去填写，等用户填写完账号、密码和验证码，并点击提交按钮之后再去进行下一步的操作。
　　4. 模拟提交登录表单：
　　$ post_url = 'http://www.xxxx';   //登录表单提交地址<br />$post = "username=$account&password=$password&seccodeverify=$verifyCode";//表单提交的数据（根据表单字段名和用户输入决定）<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $ post_url);<br />curl_setopt($ch, CURLOPT_HEADER, false);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);<br />curl_setopt($ch, CURLOPT_POSTFIELDS, $post);     //提交方式为post<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />curl_exec($ch);<br />curl_close($ch);<br />
　　5. 抓取数据：
　　$data_url = "http://www.xxxx";   //数据所在地址<br />$ch = curl_init();<br />curl_setopt($ch, CURLOPT_URL, $data_url);<br />curl_setopt($ch, CURLOPT_HEADER, false);<br />curl_setopt($ch, CURLOPT_HEADER, 0);<br />curl_setopt($ch, CURLOPT_RETURNTRANSFER,0);<br />curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);<br />$data = curl_exec($ch);<br />curl_close($ch);<br />
　　到目前为止，已经把数据所在地址的这个页面都抓取下来存储在字符串变量$data中了。
　　需要注意的是抓取下来的是一个网页的html源代码，也就是说这个字符串中不仅包含了你想要的数据，还包含了许多的html标签等你不想要的东西。所以如果你想要从中提取出你需要的数据的话，你还要对存放数据的页面的html代码进行分析，然后结合字符串操作函数、正则匹配等方法从中提取出你想要的数据。 查看全部

　　百度主动推送教程 保护网站原创内容 百度秒收不是梦想
　　xyfeng168
　　关注互联网、关注影楼那些事儿！有空就爱分享，没空就爱潜水的就是我。
　　收录于合集
　　百度早前就已经推出了主动推送，而更早前的sitemap推送已经OUT了，不过百度官方并没有推出主动推送的插件，只是给了一段推送代码，需要手动提交链接推送，之前一直不是太关注这块，觉得只要坚持原创内容就可以了。最近博客文章被盗用严重，因此我觉得有必要将这个做好。今天就分享下我的网站建设技术合作伙伴 Carl 刚写好的百度实时主动推送代码，在百度原有代码基础下新增了已提交链接不再提交，不需要自己手动每条每条的去加，对于文章量大的网站来说，这是不错的福利，本站已经测试正常。
　　我们先来看下百度站长工具平台给出的代码
　　
　　
　　开始前，我们需要准备以下内容
　　1、登陆到百度站长工具平台 没有注册的需要先注册，并验证网站权限。
　　2、选择左侧网页抓取-→链接提交
　　
　　3、自动提交 - 主动推送（实时），在这里拿到调用接口，接口内有你的网站域名以及密匙。接口调用地址： 网站域名&token=密匙
　　
　　OK，上面都准备好了后开始制作php文件，首先新建一个php文件与txt文件，自己命名一下。然后打开php文件，将以下代码复制进去并保存。
　　复制以上代码
　　需要注意：
　　$urlIdo = file_get_contents("XXXX.txt"); 此处括号内将内容换成你前面新建的txt文件名，记得前后是有“”小写的双引号的。
　　array_push($newUrls,&#39;#39;.$id.&#39;-1-1.html&#39;); 此处链接换成你网站的链接形式，将你网站链接内ID部分替换为 &#39;.$id.&#39; 即可，注意需要前后的引号不能删掉。
　　$api = &#39; &#39;; 此处将链接更换为你的百度实时推送接口链接。
　　$link=mysql_connect("localhost","你的数据库账号","你的数据库密码"); 此处括号内中文换成你的数据库账号以及密码，注意需要前后的引号不能删掉。
　　mysql_select_db("数据库名", $link); 此处括号内中文换成你的数据库名，注意需要前后的引号不能删掉。
　　$q = "SELECT * FROM `这里填写你的文章数据表` where displayorder=&#39;0&#39;"; 此处括号内中文换成你的文章数据表名，注意需要前后的引号不能删掉。
　　完成后保存php文件与txt文件至你的网站根目录，然后访问php文件就可以看到返回的代码，比如： "remain":498,"success":2, 意思是你今天还有498条链接推送权限，已经推送两条。这是百度实时推送成功的返回代码。
　　推送成功后，php文件会自动将这次主动推送的文章id记录到我们先前新建的txt文档，当你网站有新的文章的时候，只需要再访问一次php文件就可以，因为txt文件内已经记录了之前推送的文章id，所以以后访问都只推送网站新文章链接。如果没有新文章，那么访问php文件返回的是no。 查看全部

　　WordPress 使用火山引擎 veImageX 进行静态资源 CDN 加速完
　　veImageX 是字节跳动旗下的火山引擎推出的图像、文档等各类素材上传、托管、智能处理和 CDN 分发一站式解决方案，WPJAM Basic 的「CDN加速」功能也在第一时间整合了 veImageX。
　　
　　通过该功能，可以轻松让 WordPress 对静态资源进行 CDN 加速，为了方便大家的使用，我整理一个非常长的完全指南，基本上覆盖了 WordPress 使用火山引擎 veImageX 进行静态资源 CDN 加速的方方面面，欢迎大家收藏，方便碰到问题时候查询。
　　veImageX 的镜像回源功能原理
　　首先我们说一下背后的原理，WPJAM Basic的功能是使用 veImageX 的镜像回源的功能实现的，所以为了方便理解和操作，建议使用之前首先要理解。
　　当网站的用户请求的资源不存在的时候，可以通过回源规则从设定的源地址获取到正确的数据，然后再返回给网站的用户。
　　
　　WordPress 博客上的图片，CSS，JS 这些静态文件一般都是不会经常修改的，使用镜像回源功能把这些静态文件资源镜像到 veImageX 的服务器上，网站用户访问的时候就直接从 veImageX 的服务器上读取数据，这样可以降低网站服务器读取数据的压力和提高网站的速度。
　　并且使用镜像回源功能实现静态资源 CDN 加速并不影响 WordPress 原来的使用体验，原来怎么上传图片还是继续在 WordPress 中怎么操作即可。
　　为什么不直接上传到 veImageX？
　　从前面的介绍可知，用户还是要首先将图片上传到 WordPress 的媒体库，然后再通过镜像回源的功能来同步到 veImageX。为什么不直接上传到 veImageX 呢？这样就不用经过 WordPress 媒体库。
　　如果要实现直接上传，需要对接 veImageX 的 API ，这个需要额外的时间开发，并且每家的云存储提供的 API 略有不同，每增加一个云存储服务，都需要额外的二次开发，而每家云存储的镜像回源功能基本一致，并且API 对接还会存在一定失败率。
　　使用镜像回源功能还有一个好处，就是已经发布的历史文章里面的图片也能镜像到 veImageX 上，我们所需要做只需要按照下面的指引设置好即可，其他什么都不用做，然后用户访问之后，网站上的所有图片都会全部自动镜像到 veImageX。
　　一步一步教你使用 veImageX
　　了解清楚 WPJAM Basic 对接 veImageX 的原理之后，下面我们开始一步一步开通和使用 veImageX，一共有7个步骤，但是完全不用担心，只要耐心跟着步骤做就可以完美搞定。
　　1.首先注册开通火山引擎veImageX产品（ ），记得点我的链接，火山引擎会给我返佣，看在我做的插件，和那么辛苦写教程份上，所以一定要点击这个链接哦。
　　开通的时候填写我的邀请码：CLEMNL，可以领取福利：每月免费额度（10GB流量+10GB存储+20TB基础处理）+https访问免费+回源流量免费。
　　2. 然后开启火山引擎的 veImageX 服务，点击点击右侧「服务管理」按钮，创建一个新的存储空间：
　　
　　然后点击保存，火山引擎就会审核你的服务，审核好之后，火山引擎就会给你一个绑定域名的 CNAME 值，把它填到你域名管理的对应 CDN 子域名的 CNAME 里面。
　　
　　3. 创建好服务之后，我们要进行镜像回源设置，点击上图的「基础配置」按钮：
　　首先可以设置 CDN 域名的 https 证书：
　　
　　这一块比较简单，我就不做介绍了，接着打开源地址访问：
　　
　　然后页面往下滚动，就可以进行设置镜像回源：
　　
　　我们只需要在主回源地址填入 WordPress 博客的域名即可，备用回源地址在后面迁移可能用到，这里暂时留空。
　　4. 接着要设置 veImageX 的图片处理模板，用于智能缩放和裁剪图片，在前面第二步生成的服务中，点击「图片配置」按钮，进入图片处理配置页面，点击「新建模板」:
　　
　　首先常规编辑，模板名称，根据自己的喜好进行设置，输出源格式选择原格式即可。
　　
　　编辑操作就要求比较严格，要首先设置缩放，然后再设置裁剪，缩放的宽高和裁剪的尺寸都选择URL输入，这样就能适配 WordPress 中各种尺寸的图片缩放和裁剪的需求。
　　设置好之后，将会得到一个模板配置参数，比如我设置的：
　　~tplv-g7ckde5uoo-image:resize_width:resize_height:crop_width:crop_height.image
　　这里resize_width:resize_height:crop_width:crop_height这一段一定要有，并且要顺序和这里保持一致。
　　5.在 veImageX 后台设置后之后，我们回到 WordPress 博客后台，安装好WPJAM Basic插件之后，在 WordPress 后台点击菜单 「WPJAM」&gt; 「CDN 加速」：
　　
　　云存储：选择火山引擎veImageX。
　　CDN域名：输入在 veImageX 中设置的域名。
　　图片处理：建议勾选上，这样我们就可以使用 veImageX 对图片进行缩放和裁剪等操作了。
　　6. 然后我们先切换到「图片设置」标签下，进行缩图和其他图片的设置设置
　　
　　首先是缩图功能，因为 veImagex 已经提供更为强大的缩图功能，这里首先提供一个选项，直接使用 veImagex 的缩图功能，本地就无需再生成各种尺寸的缩略图了。
　　然后还可以设置文章中图片的尺寸，比如上图中设置为600，那么文章中图片最大图片宽度为 1200（2倍高清图显示），超过的图片会被缩放到 1200 宽度，这样就不怕大图花费 CDN 流量了，这个建议根据前端网页的宽度来设置。
　　接着是 WebP 格式，支持自动将任意格式的图片转换成 WebP 格式，经过我测试使用 WebP 图片格式可以省一半的流量费，所以无需怀疑，直接开启。
　　最后输入刚才在 veImageX 后台生成的「模板配置参数」，WordPress 是根据这个配置进行智能缩放和裁剪处理的。
　　7. 最后 WordPress 博客本地还需要进行本地域名和文件扩展名等的设置：
　　
　　首先输入的是本地域名，就是 WordPress 博客的域名，特别注意的是，一定要把本地域名也填入 veImageX 的镜像源中。
　　veImageX 最后是否生效就是这里起作用的，程序会把页面中的静态资源地址替换成 CDN 上的静态文件地址，用户访问网站看到静态文件就会是 CDN 上的地址，如果 CDN 上没有这个文件，veImageX 就会通过我们在镜像源中设置的地址来抓取并保存到 veImageX 中，然后再进行 CDN 加速。
　　然后如果站点中有些静态资源的链接是//域名/图片地址.jpg这样的无 HTTP 模式，如果需要把这部分静态资源也镜像到 veImageX，那么就要开启「无 HTPP 替换」这个选项。
　　接着输入要CDN加速的静态文件的扩展名，默认支持png/jpg/jpeg/gif/ico这常用的五种图片扩展名，如果也想支持 JS 和 CSS 文件，也可以把js/css加入。
　　继续输入要CDN加速的静态文件所在的目录，这里的设置和上面的设置会构成一个正则表达式，然后使用这个正则表达式来替换本地的静态文件地址为CDN上的静态文件地址。
　　额外域名基本用不到，如果你是从别的云存储迁移过来的，可能会用得到，我们在后面再讲。
　　如何迁移到 veImageX
　　由于火山引擎 veImageX 上线的时间比较晚，所以绝大部分的 WordPress 博客都已经使用了其他云存储服务，很多人可能基于稳定压倒一切的想法，害怕出问题，就不想迁移了。
　　其实迁移根本不会有什么大的问题，并且现在火山引擎推广期间，使用我的邀请码CLEMNL，可以领取福利：每月免费额度（10GB流量+10GB存储+20TB基础处理）+https访问免费+回源流量免费，对于很多博客来说，基本就不要钱了。
　　在迁移之前，可能本地的图片被删除了，为什么呢？
　　因为当所有本地图片镜像到云存储之后，本地的图片是可以删除的，这时候用户访问图片是云存储上的，本地的图片是不会再被访问了，所以有些服务器空间比较小用户，就会删除自己服务器上的图片，节省空间。
　　这个删除本地图片的操作就造成迁移的时候产生了两种情况，大家根据自己的情况来选择操作：
　　第一种，图片在自己的服务器还有保留：这种情况迁移非常简单，CDN 域名都不需要换。
　　这种情况完全按照上面 veImageX 开通和使用指引进行操作，没有任何额外的问题，在新的服务那里设置回源站点，最后把 CDN域名按照新的服务要求修改解析即可，搞定之后等待用户访问你站点的时候，新的对象存储服务就会到你的服务器去抓取图片，然后展示给用户。
　　第二种，自己服务器上全部或者部分删除图片了，这个时候就有点复杂，需要使用一个新的 CDN 域名。为了更好地理解，假设我们从七牛云存储迁移到 veImageX：
　　博客源站域名是：。
　　在七牛设置的 CDN 域名是：
　　在 veImageX 新的 CDN 域名是：，
　　首先还是一样根据上面 veImageX 开通和使用指引进行操作，然后有两个不同的地方：
　　1. 在 veImageX 设置镜像回源的地方，除了自己服务器域名之外，还需要把在七牛设置的 CDN 域名也要添加到备用源站地址，就是利用 veImageX 镜像回源功能会依次匹配的能力去实现的，本地图片删除了，就到原来 CDN 去抓取。
　　
　　2. 然后按照 veImageX 的要求，解析新的CDN域名：，在七牛设置的 CDN 域名的解析保持不变。
　　3. 最后回到WPJAM Basic的「CDN 加速」功能设置界面，把原来在七牛云存储的 CDN 域名（）填入「本地设置」标签下的「额外域名」中，把新的 CDN 域名（）填入「云存储设置」标签下的「CDN 域名」中。
　　使用 veImageX 常见问题
　　虽然上面的 veImageX 的使用指引已经非常详细了，但是很多小伙伴在使用的时候，还是经常碰到一些问题，下面我把常见的问题整理一下：
　　1. 设置好之后，怎么判断成功了？
　　其实很好判断，简单说，打开自己网站，按F12查看网页源代码，看看图片的地址是不是替换成 CDN 域名了，如果图片都替换成 CDN 域名，则基本说明生效了。
　　为什么要加上基本呢？可能部分用户的 CDN 域名没有按照要求解析到 CDN 上，所以还需要做最后一步的确认。
　　直接打开其中的一张图片查看其响应标头，看看响应标头里面有 X-Powered-By: ImageX 的响应标头：
　　
　　2.为什么 veImageX 的空间里没有看到任何的文件？
　　veImageX 通过镜像回源的方式把博客里面的图片抓取到 veImageX 的空间是实时的，但是 veImageX 的空间里面文件列表的显示是有延迟的，所以有时候可能看不到最新文件，如果刚刚使用「CDN 加速」功能，可能veImageX的空间里没有任何文件。
　　veImageX 的空间的文件列表由于缓存而造成显示延迟，这个并不会影响图片和其他静态资源的加速和使用，所以无需太过担心，正确的检测 CDN 加速成功，还是使用前面的方法：查看文件的响应标头是否有veImageX 的特殊标头。
　　这里在特别分享一个案例，有些用户使用了 CDN 加速之后，发现图片都没有显示，后面过了一段时间才显示，并且还造成网站更慢。
　　这是因为他的服务器带宽比较小，设置了 CDN 加速之后，veImageX 的镜像回源的爬虫来到他的服务器来抓取所有的静态资源，短时间抓取很多文件，并发很大，小水管卡住了，所以刚刚设置的时候，没有显示，甚至样式都乱了，慢慢等一下，等图片和静态资源都抓取完成，小水管终于通了，并且不用处理静态资源，小水管服务器也可以网站速度很快。
　　3.我感觉什么都设置好了，但是图片还是不显示？
　　首先要不要你感觉，要我感觉。
　　因为感觉的事情很多时候总是不对的，碰到这类问题，第一步还是对着文档，认真的再次操作一遍，据我的经验：99%都是因为在 veImageX 没有设置镜像回源的站点，这一点特别检查一下。
　　如果你确保你都按照文档操作了，并且也设置了镜像回源，那么看看下面这些和插件没关系但是可能影响图片显示的问题：
　　网站是 https 了，但是 CDN 还是 http，大哥，在 https 页面下，http 的资源是不加载的，这是浏览器的安全要求，去对象存储设置一下 ssl 证书吧。
　　你的服务器是不是阻止了 veImageX 通过镜像回源功能来你站点的抓取资源的爬虫，去你的服务器防火墙设置看看，特别是使用宝塔的用户，是不是宝塔的防火墙设置了。
　　有用户报告：部分对象存储不支持带 SNI 的 https 方式回源，那么你的站点静态资源是否支持 http 访问，支持，那就去回源地址改成 http 的域名，如果不支持，那只能更新一下你的 ssl 证书了。
　　4. 为什么Revolution slider 的幻灯片不走 CDN，还是本地域名？
　　这个问题可以归类为为什么部分图片没有被替换成 CDN 域名，还是本地域名，拿Revolution slider插件出来说，因为因为这个插件用户比较多，碰到的人比较多。
　　因为前面也说了在 https 页面下，http 的资源是不加载的，所以部分插件或者主题的做法就是，输出的图片没有 http: 或者 https:，直接以 // 开始，这样浏览器就会将当前网页 http 协议自动匹配到图片链接上，这个是一个比较讨巧的解决方法，防止在 https 页面下，出现图片的链接是 http 而不加载。
　　其实对于 WordPress 正确的做法是使用set_url_scheme函数来处理，它会自动根据页面 http 协议给图片加上对应的协议，不过这个要修改插件和主题的源代码，对于很多人来说并不合适。
　　所以我在「CDN 加速」功能中增加了「将无或的静态资源也进行镜像处理」的选项，你只要勾选一下，这些图片也会被替换成 CDN 域名，所以去勾选一下，然后刷新一下页面再看看是不是否都替换成 CDN 域名了：
　　
　　为了效率考虑，该选项默认是没有开启的，如果没有这个问题，也不建议开启。
　　另外部分用户通过浏览器开发者工具看到个别的 JS 没有部分替换成 CDN 域名，简单看了一下，这几个 JS 不是 PHP 直接加载的，是通过其他 JS 加载的，所以无法替换，只能通过更改你的主题代码来实现。
　　5. 为什么使用 veImageX 之后，整个页面乱了？
　　按照前面介绍的镜像回源的原理：veImageX 只有在资源不存在的情况下才向源站抓取内容，详细点说，就是当站点的用户第一次访问某个资源的时候，veImageX 才会向源站请求抓取资源，之后站点的用户再次访问同个资源的时候，veImageX 上已经有对应的资源了，就直接返回不再去向源站请求抓取了。
　　所以如果 veImageX 上已经有了网站的 CSS 文件，在本地修改样式是不会生效的，比如站点主题更新了，CSS 文件已经做了很大修改，这时候升级主题，HTML 结构都升级了，但是 CSS 文件还是旧版的，这时候可能就会造成整个页面乱了。
　　6. 怎么解决网站样式不同步的问题？
　　其实这个问题就是怎么更新 veImageX 上面的样式文件，这里有三个办法，我们一一罗列一下：
　　第一，我们直接不镜像 CSS 文件，这样样式文件还是服务器本地的，怎么修改都会时时更新，页面肯定不会乱了，但是这样也非常不好，CSS 文件还是跑服务器本地，不能使用 CDN 的加速功能。
　　这个方法是最简单的，如果下面的方法对你太难，或者你没有操作生效，建议还是回到这个方法来处理，问题解决最重要。
　　具体操纵在下图的本地设置中，扩展名不要填 CSS，如果 JS 文件也有同样的问题，也建议不要填。
　　
　　第二，去veImageX 上面删除 CSS 文件，这样用户再次访问这个资源的时候，就会重新到源站抓取一次，就能保证修改的也更新到 CDN 上。
　　但是这样每次修改文件都要去 CDN 上删除一下，更新的文件多的话，就会比较麻烦，然后 CDN 都会有 304 缓存，所以即使 CDN 上刷新了，也要本地浏览器缓存清理一下才能看到效果，这个会很繁琐。
　　第三，还有一种方法，使用WPJAM「静态文件」插件，它将 WPJAM 插件和主题生成的 JS 和 CSS 内联代码或者文件分别合并成一个文件，并且这两个文件名会自动带上时间戳，这样因为生成的是新文件，用户访问到的都是最新的，这个唯一的缺陷是只支持 WPJAM 出品的插件和主题。
　　7.我本地删除了图片，veImageX 上会同时删除图片吗？
　　首先简单回答：不会。
　　因为 WPJAM Basic 的「CDN 加速」是使用 veImageX 的镜像回源的功能实现的，镜像回源只有一个操作，只有用户请求的资源在 veImageX 空间中不存在的时候，才会去设定的源站点抓取。
　　而直接在源站点（WordPress 本地）修改或者删除文件，veImageX 是不会感知到的，所以也不会重新抓取。如果一定要让 veImageX 知道，是要主动通知的，而实现这个是需要对接 API ，而 WPJAM Basic 的「CDN 加速」没有让大家填 veImageX API 所需的 AppID 和密钥地方，所以不支持直接上传图片到 veImageX，也不支持修改和删除。
　　如果你本地删除了图片，想同时删除 veImageX 上的图片，则需要到 veImageX 后台的内容管理中找到对应的文件，然后直接删除即可。
　　8. 为什么我小程序上图片不显示了？
　　这是因为很多用户为了节约费用，防止图片被人盗链，在云存储上给图片设置了防盗链，只给自己的博客域名使用。而小程序是通过 API 接口和前端的交互，请求图片的 Referer 不是你的 WordPress 站点，自然不显示了。
　　所以解决方法有两个，最简单的就是关闭防盗链，如果想要设置防止其他站点盗链我们的图片，又要能给自己的小程序使用，那么怎么办呢？
　　经过我的研究，微信小程序展示的图片的 Referer 是空或者，所以我们只要在 veImageX 的防盗链设置中开启「空 Referer」，并加上即可。
　　火山引擎 veImageX 的防盗链设置有点深，首先选择要设置的服务，点击「基础配置」，然后再「域名信息」中要设置的 CDN 域名，点击「配置」，最后编辑「防盗链」设置：
　　
　　类型选择「referer白名单」，包含空referer开启，规则：输入域名和，注意 veImageX 使用;分割多个域名。
　　9.为什么网站上的小图标显示成空方格？
　　首先说明一下，这些小图标不是图片，而是图标字体，所以这是因为当前 WordPress 的主题是使用了字体图标，而字体由于造成的 CORS 资源跨域问题。
　　WPJAM Basic 对静态资源进行 CDN 加速之后，如果 CSS 里面使用了一些字体文件，字体文件也会镜像到 veImageX，这时打开浏览器的开发者中心，在控制台可能就会出现下面的错误信息：No &#39;Access-Control-Allow-Origin&#39; header is present on the requested resource。
　　
　　这是跨域资源共享 (CORS) 机制造成的，该机制使用附加的 HTTP 头来告诉浏览器，是否允许运行在一个源上的 Web 应用访问位于另一不同源的资源，当一个 Web 应用发起一个与自身所在源（域，协议和端口）不同的 HTTP 请求时，它发起这个 HTTP 请求的即跨源 HTTP 请求。
　　知道什么问题就知道怎么去解决了，最简单的就是不要镜像 CSS 文件，这样就不会镜像字体文件，就不会有跨域的问题，如果还是希望静态文件都 CDN 加速，那么只需设置一下字体文件允许跨域访问。
　　在 veImageX 选择要设置的服务，点击「基础配置」，然后再「域名信息」中要设置的 CDN 域名，点击「配置」，最后编辑「HTTP Header配置」设置，添加一条规则即可：
　　
　　这就是 WordPress 博客使用火山引擎 veImageX 进行静态资源 CDN 的完全指南，包含了背后原理，使用教程，迁移教程，常见问题四个大方面，希望能够帮到你。 查看全部

　　php 抓取网页内容(php抓取网页内容前几年风行抓取一部分电商网站的商品信息做数据挖掘和分析)
　　php抓取网页内容
　　前几年风行抓取一部分电商网站的商品信息做数据挖掘和分析，就像题主这样一个一个抓，
　　看关键字。查google。
　　直接用一个数据库，将一些数据打到不同数据库中，对于单个数据库来说，抓取这些数据要花费很多时间和精力，而且效率也不高，所以我对于一些程序抓取不能满足我的需求后转向爬虫。简单来说就是抓住几个关键字，然后各种抓。
　　建议你可以去爬一些快手天佑主播发的内容，
　　如果你要在短时间内完成一项持续或者长期的工作，那肯定需要相关的开发知识，如果要零成本完成的话，我个人认为首先要解决你的问题，即问题具体指向何处。如果是爬取电商平台商品数据，你需要数据分析，主流的天猫京东京东拼多多等都有，这些平台里边很多商品都有对应的商品相关数据，商品维度的话可以爬取商品链接，按销量排序，按价格排序，按卖家相关等排序等等等，如果是根据产品id爬取这个产品相关信息的话，你还需要根据产品定位（功能定位）、有无活动、商品规格等信息。
　　回到正题，短时间内抓取大量商品数据肯定是不可能的，我们先不考虑技术问题，其次你的工作产生相关价值是什么，如果你的价值是你学习了一大堆东西，那不行，如果你的价值是你会分析商品卖点的话，也不能使用抓取来的数据。如果是应急性需求，那完全没问题，这个时候的大数据分析要考虑的不是技术问题，而是数据分析逻辑性问题，其实你百度一下就能学会了。 查看全部

　　php 抓取网页内容(Python一个.5中使用Request组件来抓取网页获取)
　　所谓网页抓取，就是从网络流中读取URL地址中指定的网络资源，并保存在本地。
　　类似于用程序模拟IE浏览器的功能，将URL作为HTTP请求的内容发送给服务器，然后读取服务器的响应资源。
　　在 Python3.5 中，我们使用 Request 组件来抓取网页。
　　Request 是一个获取 URL（统一资源定位器）的 Python 组件。
　　它以 get 函数的形式提供了一个非常简单的接口。
　　最简单的 Request 应用程序代码只需要四行。
　　我们新建一个文件test.py来感受一下Request的作用：
　　1import requests
2from bs4 import BeautifulSoup
3
4#coding:utf-8
5
6url = &#x27;http://www.baidu.com&#x27;
7try:
8 response = requests.get(url)
9#URLError
10#通常，URLError在没有网络连接(没有路由到特定服务器)，或者服务器不存在的情况下产生。
11except:
12 data = {
13 &#x27;url&#x27;:url,
14 &#x27;error_type&#x27;:&#x27;requests.get.error&#x27;
15 }
16 print(data)
17#HTTPError
18#服务器上每一个HTTP 应答对象response包含一个数字"状态码"。
19#有时状态码指出服务器无法完成请求。默认的处理器会为你处理一部分这种应答。
20#HTTP状态码通常分为5种类型，分别以1～5五个数字开头，由3位整数组成.
21#比如客户端向服务器发送请求，如果成功地获得请求的资源，则返回的状态码为200，表示响应成功。
22else:
23 response.encoding = &#x27;utf8&#x27;
24 print(response.text)
25
　　我们可以打开百度首页，右键，选择查看源代码（火狐或者谷歌浏览器），我们会发现一模一样的内容。
　　也就是说上面四行代码打印出我们访问百度时浏览器接收到的所有代码。
　　这是最简单的请求示例。 查看全部