curl 抓取网页(curl和wget抓取实例抓取网页(1)_html文件)
　　curl 和 wget 抓取示例
　　爬取网页，主要有两种方式：url和proxy
　　1、 url 网址抓取
　　(1）curl下载百度首页内容，保存在baidu_html文件中
　　curl -o baidu_html
　　（2）wget 下载百度首页的内容，保存在baidu_html文件中
　　wget -O baidu_html2
　　有时，由于网速/数据丢失/服务器停机/等原因，无法成功下载网页。这时候可能需要尝试多次发送连接，请求服务器的响应；如果多次都没有反应，则可以确认服务器有问题
　　（1）curl 多次尝试连接
　　curl --retry 10 --retry-delay 60 --retry-max-time 60 -o baidu_html
　　注意：--retry 表示重试次数；--retry-delay 表示两次重试之间的时间间隔（以秒为单位）；--retry-max-time 表示在最长时间内只允许重试一次（一般与--retry-delay相同）
　　（2）wget 多次尝试连接
　　wget -t 10 -w 60 -T 30 -O baidu_html2
　　注：-t(--tries)表示重试次数；-w 表示两次重试之间的时间间隔（以秒为单位）；-T 表示连接超时时间。如果超过超时，则连接不成功，下次继续尝试连接
　　附：curl 判断服务器是否响应。也可以通过一段时间内下载的字节数来间接判断。命令格式如下：
　　curl -y 60 -Y 1 -m 60 -o baidu_html
　　注意：-y 代表测试网速的时间；-Y 表示 -y 期间下载的字节数（以字节为单位）；-m 表示允许请求连接的最长时间，超过则自动断开连接并放弃连接
　　2、代理爬取
　　代理下载是通过连接中间服务器间接下载url网页的过程，而不是url直接连接网站服务器下载
　　两位著名的自由球员网站：
　　（全球数十个国家的自由代理，每日更新）
　　（通过设置端口类型、代理类型、国家名称过滤）
　　在网站中选择国内免费代理服务器为例介绍代理代理爬取网页：
　　218.107.21.252:8080（ip为218.107.21.252；端口为8080，中间用冒号“:”隔开，形成一个套接字）
　　（1）curl 通过代理爬取百度首页
　　curl -x 218.107.21.252:8080-o aaaaa（端口通常为80、8080、8086、8888、3128等，默认为80）
　　注：-x表示代理服务器（ip:port），即curl先连接代理服务器218.107.21.252:8080，然后通过218.107.21.252:8080下载百度主页，最后218.107.21.252:8080传下载的百度首页到curl到本地（curl不是直接连接百度服务器下载首页，而是通过中介代理）
　　（2）wget 通过代理爬取百度首页
　　wget通过代理下载，和curl不一样。需要先设置代理服务器的http_proxy=ip:port
　　以ubuntu为例，在当前用户目录（cd~）下创建wget配置文件（.wgetrc），进入代理配置： 查看全部

　　curl 抓取网页(excel能转成csv用excel、word搞定，html5能解析)
　　curl抓取网页，excel能转成csv用excel、word搞定，html5能解析，你这么多语言都会，还需要来问这种问题。
　　excel能用浏览器访问，csv就没戏了。你要的是word和excel转换，还是excel分割成excel合并？taobao上找卖解码器的，用它帮你，从excel提取图片。
　　excel使用ctrl+alt+shift+c新建批注列表，excel会帮你提取excel表格中的数据，建议手动编辑。
　　直接手工操作，
　　应该还要转化成表格。其实现在市面上已经出现了一种让excel图形化的工具可以让excel图形化直接生成透视表。
　　简单，你可以用file函数，如果你要转jpg格式，把后缀名改为jpg，
　　csv要截图了看
　　没有csv文件怎么办，
　　有个我很讨厌的excel做的软件...csv
　　很简单，不转换，
　　对，
　　直接file函数就可以将file建立一个新的图形化存储器，想怎么转就怎么转。
　　word可以直接读取
　　csv和excel不是对应关系，不需要转换。
　　建议excel将数据量化和转换成word
　　百度直接搜出来的回答大多都是一些推荐excel转csv工具的，还有一些写一些word自己转csv之类的办法，总之还是推荐直接转成一个数据文件，这个题主可以自己整理。 查看全部

　　curl 抓取网页(curl抓取网页_百度知道怎么可以直接用浏览器登录知乎，为什么我在renren上搜一些公众号的名字，同问)
　　curl抓取网页_百度知道怎么可以直接用浏览器登录知乎，
　　为什么我在renren上搜一些公众号的名字，
　　同问！怎么访问百度答案！
　　我是curl:8323/xxx/xxx.cgi
　　请用securecrt
　　用win+r调出运行，输入gpedit.msc，然后在禁用程序的位置双击启用即可。
　　我也在找如何用curl访问知乎。
　　能否把题目中那个“百度的图片”换成“豆瓣的图片”...感觉豆瓣好漂亮啊
　　你竟然敢用osxautomator来访问windowsautomator。
　　office2013的powerpoint里面有一个选项，可以在connect前删除httppost,用authorizedpublicippost。
　　我用的是curl(request)，可以get和post。
　　给出一个答案，效果如下，但是这个脚本在mac地址访问网站是可以正常显示的，不知道是不是因为此原因。
　　你用bing吗，我也是莫名其妙。
　　你用什么工具，
　　simbresigner
　　在google里试试？
　　发现一个很有用的chrome插件"httpconnectedchrome"
　　curl+x在windows里可以登录知乎，
　　可能你用的是浏览器，不是迅雷的api而已。还是卸载迅雷重新安装吧。 查看全部

　　curl 抓取网页(curl和wget抓取实例抓取网页(1)_html文件)
　　使用 curl 和 wget 抓取的示例
　　爬取网页，主要有两种方式：url和proxy
　　1、 url 网址抓取
　　(1）curl下载百度首页内容，保存在baidu_html文件中
　　curl -o baidu_html
　　（2）wget 下载百度首页的内容，保存在baidu_html文件中
　　wget -O baidu_html2
　　有时，由于网速/数据丢失/服务器停机/等原因，无法成功下载网页。这时候可能需要尝试多次发送连接，请求服务器的响应；如果多次都没有反应，则可以确认服务器有问题
　　（1）curl 多次尝试连接
　　curl --retry 10 --retry-delay 60 --retry-max-time 60 -o baidu_html
　　注意：--retry 表示重试次数；--retry-delay 表示两次重试之间的时间间隔（以秒为单位）；--retry-max-time 表示在最长时间内只允许重试一次（一般与--retry-delay相同）
　　（2）wget 多次尝试连接
　　wget -t 10 -w 60 -T 30 -O baidu_html2
　　注：-t(--tries)表示重试次数；-w 表示两次重试之间的时间间隔（以秒为单位）；-T 表示连接超时时间。如果超过超时，则连接不成功，下次继续尝试连接
　　附：curl 判断服务器是否响应。也可以通过一段时间内下载的字节数来间接判断。命令格式如下：
　　curl -y 60 -Y 1 -m 60 -o baidu_html
　　注意：-y 代表测试网速的时间；-Y 表示 -y 期间下载的字节数（以字节为单位）；-m 表示允许请求连接的最长时间，超过则自动断开连接并放弃连接
　　2、 代理爬取
　　代理下载是通过连接中间服务器间接下载url网页的过程，而不是url直接连接网站服务器下载
　　两个著名的自由球员网站：
　　（全球数十个国家的自由代理，每日更新）
　　（通过设置端口类型、代理类型、国家名称过滤）
　　在网站中选择国内免费代理服务器为例介绍代理代理爬取网页：
　　218.107.21.252:8080（ip为218.107.21.252；端口为8080，中间用冒号“:”隔开，形成一个套接字）
　　（1）curl 通过代理爬取百度首页
　　curl -x 218.107.21.252:8080 -o aaaaa（端口通常为80、8080、8086、8888、3128等，默认为8< @0）
　　注意：-x表示代理服务器（ip:port），即curl先连接代理服务器218.107.21.252:8080，然后通过218.107.21.252:8080下载百度主页，最后218.107.21.252:8080传下载的百度首页到curl到本地（curl不是直接连接百度服务器下载首页，而是通过中介代理）
　　（2）wget 通过代理获取百度主页
　　wget通过代理下载，和curl不一样。需要先设置代理服务器的http_proxy=ip:port
　　以ubuntu为例，在当前用户目录（cd~）下创建wget配置文件（.wgetrc），进入代理配置： 查看全部

　　curl 抓取网页(使用PHP的cURL库可以简单和有效地去抓网页。)
　　使用 PHP 的 cURL 库来简单有效地抓取网页。你只需要运行一个脚本，然后分析你抓取的网页，然后你就可以通过编程的方式得到你想要的数据。无论您是想从链接中获取部分数据，还是获取 XML 文件并将其导入数据库，即使只是获取网页内容，cURL 都是一个强大的 PHP 库。本文主要介绍如何使用这个PHP库。
　　启用卷曲设置
　　首先我们要先判断我们的PHP是否启用了这个库，可以通过php_info()函数来获取这个信息。
　　﹤?php
phpinfo();
?﹥
　　如果在网页上可以看到如下输出，说明cURL库已经开启。
　　如果你看到它，那么你需要设置你的 PHP 并启用这个库。如果你是windows平台，很简单，你需要改变你的php.ini文件的设置，找到php_curl.dll，把前面的分号去掉。如下：
　　//取消下在的注释
extension=php_curl.dll
　　如果你在 Linux 下，那么你需要重新编译你的 PHP。编辑时需要开启编译参数——在configure命令中添加“--with-curl”参数。
　　一个小例子
　　如果一切就绪，这里有一个小程序：
　　﹤?php
　　// 初始化一个 cURL 对象
　　$curl = curl_init();
　　// 设置你需要爬取的网址
　　curl_setopt($curl, CURLOPT_URL,'');
　　// 设置标题
　　curl_setopt($curl, CURLOPT_HEADER, 1);
　　// 设置cURL参数，询问结果是保存在字符串中还是输出到屏幕上。
　　curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
　　// 运行 cURL 并请求一个网页
　　$data = curl_exec($curl);
　　// 关闭 URL 请求
　　curl_close($curl);
　　// 显示获取的数据
　　var_dump($data);
　　如何发布数据
　　上面是抓取网页的代码，下面是到某个网页的POST数据。假设我们有一个处理表单的URL，可以接受两个表单域，一个是电话号码，一个是短信内容。
　　﹤?php
$phoneNumber = '13912345678';
$message = 'This message was generated by curl and php';
$curlPost = 'pNUMBER=' . urlencode($phoneNumber) . '&MESSAGE=' . urlencode($message) . '&SUBMIT=Send';
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'http://www.example.com/sendSMS.php');
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, $curlPost);
$data = curl_exec();
curl_close($ch);
?﹥
　　从上面的程序可以看出，CURLOPT_POST是用来设置HTTP协议的POST方法而不是GET方法的，然后CURLOPT_POSTFIELDS是用来设置POST数据的。
　　关于代理服务器
　　以下是如何使用代理服务器的示例。请注意高亮的代码，代码很简单，我就不用多说了。
　　﹤?php
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'http://www.example.com');
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, 1);
curl_setopt($ch, CURLOPT_PROXY, 'fakeproxy.com:1080');
curl_setopt($ch, CURLOPT_PROXYUSERPWD, 'user:password');
$data = curl_exec();
curl_close($ch);
?﹥
　　关于 SSL 和 Cookie 查看全部

　　curl 抓取网页(抓取googleplay全球12国的游戏TOP排名要怎么做)
　　上一篇博客讲了Linux如何抓取网页。有两种方法：curl 和 wget。本文将以Linux抓取网页为例——抓取google play在全球12个国家的顶级游戏排名。
　　爬取google play游戏排名网页，首先需要分析网页的特点和规律：
　　1、Google play游戏排名页面是一种“总分”形式，即一个页面URL显示了几个排名（比如24），这样的页面有几个构成了所有游戏的总排名
　　2、 在每个页面URL中，点击每个单独的游戏链接可以查看该游戏的属性信息（如评分星级、发布日期、版本号、SDK版本号、游戏类别、下载量等）
　　需要解决的问题：
　　1、如何抓取所有游戏的总排名？
　　2、 抓取整体排名后，如何拼接网址抓取各个单独的游戏页面？
　　3、获取各个单独的游戏网页后，如何提取网页中游戏的属性信息（即评分星级、发布日期...）？
　　4、提取出各个游戏的属性信息后，如何保存（mysql）、生成日报（html）、发送日报（email）？
　　5、根据抓取到的游戏属性信息资源，如何查询贵公司的游戏排名（JSP）以及如何清晰的展示游戏排名（JFreeChart图表）？
　　6、 更难的是google play游戏排名没有全球统一的排名。谷歌采用本地化策略。数十个国家/地区都有自己的一套排名算法和规则。如何在12个国家实现游戏排名？
　　设计方案与技术选择
　　分析了上述问题和需求后，如何一一解决并分解，这是我们需要思考、设计和解决的问题（模块流程和技术实现）？
　　基于以上分析提出的问题，将一一进行模块设计和技术方案选择如下：
　　
　　1、为了抓取12个国家的游戏排名，需要分别租用12个国家的代理服务器来抓取各个国家的游戏排名（12个国家的游戏排名算法和语言是不同，包括中文、英文、日文、俄文、西班牙文...）
　　2、 抓取网页，使用curl+proxy代理；提取下载的网页信息，使用awk文本分析工具（需要对html语法标签、id等元素有很好的理解，才能准确使用awk提取游戏属性信息）
　　3、由于IP代理筛选系统、网页抓取程序、游戏属性信息提取等模块都是用脚本完成的，为了保持编程语言的一致性，数据库创建和记录插入也用脚本来实现外壳脚本。
　　4、 抓取的每款游戏的属性信息，采用html+table的网页形式展示，清晰直观。一个shell脚本用于拼接html字符串（table + tr + td + info）
　　5、 生成的html网页以每日邮件的形式定期发送给产品总监、PM、RD、QA，了解公司发布的游戏排名以及全球上升最快、最受欢迎的游戏趋势
　　6、 开发JSP网页查询系统，根据输入的游戏名称或游戏包名称查询游戏的排名和趋势，并在趋势图下显示该游戏的所有详细属性信息
　　模块技术实现
　　1、IP代理过滤
　　成本考虑，每个国家租用代理服务器（VPN），以市场最低价1000元/月计算，一年12000元，12个国家的总费用为12x12000=144000，也就是大约140000/年的VPN租用费
　　基于成本考虑，我后来通过对代理服务器和免费ip的深入研究，提出设计开发一套免费ip代理服务器筛选系统，抓取12个国家的游戏排名。
　　免费代理IP主要来自上一篇博客介绍的两个网站：和
　　IP代理筛选系统，由于文本预处理和筛选逻辑实现的复杂性，将在下一篇博文中单独介绍
　　2、 抓取排名页面
　　仔细分析google play游戏排名页面，可以发现有一定的规律可循：
　　第一页的Top24 URL：
　　第二页的Top48 URL：
　　第三页的Top72网址：
　　. . .
　　此时，观察每个页面URL的最后一串？start=24&num=24，你已经找到了模式^_^ 其实网页的第一页是从start=0开始的，也可以写成：
　　第一页的Top24 URL：
　　根据上面的规则，可以使用curl+proxy通过循环拼接字符串（start ='expr $start + 24'）来爬取排名网页
　　3、提取游戏链接
　　排名页面，每个页面收录24个游戏网址超链接，如何提取这24个游戏网址超链接？
　　当时就考虑用xml解析，因为html是一种分层组织的类似xml的格式，但是有些网页并不是所有标准的html格式（比如左括号后没有右括号闭包），这样会导致xml不被正确解析
　　后来结合自己学到的html和js知识，分析了爬行排名网页的内容结构，发现每个游戏链接前面都有一个唯一的class="title"。具体格式如下（以篮球投篮为例）：
　　Basketball Shoot
　　这样就可以通过awk顺利提取出class="title"附近的文本内容，具体实现如下：
　　# split url_24
page_key='class="title"'
page_output='output_page.log'
page_output_url_start='https://play.google.com/store/apps/'
page_output_url='output_top800_url.log'
function page_split(){
grep $page_key $(ls $url_output* | sort -t "_" -k6 -n) > tmp_page_grepURL.log # use $url_output
awk -F'[]' '{for(i=1;i> $log
echo "================= $date ================" >> $log
# mysql database and table to create
HOST='localhost'
PORT='3306'
USER='root'
PWD='xxxxxx'
DBNAME='top800'
TABLENAME='gametop800'
mysql_login=''
mysql_create_db=''
mysql_create_table=''
function mysql_create(){
echo "login mysql $HOST:$PORT ..." >> $log
mysql_login="mysql -h $HOST -P $PORT -u $USER -p$PWD" # mysql -h host -P port -u root -p pwd
echo | ${mysql_login}
if [ $? -ne 0 ]; then
echo "login mysql ${HOST}:${PORT} failed.." >> $log
exit 1
else
echo "login mysql ${HOST}:${PORT} success!" >> $log
fi
echo "create database $DBNAME ..." >> $log
mysql_create_db="create database if not exists $DBNAME"
echo ${mysql_create_db} | ${mysql_login}
if [ $? -ne 0 ]; then
echo "create db ${DBNAME} failed.." >> $log
else
echo "create db ${DBNAME} success!" >> $log
fi
echo "create table $TABLENAME ..." >> $log
mysql_create_table="create table $TABLENAME(
id char(50) not null,
url char(255),
top int,
name char(100),
category char(50),
rating char(10),
ratingcount char(20),
download char(30),
price char(20),
publishdate char(20),
version char(40),
filesize char(40),
requireandroid char(40),
contentrating char(40),
country char(10) not null,
dtime date not null default \"2011-01-01\",
primary key(id, country, dtime)
)"
echo ${mysql_create_table} | ${mysql_login} ${DBNAME}
if [ $? -ne 0 ]; then
echo "create table ${TABLENAME} fail..." >> $log
else
echo "create table ${TABLENAME} success!" >> $log
fi
}
　　脚本功能说明：
　　首先登录mysql数据库，判断mysql服务器、端口号、用户名和密码是否正确。如果不正确，则登录失败退出（exit 1）；如果正确，则登录成功，继续下一步
　　然后，创建数据库名，判断数据库是否存在，如果不存在，则创建；如果存在，继续下一步（注意：创建数据库时，需要验证是否登录数据库成功，否则无法操作）
　　最后创建数据库表，首先设计数据库表的各个字段，然后创建数据库表，具体判断方法与创建数据库名称相同
　　# Author : yanggang
# Datetime : 2011.10.24 21:45:09
# ============================================================
#!/bin/sh
# insert mysql
file_input='output_top800_url_page'
file_output='sql_output'
HOST='localhost'
PORT='3306'
USER='root'
PWD='xxxxxx'
DBNAME='top800'
TABLENAME='gametop800'
col_id=''
col_url=''
col_top=1
col_name=''
col_category=''
col_rating=''
col_ratingcount=''
col_download=''
col_price=''
col_publishdate=''
col_version=''
col_filesize=''
col_requireandroid=''
col_contentrating=''
col_country=''
col_dtime=''
sql_insert='insert into gametop800 values("com.mobile.games", "url", 3, "minesweeping", "games", "4.8", "89789", "1000000-5000000000", "free", "2011-2-30", "1.2.1", "1.5M", "1.5 up", "middle", "china", "2011-10-10")'
function mysql_insert(){
rm -rf $file_output
touch $file_output
DBNAME=$1
col_dtime=$2
col_country=$3
echo 'col_dtime========='$col_dtime
while read line
do
col_id=$(echo $line | cut -f 1 -d "%" | cut -f 1 -d "&" | cut -f 2 -d "=")
col_url=$(echo $line | cut -f 1 -d "%")
col_name=$(echo $line | cut -f 2 -d "%")
col_category=$(echo $line | cut -f 3 -d "%")
col_rating=$(echo $line | cut -f 4 -d "%")
col_ratingcount=$(echo $line | cut -f 5 -d "%")
col_download=$(echo $line | cut -f 6 -d "%")
col_price=$(echo $line | cut -f 7 -d "%")
col_publishdate=$(echo $line | cut -f 8 -d "%")
col_version=$(echo $line | cut -f 9 -d "%")
col_filesize=$(echo $line | cut -f 10 -d "%")
col_requireandroid=$(echo $line | cut -f 11 -d "%")
col_contentrating=$(echo $line | cut -f 12 -d "%")
sql_insert='insert into '$TABLENAME' values('"\"$col_id\", \"$col_url\", $col_top, \"$col_name\", \"$col_category\", \"$col_rating\", \"$col_ratingcount\", \"$col_download\", \"$col_price\", \"$col_publishdate\", \"$col_version\", \"$col_filesize\", \"$col_requireandroid\", \"$col_contentrating\", \"$col_country\", \"$col_dtime\""');'

echo $sql_insert >> $file_output
mysql -h $HOST -P $PORT -u $USER -p$PWD -e "use $DBNAME; $sql_insert"
col_top=`expr $col_top + 1`
done < $file_input
}
　　脚本功能说明：
　　插入数据库脚本比较简单，主要实现两个功能：游戏排名号（col_top）和数据库语句插入（$sql_insert）
　　通过while read line循环，读取模块5提取的游戏属性信息文本文件，分割每一行得到对应的字段（cut -f 2 -d "%"），赋值给insert语句（sql_insert）
　　最后通过mysql -h $HOST -P $PORT -u $USER -p$PWD -e "use $DBNAME; $sql_insert"，登录mysql数据库，执行插入语句$sql_insert
　　7、生成HTML报告
　　shell 通过连接字符串 table + tr + td + info 来生成 html web 报告。详情请参考我之前的博客：shell将txt转换为html
　　8、通过电子邮件发送报告
　　邮件发送模块主要采用/usr/bin/mutt的方式。邮件正文显示一个html报告（默认为美国），其他国家以附件形式发送。详细请参考我之前的博客：linux shell发送邮件附件
　　使用 crontab 命令定期发送电子邮件。具体配置和使用可以参考我之前写的博客：linux定时运行命令script-crontab
　　9、网页查询报告
　　使用JSP提取MySQL中存储的游戏属性信息，循环生成游戏排名的网页信息，请参考我之前的博客：Linux JSP连接MySQL数据库
　　10、 排名趋势图
　　趋势图，使用第三方JFreeChart图表生成工具，请参考我之前的博客：JFreeChart学习实例
　　游戏排名趋势图生成后，需要嵌套到JSP网页中进行展示。完整的排名趋势图请参考我之前的博客：JFreeChart Project Example
　　自动化主控制脚本
　　12国游戏排名系统，免费ip代理过滤——“网络爬虫——”数据库保存——“生成排名报告——”及时发送邮件报告——“游戏排名查询——”趋势图生成
　　都实现了整个流程的自动化，以下是各个模块的脚本实现和功能说明：
　　
　　通过配置服务器的crontab定时运行进程命令，在早上00:01:00（早上0:01:00），主控脚本top10_all.sh会自动启动。
　　每天生成的日报使用主控脚本自动生成当天的文件夹，保存当天的抓包数据、分析数据、结果数据，如下图所示：
　　
　　注：以上文件夹数据为去年测试数据的副本，排名并非本人笔记本截图
　　因为通过远程代理爬取12个国家排名前800的TOP800需要消耗网络资源、内存资源和时间，严重影响我的上网体验~~~~(&gt;_ 查看全部

　　curl 抓取网页(实习导师又没得项目让我一起一边瞎东西那闲着)
　　最近在实习，导师没有项目让我一起做事，就坐在一旁摆弄。
　　
　　我闲我闲，想写爬虫
　　爬虫百度百科上的定义如下
　　网络爬虫（也称为网络蜘蛛、网络机器人，在 FOAF 社区中，更常见的是网络追逐）是按照某些规则自动抓取万维网上信息的程序或脚本。其他不太常用的名称是蚂蚁、自动索引、模拟器或蠕虫。
　　也就是从网页中抓取你想要的数据，得到的数据可以做进一步的处理。
　　因为实习的是PHP，所以用PHP写，环境是Win10+php7.1+nginx
　　首先打开curl扩展，去掉php.ini中extension=php_curl.dll前面的分号，然后重启php和nginx
　　然后开始写最简单的爬虫，抓取百度首页的内容到本地
　　//初始话curl句柄
$ch = curl_init();
//要抓取的网页
$url = "https://www.baidu.com";
//设置访问的URL,curl_setopt就是设置连接参数
curl_setopt($ch, CURLOPT_URL, $url);
//不需要报文头
curl_setopt($ch, CURLOPT_HEADER, FALSE);
//跳过https验证，访问https网站必须加上这两句
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, FALSE);
//返回响应信息而不是直接输出，默认将抓取的页面直接输出的
curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);
//开始执行
if (!$output = curl_exec($ch)) {
echo "Curl Error:". curl_error($ch);
}
//执行结束后必须将句柄关闭
curl_close($ch);
//保存页面信息
$html = fopen('D:/baidu_data.html', 'w');
fwrite($html, $output);
fclose($html);
echo '保存成功';
　　好了，现在可以抓取页面了，我们来处理数据 查看全部

　　curl 抓取网页(如何通过python抓取网页，见Python和python的功能很强大
)
　　上一篇文章介绍了如何通过python爬取网页，见Python爬取中文网页，但很快发现这个方法对CSDN个人博客的爬取不起作用
　　
　　. 很久以前就听说过curl的威力，所以今天就来试一试。
　　curl的功能非常强大。这里介绍一下curl的使用。你可以参考一下。其他问题请百度和谷歌。这里我们只使用最基本的--connect-timeout和-o。以本博客为例：
　　curl -s --connect-timeout 10 -o blog "http://blog.csdn.net/nevasun"
　　OK，当前目录下就会有一个博客文件了。当我们将其作为纯文本文件打开时，我们会发现以下信息：
　　访问：10598次
积分：610分
排名：第13159名
　　接下来，我们要做的就是从博客文件中提取访问量、积分、排名等信息。前几天刚学了awk，所以用awk试试吧。awk的介绍和学习请参考AWK学习总结和练习。下面的awk相关内容可以在里面找到。
　　一个 awk 程序由一系列“模式-动作”语句组成：模式 {action}。
　　匹配模式可以是/(visit|points|ranking):.*/，匹配模式后需要取出当前行的值。由于号码的长度不固定，所以不能使用定长号码的方法。您可以使用 gsub() 将非数字字符替换为空字符，其余为数字。接下来是完整的awk代码。
　　awk 'BEGIN {FS="[]"; ORS="\t"} /(访问|积分|排名)：.*/ \
{ if($3 == "访问：") {gsub(/[^0-9]+/, ""); print} \
else if($3 == "积分：") {gsub(/[^0-9]+/, ""); print} \
else if($3 == "排名：") {gsub(/[^0-9]+/, ""); print}}' blog
　　至此，我们已经能够抓取到我们需要的数据了，通过shell和python脚本，使用cron，我们可以让系统定时记录每天的访问量。
　　Shell 脚本 account.sh：
　　#!/bin/bash
try_time=0
fetch_url="http://blog.csdn.net/nevasun"
while [ $try_time -lt 3 ]
do
curl -s --connect-timeout 3 -o blog $fetch_url
if [ $? = 0 ]; then
break;
fi
try_time=$((try_time+1))
done
accout_info=$(\
awk 'BEGIN {FS="[]"; ORS="\t"} /(访问|积分|排名)：.*/ \
{ if($3 == "访问：") {gsub(/[^0-9]+/, ""); print} \
else if($3 == "积分：") {gsub(/[^0-9]+/, ""); print} \
else if($3 == "排名：") {gsub(/[^0-9]+/, ""); print}}' blog)
if [ "$1" == "daily_routine" ];
then
./dbroutine.py $accout_info 1
else
./dbroutine.py $accout_info 0
fi
　　Python 脚本 dbroutine.py：
　　#!/usr/bin/python
import os
import cPickle as pcl
import sys
from time import localtime
def load_record(db_file):
recordlist = [{}]
if os.path.exists(db_file):
readf = file(db_file)
try:
recordlist = pcl.load(readf)
except:
recordlist = [{}]
readf.close()
return recordlist
def dump_record(db_file, recordlist, total_access, score, rank):
writef = file(db_file, "wb")
if recordlist[0].has_key("total_access"):
day_count = total_access-recordlist[0]["total_access"]
else:
day_count = total_access
date = "%s.%s.%s" % \
(localtime().tm_year, localtime().tm_mon, localtime().tm_mday)
day_record = dict(date=date, day_access=day_count, \
total_access=total_access, score=score, rank=rank)
recordlist.insert(0, day_record)
pcl.dump(recordlist, writef)
writef.close()
def print_record(recordlist, total_access, score, rank):
if recordlist[0].has_key("total_access"):
day_count = total_access-recordlist[0]["total_access"]
else:
day_count = total_access
date = "%s.%s.%s" % \
(localtime().tm_year, localtime().tm_mon, localtime().tm_mday)
day_record = dict(date=date, day_access=day_count, \
total_access=total_access, score=score, rank=rank)
print day_record
for i in range(0, len(recordlist)):
print recordlist[i]
db_file = "blog_record.dat"
recordlist = [{}]
if len(sys.argv) != 5:
raise Exception
total_access = int(sys.argv[1])
score = int(sys.argv[2])
rank = int(sys.argv[3])
flag = int(sys.argv[4])
recordlist = load_record(db_file)
if flag != 0:
dump_record(db_file, recordlist, total_access, score, rank)
else:
print_record(recordlist, total_access, score, rank) 查看全部

　　curl 抓取网页(curl抓取网页所有的搜索结果，baidu只保留前三页)
　　curl抓取网页所有的搜索结果，包括网页标题、网页地址、图片、邮件、问答、企业网站和企业官网的首页等所有内容，baidu只保留搜索结果的前三页，其他全部自动下载。速度非常快，性能ok，支持的资源也非常的丰富。还有一个著名的baiduspider类似，但是已经开源。-webflow，可以让你发现动态，静态网页，以及各种地方的baiduspider。
　　baseview，baiduspider动态地停靠某一个baiduspider的锚，baseview可以用作页面跳转功能。
　　phploader是基于php-webkit的开源web框架，提供iife和baselink模式的weblink(direct)方式，可以在任何网页浏览器上连接，而且几乎支持所有的网站，如天猫国际，携程网，去哪儿等等，
　　createjs目前有direct、base两种。direct有上亿级并发；base只有百万级并发。createjs的开发者使用tab模式。base是一种单向模式，没有浏览器间的跳转。webpack支持跨平台：windows、linux、macos。
　　webpack可以做跨平台。静态网页抓取的话，可以考虑webpack-path-adapter之类的插件，python和java都可以使用。
　　webpack
　　首先，题主要考虑到各大网站都有自己的网页大小， 查看全部

　　curl 抓取网页(curl和wget抓取实例抓取网页(1)_html文件)
　　curl 和 wget 抓取示例
　　爬取网页，主要有两种方式：url和proxy
　　1、 url 网址抓取
　　(1）curl下载百度首页内容，保存在baidu_html文件中
　　curl -o baidu_html
　　（2）wget 下载百度首页的内容，保存在baidu_html文件中
　　wget -O baidu_html2
　　有时，由于网速/数据丢失/服务器停机/等原因，无法成功下载网页。这时候可能需要尝试多次发送连接，请求服务器的响应；如果多次都没有反应，则可以确认服务器有问题
　　（1）curl 多次尝试连接
　　curl --retry 10 --retry-delay 60 --retry-max-time 60 -o baidu_html
　　注：--retry 表示重试次数；--retry-delay 表示两次重试之间的时间间隔（以秒为单位）；--retry-max-time 表示在最长时间内只允许重试一次（一般与--retry-delay相同）
　　（2）wget 多次尝试连接
　　wget -t 10 -w 60 -T 30 -O baidu_html2
　　注：-t(--tries)表示重试次数；-w 表示两次重试之间的时间间隔（以秒为单位）；-T 表示连接超时时间。如果超过超时，则连接不成功，下次继续尝试连接
　　附：curl 判断服务器是否响应。也可以通过一段时间内下载的字节数来间接判断。命令格式如下：
　　curl -y 60 -Y 1 -m 60 -o baidu_html
　　注意：-y 代表测试网速的时间；-Y 表示 -y 期间下载的字节数（以字节为单位）；-m 表示允许请求连接的最长时间，超过则自动断开连接并放弃连接
　　2、 代理爬取
　　代理下载是通过连接中间服务器间接下载url网页的过程，而不是url直接连接网站服务器下载
　　两位著名的自由球员网站：
　　（全球数十个国家的自由代理，每日更新）
　　（通过设置端口类型、代理类型、国家名称过滤）
　　在网站中选择国内免费代理服务器为例介绍代理代理爬取网页：
　　218.107.21.252:8080（ip为218.107.21.252；端口为8080，中间用冒号“:”隔开，形成一个套接字）
　　（1）curl 通过代理爬取百度首页
　　curl -x 218.107.21.252:8080 -o aaaaa（端口通常为80、8080、8086、8888、3128等，默认为8&lt; @0）
　　注意：-x表示代理服务器（ip:port），即curl先连接代理服务器218.107.21.252:8080，然后通过218.107.21.252:8080下载百度主页，最后218.107.21.252:8080传下载的百度首页到curl到本地（curl不是直接连接百度服务器下载首页，而是通过中介代理）
　　（2）wget 通过代理获取百度主页
　　wget通过代理下载，和curl不一样。需要先设置代理服务器的http_proxy=ip:port
　　以ubuntu为例，在当前用户目录（cd~）下创建wget配置文件（.wgetrc），进入代理配置： 查看全部

　　curl 抓取网页(使用PHP的cURL库可以简单和有效地去抓网页。)
　　使用 PHP 的 cURL 库来简单有效地抓取网页。你只需要运行一个脚本，然后分析你抓取的网页，然后你就可以通过编程的方式得到你想要的数据。无论您是想从链接中获取部分数据，还是获取 XML 文件并将其导入数据库，即使只是获取网页内容，cURL 都是一个强大的 PHP 库。本文主要介绍如何使用这个PHP库。
　　启用卷曲设置
　　首先我们要先判断我们的PHP是否启用了这个库，可以通过php_info()函数来获取这个信息。
　　﹤?php
phpinfo();
?﹥
　　如果在网页上可以看到如下输出，说明cURL库已经开启。
　　如果你看到它，那么你需要设置你的 PHP 并启用这个库。如果你是windows平台，很简单，你需要改变你的php.ini文件的设置，找到php_curl.dll，去掉前面的分号。如下：
　　//取消下在的注释
extension=php_curl.dll
　　如果你在 Linux 下，那么你需要重新编译你的 PHP。编辑时需要开启编译参数——在configure命令中添加“--with-curl”参数。
　　一个小例子
　　如果一切就绪，这里有一个小程序：
　　﹤?php
　　// 初始化一个 cURL 对象
　　$curl = curl_init();
　　// 设置你需要爬取的网址
　　curl_setopt($curl, CURLOPT_URL,'');
　　// 设置标题
　　curl_setopt($curl, CURLOPT_HEADER, 1);
　　// 设置cURL参数，询问结果是保存在字符串中还是输出到屏幕上。
　　curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
　　// 运行 cURL 并请求一个网页
　　$data = curl_exec($curl);
　　// 关闭 URL 请求
　　curl_close($curl);
　　// 显示获取的数据
　　var_dump($data);
　　如何发布数据
　　上面是抓取网页的代码，下面是到某个网页的POST数据。假设我们有一个处理表单的URL，可以接受两个表单域，一个是电话号码，一个是短信内容。
　　﹤?php
$phoneNumber = '13912345678';
$message = 'This message was generated by curl and php';
$curlPost = 'pNUMBER=' . urlencode($phoneNumber) . '&MESSAGE=' . urlencode($message) . '&SUBMIT=Send';
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'http://www.example.com/sendSMS.php');
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, $curlPost);
$data = curl_exec();
curl_close($ch);
?﹥
　　从上面的程序可以看出，CURLOPT_POST是用来设置HTTP协议的POST方法而不是GET方法的，然后CURLOPT_POSTFIELDS是用来设置POST数据的。
　　关于代理服务器
　　以下是如何使用代理服务器的示例。请注意高亮的代码，代码很简单，我就不多说了。
　　﹤?php
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'http://www.example.com');
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, 1);
curl_setopt($ch, CURLOPT_PROXY, 'fakeproxy.com:1080');
curl_setopt($ch, CURLOPT_PROXYUSERPWD, 'user:password');
$data = curl_exec();
curl_close($ch);
?﹥

　　关于 SSL 和 Cookie 查看全部

　　curl 抓取网页(curl和wget抓取实例抓取网页(1)_html文件)
　　curl 和 wget 抓取示例
　　抓取网页主要有两种方式：url和proxy
　　1、 url 网址抓取
　　(1）curl下载百度首页内容，保存在baidu_html文件中
　　curl -o baidu_html
　　（2）wget下载百度首页的内容，保存在baidu_html文件中
　　wget -O baidu_html2
　　有时，由于网速/数据丢失/服务器停机/等原因，无法成功下载网页。这时候可能需要尝试多次发送连接，请求服务器的响应；如果多次都没有反应，则可以确认服务器有问题
　　（1）curl 多次尝试连接
　　curl --retry 10 --retry-delay 60 --retry-max-time 60 -o baidu_html
　　注意：--retry 表示重试次数；--retry-delay 表示两次重试之间的时间间隔（以秒为单位）；--retry-max-time 表示在最长时间内只允许重试一次（一般与--retry-delay相同）
　　（2）wget 多次尝试连接
　　wget -t 10 -w 60 -T 30 -O baidu_html2
　　注：-t(--tries)表示重试次数；-w 表示两次重试之间的时间间隔（以秒为单位）；-T 表示连接超时时间。如果超过超时，则连接不成功，下次继续尝试连接
　　附：curl判断服务器是否响应。也可以通过一段时间内下载的字节数来间接判断。命令格式如下：
　　curl -y 60 -Y 1 -m 60 -o baidu_html
　　注意：-y 代表测试网速的时间；-Y 表示 -y 期间下载的字节数（以字节为单位）；-m 表示允许请求连接的最长时间，超过则自动断开连接并放弃连接
　　2、代理爬取
　　代理下载是通过连接中间服务器间接下载url网页的过程，而不是url直接连接网站服务器下载
　　两个著名的自由球员网站：
　　（全球数十个国家的自由代理，每日更新）
　　（通过设置端口类型、代理类型、国家名称过滤）
　　在网站中选择国内免费代理服务器为例介绍代理代理爬取网页：
　　218.107.21.252:8080（ip为218.107.21.252；端口为8080，中间用冒号“:”隔开，形成一个套接字）
　　（1）curl 通过代理爬取百度首页
　　curl -x 218.107.21.252:8080-o aaaaa（端口通常为80、8080、8086、8888、3128等，默认为8&lt; @0）
　　注意：-x表示代理服务器（ip:port），即curl先连接代理服务器218.107.21.252:8080，然后通过218.107.21.252:8080下载百度主页，最后218.107.21.252:8080传下载的百度homepage to curl 到本地（curl不是直接连接百度服务器下载主页，而是通过中介代理）
　　（2）wget 通过代理爬取百度首页
　　wget通过代理下载，和curl不一样。需要先设置代理服务器的http_proxy=ip:port
　　以ubuntu为例，在当前用户目录（cd~）下创建wget配置文件（.wgetrc），进入代理配置： 查看全部

　　curl 抓取网页(Windows平台curl和wget下载安装安装方法及详细介绍！)
　　curl 和 wget 下载安装
　　1、Ubuntu 平台
　　wget命令安装：sudo apt-get installwget（普通用户登录，需要输入密码；root账户登录，不需要输入密码）
　　curl命令安装：sudo apt-get install curl（同wget）
　　2、Windows 平台
　　wget 下载链接：wget forWindows
　　curl下载地址：curl下载
　　wget和curl包下载地址：Windows平台下wget和curl工具包
　　Windows平台下，curl下载解压后，直接以curl.exe格式复制到系统命令目录下的C:\Windows\System32。
　　Windows平台下，wget下载解压后格式为wget-1.11.4-1-setup.exe，需要安装；安装后，在环境变量-系统变量-Path目录下添加它的安装
　　curl 和 wget 抓取示例
　　抓取网页的方式主要有两种：url和代理。下面是一个爬取“百度”首页的例子。
　　1、 url 网址抓取
　　(1）curl下载百度首页内容，保存在baidu_html文件中
　　curl-obaidu_html
　　（2）wget 下载百度首页的内容保存在baidu_html文件中
　　wget-Obaidu_html2
　　有时，由于网速/数据丢失/服务器停机/等原因，网页暂时无法下载成功
　　这时候你可能需要尝试多次发送连接，请求服务器响应；如果多次都没有反应，可以确认服务器有问题
　　（1）curl 尝试多次连接
　　curl --retry 10 --retry-delay60 --retry-max-time 60 -obaidu_html
　　注意：--retry 表示重试次数；--retry-delay 表示两次重试之间的时间间隔（以秒为单位）；--retry-max-time 表示在最长时间内只允许重试一次（一般与--retry-delay相同）
　　（2）wget 多次尝试连接
　　wget -t 10 -w 60 -T 30 -O baidu_html2
　　注：-t(--tries)表示重试次数；-w 表示两次重试之间的时间间隔（以秒为单位）；-T 表示连接超时时间。如果超过超时，则连接不成功，下次继续尝试连接
　　附：curl判断服务器是否响应。也可以通过一段时间内下载的字节数来间接判断。命令格式如下：
　　curl -y 60 -Y 1 -m 60 -o baidu_html
　　注意：-y 代表测试网速的时间；-Y 表示 -y 期间下载的字节数（以字节为单位）；-m 表示允许请求连接的最长时间，超过则自动断开连接并放弃连接
　　2、代理爬取
　　代理下载是通过连接中间服务器间接下载url网页的过程，而不是url直接连接网站服务器下载
　　两个著名的自由球员网站：
　　（全球数十个国家的自由代理，每日更新）
　　（通过设置端口类型、代理类型、国家名称过滤）
　　在网站中选择国内免费代理服务器为例介绍代理代理爬取网页：
　　218.107.21.252:8080（ip为218.107.21.252；端口为8080，有分隔由冒号“:”组成一个套接字）
　　（1）curl 通过代理爬取百度首页
　　curl-x218.107.21.252:8080-o aaaaa（端口通常为80、8080、8086、8888、3128等，默认为80）
　　注：-x表示代理服务器（ip:port），即curl先连接代理服务器218.107.21.252:8080，然后通过218.107.21.252:8080下载百度主页，最后218.107.21.252:8080传下载的百度首页到curl到本地（curl不是直接连接百度服务器下载首页，而是通过中介代理）
　　（2）wget 通过代理爬取百度首页
　　wget通过代理下载，和curl不一样。需要先设置代理服务器的http_proxy=ip:port
　　以ubuntu为例，在当前用户目录（cd~）下创建wget配置文件（.wgetrc），进入代理配置： 查看全部

　　curl 抓取网页(curl和wget下载安装1、Ubuntu平台wget下载解压后介绍)
　　curl 和 wget 下载安装
　　1、Ubuntu 平台
　　wget命令安装：sudo apt-get installwget（普通用户登录，需要输入密码；root账户登录，不需要输入密码）
　　curl命令安装：sudoapt-get install curl（同wget）
　　2、Windows 平台
　　wget 下载链接：wget forWindows
　　curl下载地址：curl下载
　　wget和curl包下载地址：Windows平台下wget和curl工具包
　　Windows平台下，curl下载解压后，直接以curl.exe格式复制到系统命令目录下的C:\Windows\System32。
　　Windows平台下，wget下载解压后格式为wget-1.11.4-1-setup.exe，需要安装；安装后，在环境变量-系统变量-Path目录下添加它的安装
　　curl 和 wget 抓取示例
　　抓取网页的方式主要有两种：url和代理。下面是一个爬取“百度”首页的例子。
　　1、 url 网址抓取
　　(1）curl下载百度首页内容，保存在baidu_html文件中
　　curl-obaidu_html
　　（2）wget 下载百度首页的内容保存在baidu_html文件中
　　wget-Obaidu_html2
　　有时，由于网速/数据丢失/服务器停机/等原因，网页暂时无法下载成功
　　这时候你可能需要尝试多次发送连接，请求服务器响应；如果多次都没有反应，可以确认服务器有问题
　　（1）curl 尝试多次连接
　　curl --retry 10 --retry-delay60 --retry-max-time 60 -obaidu_html
　　注意：--retry 表示重试次数；--retry-delay 表示两次重试之间的时间间隔（以秒为单位）；--retry-max-time 表示在最长时间内只允许重试一次（一般与--retry-delay相同）
　　（2）wget 多次尝试连接
　　wget -t 10 -w 60 -T 30 -O baidu_html2
　　注：-t(--tries)表示重试次数；-w 表示两次重试之间的时间间隔（以秒为单位）；-T 表示连接超时时间。如果超过超时，则连接不成功，下次继续尝试连接
　　附：curl判断服务器是否响应。也可以通过一段时间内下载的字节数来间接判断。命令格式如下：
　　curl -y 60 -Y 1 -m 60 -o baidu_html
　　注意：-y 代表测试网速的时间；-Y 表示 -y 期间下载的字节数（以字节为单位）；-m 表示允许请求连接的最长时间，超过则自动断开连接并放弃连接
　　2、代理爬取
　　代理下载是通过连接中间服务器间接下载url网页的过程，而不是url直接连接网站服务器下载
　　两个著名的自由球员网站：
　　（全球数十个国家的自由代理，每日更新）
　　（通过设置端口类型、代理类型、国家名称过滤）
　　在网站中选择国内免费代理服务器为例介绍代理代理爬取网页：
　　218.107.21.252:8080（ip为218.107.21.252；端口为8080，有分隔由冒号“:”组成一个套接字）
　　（1）curl 通过代理爬取百度首页
　　curl-x218.107.21.252:8080-o aaaaa（端口通常为80、8080、8086、8888、3128等，默认为80）
　　注：-x表示代理服务器（ip:port），即curl先连接代理服务器218.107.21.252:8080，然后通过218.107.21.252:8080下载百度主页，最后218.107.21.252:8080传下载的百度首页到curl到本地（curl不是直接连接百度服务器下载首页，而是通过中介代理）
　　（2）wget 通过代理爬取百度首页
　　wget通过代理下载，和curl不一样。需要先设置代理服务器的http_proxy=ip:port
　　以ubuntu为例，在当前用户目录（cd~）下创建wget配置文件（.wgetrc），进入代理配置： 查看全部

　　curl 抓取网页(安利几个学习node.js的地方(新版)(yandex))
　　curl抓取网页：mozilla/curl-s\·github实用js解析：javascript-dexpressjs框架：angularjs，nodejs内容推荐阅读：使用这些的node。js使用npm：git@github。com:timothy/gitbook-dashboard-template。gitlab。
　　安利几个学习node.js的地方，不过有些是英文的：javascript权威指南javascripttutoriales6documentation(es6语法)ecmascript5&6(javascript语法)theecmascript6annotationprojectforecmascriptspecialistyavies6documentation(es6语法)可以学习一下在线文档：v5&es6写在前面---在国内学习，主要是国内node.js业务驱动型方向，这个题目问的有些大，同样也是一个伪命题。
　　我能总结的总结一下，偏学习；多看看别人的代码结构和写法，新手上路，最要紧的是大局观，时刻能从大局来理解代码，不要只看过程，不看结果。同样一个项目，我能写出来，你能写出来吗？别人自己设计的架构，你自己搭建吗？别人的代码，你能看懂吗？这里可以看看下面这个回答：javascript的prototype对初学者来说是怎么样的，从0到1教你如何开始写javascript(。
　　2)？-前端新人也有资料：mdn在线文档(新版)introductiontojavascript(yandex)博客(毕竟博客文章读起来相对要简单易懂一些)文章学习方法：自己以前写过多少项目，就用搜索引擎去下载，收藏过的项目，都会贴出来自己还没写过的，看技术文章。互联网上的资料也很多，现在不知道未来会怎么样。我自己也在学习中。
　　大部分也没看过，这里贴一个网站：/推荐几个node.js学习环境，文末也会提及在大学期间接触过两种一般情况下，你目前学校里可能有人做node.js项目，大一的话，不如把java和c++学好，
　　一、如果你连java/c++都没学好，别说node.js了。
　　二、对于服务端java而言， 查看全部

　　curl 抓取网页(curl问题浏览器总有人反馈说打开某个页面比较慢，缓存)
　　curl 获取 网站 响应时间 html
　　0.问题浏览器
　　一直有反馈说打开某个页面很慢，有缓存
　　但他们不知道慢在哪里。服务器
　　一样的问题，网络
　　当我们访问外部业务的界面时，app
　　经常感觉很慢，运维
　　但目前还不清楚慢在哪里。卷曲
　　1.分析iphone
　　当我们打开一个网页时，ide
　　对于不需要考虑技术的人来说，
　　想象中的画面应该是，
　　让我们通过地址栏向浏览器询问一些事情，
　　然后浏览器通过我们提供的地址去对应的服务器去获取对应的文件，
　　然后根据服务器的响应向我们展示内容。
　　从一个运维人员的角度来说，
　　可能没有想象的那么简单粗暴，
　　否则，可能永远无法确认问题出在哪里。
　　
　　简要总结一下，
　　1.当我们打开浏览器在地址栏中输入时，
　　浏览器首先会根据浏览器缓存、电脑缓存、电脑主机文件、DNS服务解析对应的网络地址。此过程将花费不同的时间和时间，具体取决于分辨率的位置。
　　使用浏览器缓存和计算机缓存，
　　返回的结果是最快的，但可能不是最新的，而且大多是错误的。
　　通过hosts文件解析域名的优先级高于DNS服务。
　　我们还可以修改hosts中某些域名的解析结果。
　　2. 浏览器获取到域名对应的IP后，开始与服务器进行三次握手进行链接。
　　3. 浏览器和服务器建立链接后，向其发起服务请求
　　4. 服务器内部处理完请求后，将处理结果发送给浏览器
　　5.浏览器解析服务器发送的结果然后展示给用户
　　
　　以上简单描述了浏览器向服务器发出服务请求的过程，
　　其中任何一个链接时间过长，都会影响用户访问网站的速度。
　　2.curl 获取相关数据
　　使用 cur -w/--write-out l 获取相关数据
　　几个关键参数：
　　url_effective 最后获得的 URL。
　　http_code 上次 HTTP(S) 或 FTP(S) 操作返回的响应代码。7.18.2 版本中添加的 response_code 显示相同的信息。
　　http_connect 在对 curl 的 CONNECT 请求的最后响应（来自代理）中找到的数字代码。（加入7.12.4版本）
　　time_total 所有操作花费的时间，以秒为单位。精确到毫秒。
　　time_namelookup 从域名解析开始到完成所用的时间，单位为秒。
　　time_connect TCP 连接到远程主机（或代理服务器）所需的时间，以秒为单位。
　　time_appconnect SSL/SSH/等。完成与远程主机的连接/握手所需的时间，以秒为单位。（加入7.19.0版本）
　　time_pretransfer 从开始到文件即将传输的时间，以秒为单位。包括指定协议的所有预传输命令和协商。
　　time_redirect 所有重定向步骤的时间，包括域名解析、链接、预传、最后一次交易开始前的传输，单位为秒。time_redirect 显示多个重定向的完整执行时间。（加入7.12.3版本）
　　time_starttransfer 从开始到第一个字节传输所经过的时间，以秒为单位。
　　这包括 time_pretransfer 和服务器为操作结果所需的时间。
　　size_download 下载的总字节数。
　　size_upload 上传的总字节数。
　　size_header 下载头的总字节数。
　　size_request 发送的 HTTP 请求的总字节数。
　　speed_download curl 成功下载的平均下载速度。
　　speed_upload curl 成功上传的平均上传速度。
　　3.获取请求的耗时信息
　　对于具体的请求，可以通过curl获取各个链接的耗时状态。
　　就像域名解析耗时，链接创建耗时，服务器端处理耗时，总耗时。
　　国内合拍派对素材
　　curl -o /dev/null -s -w "http_code: %{http_code}\nhttp_connect:%{http_connect}\ncontent_type:%{content_type}\ntime_dns:%{time_namelookup}\ntime_redirect:%{time_redirect}\ntime_pretransfer:% {time_pretransfer}\ntime_connect:%{time_connect}\ntime_starttransfer:%{time_starttransfer}\ntime_total:%{time_total}:​​\nspeed_download:%{speed_download}\n """; 查看全部

　　curl 抓取网页(php中常用都实现更复杂的传输功能-->)
　　CURL 是一个文件传输工具，它使用 URL 语法在命令行模式下工作。它支持多种协议。它支持认证功能。常用在php中实现更复杂的传输功能。
　　实现的功能：
　　1、实现远程访问和采集内容
　　2、实现PHP网页版FTP上传下载
　　3、实现模拟登录：去一个邮件系统，curl可以模拟cookies
　　4、 实现接口对接（API）、数据传输等：通过平台发送短信，对传输的信息进行抓取和传输。
　　5、 实现模拟Cookie等：部分属性需要登录后才能操作。
　　如何使用CURL函数：
　　默认情况下，PHP 不支持 CURL。需要在php.ini中开启这个功能
　　;extension=去掉php_curl.dll前面的分号
　　1 整个操作的第一步是用cur_init()函数进行初始化
　　 $curl = curl_init(‘www.jb51.net')
　　2.使用 curl_setopt() 函数设置选项。
　　3.设置好后，执行事务 curl_exec($curl);
　　4 最后关闭 curl_close();
　　使用PHP CURL实现传输获取功能（后传方式）：获取远程网页数据
　　 $user = "admin"; $pass = "admin"; $curlPost = "user=$user&pass=$pass"; $ch = curl_init(); //初始化一个CURL对象 curl_setopt($ch, CURLOPT_URL, "http://localhost/edu/login.php"); //设置你所需要抓取的URL curl_setopt($ch, CURLOPT_RETURNTRANSFER, 0); //设置curl参数，要求结果是否输出到屏幕上，为true的时候是不返回到网页中 假设上面的0换成1的话，那么接下来的$data就需要echo一下。 curl_setopt($ch, CURLOPT_POST, 1); //post提交 curl_setopt($ch, CURLOPT_POSTFIELDS, $curlPost); $data = curl_exec($ch); //运行curl,请求网页。 curl_close($ch); [/code]
　　实现远程模拟登录最基本的部分。
　　curl 还需要配置用户名和密码，但是被浏览器隐藏了。
　　================================================ ==============================
　　curl 模拟登录
　　模拟登录：无需登录php100论坛即可查看相应信息。
　　分析登录字段--->登录后保持cookie状态-->读取cookie并跳转到相关页面-->抓取次数
　　1、模拟登录后创建文件保存cookie内容
　　2、通过读取生成的cookie内容模拟用户登录状态
　　3、前往相关页面获取所需内容
　　tempname 创建一个临时文件
　　tempnam() 函数创建一个具有唯一文件名的临时文件。如果成功，该函数返回新的临时文件名。如果失败，则返回 false。
　　tempnam(dir,prefix)
　　参数说明
　　目录是必需的。指定创建临时文件的目录。
　　前缀是必需的。指定文件名的开头。
　　相当于 fopen  fwirte  fclose
　　它可以返回一个布尔值。使用第三方登录你的QQ和msn是非常危险的，因为它可以记录你的登录状态并抓取你的用户名和密码。
　　使用CURL模拟登录PHP100论坛
　　1、分析输入框字段名和登录需要的字段数
　　2、保存cookie模拟登录获取会员金币数量
　　代码：
　　 //初始化一个 cURL 对象 $curl = curl_init(); //设置你需要抓取的URL curl_setopt($curl, CURLOPT_URL, " http://www.baidu.com "); //设置cURL 参数，要求结果保存到字符串中还是输出到屏幕上。 curl_setopt($curl, CURLOPT_RETURNTRANSFER, 0); //运行cURL，请求网页 $data = curl_exec($curl); //关闭URL请求 curl_close($curl); $user = "admin"; $pass = "admin100"; $curlPost = "user=$user&pass=$pass"; $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, " http://localhost/curl/login.php "); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 0); curl_setopt($ch, CURLOPT_POST, 1); curl_setopt($ch, CURLOPT_POSTFIELDS, $curlPost); $data = curl_exec($ch); curl_close($ch); ?> if($_POST['user']=="admin"){ echo ""; }else{ echo ""; } //print_r($_POST); ?>
　　以上是PHP扩展CURL使用的详细说明。更多详情请关注其他相关html中文网站文章！ 查看全部

　　curl 抓取网页(比较,结合实例形式详细分析了curl_init()和curl)
　　本文文章主要介绍php使用curl_init()和curl_multi_init()多线程的速度对比，并结合curl_init()和curl_multi_init()的具体使用方法及相关效率对比进行详细分析示例表格。有需要的朋友可以参考
　　本文介绍了 PHP 使用 curl_init() 和 curl_multi_init() 多线程的速度对比。分享给大家，供大家参考，如下：
　　php中curl_init()的作用很棒，尤其是在爬取网页内容或者文件信息的时候。比如之前的文章《》介绍了curl_init()的强大。
　　curl_init() 以单线程模式处理事情。如果需要使用多线程模式进行事务处理，那么php为我们提供了一个函数curl_multi_init()，就是多线程模式处理事务的功能。
　　curl_init() 和 curl_multi_init() 速度对比
　　curl_multi_init() 多线程可以提高网页的处理速度吗？今天我将通过实验来验证这个问题。
　　我今天的测试很简单，就是抓取网页内容，连续抓取5次，分别使用curl_init()和curl_multi_init()函数来完成，记录下两者的耗时，将它们比较得出结论。
　　首先，使用 curl_init() 在单个线程中抓取网页内容 5 次。
　　程序代码如下：
　　然后，使用 curl_multi_init() 多线程连续抓取网页内容 5 次。
　　代码显示如下：
<p> 查看全部

　　curl 抓取网页(常用PHP做网页抓取、模拟请求业务的朋友应该都知道)
　　使用PHP进行网页爬取和模拟请求服务的朋友应该都知道Curl是神器。
　　curl是一个非常强大的开源库，支持http、https、telnet、ftp等多种网络协议。在PHP中，我们可以通过curl的一系列功能轻松处理会话请求。
　　虽然常用，但还是要百度好几次才能正常使用……今天对curl做一个总结，供以后使用，也把总结分享给大家。
　　使用CURL发送会话请求的基本流程
　　CURL 是典型的“活得好不粘”的工具。它虽然功能强大，但它的使用却非常简单和成熟。
　　使用 CURL 发送会话请求一般有以下几个步骤：
　　初始化连接句柄
　　配置 CURL 选项
　　执行请求并返回结果
　　释放连接句柄
　　简单点：建立连接 -&gt; 制定规则 -&gt; 请求数据 -&gt; 断开连接
　　简单，直接，从不拖延！
　　使用CURL模拟数据请求的GET方法
　　在get模式下进行数据请求的方式有很多种。
　　对于简单的调用链接和返回数据，其实可以理解为读取一个html文件。
　　可以使用file_get_contents() 和fopen() 等函数轻松解决。
　　但是对于需要控制COOKIE内容、头部信息等的get请求，就需要牺牲curl来解决！
　　function curl_get_https($url){
    $curl = curl_init(); // 建立连接句柄，启动一个CURL会话
    curl_setopt($curl, CURLOPT_URL, $url);
    curl_setopt($curl, CURLOPT_HEADER, 0);
    curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false); // 跳过证书检查
    curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, true);  // 从证书中检查SSL加密算法是否存在
    $tmpInfo = curl_exec($curl);     // 执行请求并返回结果
    
    curl_close($curl);   // 释放连接句柄，关闭URL请求
    return $tmpInfo;    // return返回结果
}
　　使用 CURL 模拟 POST 进行数据请求
　　通用，获取更多数据的接口，一般使用post作为请求参数的传输方式
　　/* PHP CURL HTTPS POST */
function curl_post_https($url,$data){ 
    // 模拟提交数据函数
    $curl = curl_init(); // 建立连接句柄，启动一个CURL会话
    curl_setopt($curl, CURLOPT_URL, $url); // 要访问的地址
    curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, 0); // 对认证证书来源的检查
    curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, 1); // 从证书中检查SSL加密算法是否存在
    curl_setopt($curl, CURLOPT_USERAGENT, $_SERVER[&#39;HTTP_USER_AGENT&#39;]); // 模拟用户使用的浏览器
    curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1); // 使用自动跳转
    curl_setopt($curl, CURLOPT_AUTOREFERER, 1); // 自动设置Referer
    curl_setopt($curl, CURLOPT_POST, 1); // 发送一个常规的Post请求
    curl_setopt($curl, CURLOPT_POSTFIELDS, $data); // Post提交的数据包
    curl_setopt($curl, CURLOPT_TIMEOUT, 30); // 设置超时限制防止死循环
    curl_setopt($curl, CURLOPT_HEADER, 0); // 显示返回的Header区域内容
    curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); // 获取的信息以文件流的形式返回
    $tmpInfo = curl_exec($curl); // 执行操作
    if (curl_errno($curl)) {
        echo &#39;Errno&#39;.curl_error($curl);//捕抓异常
    }
    curl_close($curl); // 释放连接句柄，关闭CURL会话
    return $tmpInfo; // return返回结果
}
　　使用PHP开源库curl的curl_setopt方法，配合各种配置参数，可以轻松模拟各种请求。
　　使用 CURL 处理上传和下载服务
　　留个坑待补
　　使用 CURL 抓取远程链接图片
　　留个坑待补 查看全部

　　curl 抓取网页(javascript抓取网页的方法并不是特别的推荐，而是获取高质量的网页)
　　curl抓取网页的方法并不是特别的推荐，如果你认为只要网页抓取后好看即可的话，可以使用beautifulsoup.这个有它的好处，但是不推荐，有同学推荐过了，一个是有侵权的嫌疑，另一个还有技术性的问题。再一个就是他只能抓取静态内容，对于网页的图片等内容抓取是无能为力的。如果对这些内容特别感兴趣，可以去了解下javascript的解析，能够获取网页源代码。
　　根据我的经验，目前来说，如果要获取高质量的网页，首先要看明白网页的结构，否则对用户而言是不友好的。对于静态网页来说，可以通过你写的代码来做个整理，大体如下：获取url链接，设置用户方式通过如上代码，得到如下网页内容：document.getelementbyid('root').setattribute('innerhtml','我是https新手')设置form标签，得到的内容:formaction='/';action.setrequestheader('action:');text='提交';button='购物中心';data='{id}';max=500;endresult标签标签只是在action的位置添加了一个参数num属性，但是可以看到label的内容，从而在页面上显示出我是谁。
　　整理一下这个标签上的reset(num)，就会自动更新页面上的内容。reset(num)if(!root)reset(num)如果不想更新，就自己把这个属性设置成yes。end来源:-test/content/2017-08-27/static/championship/championship。 查看全部