php 抓取网页源码(用Python脚本从网络中抓取图片保存到本地，欢迎大家拍砖
)
　　使用Python脚本从网上抓取图片并保存到本地。这个脚本有很多来源，用于在 Python 中抓取网页。感觉Spartan Python_搜索引擎爬虫爬虫还是不错的。喜欢的朋友可以去玩蛇网找python多线程爬虫全集学习。
　　我也尝试写一个小的python程序来捕捉图片。练习吧。
　　Spartan Python_搜索引擎爬虫爬取视频教程（1)，有很多集都是系列的好，推荐！
　　对于这段代码，我使用了 os\sys\re\urllib 等 python 模块方法。具体操作方法也可以在上找到。我不会说太多。我将在下面发布我的代码。欢迎大家拍照。砖。
　　
#coding=utf-8

import os
import sys
import re
import urllib

URL_REG = re.compile(r'(http://[^/\\]+)', re.I)
IMG_REG = re.compile(r']*?src=([\'"])([^\1]*?)\1', re.I)

def download(dir, url):
'''''下载网页中的图片

dir 保存到本地的路径
url 网页url
www.iplaypy.com
'''
global URL_REG, IMG_REG

m = URL_REG.match(url)
if not m:
print '[Error]Invalid URL: ', url
return
host = m.group(1)

if not os.path.isdir(dir):
os.mkdir(dir)

# 获取html,提取图片url
html = urllib.urlopen(url).read()
imgs = [item[1].lower() for item in IMG_REG.findall(html)]
f = lambda path: path if path.startswith('http://') else \
host + path if path.startswith('/') else url + '/' + path
imgs = list(set(map(f, imgs)))
print '[Info]Find %d images.' % len(imgs)

# 下载图片
for idx, img in enumerate(imgs):
name = img.split('/')[-1]
path = os.path.join(dir, name)
try:
print '[Info]Download(%d): %s'% (idx + 1, img)
urllib.urlretrieve(img, path)
except:
print "[Error]Cant't download(%d): %s" % (idx + 1, img)

def main():
if len(sys.argv) != 3:
print 'Invalid argument count.'
return
dir, url = sys.argv[1:]
download(dir, url)

if __name__ == '__main__':
# download('D:\\Imgs', 'http://www.163.com')
main() 查看全部

　　php 抓取网页源码(PHP获取当前页面的代码函数示例链接，获取完整URL
)
　　编写PHP程序时，通常需要获取当前页面的URL。下面是一些用于获取当前页面链接的代码函数
　　示例链接：
　　获取完整的URL，包括URL参数
　　最后一个环节：
　　# 示例一
# 输出方法：直接调用函数 echo curPageURL();
function curPageURL() {
$pageURL = 'http';
if ($_SERVER["HTTPS"] == "on") {
$pageURL .= "s";
}
$pageURL .= "://";
if ($_SERVER["SERVER_PORT"] != "80") {
$pageURL .= $_SERVER["SERVER_NAME"] . ":" . $_SERVER["SERVER_PORT"] . $_SERVER["REQUEST_URI"];
} else {
$pageURL .= $_SERVER["SERVER_NAME"] . $_SERVER["REQUEST_URI"];
}
return $pageURL;
}
# 示例二
# 输出方法：直接调用函数 echo get_urls();
function get_urls() {
$sys_protocal = isset($_SERVER['SERVER_PORT']) && $_SERVER['SERVER_PORT'] == '443' ? 'https://' : 'http://';
$php_self = $_SERVER['PHP_SELF'] ? $_SERVER['PHP_SELF'] : $_SERVER['SCRIPT_NAME'];
$path_info = isset($_SERVER['PATH_INFO']) ? $_SERVER['PATH_INFO'] : '';
$relate_url = isset($_SERVER['REQUEST_URI']) ? $_SERVER['REQUEST_URI'] : $php_self.(isset($_SERVER['QUERY_STRING']) ? '?'.$_SERVER['QUERY_STRING'] : $path_info);
return $sys_protocal.(isset($_SERVER['HTTP_HOST']) ? $_SERVER['HTTP_HOST'] : '').$relate_url;
}
　　获取无参数URL，问号前的链接
　　最后一个环节：
　　# 示例一
# 输出方法：直接调用函数 echo curPageURL();
function curPageURL() {
$pageURL = 'http';
if ($_SERVER["HTTPS"] == "on") {
$pageURL .= "s";
}
$pageURL .= "://";
$this_page = $_SERVER["REQUEST_URI"];
// 只取 ? 前面的内容
if (strpos($this_page, "?") !== false) {
$this_pages = explode("?", $this_page);
$this_page = reset($this_pages);
}
if ($_SERVER["SERVER_PORT"] != "80") {
$pageURL .= $_SERVER["SERVER_NAME"] . ":" . $_SERVER["SERVER_PORT"] . $this_page;
} else {
$pageURL .= $_SERVER["SERVER_NAME"] . $this_page;
}
return $pageURL;
}
# 示例二
function curPageURL() {
$pageURL = 'http';
if ($_SERVER["HTTPS"] == "on") {
$pageURL .= "s";
}
$pageURL .= "://";

if ($_SERVER["SERVER_PORT"] != "80") {
$pageURL .= $_SERVER["SERVER_NAME"].":" . $_SERVER["SERVER_PORT"] . $_SERVER['PHP_SELF'];
} else {
$pageURL .= $_SERVER["SERVER_NAME"] . $_SERVER['PHP_SELF'];
}
return $pageURL;
}
　　以下是PHP获取URL的常用函数
　　示例链接：
　　# 获取域名或主机地址，不含HTTP/HTTPS协议，最终输出：www.zhutishou.com
echo $_SERVER['HTTP_HOST'];
# 拼接HTTP/HTTPS协议，输出：https://www.zhutishou.com
echo 'https://' . $_SERVER['HTTP_HOST'];
# 获取网页地址，输出：/shou/example.php
echo $_SERVER['PHP_SELF'];
# 获取URL参数，包括参数名，输出：id=1
echo $_SERVER["QUERY_STRING"];
# 获取用户代理
echo $_SERVER['HTTP_REFERER'];
# 获取完整的URL，输出：https://www.zhutishou.com/shou/example.php?id=1
echo 'http://'.$_SERVER['HTTP_HOST'].$_SERVER['REQUEST_URI'];
echo 'http://'.$_SERVER['HTTP_HOST'].$_SERVER['PHP_SELF'].'?'.$_SERVER['QUERY_STRING'];
# 包含端口号的完整URL，输出：https://www.zhutishou.com:443/ ... d%3D1
echo 'http://'.$_SERVER['SERVER_NAME'].':'.$_SERVER["SERVER_PORT"].$_SERVER["REQUEST_URI"]
# 获取路径，输出：https://www.zhutishou.com/shou
$url = 'https://'.$_SERVER['SERVER_NAME'].$_SERVER["REQUEST_URI"];
echo dirname($url); 查看全部