php抓取网页内容( 关于python获取整个网页源码的方法，需要的用户就来一聚教程网参考一下)

　　php抓取网页内容(

关于python获取整个网页源码的方法，需要的用户就来一聚教程网参考一下)

　　python如何获取整个网页源代码

　　python如何获取整个网页的源代码？在这篇文章中，小编整理了python获取整个网页源代码的方法。有需要的用户可以来易居教程网参考！

　　1、Python中获取整个页面的代码：

　　import requests

res = requests.get('https://blog.csdn.net/yirexiao/article/details/79092355')

res.encoding = 'utf-8'

print(res.text)

　　2、运行结果

　　实例扩展：

　　from bs4 import BeautifulSoup

import time,re,urllib2

t=time.time()

websiteurls={}

def scanpage(url):

websiteurl=url

t=time.time()

n=0

html=urllib2.urlopen(websiteurl).read()

soup=BeautifulSoup(html)

pageurls=[]

Upageurls={}

pageurls=soup.find_all("a",href=True)

for links in pageurls:

if websiteurl in links.get("href") and links.get("href") not in Upageurls and links.get("href") not in websiteurls:

Upageurls[links.get("href")]=0

for links in Upageurls.keys():

try:

urllib2.urlopen(links).getcode()

except:

print "connect failed"

else:

t2=time.time()

Upageurls[links]=urllib2.urlopen(links).getcode()

print n,

print links,

print Upageurls[links]

t1=time.time()

print t1-t2

n+=1

print ("total is "+repr(n)+" links")

print time.time()-t

scanpage(http://news.163.com/)

　　trueTechArticlepython如何获取整个网页的源码？ python如何获取整个网页的源代码？本篇文章，小编将梳理一下python获取整个网页源码的方法，有需要的用户...