网站内容抓取(本文实例讲述python多进程方式抓取基金网站内容的方法)

　　网站内容抓取(本文实例讲述python多进程方式抓取基金网站内容的方法)

　　本文的例子介绍了python多进程方法捕获基金网站内容的方法。分享给大家参考，详情如下：

　　在上一篇文章中，我们已经简单了解了“python的多进程”，*敏*感*词*网站（第28页）的内容写成多进程方法。

　　因为进程数并不是越多越好，我们计划分3个进程执行。意思是：将要爬取的28个页面分成三部分。

　　怎么分？

　　

# 初始range

r = range(1,29)

# 步长

step = 10

mylist = [r[x:x+step] for x in range(0,len(r),step)]

print(mylist) # [range(1, 11), range(11, 21), range(21, 29)]

　　看上面的代码，我们把 1~29 分成了三个部分，列表里面有 3 个范围。

　　2、还记得我们用来抓取基金内容的getdata()函数吗网站？

　　

def getdata(start, end):

for x in range(start, end+1):

# 去第几页 输入框

tonum = driver.find_element_by_id("tonum")

# 去第几页 提交按钮

jumpbtn = driver.find_element_by_id("btn_jump")

tonum.clear() # 第x页 输入框

tonum.send_keys(str(x)) # 去第x页

jumpbtn.click() # 点击按钮

webdriverwait(driver, 20).until(lambda driver: driver.find_element_by_id("pager") \

.find_element_by_xpath("span[@value={0} and @class!='end page']".format(x)) \

.get_attribute("class").find("at") != -1)

# 保存抓取到的html内容

# 保存到html目录下

with open("./htmls/{0}.txt".format(x),"wb") as f:

f.write(driver.find_element_by_id("tablediv").get_attribute("innerhtml").encode("utf8"))

f.close()

　　该函数有2个参数：起始页码和结束页码，即从起始页到结束页。

　　这两个参数实际上也是范围。

　　修改getdata()函数如下（参数不同）：

　　

# 循环抓取网页内容的函数

def getdata(myrange):

for x in myrange:

# 去第几页 输入框

tonum = driver.find_element_by_id("tonum")

# 去第几页 提交按钮

jumpbtn = driver.find_element_by_id("btn_jump")

tonum.clear() # 第x页 输入框

tonum.send_keys(str(x)) # 去第x页

jumpbtn.click() # 点击按钮

webdriverwait(driver, 20).until(lambda driver: driver.find_element_by_id("pager") \

.find_element_by_xpath("span[@value={0} and @class!='end page']".format(x)) \

.get_attribute("class").find("at") != -1)

# 保存抓取到的html内容

# 保存到html目录下

with open("./htmls/{0}.txt".format(x),"wb") as f:

f.write(driver.find_element_by_id("tablediv").get_attribute("innerhtml").encode("utf8"))

f.close()

　　3、创建一个进程并将target设置为上面的getdata()：

　　

# 初始range

r = range(1,int(total_page)+1)

# 步长

step = 10

mylist = [r[x:x+step] for x in range(0,len(r),step)] # 把页面分段

# 创建进程

processlist = []

if __name__ == "__main__":

for r in mylist:

p = process(target=getdata,args=(r,))

processlist.append(p)

# 开始执行进程

for p in processlist:

p.start()

　　这样就分别抓取了三个进程。

　　4、多进程爬取资金网站多页面内容完整代码：

　　

# coding: utf-8

from selenium import webdriver

from selenium.webdriver.support.ui import webdriverwait

from selenium.webdriver.support import expected_conditions

from multiprocessing import process

driver = webdriver.phantomjs(executable_path=r"你phantomjs的可执行文件路径")

# 请求一个网址

driver.get("http://fund.eastmoney.com/fund.html")

page_text = driver.find_element_by_id("pager").find_element_by_xpath("span[@class='nv']").text

total_page = ''.join(filter(str.isdigit,page_text)) # 得到总共有多少页

# 循环抓取网页内容的函数

def getdata(myrange):

for x in myrange:

# 去第几页 输入框

tonum = driver.find_element_by_id("tonum")

# 去第几页 提交按钮

jumpbtn = driver.find_element_by_id("btn_jump")

tonum.clear() # 第x页 输入框

tonum.send_keys(str(x)) # 去第x页

jumpbtn.click() # 点击按钮

webdriverwait(driver, 20).until(lambda driver: driver.find_element_by_id("pager") \

.find_element_by_xpath("span[@value={0} and @class!='end page']".format(x)) \

.get_attribute("class").find("at") != -1)

# 保存抓取到的html内容

# 保存到html目录下

with open("./htmls/{0}.txt".format(x),"wb") as f:

f.write(driver.find_element_by_id("tablediv").get_attribute("innerhtml").encode("utf8"))

f.close()

# 初始range

r = range(1,int(total_page)+1)

# 步长

step = 10

mylist = [r[x:x+step] for x in range(0,len(r),step)] # 把页面分段

# 创建进程

processlist = []

if __name__ == "__main__":

for r in mylist:

p = process(target=getdata,args=(r,))

processlist.append(p)

# 开始执行进程

for p in processlist:

p.start()

　　对python相关内容比较感兴趣的读者可以查看本站专题：《Python进程和线程操作技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《总结《Python字符串操作技巧》、《python入门进阶经典教程》、《python+mysql数据库编程教程》、《python常用数据库操作技巧总结》

　　希望这篇文章对大家在python编程中有所帮助。