2019年Python多进程方式抓取基金网站内容的方法汇总

　　

2019年Python多进程方式抓取基金网站内容的方法汇总

　　Python多进程抓取资金网站内容的方法分析

　　更新时间：2019年6月3日12:02:12作者：Study Notes 666

　　本文文章主要介绍了Python多进程抓取资金网站内容的方法，并结合示例分析了Python多进程抓取网站内容相关的实现技巧和操作注意事项。你可以参考

　　本文介绍了在Python多进程模式下获取Fund 网站内容的方法。与您分享以供参考，如下所示：

　　在上一篇文章//// article / 16241 8. htm中，我们已经简要了解了“ python的多进程”，*敏*感*词*网站的内容（第28页）作为一种多过程方法。

　　由于该过程越少越好，我们计划在三个过程中实施它。这意味着：将总共28个要抓取的页面分为三个部分。

　　如何划分？

　　

# 初始range

r = range(1,29)

# 步长

step = 10

myList = [r[x:x+step] for x in range(0,len(r),step)]

print(myList) # [range(1, 11), range(11, 21), range(21, 29)]

　　根据上面的代码，我们将1〜29分为三个部分，列表中的三个范围。

　　2、还记得我们获取了Fund 网站内容的getData（）函数吗？

　　

def getData(start, end):

for x in range(start, end+1):

# 去第几页 输入框

tonum = driver.find_element_by_id("tonum")

# 去第几页 提交按钮

jumpBtn = driver.find_element_by_id("btn_jump")

tonum.clear() # 第x页 输入框

tonum.send_keys(str(x)) # 去第x页

jumpBtn.click() # 点击按钮

WebDriverWait(driver, 20).until(lambda driver: driver.find_element_by_id("pager") \

.find_element_by_xpath("span[@value={0} and @class!='end page']".format(x)) \

.get_attribute("class").find("at") != -1)

# 保存抓取到的html内容

# 保存到html目录下

with open("./htmls/{0}.txt".format(x),"wb") as f:

f.write(driver.find_element_by_id("tableDiv").get_attribute("innerHTML").encode("utf8"))

f.close()

　　该函数有2个参数：起始页码和结束页码，即从起始页到结束页。

　　这两个参数实际上是范围。

　　按如下所示修改getData（）函数（参数不同）：

　　3、创建一个进程并将目标设置为上面的getData（）：

　　

# 初始range

r = range(1,int(total_page)+1)

# 步长

step = 10

myList = [r[x:x+step] for x in range(0,len(r),step)] # 把页面分段

# 创建进程

processList = []

if __name__ == "__main__":

for r in myList:

p = Process(target=getData,args=(r,))

processList.append(p)

# 开始执行进程

for p in processList:

p.start()

　　有三个要分别获取的过程。

　　4、多进程抓取资金网站多页内容的完整代码：

　　

# coding: utf-8

from selenium import webdriver

from selenium.webdriver.support.ui import WebDriverWait

from selenium.webdriver.support import expected_conditions

from multiprocessing import Process

driver = webdriver.PhantomJS(executable_path=r"你phantomjs的可执行文件路径")

# 请求一个网址

driver.get("http://fund.eastmoney.com/fund.html")

page_text = driver.find_element_by_id("pager").find_element_by_xpath("span[@class='nv']").text

total_page = ''.join(filter(str.isdigit,page_text)) # 得到总共有多少页

# 循环抓取网页内容的函数

def getData(myrange):

for x in myrange:

# 去第几页 输入框

tonum = driver.find_element_by_id("tonum")

# 去第几页 提交按钮

jumpBtn = driver.find_element_by_id("btn_jump")

tonum.clear() # 第x页 输入框

tonum.send_keys(str(x)) # 去第x页

jumpBtn.click() # 点击按钮

WebDriverWait(driver, 20).until(lambda driver: driver.find_element_by_id("pager") \

.find_element_by_xpath("span[@value={0} and @class!='end page']".format(x)) \

.get_attribute("class").find("at") != -1)

# 保存抓取到的html内容

# 保存到html目录下

with open("./htmls/{0}.txt".format(x),"wb") as f:

f.write(driver.find_element_by_id("tableDiv").get_attribute("innerHTML").encode("utf8"))

f.close()

# 初始range

r = range(1,int(total_page)+1)

# 步长

step = 10

myList = [r[x:x+step] for x in range(0,len(r),step)] # 把页面分段

# 创建进程

processList = []

if __name__ == "__main__":

for r in myList:

p = Process(target=getData,args=(r,))

processList.append(p)

# 开始执行进程

for p in processList:

p.start()

　　对于对Python相关内容感兴趣的读者，请查看此站点的主题：“ Python进程和线程操作技能摘要”，“ Python数据结构和算法教程”，“ Python函数使用技能摘要”， “ Python字符串”操作技巧摘要”，“ Python简介和高级经典教程”，“ Python + MySQL数据库编程简介”和“ Python通用数据库操作技巧摘要”

　　我希望本文能对您的Python编程有所帮助。