excel抓取多页网页数据(如何做出好看的哔哩哔哩read_html()的基本语法 )

　　excel抓取多页网页数据(如何做出好看的哔哩哔哩read_html()的基本语法

)

　　#如何制作好看的Excel可视化图表（小白也可以免费制作视觉炫酷的可视化图表）

　　更多精彩，请点击跳转我的哔哩哔哩

　　read_html()及其参数的基本语法：

　　pandas.read_html(io,match='.+',flavor=None,header=None,index_col=None,skiprows=None, attrs=None,

parse_dates=False, thousands=', ', encoding=None, decimal='.', converters=None, na_values=None,

keep_default_na=True, displayed_only=True）

　　参数注释

　　我

　　接收 URL、文件、字符串

　　解析日期

　　解析日期

　　味道

　　解析器

　　标题

　　标题行

　　飞艇

　　跳过行属性，例如attrs = {'id': 'table'}

　　案例 1：爬取世界大学排名（第 1 页上的数据）

　　# 导入库

import pandas as pd

import csv

# 传入要抓取的url

url1 = "http://www.compassedu.hk/qs"

#0表示选中网页中的第一个Table

df1 = pd.read_html(url1)[0]

# 打印预览

df1

# 导出到CSV

df1.to_csv(r"C:\Users\QDM\Desktop\世界大学综合排名.csv",index=0,encoding = "gbk")

# 或导出到Excel

df1.to_excel(r"C:\Users\QDM\Desktop\世界大学综合排名.xlsx",index=0)

　　预览要爬取的数据：

　　

　　示例2：抓取新浪财经基金重仓股数据（共6页数据）

　　import pandas as pd

import csv

df2 = pd.DataFrame()

for i in range(6):

url2 = "http://vip.stock.finance.sina.com.cn/q/go.php/vComStockHold/kind/jjzc/index.phtml?p={page}".format(page=i+1)

df2 = pd.concat([df2,pd.read_html(url2)[0]])

print("第{page}页抓取完成".format(page = i + 1))

# 保存到CSV

df2.to_csv(r"C:\Users\QDM\Desktop\新浪财经数据.csv",encoding = "gbk",index=0)

# 保存到Excel

df2.to_excel(r"C:\Users\QDM\Desktop\新浪财经数据.xlsx",index=0)

　　预览前10条数据：

　　

　　示例3：抓取证监会披露的IPO数据（共217页数据）

　　# 导入所需要用到的库

import pandas as pd

from pandas import DataFrame

import csv

import time

#程序计时

start = time.time()

#添加列名

df3 = DataFrame(data=None,columns=["公司名称","披露日期","上市地和板块","披露类型","查看PDF资料"])

for i in range(1,218):

url3 = "http://eid.csrc.gov.cn/ipo/infoDisplay.action?pageNo=%s&temp=&temp1=&blockType=byTime"%str(i)

#必须加utf-8，否则乱码

df3_1 = pd.read_html(url3,encoding = "utf-8")[2]

#过滤掉最后一行和最后一列（NaN列）

df3_2 = df3_1.iloc[1:len(df3_1)-1,0:-1]

#新的df添加列名

df3_2.columns=["公司名称","披露日期","上市地和板块","披露类型","查看PDF资料"]

#数据合并

df3 = pd.concat([df3,df3_2])

print("第{page}页抓取完成".format(page = i))

#保存数据到csv文件

df3.to_csv(r"C:\Users\QDM\Desktop\上市公司IPO信息.csv", encoding = "utf-8",index=0)

#保存数据到Excel文件

df3.to_excel(r"C:\Users\QDM\Desktop\上市公司IPO信息.xlsx",index=0)

end = time.time()

print ("共抓取",len(df3),"家公司," + "用时",round((end-start)/60,2),"分钟")

　　

　　可见，1分56秒爬下217页4340条数据，完美！接下来，我们预览一下爬取的数据：

　　

　　**温馨提示：**不是所有的表都可以用read_html()抓取。列表列表格式。

　　这种形式不适合read_html()爬取，必须使用selenium等其他方法。