网页表格抓取(如何获取表格信息之前？库怎么用方法？)

　　网页表格抓取(如何获取表格信息之前？库怎么用方法？)

　　一、背景

　　在日常的数据分析工作中，我们经常会寻找数据来源。所以经常会看到网页表格信息，不能直接复制到excel表格中。为了快速获取网页中的表单信息，对其进行分析汇总，最后向上级汇报。所以我们需要思考如何更方便快捷地获取信息。当然，正常的网页爬取也是可行的，但是比较复杂。这里我们使用pandas库来操作，爬表很容易。

　　二、必备知识

　　在开始获取表信息之前，需要了解一些pandas的方法。pandas库的文档可以参考：

　　1、pandas.DataFrame.to_csv 方法：以csv格式保存数据

　　DataFrame.to_csv(self, path_or_buf=None, sep=', ', na_rep='', float_format=None, columns=None, header=True, index=True, index_label=None, mode='w', encoding=None, compression='infer', quoting=None, quotechar='"', line_terminator=None, chunksize=None, date_format=None, doublequote=True, escapechar=None, decimal='.')

　　2、pandas.read_html 方法：将HTML网页中的表格解析为DataFrame对象并返回列表。详情：#pandas.read_html

　　pandas.read_html(io, match='.+', flavor=None, header=None, index_col=None, skiprows=None, attrs=None, parse_dates=False, thousands=', ', encoding=None, decimal='.', converters=None, na_values=None, keep_default_na=True, displayed_only=True)

　　三、 爬取表数据

　　1、分析网站

　　本例的网站地址为：世界大学排名网站，地址见代码。经过分析，网站的请求方式为GET，爬取难度较小。

　　

　　然后，定位并获取表数据。

　　

　　最后，代码实现了表格数据的爬取。

　　import pandas as pd

import requests

from fake_useragent import UserAgent

import random

from lxml import etree

'''请求头函数'''

def agent():

ua = UserAgent()

# 随机选择chrome、ie、firefox请求头

useragent = random.choice([ua.chrome, ua.ie, ua.firefox])

headers = {

'User-Agent': useragent,

'Referer': 'https: // cn.bing.com /'

}

return headers

'''解析网页数据'''

def parse_html(url):

try:

resp = requests.get(url, headers=agent())

# 将编码方式设置为从内容中分析出的响应内容编码方式

resp.encoding = resp.apparent_encoding

if resp.status_code == 200:

tree = etree.HTML(resp.text)

# 定位获取表格信息

tb = tree.xpath('//table[@id="rk"]')

# 将byte类型解码为str类型

tb = etree.tostring(tb[0], encoding='utf8').decode()

return tb

else:

print('爬取失败')

except Exception as e:

print(e)

def main():

url = 'http://www.compassedu.hk/qs_'

tb = parse_html(url)

# 解析表格数据

df = pd.read_html(tb, encoding='utf-8', header=0)[0]

# 转换成列表嵌套字典的格式

result = list(df.T.to_dict().values())

# 保存为csv格式

df.to_csv('university.csv', index=False)

print(result)

if __name__ == '__main__':

main()

　　结果显示：

　　

　　四、分析表数据信息

　　1、编码格式转换

　　表格数据虽然已经保存到本地.csv文件，但是用excel打开时发现是乱码，用代码编辑器打开时显示正常。是什么原因？事实上，这非常简单。当您按下代码时，您经常会遇到编码问题。只需改变excel的编码方式，保存为excel格式的数据文件即可。

　　首先，创建一个 university.xlsx 文件，然后打开它。在工具栏“数据”中找到“从text/csv导入数据”，选择数据源文件，即网上爬取的university.csv数据文件。最后点击“导入”

　　

　　选择文件编码方式，这里是utf-8的编码方式。这里，默认情况下，csv中的数据是用逗号分隔的，所以不需要选择。最后，点击加载。

　　

　　2、数据分析

　　现在数据已经全部正常显示在excel表格中了，接下来点击“插入”数据透视表，或者使用快捷键ctrl+q。最后点击确定。

　　

　　然后，在数据透视表中进行调整，分析数据并得出结论。

　　

　　最后，对于数据量不是很大的情况，利用excel的数据透视表功能灵活处理、分析、展示数据信息也是一种非常高效的方法。