excel抓取网页数据(从豆瓣获取数据建立SQLite数据库的数据采集工作原理)

　　excel抓取网页数据(从豆瓣获取数据建立SQLite数据库的数据采集工作原理)

　　主要内容：

　　从豆瓣获取数据

　　创建SQLite数据库并将爬取的数据存储在数据库中

　　用FLASK开发web应用，即数据可视化

　　前两点主要是关于爬虫的知识，第三点是关于数据可视化的前端内容。本篇博客将主要写爬虫。

　　爬虫：为什么要学爬虫 学习爬虫，可以自定义一个搜索引擎，可以更深入的了解搜索引擎的数据采集的工作原理。简单来说，就是在学会了爬虫的​​编写之后，就可以利用爬虫自动采集网上的信息，采集返回相应的存储或处理。当需要检索一些信息时，只需要从采集返回的信息中检索，即实现了私有搜索引擎。当然，如何抓取信息，如何存储，如何进行分词，如何进行相关性计算等等，都需要我们自己设计。爬虫技术主要解决信息爬取问题。在大数据时代，进行数据分析，我们首先要有数据源，学习爬虫可以让我们获得更多的数据源，而这些数据源可以根据我们的目的采集，去除很多不相关的数据。在进行大数据分析或数据挖掘时，可以从一些提供数据统计的网站中获取数据源，也可以从某些文献或内部数据中获取数据源，但有时获取数据的方式非常困难。很难满足我们对数据的需求，手动从网上搜索这些数据需要耗费太多精力。此时，我们可以利用爬虫技术从互联网上自动获取我们感兴趣的数据内容，并将这些数据内容爬回作为我们的数据源，从而进行更深层次的数据分析，获取更有价值的信息。准备好工作了 而学习爬虫可以让我们获得更多的数据源，这些数据源可以根据我们的目的是采集，去除很多不相关的数据。在进行大数据分析或数据挖掘时，可以从一些提供数据统计的网站中获取数据源，也可以从某些文献或内部数据中获取数据源，但有时获取数据的方式非常困难。很难满足我们对数据的需求，手动从网上搜索这些数据需要耗费太多精力。此时，我们可以利用爬虫技术从互联网上自动获取我们感兴趣的数据内容，并将这些数据内容爬回作为我们的数据源，从而进行更深层次的数据分析，获取更有价值的信息。准备好工作了 而学习爬虫可以让我们获得更多的数据源，这些数据源可以根据我们的目的是采集，去除很多不相关的数据。在进行大数据分析或数据挖掘时，可以从一些提供数据统计的网站中获取数据源，也可以从某些文献或内部数据中获取数据源，但有时获取数据的方式非常困难。很难满足我们对数据的需求，手动从网上搜索这些数据需要耗费太多精力。此时，我们可以利用爬虫技术从互联网上自动获取我们感兴趣的数据内容，并将这些数据内容爬回作为我们的数据源，从而进行更深层次的数据分析，获取更有价值的信息。准备好工作了 而这些数据源可以根据我们的目的是采集，去掉很多不相关的数据。在进行大数据分析或数据挖掘时，可以从一些提供数据统计的网站中获取数据源，也可以从某些文献或内部数据中获取数据源，但有时获取数据的方式非常困难。很难满足我们对数据的需求，手动从网上搜索这些数据需要耗费太多精力。此时，我们可以利用爬虫技术从互联网上自动获取我们感兴趣的数据内容，并将这些数据内容爬回作为我们的数据源，从而进行更深层次的数据分析，获取更有价值的信息。准备好工作了 而这些数据源可以根据我们的目的是采集，去掉很多不相关的数据。在进行大数据分析或数据挖掘时，可以从一些提供数据统计的网站中获取数据源，也可以从某些文献或内部数据中获取数据源，但有时获取数据的方式非常困难。很难满足我们对数据的需求，手动从网上搜索这些数据需要耗费太多精力。此时，我们可以利用爬虫技术从互联网上自动获取我们感兴趣的数据内容，并将这些数据内容爬回作为我们的数据源，从而进行更深层次的数据分析，获取更有价值的信息。准备好工作了 在进行大数据分析或数据挖掘时，可以从一些提供数据统计的网站中获取数据源，也可以从某些文献或内部数据中获取数据源，但有时获取数据的方式非常困难。很难满足我们对数据的需求，手动从网上搜索这些数据需要耗费太多精力。此时，我们可以利用爬虫技术从互联网上自动获取我们感兴趣的数据内容，并将这些数据内容爬回作为我们的数据源，从而进行更深层次的数据分析，获取更有价值的信息。准备好工作了 在进行大数据分析或数据挖掘时，可以从一些提供数据统计的网站中获取数据源，也可以从某些文献或内部数据中获取数据源，但有时获取数据的方式非常困难。很难满足我们对数据的需求，手动从网上搜索这些数据需要耗费太多精力。此时，我们可以利用爬虫技术从互联网上自动获取我们感兴趣的数据内容，并将这些数据内容爬回作为我们的数据源，从而进行更深层次的数据分析，获取更有价值的信息。准备好工作了 很难满足我们对数据的需求，手动从网上搜索这些数据需要耗费太多精力。此时，我们可以利用爬虫技术从互联网上自动获取我们感兴趣的数据内容，并将这些数据内容爬回作为我们的数据源，从而进行更深层次的数据分析，获取更有价值的信息。准备好工作了 很难满足我们对数据的需求，手动从网上搜索这些数据需要耗费太多精力。此时，我们可以利用爬虫技术从互联网上自动获取我们感兴趣的数据内容，并将这些数据内容爬回作为我们的数据源，从而进行更深层次的数据分析，获取更有价值的信息。准备好工作了

　　代码

<p>1# iml

2#encoding=&#x27;utf-8&#x27;

3from bs4 import BeautifulSoup #网页解析，获取数据

4import re #正则表达式，进行文字匹配

5import urllib.request,urllib.error #指定URL，获取网页数据

6import xlwt #进行excel操作

7import sqlite3 #进行SQLite数据库操作

8

9def main():

10 baseurl="https://movie.douban.com/top250?start="

11 datalist = getdata(baseurl)#获取数据存入列表

12 #savepath="豆瓣电影Top250.xls"#xls文件路径

13 dbpath="movie.db"#SQlite数据库路径

14 #saveData(datalist,savepath)#保存数据到xls文件

15 savedata2db(datalist,dbpath)#保存数据到数据库

16

17 #创建正则表达式对象，表示规则（字符串的模式）

18#影片详情链接的规则

19findLink = re.compile(r&#x27;<a href="(.*?)">&#x27;)

20#影片图片

21findImgSrc = re.compile(r&#x27;