网页新闻抓取(初学者fromemailimportemail.headerimportimport#定时模块)

　　网页新闻抓取(初学者fromemailimportemail.headerimportimport#定时模块)

　　我是新手，简单记录学校的作业项目。代码很简单，主要是我对各个库的理解，希望能给其他初学者一些启发。

　　一、项目要求

　　1、程序可以抓取北京工业大学主页的新闻内容：

　　2、程序可以将爬取的数据写入本地MySQL数据库。

　　3、程序可以将爬取的数据发送到邮箱。

　　4、程序可以定期执行。

　　二、项目分析

　　1、爬虫部分使用requests库爬取html文本，然后使用bs4中的BeautifulSoup库解析html文本提取需要的内容。

　　2、使用pymysql库连接MySQL数据库，创建表和插入内容。

　　3、使用smtplib库建立邮箱连接，然后使用email库将文本信息处理成邮件发送出去。

　　4、使用调度库定时执行程序。

　　三、代码分析

　　1、导入需要的库：

　　# 爬虫相关模块

　　导入请求

　　从 bs4 导入 BeautifulSoup

　　导入 pymysql

　　# 发送邮件相关模块

　　导入 smtplib

　　从 email.mime.text 导入 MIMEText

　　从 email.header 导入标头

　　*敏*感*词*时间

　　# 计时模块

　　*敏*感*词*时间表

　　2、获取html文件：

　　# 连接以获取 html 文本

　　def getHTMLtext(url):

　　尝试：

　　标头={

　　"user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, 像 Gecko) Chrome /80.0.3987.149 Safari/537.36",

　　} # 浏览器请求头

　　r = requests.get(url, headers = headers, timeout = 30) # 获取连接

　　r.raise_for_status() # 测试连接是否成功，如果失败，报异常

　　r.encoding = r.apparent_encoding # 解析编码

　　返回 r.text

　　除了：

　　返回 ””

　　必须添加请求头标头，否则在获取请求时会返回错误页面。

　　raise_for_status() 可以根据状态码判断连接对象的状态。如果成功，它将继续执行。如果连接失败，会抛出异常，所以被try-except捕获。

　　visible_encoding() 方法可以解析和确定可能的编码。

　　3、解析 html 以提取数据：

　　首先观察网页源代码，确定新闻标签的位置：

　　# 解析html提取数据

　　def parseHTML（新闻，html）：

　　soup = BeautifulSoup(html, "html.parser") # 获取汤

　　for i in soup.find(attrs = {'class' : 'list'}).find_all('li'): # 存储新闻的li标签

　　date = ipstring + '-' + ih2.string # 日期

　　href = ia['href'] # 链接

　　标题 = i.find('h1').string # 标题

　　content = i.find_all('p')[1].string # 大纲

　　news.append([date, href, title, content]) # 加入列表

　　可以看到，所有的新闻内容都存放在“list”类的div标签中，而每条新闻都存放在li标签中，所以使用find和find_all方法遍历所有的li标签。

　　每个li标签中a标签的href属性存储新闻链接，h1标签存储新闻标题，h2标签存储日期，第一个p标签存储年月，第二个p标签存储新闻摘要. 依次取出对应标签中的文字内容，将年、月、日依次拼接到新闻列表中。

　　4、存入数据库

　　# 保存到数据库

　　def toMysql（新闻）：

　　conn = pymysql.connect(host = 'localhost', port = 3306, user = 'root', passwd = '数据库密码', db = '数据库名称', charset = 'gbk', connect_timeout = 1000)

　　光标 = conn.cursor()

　　sql = '''

　　如果不存在则创建表 tb_news(

　　日期日期，

　　链接 varchar(400),

　　标题 varchar(400),

　　大纲 varchar(400))

　　'''

　　cursor.execute(sql) # 创建表

　　for new in news: # 循环存储数据

　　sql = '插入 tb_news（日期、链接、标题、摘要）值（%s、%s、%s、%s）'

　　日期 = 新 [0]

　　href = 新 [1]

　　标题=新[2]

　　内容=新[3]

　　cursor.execute（sql，（日期，href，标题，内容））

　　mit()

　　conn.close()

　　由于新闻中字数较多，可能会出现访问时出现乱码，数据存储时间过长等问题。它与数据库编码有关。您可以在 MySQL my.ini 配置文件中修改默认编码为 gbk。

　　5、发送电子邮件

　　＃ 发送电子邮件

　　定义发送邮件（新闻）：

　　from_addr = '发送电子邮件' # 发送电子邮件

　　password = '16-digit authentication code' #邮箱授权码

　　to_addr = '接收邮箱' # 接收邮箱

　　mailhost = '' # qq邮箱的smtp地址

　　qqmail = smtplib.SMTP() # 创建一个 SMTP 对象

　　qqmail.connect(mailhost, 25) # 25是SMTP常用端口

　　qqmail.login(from_addr, password) # 登录邮箱

　　内容=''

　　对于新消息：# 连接电子邮件内容字符串

　　content += '新闻时间：' + new[0] + '\n' + '新闻链接：' + new[1] + '\n' + '新闻标题：' + new[2] + '\n' + '新闻摘要：' + new[3] + '\n'

　　内容+= '================================================ == ===========================\n'

　　# 连接标题字符串

　　subject = time.strftime('%Y-%m-%d %X', time.localtime(time.time())) + '北京工业大学首页抓取时的主要新闻\n'

　　# 处理邮件格式

　　味精= MIMEText（内容，'普通'，'utf-8'）

　　msg['subject'] = 标题（主题，'utf-8'）

　　尝试：

　　qqmail.sendmail(from_addr, to_addr, msg.as_string())

　　print('发送成功')

　　除了：

　　print('发送失败')

　　qqmail.quit()

　　注意密码不是指邮箱的登录密码，而是指邮箱的smtp授权码。qq邮箱可以在设置中开启smtp服务，获取授权码。

　　6、主函数

　　＃ 主功能

　　定义主（）：

　　新闻= []