网页新闻抓取(一个典型的新闻网页包括几个不同区域(图)! )
优采云 发布时间: 2021-09-12 16:13网页新闻抓取(一个典型的新闻网页包括几个不同区域(图)!
)
我们之前实现的新闻爬虫运行后很快就可以爬取大量的新闻网页。数据库中存储的网页的html代码并不是我们想要的最终结果。最终结果应该是结构化数据，至少包括url、标题、发布时间、正文内容、来源网站等
因此，爬虫不仅要做下载任务，还要做清理和数据提取任务。所以，写爬虫是综合能力的体现。
一个典型的新闻页面包括几个不同的区域：
我们要提取的新闻元素收录在：
导航栏区域和相关链接区域的文字不属于新闻元素。
新闻的标题、发布时间、正文内容一般都是从我们爬取的html中提取出来的。如果只是网站的一个新闻页面，提取这三个内容很简单，写三个正则表达式就可以完美提取了。但是，我们的爬虫抓取了数百个网站 网页。为这么多不同格式的网页编写正则表达式会很累，而且一旦网页稍作修改，表达式可能会失效，维护这组表达式也很累。
当然，穷尽的方法我们想不出来，还得探索一个好的算法来实现。
1.标题提取
标题基本出现在html标签中，但也附加了频道名称、网站名等信息；
标题也会出现在页面的“标题区域”中。
那么这两个地方哪里更容易提取标题呢？
网页的“标题区”没有明显标识，网站“标题区”的html代码部分差别很大。所以这个区域不容易提取。
只剩下标签了。这个标签很容易提取，无论是正则表达式还是lxml解析。频道名、网站名等信息怎么去掉也不容易。
我们先来看看，标签中的所有附加信息是这样的：
观察这些标题，不难发现新闻标题、频道名称和网站名之间存在一些连接符号。然后我可以通过这些连接器拆分标题，并找出最长的部分是新闻标题。
这个想法也很容易实现。这里就不写代码了，留给小猿作为思考练习自己去实现。
2.发布时间提取
发布时间是指该网页在网站上线的时间。一般会出现在文本的标题下——元数据区。从html代码来看，这个区域并没有什么特别的地方可供我们定位，尤其是在很多网站板子面前，几乎不可能定位到这个区域。这就需要我们另辟蹊径。
和标题一样，我们来看看一些网站的发布时间是怎么写的：
这些写在网页上的发布时间都有一个共同的特点，就是一个代表时间、年、月、日、时、分、秒的字符串，无非就是这些元素。通过正则表达式，我们列出一些不同时间表达式的正则表达式（也就是几个），然后我们就可以从网页文本中匹配提取发布时间。
这也是一个很容易实现的想法，但是细节比较多，应该尽量覆盖表达。写一个这样的函数来提取发布时间并不是那么容易的。小猴子们充分发挥自己的动手能力，看看能写出什么样的函数实现。这也是小猿的一种练习。
3.文本提取
正文（包括新闻图片）是新闻网页的主要部分。视觉上占据中间位置，是新闻内容的主要文本区域。提取文本的方法有很多，实现起来复杂而简单。本文介绍的方法是基于老猿猴多年实践经验和思考的一种简单快捷的方法。我们称之为“节点文本密度方法”。
我们知道，一个网页的HTML代码是由不同标签组成的树状结构树构成的，每个标签都是树的一个节点。通过遍历这个树结构的每个节点，找到文本最多的节点，就是文本所在的节点。按照这个思路，我们来实现代码。
3.1 实现源码
<p>#!/usr/bin/env python3
#File: maincontent.py
#Author: veelion
import re
import time
import traceback
import cchardet
import lxml
import lxml.html
from lxml.html import HtmlComment
REGEXES = {
'okMaybeItsACandidateRe': re.compile(
'and|article|artical|body|column|main|shadow', re.I),
'positiveRe': re.compile(
('article|arti|body|content|entry|hentry|main|page|'
'artical|zoom|arti|context|message|editor|'
'pagination|post|txt|text|blog|story'), re.I),
'negativeRe': re.compile(
('copyright|combx|comment||contact|foot|footer|footnote|decl|copy|'
'notice|'
'masthead|media|meta|outbrain|promo|related|scroll|link|pagebottom|bottom|'
'other|shoutbox|sidebar|sponsor|shopping|tags|tool|widget'), re.I),
}
class MainContent:
def __init__(self,):
self.non_content_tag = set([
'head',
'meta',
'script',
'style',
'object', 'embed',
'iframe',
'marquee',
'select',
])
self.title = ''
self.p_space = re.compile(r'\s')
self.p_html = re.compile(r'
