文章采集内容(article-header跟广告在结构上的区别有什么区别？)

　　文章采集内容(article-header跟广告在结构上的区别有什么区别？)

　　我们以福克斯新闻网的文章为例，爬出整个文章。

　　首先是标题。从结构中可以看出，类为article-header的节点下h1中的内容为标题，dom节点中的文本内容可以通过string获取。

　　# 获取文章标题

alert_header = soup.find('header', class_="article-header").find('h1')

print(alert_header.string)

　　然后是身体。从结构中可以看出，类为article-body的节点下的p元素构成了body的内容，body下的所有节点都可以通过contents获取。然后遍历所有节点，打印出所有p个元素下的内容。

　　from urllib.request import urlopen

from bs4 import BeautifulSoup

url = urlopen('https://www.foxnews.com/tech/mom-received-dirty-diapers-amazon')

soup = BeautifulSoup(url, 'html.parser') # parser 解析

# 获取文章标题

alert_header = soup.find('header', class_="article-header").find('h1')

print("标题如下：")

print(alert_header.string)

# 获取文章正文

alert_body = soup.find('div', class_="article-body").contents # 所有body里的p节点

# 打印文章正文

print("正文如下：")

for i in alert_body:

if(i.name == "p"):

print(i.getText())

print()

　　运行效果图：如果中间有广告，可以看到文章文字的结构和广告的区别，然后进一步去除广告。