抓取网页新闻(GNE（GeneralNewsExtractor）方法增加host参数，用于提取新闻标题参数)

　　抓取网页新闻(GNE（GeneralNewsExtractor）方法增加host参数，用于提取新闻标题参数)

　　GNE(GeneralNewsExtractor)是一个综合新闻网站文本提取模块，输入一个新闻网页的HTML，输出文本中的文本内容、标题、作者、发布时间、图片地址和源代码文本所在的标签。GNE对今日头条、网易新闻、游民星空、观察者网、凤凰网、腾讯新闻、ReadHub、新浪新闻等数百条中文新闻网站的提取效果非常好，几乎可以达到100%准确性。.

　　使用非常简单：

　　from gne import GeneralNewsExtractor

extractor = GeneralNewsExtractor()

html = '网站源代码'

result = extractor.extract(html)

print(result)

　　GNE的输入是js渲染后的HTML代码，所以GNE可以配合Selenium或者Pyppeteer使用。

　　下图是GNE用Selenium实现的Demo：

　　

　　对应的代码是：

　　import time

from gne import GeneralNewsExtractor

from selenium.webdriver import Chrome

driver = Chrome('./chromedriver')

driver.get('https://www.toutiao.com/a6766986211736158727/')

time.sleep(3)

extractor = GeneralNewsExtractor()

result = extractor.extract(driver.page_source)

print(result)

　　下图是GNE用Pyppeteer实现的Demo：

　　

　　对应的代码如下：

　　在学习过程中有什么不懂得可以加我的

python学习资源qun，855408893

群里有不错的学习视频教程、开发工具与电子书籍。

与你分享python企业当下人才需求及怎么从零基础学习好python，和学习什么内容

import asyncio

from gne import GeneralNewsExtractor

from pyppeteer import launch

async def main():

browser = await launch(executablePath='/Applications/Google Chrome.app/Contents/MacOS/Google Chrome')

page = await browser.newPage()

await page.goto('https://news.163.com/20/0101/17/F1QS286R000187R2.html')

extractor = GeneralNewsExtractor()

result = extractor.extract(await page.content())

print(result)

input('检查完成以后回到这里按下任意键')

asyncio.run(main())

　　如何安装 GNE

　　现在您可以使用 pip 直接安装 GNE：

　　pip install gne

　　如果访问官方pypi源太慢，也可以使用网易源：

　　pip install gne -i https://mirrors.163.com/pypi/simple/

　　安装过程如下图所示：

　　

　　功能获取文本源代码

　　当extract()方法只传入网页源代码而不添加任何额外参数时，GNE返回以下字段：

　　有的朋友可能想获取新闻正文所在标签的源码。这时候可以将with_body_html参数传给extract()方法，设置为True：

　　extractor = GeneralNewsExtractor()

extractor.extract(html, with_body_html=True)

　　返回的数据中会添加一个字段body_html，其值为body对应的HTML源代码。

　　运行效果如下图所示：

　　

　　总是返回图像的绝对路径

　　默认情况下，如果新闻中的图片使用相对路径，则GNE返回的images字段对应的值也是图片的相对路径列表。

　　如果想让 GNE 始终返回绝对路径，那么可以在 extract() 方法中添加 host 参数，该参数的值为图片的域名，例如：

　　extractor = GeneralNewsExtractor()

extractor.extract(html, host='https://www.kingname.info')

　　这样，如果新闻中的图片是/images/pic.png，GNE会自动将其更改为。

　　指定新闻标题所在的 XPath

　　GNE 预定义了一组用于提取新闻标题的 XPath 和正则表达式。但是，一些特殊新闻网站 可能无法提取标题。在这种情况下，您可以为 extract() 方法指定 title_xpath 参数来提取新闻标题：

　　extractor = GeneralNewsExtractor()

extractor.extract(html, title_xpath='//title/text()')

　　尽早去除嘈杂的标签

　　一些新闻下可能会有长篇大论的评论。这些评论看起来“更像”新闻的正文。为了防止它们干扰新闻的提取，可以将noise_node_list参数传递给extract()方法，提前移动这些噪声节点。消除。noise_node_list 的值是一个或多个 XPath 的列表：

　　extractor = GeneralNewsExtractor()

extractor.extract(html, noise_node_list=['//div[@class="comment-list"]', '//*[@style="display:none"]'])

　　使用配置文件

　　API中的参数title_xpath、host、noise_node_list、with_body_html除了直接写在extract()方法中外，还可以通过配置文件进行设置。

　　请在项目的根目录中创建一个文件 .gne。配置文件可以是 YAML 格式，也可以是 JSON 格式。

　　

title:

xpath: //title/text()

host: https://www.xxx.com

noise_node_list:

- //div[@class=\"comment-list\"]

- //*[@style=\"display:none\"]

with_body_html: true

　　{

"title": {

"xpath": "//title/text()"

},

"host": "https://www.xxx.com",

"noise_node_list": ["//div[@class=\"comment-list\"]",

"//*[@style=\"display:none\"]"],

"with_body_html": true

}

　　这两个符号是完全等价的。

　　配置文件和extract()方法的参数一样，并不是所有的字段都需要提供。您可以组合并填写您需要的字段。

　　如果 extract() 方法和 .gne 配置文件中的参数具有不同的值，则 extract() 方法中的参数优先。

　　常见问题 GeneralNewsExtractor（以下简称GNE）是爬虫吗？

　　GNE 不是爬虫，它的项目名称 General News Extractor 代表 General News Extractor。它的输入是HTML，它的输出是一个收录新闻标题、新闻正文、作者、出版时间的字典。您需要找到自己的方式来获取目标页面的 HTML。

　　GNE 不会也不会在未来提供请求网页的功能。

　　GNE 支持翻页吗？

　　GNE 不支持翻页。因为GNE不提供网页请求的功能，所以需要自己获取每个页面的HTML，单独传给GNE。

　　GNE 支持哪些版本的 Python？

　　不少于 Python 3.6.0

　　我使用requests/Scrapy获取的HTML传入GNE，为什么不能提取body？

　　GNE 基于 HTML 提取文本，因此传入的 HTML 必须是 JavaScript 渲染的 HTML。但是，requests 和 Scrapy 只在 JavaScript 渲染之前获取源代码，因此无法正确提取。

　　此外，还有一些网页，比如今日头条，其新闻文本实际上是直接用JSON格式的网页源代码编写的。当页面在浏览器上打开时，JavaScript 将源代码中的文本解析为 HTML。在这种情况下，您不会在 Chrome 上看到 Ajax 请求。

　　所以建议大家使用 Puppeteer/Pyppeteer/Selenium 等工具来获取渲染后的 HTML 并传入 GNE。

　　如果你对Python感兴趣或者正在学习，可以加入我们的Python学习按钮qun：855408893，从0基础的python脚本到web开发、爬虫、django、数据挖掘数据分析等，0基础到实际的项目资料都有组织。献给每一位蟒蛇朋友！分享一些每天晚上需要注意的学习方法和小细节，学习路线规划，用编程赚外快。点击加入我们的python学习圈

　　GNE 是否支持非新闻网站（例如博客、论坛……）

　　不支持。