php如何抓取网页数据( 入门注册API怎么用NewYorkTimesAPI来收集头条新闻？)

　　php如何抓取网页数据(

入门注册API怎么用NewYorkTimesAPI来收集头条新闻？)

　　使用纽约时报 API 抓取元数据

　　

　　介绍

　　上周，我写了一篇关于抓取网络获取元数据的介绍，提到无法抓取纽约时报 网站。时报付费墙会阻止您采集基本元数据的尝试。但是有一种方法可以使用纽约时报 API。

　　最近我开始在 Yii 平台上建立一个社区站点，我将在以后的教程中发布。我想让添加与 网站 内容相关的链接变得容易。虽然人们很容易将 URL 粘贴到表单中，但同时提供标题和来源信息会变得很耗时。

　　因此，在今天的教程中，我将扩展我最近编写的抓取代码，以在添加 Times 链接时利用 New York Times API 来采集头条新闻。

　　请记住，我参与了下面的评论线程，所以让我知道您的想法！您也可以在 Twitter @lookahead_io 上与我联系。

　　开始注册 API 密钥

　　

　　首先，让我们注册申请一个 API Key：

　　

　　提交表格后，您将通过电子邮件收到您的密钥：

　　

　　探索纽约时报 API

　　

　　The Times 提供以下类别的 API：

　　很多。并且，在 Gallery 页面中，您可以单击任何主题以查看各个 API 类别文档：

　　

　　Times 使用 LucyBot 来支持他们的 API 文档，并提供了一个有用的常见问题解答：

　　

　　他们甚至向您展示了如何快速获取 API 使用限制（您需要插入密钥）：

　　 curl --head

https://api.nytimes.com/svc/books/v3/lists/overview.json?api-key=

2>/dev/null | grep -i "X-RateLimit"

X-RateLimit-Limit-day: 1000

X-RateLimit-Limit-second: 5

X-RateLimit-Remaining-day: 180

X-RateLimit-Remaining-second: 5

　　一开始我很难理解文档——它是基于参数的规范，而不是编程指南。但是，我将一些问题作为问题发布到了纽约时报 API GitHub 页面，它们得到了快速而有帮助的回答。

　　使用 文章 搜索

　　在今天的节目中，我将专注于使用《纽约时报》文章 搜索。基本上，我们将从上一个教程的扩展中创建一个链接表单：

　　

　　当用户点击 Lookup 时，我们将通过 Link::grab($url) 发出 ajax 请求。这是jQuery：

　　$(document).on("click", '[id=lookup]', function(event) {

$.ajax({

url: $('#url_prefix').val()+'/link/grab',

data: {url: $('#url').val()},

success: function(data) {

$('#title').val(data);

return true;

}

});

});

　　这是控制器和模型方法：

　　// Controller call via AJAX Lookup request

public static function actionGrab($url) {

Yii::$app->response->format = Response::FORMAT_JSON;

return Link::grab($url);

}

...

// Link::grab() method

public static function grab($url) {

//clean up url for hostname

$source_url = parse_url($url);

$source_url = $source_url['host'];

$source_url=str_ireplace('www.','',$source_url);

$source_url = trim($source_url,' \\');

// use the NYT API when hostname == nytimes.com

if ($source_url=='nytimes.com') {

...

　　接下来，让我们使用我们的 API 密钥发出 文章 搜索请求：

　　 $nytKey=Yii::$app->params['nytapi'];

$curl_dest = 'http://api.nytimes.com

/svc/search/v2/articlesearch.json?fl=headline&fq=web_url:%22'.

$url.'%22&api-key='.$nytKey;

$curl = curl_init();

curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);

curl_setopt($curl, CURLOPT_URL,$curl_dest);

$result = json_decode(curl_exec($curl));

$title = $result->response->docs[0]->headline->main;

} else {

// not NYT, use the standard metatag scraper from last episode

...

}

}

return $title;

}

　　它很容易工作 - 这是由此产生的标题（顺便说一句，气候变化正在杀死北极熊，我们应该关心）：

　　

　　如果您想从 API 请求中获取更多详细信息，只需在 ?fl=headline 请求中添加其他参数，例如关键字和lead_paragraph：

　　Yii::$app->response->format = Response::FORMAT_JSON;

$nytKey=Yii::$app->params['nytapi'];

$curl_dest = 'http://api.nytimes.com/svc/search/v2/articlesearch.json?'.

'fl=headline,keywords,lead_paragraph&fq=web_url:%22'.$url.'%22&api-key='.$nytKey;

$curl = curl_init();

curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);

curl_setopt($curl, CURLOPT_URL,$curl_dest);

$result = json_decode(curl_exec($curl));

var_dump($result);

　　结果如下：

　　

　　也许我会在接下来的几集中编写一个 PHP 库来更好地解析 NYT API，但是这段代码将关键字和前导段落分开：

　　Yii::$app->response->format = Response::FORMAT_JSON;

$nytKey=Yii::$app->params['nytapi'];

$curl_dest = 'http://api.nytimes.com/svc/search/v2/articlesearch.json?'.

'fl=headline,keywords,lead_paragraph&fq=web_url:%22'.$url.'%22&api-key='.$nytKey;

$curl = curl_init();

curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);

curl_setopt($curl, CURLOPT_URL,$curl_dest);

$result = json_decode(curl_exec($curl));

echo $result->response->docs[0]->headline->main.'<br />'.'<br />';

echo $result->response->docs[0]->lead_paragraph.'<br />'.'<br />';

foreach ($result->response->docs[0]->keywords as $k) {

echo $k->value.'

';

}

　　下面是它为这个 文章 显示的内容：

　　Polar Bears’ Path to Decline Runs Through Alaskan Village

The bears that come here are climate refugees, on land because

the sea ice they rely on for hunting seals is receding.

Polar Bears

Greenhouse Gas Emissions

Alaska

Global Warming

Endangered and Extinct Species

International Union for Conservation of Nature

National Snow and Ice Data Center

Polar Bears International

United States Geological Survey

　　希望这开始扩展您对如何使用这些 API 的想象。现在可能发生的事情非常令人兴奋。

　　当它结束时

　　New York Times API 非常有用，我很高兴看到他们将它提供给开发人员社区。通过 GitHub 获得如此快速的 API 支持也令人耳目一新——我只是没想到。请记住，它适用于非商业项目。如果您有一些赚钱的想法，请给他们发一封信，看看他们是否会与您合作。出版商渴望新的收入来源。

　　我希望您发现这些网络抓取片段很有帮助，并在您的项目中使用它们。如果你想看今天的节目，你可以在我的 网站 Active Together 上尝试一些网络抓取。

　　请在评论中分享任何想法和反馈。您也可以随时在 Twitter @lookahead_io 上直接与我联系。请务必查看我的讲师页面和其他关于使用 PHP 构建您的初创公司和使用 Yii2 编程的系列文章。

　　相关链接