文章采集api(批量采集“虎嗅”的文章到自己网站的应用)
优采云 发布时间: 2021-10-26 03:03文章采集api(批量采集“虎嗅”的文章到自己网站的应用)
现在有这样一个需求:批量采集微信公众号文章给自己网站,批量采集“虎嗅”文章给自己网站 . 主要障碍之一是我们的网站中无法显示原创图片地址。
他们利用HTTP请求头中的referrer值,即请求的来源,来判断是否返回数据,以达到防盗的目的。一些直播源也使用这种方法来防止非法卖淫。我们需要知道的是,我们的网站通常会在发起http请求时自动将referrer设置为网站地址。
下面的方法主要是全局添加几个meta标签来设置默认的referrer值,以免请求原图数据时提供网站地址的来源,避免原网站反-leech设计,但是这部分依赖这个原理辅助统计的第三方推广链接非常不利,甚至可能会被判定为无效,导致无法获得佣金。
折中的方法是将微信公众号文章和采集分到一个单独的分类中,只有当网站在这个分类元标签下显示文章时才添加。
// 其它自定义代码加到此行下面
add_action('wp_head', 'guihet_referrer');// 前端添加 referrer 标签
add_action('admin_head', 'guihet_referrer');// 后台添加 referrer 标签
function guihet_referrer(){
$catsy = get_the_category();
$myCat = $catsy[0]->cat_ID;
if($myCat===22) //分类 ID 为 22 的..
{
echo'';
echo'';
echo'';
}
}
代码添加到WP主题模板下functions.php文件的最后,这里根据实际情况更改类别ID。