采集文章内容(打开头条不同栏目文章对比一下news_financenews)

优采云 发布时间: 2021-09-30 13:44

  采集文章内容(打开头条不同栏目文章对比一下news_financenews)

  本文章解释的优采云采集今日头条文章的方法是关注专栏采集,如热点、科技、娱乐、游戏、金融等等。打开标题对比不同的栏目,可以看到它们后缀的区别是news_(*)来区分不同的栏目。以下是科技部分的演示。如果要采集其他栏目文章,把news_tech下面的代码全部换成财经等其他栏目对应的代码,改成news_finance。

  今日头条优采云采集器中的文章 第一步填写如下格式,需要拼接列表页和内容页,然后请求内容,as和cp参数必须是,这两个参数会发生变化(变化是因为可以得到不同的文章列列表页面),所以需要构造这两个参数。

  1、列表页格式:

https://m.toutiao.com/list/?tag=news_tech&ac=wap&count=20&format=json_raw&max_behot_time=0&as=A165EE21707908E

&cp=5E1009A0D8AE0E1

2、内容页格式:

https://www.toutiao.com/i11111111111111111111/?channel=news_tech&W2atIF=1

  第一步,list页面中的as和cp需要自己实现。下面借用网上的代码。这里的操作方法是本地服务器。每次运行以下代码文件时,都会生成不同的 as 和 cp。值,然后将结果输出到E盘的根目录(这种处理方法的目的是将其作为文件导入到优采云的第一步中)。关于如何设置本地服务器,点击链接进入即可查看。然后使用刷新软件定时,设置50秒到180秒的时间间隔刷新得到as和cp不同的值,时间长短自己设置。使用不同的as和cp值,列会生成不同的文章,这样你就可以随时采集到不同的文章内容。

<p>

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线