推荐2款爬虫神器,小白也能一键采集数据

优采云 发布时间: 2022-06-25 01:06

  推荐2款爬虫神器,小白也能一键采集数据

  采集步骤

  步骤一、打开优采云采集器,输入网址

  1、在首页输入网址 #mid=522557230162、点击【开始采集】,优采云自动打开网页

  PS:打开网页后,如果开始【自动识别】,请点击【不再自动识别】将其关掉。因为本采集场景不适合使用【自动识别】,或者你也可以先探索【自动识别】的功能再参考本步骤

  

  步骤二、选择需要采集的字段和内容

  1、选中页面上1个文章列表(注意一定要选中整个列表,包含所有所需字段)2、在*敏*感*词*操作提示框中,点击【选中子元素】3、点击【选择全部】4、点击【采集数据】这一步骤可以采集字段:文章标题、文章链接、阅读数、评论数

  

  步骤三、点击文章链接进入详情页,采集正文和图片

  1、点击文章链接进入详情页

  在当前文章列表中(在网页中用红色框框起来的),选中文章标题,在操作提示框中点击【点击该链接】,点击后自动进入该文章详情页。

  

  2、采集文章详情页中的字段

  选中页面中的文章标题然后在操作提示框中,点击【采集该元素文本】。

  按照同样方法采集作者、发布时间、正文。

  

  步骤四、编辑字段

  进入【提取数据】设置页面,修改字段名称,此步骤也可删除多余字段、移动字段顺序等。

  

  步骤五、设置页面滚动

  进入【打开网页】设置页面,点开【页面加载后】,设置【页面加载后向下滚动】,滚动方式为【向下滚动一屏】,【滚动次数】为8次,【每次间隔】1秒 并保存。

  步骤六、启动采集

  1、单击【采集】并【启动本地采集】。启动后优采云开始自动采集数据。

  

  2、采集完成后,选择合适的导出方式导出数据。支持导出为Excel、CSV、HTML、数据库等。这里导出为Excel。数据示例:

  拿到了数据就可以开始各种数据分析了。

  03

  

  这是我今天用优采云采集器拿到的2017年以来每天的猪肉价格数据我对猪肉价格数据比较感兴趣,也经常关注猪价走势就直接做个数据采集和可视化,想通过猪肉价格的趋势看看最赚钱猪周期究竟有多赚钱,后续价格走势如何,为养猪户和猪肉概念股票重仓提供数据预判。最新数据:2020年7月10日,据农村农业部检测,全国农产品批发市场猪肉平均价格为48.02元/公斤。猪肉价格再涨,最赚钱猪周期会持续多久,让我们拭目以待。

  

  04

  

  还有一款好用的数据采集器,下期再介绍,如果你比较感兴趣,可扫二维码关注,消息更新后会自动给你发送。

  也许你还感兴趣……

  觉得有用,请点这里↓↓↓

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线