推荐2款爬虫神器,小白也能一键采集数据
优采云 发布时间: 2022-06-25 01:06推荐2款爬虫神器,小白也能一键采集数据
采集步骤
步骤一、打开优采云采集器,输入网址
1、在首页输入网址 #mid=522557230162、点击【开始采集】,优采云自动打开网页
PS:打开网页后,如果开始【自动识别】,请点击【不再自动识别】将其关掉。因为本采集场景不适合使用【自动识别】,或者你也可以先探索【自动识别】的功能再参考本步骤
步骤二、选择需要采集的字段和内容
1、选中页面上1个文章列表(注意一定要选中整个列表,包含所有所需字段)2、在*敏*感*词*操作提示框中,点击【选中子元素】3、点击【选择全部】4、点击【采集数据】这一步骤可以采集字段:文章标题、文章链接、阅读数、评论数
步骤三、点击文章链接进入详情页,采集正文和图片
1、点击文章链接进入详情页
在当前文章列表中(在网页中用红色框框起来的),选中文章标题,在操作提示框中点击【点击该链接】,点击后自动进入该文章详情页。
2、采集文章详情页中的字段
选中页面中的文章标题然后在操作提示框中,点击【采集该元素文本】。
按照同样方法采集作者、发布时间、正文。
步骤四、编辑字段
进入【提取数据】设置页面,修改字段名称,此步骤也可删除多余字段、移动字段顺序等。
步骤五、设置页面滚动
进入【打开网页】设置页面,点开【页面加载后】,设置【页面加载后向下滚动】,滚动方式为【向下滚动一屏】,【滚动次数】为8次,【每次间隔】1秒 并保存。
步骤六、启动采集
1、单击【采集】并【启动本地采集】。启动后优采云开始自动采集数据。
2、采集完成后,选择合适的导出方式导出数据。支持导出为Excel、CSV、HTML、数据库等。这里导出为Excel。数据示例:
拿到了数据就可以开始各种数据分析了。
03
这是我今天用优采云采集器拿到的2017年以来每天的猪肉价格数据我对猪肉价格数据比较感兴趣,也经常关注猪价走势就直接做个数据采集和可视化,想通过猪肉价格的趋势看看最赚钱猪周期究竟有多赚钱,后续价格走势如何,为养猪户和猪肉概念股票重仓提供数据预判。最新数据:2020年7月10日,据农村农业部检测,全国农产品批发市场猪肉平均价格为48.02元/公斤。猪肉价格再涨,最赚钱猪周期会持续多久,让我们拭目以待。
04
还有一款好用的数据采集器,下期再介绍,如果你比较感兴趣,可扫二维码关注,消息更新后会自动给你发送。
也许你还感兴趣……
觉得有用,请点这里↓↓↓