技巧:干货丨推荐大数据情报分析师必备的30种实用工具
优采云 发布时间: 2022-11-29 00:34技巧:干货丨推荐大数据情报分析师必备的30种实用工具
有人说,除非您从中获得有价值的见解,否则数据本身是无用的。如何将数据转化为有用的信息?如何将信息加工成系统智能?最强干货内容,今日开启。从四个角度推荐数据检索、数据采集、数据转换和数据分析。
数据检索
01 热点信息实时追踪
百度指数:基于百度海量互联网用户行为数据的数据共享平台,让你“吃瓜”更自如!在这里,您可以研究热搜关键词搜索趋势,洞察网民兴趣和需求,监测舆情动向,定位受众特征。
网址:/v2/index.html#
02 地图数据在线查询
天图:国家测绘地理信息局建设的地理信息综合服务网站。涵盖森林覆盖率、自然保护区、人均收入等大数据专题信息统计,提供权威、规范、统一的在线地理信息综合服务。
网址:
03 企业信用网上查询
国家企业信用信息公示系统/天眼查/七渣查/Crunch Base:想了解企业内部运作情况吗?以上网站可以帮助您获得全方位的企业信息查询、风险监测预警、企业信用分析等。
/index.html
04 个人信用网上查询
中国执法信息公开网/中国裁判文书网/地方人才服务中心:都说法律面前人人平等。通过上述网站,您可以查询被执行人信息记录或*敏*感*词*判决中是否涉及个人。您可以检查它是好是坏。知道。
数据采集
网络爬虫工具
优采云
/Jisouke/优采云
Collector:以上网页爬虫工具适合新手使用。无需编码即可实现网页数据采集,提供高级模式、定时云采集等功能,可实时获取动态数据并定时导出数据至数据库或任何第三方平台。
" />
数据转换
01 文本格式转换
I LOVE PDF:一个完全免费在线转换 PDF 的网站。它提供多种在线转换类型,简单的界面,以及每个转换工具的详细说明,使用起来非常简单。
网址:/zh-cniLovePDF
02 OCR表单数据分析
智器云OCR表格数据分析:专注于银行对账单表格识别,快速准确扫描识别银行对账单信息元素,形成可编辑的结构化数据,毫秒级响应,识别准确率高达99%。
日常图文识别:可以直接使用微信和QQ客户端的截图功能,选择识别图文即可,方便快捷。
03 音频识别工具
讯飞讯:科大讯飞专业的文字转文字和翻译服务,支持13种语言的录音转文字,中英文转录准确率高达97.5%。通过可信云认证,保护用户个人隐私数据。
网址:
数据分析
01 文本分析工具
火图/微词云/艺术字:作为文本分析工具,以上工具可以实现微词云、文本分析、可视化呈现等功能,支持关键词提取和文本信息转换。其中火图是一款桌面软件,后两者是在线网站。
/index.html#/fireDiagram?id=33310
02 地图数据分析工具
Map lab:高德旗下一款数据可视化展示和分析软件。通过数据录入,快速生成各类可视化分析图。仅在热图上,它包括基本热图和多边形热图。、行政区划热力图等
网址:
03 图像数据在线分析
Bigjpg:在线图片无损放大工具,免费版可以将图片放大2-4倍,可以选择不同程度的图片降噪,升级后最大放大16倍。支持 Windows、Mac 和 Android 客户端。
EXIFdata:在线图片真伪判断,查询图片详细信息汇总,如文件权限、大小、GPS坐标(如果有)等,最终识别图片是否为原图。
Forensically:一个基于网络的免费图像分析工具,可用于检测克隆、错误级别分析、图像元数据、噪声分析、水平扫描等,是对 EXIFdata 功能的补充。
29a.ch/photo-forensics/#forensic-magnifier
04 多维数据可视化分析工具
锐眼:国内一线*敏*感*词*最常用的情报分析软件,常用于单兵作战和*敏*感*词*分析。帮助用户对资金、流量、票据等进行可视化分析,内嵌近百种分析模型,可实现“一键分析”。
月光宝盒:适合团队协作的智能数据库系统,可对不同来源的数据进行批量清洗、存储和管理,便于案例数据的沉淀,实*敏*感*词*眼无缝对接,帮助团队共享资源,协同分析破案。
火魔:面向有数据分析需求的分析师,是一款通用的单机数据建模系统,面向千万级全业务领域。帮助用户告别重复建模的困境,在短时间内实现动态建模和智能分析。
/index.html#/fireEye?id=3334
/index.html#/moonBox?id=3335
/index.html#/fireModel?id=3336
05 开源情报分析工具
Maltego:一个跨平台的信息采集
工具,主要用于开源情报和取证。它功能强大,自动化程度非常高,无需复杂的命令即可轻松完成信息采集。
UserSearch:免费使用,是最全面、最准确的用户名和电子邮件地址在线搜索引擎之一。它已经运行超过 15 年,是一个巨大的用户搜索平台。
ScamSearch.io:个人诈骗者和诈骗网站的全球数据库,涉及加密货币诈骗、电子邮件、社交网络、线下诈骗、电话诈骗等。
Spiderfoot:免费侦察工具,可自动查询100多个公共数据源,有利于深入发现可能的数据泄露、漏洞或其他敏感信息。
/index.php
骗局
选择一个好用的网站/工具,可以让我们少走很多弯路。这些年和数据打交道,很多生产力都被它们解放了,希望也能对你有所帮助。
经验:想要「知识管理」?这里有大而全的指南
我们的信息来源
互联网已经发展了十多年,积累的信息已经达到了数万条。我们每天都被一些无用的信息所淹没,比如朋友圈、微博、订阅的公众号。我们也天天看知乎。简书等等。当然,我们可以从网络的各个角落获取信息。我们看待事物的方式有很多种,但越来越难筛选出对我们有用的事物。但是效率君认为,当你越来越注重内容的时候,你的Timeline就会越来越乱。
为什么我们需要知识管理?
或者有时候我们看到了很棒的内容,但是我们没有时间去阅读,所以我们把日常生活中发现的好东西采集
整理起来,以备日后学习或搜索,所以我们需要用科学的方法来管理知识。
所以接下来,我会教大家如何过滤信息,选择优质的内容社区,然后采集
对以后搜索管理有用的内容,还有很多智能工具可以助你一臂之力。
优质内容社区
RSS 馈送器
RSS实际上是一种新闻源格式规范。当然,还有很多第三方客户端。您可以使用它来订阅感兴趣网站的博主或博客。订阅后,您可以检查更新,而无需每次都打开它。网站读取内容,但是如果你想订阅博客,你需要知道这个网站的RSS URL,所以推荐一个神器。
RSS 订阅扩展
RSS Subscription Extension是谷歌推出的RSS订阅辅助插件。它可以添加RSS feeds,但它可以帮助你更好地了解你感兴趣的东西。有了这个插件,当你浏览有feeds的网站/博客时,它会自动识别,插件会高亮显示,你可以点击添加,也可以添加多个订阅选项(如Feeldy,邮件订阅),下次看到要订阅的内容,直接点击会跳转到你选择的订阅网站,就可以阅读内容了,非常方便。PS:国内所有浏览器都支持。
喂食
Feedly 是一种 RSS 订阅服务。在后谷歌阅读器时代,它取代了它的作用。支持几乎所有的RSS订阅,可以将你看到的文章分享到Evernote、Pocket等众多服务;有了Feedly,你可以不用天天看博客;国内不能访问的博客也可以选择Feedly。
当然,Feedly在国内还是有点难用的。推荐InoReader体验一下。当然,还有适用于 iOS/Mac 的 Reader 和适用于 Android 的 Press。如果使用网页版添加,也可以直接用上面提到的插件添加RSS。
除了上面手动添加的RSS,当然效率君还推荐了几个内容优质的社区
获取内容是有办法的,但是日复一日,很多订阅的东西都在盒子下面,所以我们要经常清理一些因为冲动而订阅的话题,就像经常修剪花枝一样,以免被无用的内容打扰。
最喜欢的内容工具
这位效率君最有话语权,无论你想采集哪里的内容,都能得心应手。
我们常常是偶然发现了好文章,却没有时间看,等以后想找的时候又找不到了。这时候,我们需要稍后阅读它们。这些工具有很多。主要有两个流派,一个是以Pocket为代表的国外的,一方面我们国内市场已经出现了类似的工具,使用体验也不错,所以今天推荐给大家。这些工具不仅有App客户端,还有网页采集工具,有的还可以采集微博、微信。文章真的很用心,很符合中国用户的需求。
" />
IFTTT
与IFTTT合作实现自动化
它的功能和它的名字很像,If xxx Then xxx; 如果你这样做,那么就这样做;例如,如果天气多云,给你的女朋友发短信,当然还有你的父母。
不仅如此,IFTTT上有数百种服务,极大地解放了我们的生产力,我们还可以浏览其他热门链接,提高生活和学习的效率。
许多效率工具都支持 IFTTT。例如,如果您使用 RSS 客户端,则该集合将保存在 Pocket 中。还有日历、天气、阅读、社交媒体等,都可以连接到IFTTT。上面还可以看到专家的搭配,真的不用一个一个去手动存链接。
更多玩法,效率君会在以后的文章中介绍,敬请关注。
360doc web 抽象手
360doc 文摘是一款文章采集工具。
您可以将找到的好文章、图片和视频采集
到您的图书馆中。
并且一键保存,以后不会丢失,还可以分类管理。
支持多种浏览器插件,只需拖拽即可采集
,方便快捷。它还具有 iPad、iPhone 和 Android 版本。并多平台同步。
口袋
Pocket的原名是Read It later,就是以后再看是对的。口袋就是这样一个功能。当你在网上看到一篇好文章,来不及看,或者太长,可以先保存到Pocket,等等。以后有时间再看看;Pocket简洁的设计,清爽的界面,让人看着很舒服;Pocket通过标签管理不同的文章,还可以加点赞,还可以将看过的文章存档;Pocket最大的特点是,对原有的网页进行了重新排列,让我们不再为网页繁琐而烦恼。并且还支持离线缓存,可以在地铁上阅读长文,在国外作为后期阅读的代表,使用量比较大。
当然还有Readablity,Instapaper也做类似的工具。
立方体集合
方片集是一款帮你整理碎片化知识的神器工具。可以帮你采集图片、文字、视频、链接等,还可以帮你采集网页内容、视频内容,支持一键发送到手机。当然,您也可以手动创建内容。还支持多平台实时同步,让您随时随地阅读查看。支持安卓/iOS/网页。
趣味云书签
" />
手趣云书签是一款类似于口袋的以后阅读应用。它可以自动监控你复制的连接,还可以批量导入微信、微博、kindle内容。可以标记内容状态,设置不同文件夹,支持离线阅读。您还可以添加注释和设置高亮显示。还增加了对国内很多网站的优化。
浏览器书签
浏览器是我们每天都在使用的工具。我建议电脑和手机使用同一个浏览器。iPhone/Mac可以使用Safari,有条件可以使用Chrome。当然UC和360都有浏览器,这样我们就可以多平台同步了,尤其是我们浏览内容和采集
的时候。如果我们想在其他平台上观看,可以先临时采集
,浏览器的书签也有添加标签、搜索等功能。
微信采集
微信是我们每天都在使用的工具。它不仅仅是一个聊天工具。事实上,我们用它来提高我们生活和工作的效率。
微信采集
是微信自带的功能。您可以保存您看到的文章、链接、图片、表情符号、文本和语音。
而且现在新版本还具有添加备注的功能,可以添加图片、地址、文件、语音。
搜索功能可以按类型/标签搜索,搜索不需要等待,用户体验真的很棒。
也可以手动添加标签,也可以在电脑上的微信客户端查看。
存档内容以便于搜索
印象笔记
印象笔记可以看作是一个个人图书馆,不同平台上最终筛选出来的内容都可以放在印象笔记中。
它不仅是一个笔记工具,还具有多平台支持,而且功能强大,所有平台同步一致。
除了简单的笔记创建,你还可以创建待办事项列表,支持添加文字、手写、语音、附件、照片等。
它还带有内置的浏览器剪辑、全平台覆盖和内容扫描。
关键是强大的搜索功能,每篇文章的内容都可以搜索到,这一点没那么强大。
而且,对接各种第三方工具也非常方便。无论是网页、手机还是微信,你看到的一切都可以一键保存到印象笔记。它就像您的图书馆,您可以将看到的内容存储在其中,以备日后查看。
您还可以与团队同事协作处理文档。
除了印象笔记,还可以使用OneNote,有道云笔记也可以作为归档工具,看个人喜好。
所以总结一下全文
// 本文部分内容参考维基百科,少数派