神奇:大家觉得优采云采集器怎么样?好的地方在哪里,不好的地方在哪里?
优采云 发布时间: 2022-10-20 01:13神奇:大家觉得优采云采集器怎么样?好的地方在哪里,不好的地方在哪里?
谢谢邀请回答。我用优采云很久了,在知乎上也写过各种答案。包括其他软件的使用,我什至可以写国内采集行业的行业竞争分析报告(别问我为什么不写,因为我懒,因为我'被领导扔进了PPT狗,没时间……_(:з」∠)_)。
) }! 或者,~:I4 H!P 如果不从竞品分析报告的角度来讨论优采云的优缺点,那就说说用户体验吧。9 y+ e) i% ~6 u2 t' ^0 L- w) K4 W
) u* n% e3 V7 是
6^3 T,[9 T8 F5 S5 P
9^; |7 K1 swo
7 L) Z* Us8 j* D: h
2 m8 ?# E# w! @2 ^5 K2 j
) d! d: 我: \( k/ y4 l7 x
' RN1 L: g4 U; G0 }
首先我个人用过优采云、优采云采集器、优采云浏览器、Jisoke采集器、优采云采集器、其他一些鲜为人知的采集器(比如origin、前端嗅探数据等),我会用Python写基础爬虫(包括Scrapy框架和简单分布式,我是产品狗,编码能力是很一般),总结一下,大部分主流的data采集工具都不同程度的尝试和感受过。所以在我看来,它不会像新手用户,也不会像大技术专家。这是一个折衷的产品。
/w6 Gn5 T0 ^* Q$ [遵循优采云优势:7 V: Y5 R+ }& r( x8 h) A
1.小白用户福音(好用,易找规则,可视化界面,易学易模仿)-p,t0 L5 Z9 k。^
如果我是新手,对 Html 和 Http 协议不太了解,那么在阅读了上面提到的所有工具后,我可能会做出这样的选择:'k'e,^5 H'V'T&\1\+ j(c
什么是新手用户:
- O3 U; n/ d# r 总结一下,第一大师没钱,第二大师不懂技术,第三大师还要数据。最简单和最便宜的省钱方法是使用 优采云,几乎没有其他选择。为什么?% k7 P1 n$ c# n0 V( U
# 秒。我: _!W3 |4 r7 A4 ?# az; i( Y3 ]7 j
7 n0 A1 t+ Y' x5 m0 P( E0 Yw* a/ X4 z2 p
优采云采集器(499元起)你得用老版本免费导出csv,excel不行,新版本连这个都不能导出。优采云浏览器要付费(2180元起),不然不行,学习成本有点高。其他几个采集工具比较难或者没有办法导入规则,网上销售也没有规则。优采云采集虽然可以免费采集一些数据,但也需要导出。是收费的,如果数据很多,需要单独下载数据导出工具。8 E4 B0 K& X9 a8 J+ l
7 f( l1 V! M0 R, z- O4 E/ u0 _
V9 W0 L5 }" X. j' e$ d) W
9 v( W6 U/ a# gX& l优采云如何省钱?完美信息1000分,每日签到30分,在线下一条规则或买一条规则,剩余积分足够获得初始stage采集现在,如果有些积分充不上,可以按需使用,也可以导出到excel或者数据库。
( F}" J) e* _' z/ }1 Tb2 O2,可以直观的看到网页的变化,无论是测试还是采集%`6 e9 i9都容易避坑^" d4 \
很多人说,优采云采集器采集快,优采云慢,弱。不可否认的是,优采云采集器可以采集数据而不用完全显示页面。这样做的好处是介于爬虫和优采云之间,速度确实比较快。但缺点是它必须拼写自己的 URL!拼出网址!拼出网址!本来优采云可以一键搞定,因为优采云看不到,只能去浏览器看页面代码。我采集的时候看不到网页的变化,所以只能看到xxx条数据,上面写着采集。说实话,每次测试优采云都让我头疼,谁知道采集我看了很多,所有数据是否正确,也看不到页面的具体变化。。 .
“W9 |” D|' Z:t8`!Q" v# o你说你一开始写优采云规则的时候,你可以在测试中看到,嗯,是的,你可以看到,但是网站都是傻子吗?让你采集的网站的数量越来越少,我给你一个403或者动辄加验证。条件判断呢?优采云怎么会有这样的一个东西……优采云虽然很慢,但是你可以看看测试过程中页面的变化,除了问题可以追溯调整,否则就慢慢哭吧。” F& sm0 M6 b0 d) ~, R/ ?
( v0 l# ^% m/ E! h8 ]8 N/ D/ M' [
- U3 e/ }' q2 u9 L1 t# D9 i
tb/ ?- 一世。M6 I3 P的另一个优点是,看数据嗖嗖嗖嗖上来的感觉有多爽我就不说了.... p- y* `+ m, E, M8 m$ R5O; F
3. 快写规则 - U# N+ b1 ~4 O. b
新手用户忘掉,像我们这样有一定经验的用户,写优采云规则,比如汽车之家某车型的所有评论的采集文章规则,第一次写需要40分钟。可能你会问,这东西要拖这么久,你弱……我的解释是汽车之家使用ajax加载,有些页面需要分析“下一页”的跳转链接定位,避免死循环翻页时也存在页面丢失的问题。第一次编写规则时,需要一次检查一页的xpath位置,并在单机上进行测试。所以其实大部分时间都花在了分析页面上,写规则的时间其实只有十分钟。如果使用优采云或者其他工具,会很头疼…… 10分钟怎么匹配url,ajax加载的问题,老免费版的优采云根本解决不了,新版要买premium json解析好办。即便如此,你还是得抓包想办法把URL组合起来……除非你是老鸟,否则谁敢说第一次写完这个规则30到40分钟就能解决? 优采云 不说了,先学js再写,再看开发文档……0h+^!P6}#^! V9s 谁敢说第一次写完这个规则30到40分钟就能解决?优采云 不说了,先学js再写,再看开发文档……0h+^!P6}#^! V9s 谁敢说第一次写完这个规则30到40分钟就能解决?优采云 不说了,先学js再写,再看开发文档……0h+^!P6}#^! V9s
其他优点我就不说了。请自行探索。说多了会被怀疑软文。& [+ _" x" R% [3 ~9 I]a
去大家喜欢看的批斗会吧:,e8]:z&d1]" K1 x!i)g
1.莫名其妙的错误,简单粗暴的解决方法。D7 g9]。d6 |0 Q) l( N$ f
如果我只是从 0 开始写一个规则,通常不会有问题,但是当我修改或复制规则的某些部分并添加到另一个规则时,有时会出现一些莫名其妙的问题。例如,规则的逻辑结构显示无序,规则执行错误等,尤其是在逻辑判断中加入更多的规则时,很容易出现无序的情况。+ E5 \" d& f3 A$ {% Q
解决方法很简单,全部删除,按照新思路制定新规则.... {* bD1 U' o7 B
2、云采集不是号称快10倍,多IP吗?为什么感觉这么慢
8 N+ g+ J4 Q;q7 F- \* ?5 e 这是很多人的误解。Cloud 采集 运行有 10 个节点,但它应该无法随时达到 10 个节点,也不能达到 10 个节点。那是10个IP。所以速度不一定是10倍的速度,但是真心希望自己能有10个节点,10个IP,而且最好选择多久换IP,这样可以解决很多烦人的采集问题,这些功能很多 收钱很正常。
& G# g4 b! 米!o* n0 m/ ]3、云采集数据丢失问题
; C+ C6 r&c; a' c/ W8 x& u( ]因为看不到云的具体运行过程采集,也没办法去追查,丢了哪些数据,哪些页面没有了采集完全不知道,最好有云采集每个节点的详细运行日志,方便用户导出查看。
0转!○。MH; E+ O4,自动IP代理何时可用:\4 s6 k# [4 Fs; `!W+你
目前除了云端采集(不知道IP切换要多久),本机单机采集只能写代理服务器IP和端口进来,所以网上买自动切换代理的唯一办法就是不方便重新填写IP。优采云官网说这些功能即将加入。让我们等着看。无论如何切换IP并不容易。9 K) c2 X, t: a, I- ~
这里有个邪门的方法……买一台可以在线快速切换IP的VPS主机,然后让优采云在上面运行单机,就可以实现IP自动切换。记得买自动IP切换,PPPOE拨号切换不行,因为优采云没有这个自动拨号功能。
0 @7 ?; E:F4 o6 o5,最后的批评,即某些情况下没有优采云采集器easy+ o# }$ q" A:^'h; G+ \, |
优采云采集器的以下功能,优采云的产品经理需要思考优采云现在是否可用,如何简化操作。- N/^7 P, p3 U. o5 zK7 I
' [* ]2 d6 l* K 所谓人是不完美的,没有机器是完美的,也没有理想的采集器。如果我必须选择,我会先使用 优采云,然后使用 优采云 弥补,其余的由 Python 代码处理。优采云? 我用Py写代码不花钱,优采云这样的东西有什么用... (^* b) i: \* x: wt) C
最后,宣传一下我的博客:
秘密武器:究极好用的谷歌关键词工具——KWfinder
关键词我们聊了很多工具,比如GKP、MOZ的关键词浏览器和超强大的SECockpit,但一拳最喜欢的是芒果的KWfinder。
只有一个原因,它非常有用。
界面简单而强大。
下面是详细教程:
工具地址:点击进入后是这样的:
界面非常简单。一般情况下,我们直接在搜索框中输入主词,其他选项默认保留,然后点击查找关键字(绿色按钮):
(当然,如果你的产品或服务是针对特定国家和语言的,任何地方,任何语言,你也可以选择,这个也可以在进入下一页后选择。)
点击查找关键字后,我们会跳转到结果页面:
如您所见,页面右侧提供了我们输入的主要单词的详细信息:
其中,SEO难度表示词的操作难度。难度范围为1-100。该值越低,该词获得谷歌首页排名的难度就越小。一般来说,难度在30以上的单词比较容易操作,45左右的单词基本都比较难。如果他们在60以上,我们基本上可以放弃。
每月搜索量显示该词在过去 12 个月中的平均每月搜索量。从这里,我们可以看到这个词在一年内的搜索趋势。将鼠标移到上方可查看特定月份的详细搜索量。
SEO难度和月搜索量下方显示的是搜索词在谷歌首页上排名的网页信息,包括:网页URL、DA、PA、MR(mozrank)、MT(moztrust)、links(指向本站外部)网页)链接数),FB(网页在Facebook上分享的次数),Rank(这个网页的竞争力,值越高,网页越难被超越!),Est。访问量(估计每个月这个词的浏览量),这个词的平均搜索量几乎是一个月600,在谷歌第一页的排名可以分为178)
页面左侧是主要术语的相关搜索词:
排名基于搜索量和竞争难度。流量越高,竞争越少的词排名越高。这比GKP好很多。毕竟GKP显示的词只是基于相关性,意义不大。.
从这里,我们可以查看每个词条的搜索趋势、具体的搜索量、CPC(点击出价,可以反映转化率)、PPC(广告竞争),最重要的是难度。
然后,点击某个特定的词,可以查看更详细的信息(同样显示在页面右侧,与主词相同),如下:
最后,如果有特殊要求,您不仅可以选择特定的国家和语言,还可以选择自动编译和提问:
Autocomplate 提供完全收录主要术语的搜索提示。
Questions 呈现与主词相关的疑问词,通常是how to 和what is 等词。
这样,KWfinder 就很详细了。其实没必要,因为这些功能很简单,自己找就可以了。
相比MOZ的词库太小,GKP不能根据比赛和搜索量来排列提示词,SECockpit太复杂,kwfinder可以说是最好用的。
不过,唯一的缺点就是太贵了。最低配置49美元:(目前不需要团购,这个工具注册后,换一个ip可以查5次,换一两个ip基本就够了。)
所以众筹!如果有人想用这么好的工具,我们可以一起购买。
49美元不仅仅是一个KWfinder,而是mangools的整个SEO工具包,包括关键词排名跟踪工具,超强大的外链发现工具(非常强大,比AH更容易找到外链),SERP分析工具. 所以,请随时联系一泉老师。
一泉博客,版权所有丨如果没有注明,都是原创丨这个网站是BY-NC-SA协议授权,请注明极好用的谷歌关键词工具-KWfinder !