写爬虫,用哪些编程语言好,python好吗

优采云 发布时间: 2020-06-23 08:01

  用Python写爬虫就太low?你赞成嘛?为何不建议使用python写爬虫呢网络爬虫用什么语言写,是有哪些诱因吗,难道用python写爬虫不好吗?

  之前换了份工作,不再是单纯的Web开发了,要学习的东西真的很多的。入职的第1天,就让我入手写个爬虫,只是这个爬虫没有采集几个亿数据量的业务场景。

  于是,整理了下需求,简单的设计了下方案就草草开始了。小B是我学院时侯的同事,那天这哥们约我喝水,想看下能够顺带介绍几个姑娘。酒过三巡,不胜酒力,于是便聊起了近来的工作。

  当他知晓我居然在写爬虫,便起了同情之心,觉得我怀才不遇。仿佛写爬虫是件太低级太low的技术活。在他那家公司,招进来的实习生就多多少少会点爬虫,什么nodejs、golang,哪个不是爬虫的好手。没想到我结业多年,竟然沦落到做实习生的工作,可悲可泣。

  接着建议我转入Java阵营,如果到他公司去,多多少少也能混个主任的职位。搞得自己只能一番苦笑。

  不知道从何时起,程序员的世界流行起了鄙视链这玩意。什么写C语言的厌恶写C++,写C++的厌恶写Java的,最后鄙视链最高端是PHP。具体是如何的关系,就不再揣测了。

  

  写爬虫,用哪些编程语言好,python好吗

  然而,纵观整个行业,都说Python火。具体有多火,看培训机构的广告就晓得了。在16年之前,Python还是1个若不见经传的词组,之后各家培训机构铺天盖地的广告,什么大数据、自动化运维全都跟Python扯上了关系。毕业学生工资更是达到了50-100W,还老是招不到人。

  更有意思的是,学Python最容易上手的过程就是写爬虫。什么Scrapy、Pysider是必学,HTML、Javascript是重点,外带几个豆瓣、花瓣网的实战案例,让你一下子才能解决企业的刚需。

  这样说来,难怪连实习生也能跟你抢饭碗了,技术发展的很快,各种框架构建的结果是释放人力,降低成本。

  据我了解,Python的优势集中于数据剖析、信息安全那些领域。你可能听说过Hadoop、Spark、Tensorflow这种高大上的名词,但是对于数据取证、DLL注入等内容可能从无听闻。举个简单的事例,在数据取证中,由于*敏*感*词*人员不配合检测机关的工作,通过数据取证技术我们可以进行一些信息的提取,从而辅助否认其*敏*感*词*记录,如获取系统密码、浏览器中帐号及密码。

  听起来觉得很高大上的,但是假如我跟你说其过程就是对sqlite3文件数据库查询一下SQL,不知道你会不会认为上述取证的事例顿时很low的。但是,当你不留神把陌陌消息的图片删除想寻回的时侯,或许你能在Python中找到对应的方案,而其他的语言还真没发觉有合适的。

  于是,我开导他说,搞完这波爬虫骚操作,下一次就是数据剖析了,你看不有前进了一步?

  还数据剖析,你似乎想的很远的。小B打断了我的话,你认为人家会使你搞数据剖析,没有数据何来的剖析。况且,没有哪家公司会笨到把所有数据都曝露在互联网上。你能看到的只是那冰山的一角。即使你想深入进去,没有分布式技术支撑和几十个亿的数据业务,你简历上也不会有亮点。

  然后,又聊到他公司近日招了个大数据的开发,薪资比他还要高出一大截,但是技术却不咋地。我从小B的话里听出了一丝揶揄了。于是,又教唆我不要再搞哪些爬虫了,还是搞Spark才有未来。既不用害怕大深夜服务挂了,又不用害怕完不成采集数量。完全是实打实的数据,何乐而不为呢?

  这话听得我都有点动心了,没有攀比就没有伤害。但是一想到Java是加班加点工作,我还是打消了这个念头。

  我不知道该说些哪些,只是认为时间过得太慢,是种熬煎。于是只能扯开了话题,免得喝顿饭都艰难。

  结语

  技术没有low不low,没有烂的技术,只有不会用的人。重要的是人家能给你多少钱,你能弄成如何的结果。

  这年头会有多少公司乐意给实习生税后1W+的起薪,而这一切都只是份养活自己的技能而已,别把面子很当回事。

  写爬虫,用哪些编程语言好,python好吗,其实编程的路上只在于擅长,没有所谓的行不行,如果不擅长,就是给您好用的编程语言也没有疗效,如果想要学编程,那就关注IT培训网网络爬虫用什么语言写,让我们一起走入编程的世界!

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线