【大数据爬虫技术是做哪些的】

　　大数据是女性！爬虫是男同学！黑客是强奸犯，深度好文

　　在黑科技、爬虫、大数据领域深度技术研制领域，爬虫和黑客使用的技术虽然是一样的并且又有区别的，爬虫和黑客的区别在那里呢 ？大数据、爬虫、黑客有哪些关系呢？

　　黑客和爬虫最大的区别就是行为目的不同，黑客是干坏事，爬虫是干好事。因为黑客和爬虫使用的技术都是差不多，都是通过计算机网络技术进行对用户笔记本、网站、服务器进行入侵之后获取数据信息。区别是黑客是非法入侵，爬虫是合法入侵。比如黑客通过破解网站后台验证码技术之后模拟登录网站数据库，把数据库删除或则直接更改人家数据库，这种是非法入侵，破坏性行为、*敏*感*词*。 同样也是破解验证码技术，但是爬虫就不同了，比我须要获取个别政府网站的一些公开数据，但是每次都须要输入验证码很麻烦，为了增强数据剖析的工作效率，爬虫技术也是通过绕开验证码技术去采集网站公开、开放的数据，不会获取隐私不公开的数据。 如果把数据比喻女性，爬虫和黑客是女人，那么爬虫是男同学，是在正当合法、名正言顺的情况下和女的发生了关系，然而黑客不同，黑客就是强奸犯了，因为女的不是自愿的，黑客是强制性，甚至用暴力来和女的发生关系。这个就是黑客和爬虫的本质不同地方，虽然采用类似的技术手段来获取数据，但是采取的技术行为和最终造成的后果性质是不同的。一个是违规须要承当法律后果，一个是国家支持鼓励的是合法的。不管是爬虫还是黑客技术 都是一个工具而已，就像是柴刀一样，有人拿去切肉，有人拿去杀人，那*敏*感*词*是好还是坏呢，其实*敏*感*词*只是一个工具而已，好坏在于使用者的行为的结果

　　爬虫-谢天谢地您来了，好开心啊 黑客- 恶魔，离我远一点！给我滚！

　　2012年国家都不断对数据进行开放，中央要求每位政府单位必须把大家才能开放的数据开放下来，主要是中国在大力发展大数据科技产业，也就是我们常常看到的各类所谓专家、教授口里常常喊的数字产业化，数字中国，数字经济、大数据、人工智能、区块链等各类潮流高档词汇。那大数据和爬虫有哪些关系呢？以下从几个案例举例介绍：

　　人脸辨识： 您做人工智能是须要大数据的，举个反例您想做一个手动辨识人脸的人工智能机器。您首先须要依照人脸生物特点构建AI模型，然后须要几千万或则几十亿张人脸图片进行不断的训练这个模型，最后才得到精准的人脸辨识AI。几十亿的人脸图片数据那里来呢？ *敏*感*词*局给你？不可能的！一张张去照相？更不现实啦！ 那就是通过网路爬虫技术构建人脸图像库，比如我们可以通过爬虫技术对facebook、qq头像、微信头像等进行爬取，来实现完善十几亿的人脸图象库。企业大数据：去年有个同学使我通过爬虫技术帮他完善1亿的企业工商数据库，因为他须要做企业剖析、企业画像，需要晓得每位城市的新注册企业多少、科技创新企业多少、企业中报、企业人才急聘、企业竞品、企业的融资风波、上市风波等等企业全部60个经度经度的数据，然后剖析企业的各类行为，最终做决策辅助使用。需要完成这个任务，其实我们就须要晓得，国家工商局早早就把企业工商数据公示了，而且还做了一个全省企业信息公示系统，让你们都可以查询各个公司的数据。居然数据源早已解决了，当时我就在想，如果有人早已把这种数据都聚合在一起那就更好了，但是最后发觉 天眼查、企查查、企信宝虽然早已帮我做了好多事情了。

　　最后我花了1个星期时间用python写了一套企业工商大数据网路爬虫系统，快速爬取企业工商数据信息，并且用mysql构建标准的企业大数据库。裁判文书大数据：自从国家英文裁判文书对外开放以后，经常好多有创新看法同学找我帮忙，他们有些想做一个*敏*感*词*的判例剖析系统，因为现今好多*敏*感*词*在判案的时侯都是须要查阅各类历史类似*敏*感*词*，之前的判官都是如何判的。然后做一些借鉴。现在有大数据好了，如果通过AI技术手动把*敏*感*词*文案扫描进去，然后通过裁判文书数据库进行深度剖析匹配，马上下来类似的判例结果下来，并按*敏*感*词*相恋度进行排序，最终产生一套法务判例AI智能系统。然后把这个系统提供给*敏*感*词*、法官、*敏*感*词*、税务所用。那么问题来了，需要实现这个第一步首先您须要有裁判文书大数据库，然后在数据库基础上构建一个案例剖析AI模型，其中须要用到爬虫技术来解决裁判文书数据源获取和更新问题，然后须要用到文本剖析技术、文本情感辨识技术、文本扫描剖析技术。我当时采用是一套国内的框架tensorFlow，这是一套由英国google brain研制下来的开源机器学习库，专门做深度学习、神经网路技术、模型训练框架。因为裁判文书爬虫须要解析算出它的DOCID值，然后通过多进程+多线程+cookie池技术来解决批量爬取的问题。

　　商标专利大数据：那么商标和专利和大数据又有哪些关系？和爬虫又扯上哪些关系呢？在中国聪明人虽然是不少的。商标和专利这个应当是太老土的过期成语，但是常常创新只是改变一下我们的思维、或者按照环境变化进行变革一下即可。因为有了大数据，有了政府开放数据，有大数据深度挖掘技术，有了AI人智能，有了5G，那么之前我们采用的工具和模式都须要调整了。在从事AI和大数据路上还是遇见不少有创新和智慧的人爬虫技术，有三天有一个陌生好友加我，问我说可以帮他做一个商标专利大数据吗？ 我问他哪些是商标专利大数据，他说就是监控商标网和专利网的实时更新数据，我只要有一套AI技术系统，可以实*敏*感*词*，我可以把这个弄成一个大数据平台专门服务于那个做知识产权企业和做国家财税补助申请机构，那通过这个数据，很多投资机构也可以合作把握什么企业在生产未来具有前景的产品。

　　关于专利和商标大数据还有一个更聪明的人也是私聊我，同样问题，问他怎样盈利，做这种数据做什么，他说诸如我如今晓得有大公司在申请一个商标叫“麦当劳”，那么我马上就申请一个叫“迈当老”谐音的商标，那么这个大公司的商标麦当老肯定会做大，品牌的， 我的那种译音的“迈当老”就值钱了，就可以卖个几十万都行的。我问他 这样紧靠名子算算侵权吗？ 他说国家规定的 只要是同一年时间申请的，之后使用都不算是侵权。最后也是通过构建一套大数据AI爬虫系统帮助他实现了这个功能。最后不知道他营运怎么了。欢迎对大数据挖掘和AI感兴趣同事交流我qq：2779571288税务大数据： 因为国家*敏*感*词*对对开放，可以在网上查询到什么企业欠税，哪些企业税务异常了。 那么那些东西又有什么用呢？怎么又和大数据产业牵涉上了吗，不就是查询一下什么企业欠税而已嘛。这个很多人就不懂了，或者看不透了，这个须要用大数据产业化思维，在大数据时代，每个数据都是财富，数据就价值，您想不到说明的还没有发觉奥秘，如果您想到了恐怕其实就过时了，就像电商时代一样。税务大数据主要是给做财税、代理记账、*敏*感*词*用的。做财务的公司每晚都想知道什么企业欠税了、出现税务异常了，您公司出现税务异常肯定是须要找财务公入帮忙处理，这个就是商业核心点所在，那么完善完这个税务大数据系统，就可以解决所有财税公司、代理记帐公司的客源问题。

　　那问题又来来，数据都是从*敏*感*词*下来的，*敏*感*词*要这个数据干哪些呢？ 现在国家非常强化“互联网+监管，互联网+环境，互联网+治安”，数据源其实是*敏*感*词*下来的，但是用原始数据进行提炼再去结合其他数据就是爆发出各类火花了。 税务数据结合+企业工商信息数据产生一个闭环税务监管大数据系统。欢迎对大数据挖掘和AI感兴趣同学交流我qq：2779571288

　　更多的大数据你们发展和未来，大家可以网上搜索“xx市政府开放数据平台”，就可以看见我们国家几乎每位县都构建了一个政府大数据共享开放的平台。每个县都有，如果您区没有这个政府开发数据平台，那就是您这个区没有跟上节奏。政府在努力的不断开放数据爬虫技术，就是大力发展大数据产业、激发传统企业变革。实现数字化中国、数字经济化、数字产业化。大数据。

　　最后推荐目前流行的几个大数据深度学习、神经网路技术框架给您，也是我常常使用做大数据剖析、深度爬虫的框架。

　　1 CAff

　　2 Tensorflow

　　3 Pytorch

　　4 Theano

　　5 Keras

　　6 MxNet

　　7 Chainer

　　这些框架各有优势，根据自己的喜好来，我个人是比较喜欢使用

　　Tensorflow、 CAff、 Keras。欢迎对大数据挖掘和AI感兴趣同学交流我qq：2779571288