直观:数据分析领域用到的依赖模块-长风网(图)
优采云 发布时间: 2022-10-26 10:20直观:数据分析领域用到的依赖模块-长风网(图)
文章采集内容地址:长风网()笔者在数据分析方面起步相对较晚,大致在2010年前后开始接触爬虫和python开发爬虫。2013年开始自己尝试用python做网站开发,并一直使用至今。后来在数据挖掘领域,深度学习也是一大热门话题,长风网也是经常会参与到这个领域。网站开发领域,我接触的主要是linux平台和windows平台。
现在互联网上的诸多网站,大多以windows平台为主,而linux平台在数据分析领域使用的相对较少。linux系统和大多数编程语言一样,都需要装作一些依赖模块,下面是我在数据分析领域用到的依赖模块。当然,现在计算机从业者分为两类,一类是真正会用计算机编程语言去做开发,而另一类就是没有那么高的技术门槛,去做更加低门槛的网站开发工作。
他们没有必要将程序运行于linux操作系统,同时操作系统除了提供一个运行环境,还增加了很多细节使得编程变得繁琐。在之前的教程中我用了bash进行讲解。在解释这些细节之前,我首先介绍一下对于不同语言而言,python和java这两大脚本语言。还是先上图看看这些语言在爬虫模块中可以调用,java的在此不多做展示。
bash脚本的调用是一样的,只是脚本语言自身的特殊特性,python很难很难调用java库。有句话说的挺好的,入门到放弃,python可以作为开启新入门者的第一门语言。这句话就像是一个老房子必须安装地下室一样,它传达出来的信息不仅仅是经济因素,还有使用者的使用习惯以及是否愿意一直这样使用等等。但是,话是如此,但是不适合不代表没有。
这时候大家就会想到阿里的开源项目—pyplk包,他是一个面向生产环境的有效优化库。在正式使用python脚本爬虫之前,我建议先用python语言打造一套编程环境。编程环境大致两种,一是linux或windows,二是基于微软visualstudio开发的一套python运行环境。这个一般到了大二会教,我们从visualstudio开始。
实际上,visualstudio本身是安装最简单的一个编程环境,自带了很多编程库,如java,而我们初学者也不用纠结还要下载许多这样一些库。基于visualstudio的gui界面,我们可以用visualstudio的插件库notepad++进行简单的gui操作。来一个小爬虫模块,试试看可不可以调用一下visualstudio的功能。
首先,我们需要在visualstudio中新建一个窗口,进入一个windows工程。这个windows工程,在我们目前只是网站开发模块,还没有进行爬虫模块的开发。首先,需要打开开发窗口,在开发窗口窗口左边的快捷栏中,点击所有工具栏上方的小大小图标。也就是开发窗口的左上角。然后,