什么是爬虫技术？

　　在一大堆技术术语里，最为被普通人所熟知的大约就是“爬虫”了。其实爬虫这个名子就早已非常好地表现出了这项技术的作用——像密密麻麻的蚊子一样分布在网路上爬虫技术用什么语言，爬行至每一个角落获取数据；也一定程度上抒发了人们对这项技术的情感倾向——虫子其实无害，但总是不受欢迎的。

　　有一个说法是，互联网上50%的流量都是爬虫创造的。这个说法似乎夸张了点，但也彰显出了爬虫的无处不在。爬虫之所以无处不在，是因为爬虫可以为互联网企业带来利润。

　　爬虫技术的现况

　　语言

　　理论上来说，任何支持网路通讯的语言都是可以写爬虫的，爬虫本身其实语言关系不大，但是，总有相对顺手、简单的。目前来说，大多数爬虫是用后台脚本类语言写的，其中python无疑是用的最多最广的，并且也诞生了好多优秀的库和框架，如scrapy、BeautifulSoup 、pyquery、Mechanize等。但是一般来说，搜索引擎的爬虫对爬虫的效率要求更高，会选用c++、java、go(适合高并发)。

　　运行环境

　　爬虫本身不分辨究竟是运行在windows还是Linux，又或是OSX，但从业务角度讲爬虫技术用什么语言，我们把运行在服务端(后台)的，称之为后台爬虫。而如今，几乎所有的爬虫都是后台爬虫。

　　爬虫的作用

　　1、爬虫爬出top1000和top10000数据，范围减小，然后根据情况选定细分产品信息等进行开发。

　　2、通过爬虫数据，跟踪产品情况，用来作出快速反应。

　　3、利用爬虫信息，抓取产品信息库类目变动情况。

　　未来，人工智能将会颠覆所有的商业应用。而人工智能的基础在于大数据，大数据的基础核心是数据采集，数据采集的主力是爬虫技术，因此，爬虫技术作为大数据最基层的应用，其重要性毋庸置疑。