大数据和人工智能的种种成就，我们正在创造历史

　　大数据和人工智能的种种成就，我们正在创造历史

　　在上一期中，我们谈到了大数据技术的发展过程。实际上，我们对大数据技术的使用也经历了一个开发过程。从一开始，谷歌就开始在搜索引擎中使用大数据技术，到如今无处不在的人工智能应用程序，随着大数据技术的发展，大数据应用程序也从高低起发展到如今遍地开花。

　　当Google从一开始就发布关于大数据的划时代的论文时，也许它并没有意识到它本身就开启了大数据的新时代。当今大数据和人工智能的成就与全球数百万大数据从业者（包括您和我）的努力密不可分。历史也许是天才开的，但毕竟是人民创造的。作为大数据时代的参与者，我们正在创造历史。

　　大数据应用程序的搜索引擎时代

　　作为全球最大的搜索引擎公司，Google也是我们公认的大数据发起者。它存储了世界上几乎所有可访问的网页，其数量可能超过数万亿，并且所有存储都需要数万个磁盘。为了存储这些文件，谷歌开发了GFS（谷歌文件系统），该文件管理着数千台服务器上的成千上万个磁盘，然后充当文件系统来统一存储所有这些Web文件。

　　您可能会认为，如果仅存储所有网页，似乎并不太好。是的，但是Google会获取这些网页文件来构建搜索引擎。它需要计算文件中所有单词的单词频率，然后根据PageRank算法计算页面排名。同时，Google需要计算和处理成千上万个磁盘上的文件，这听起来很棒。当然，正是基于这些要求，Google开发了MapReduce大数据计算框架。