自动抓取网页数据(自动抓取网页数据存放到excel文件中的关键是你用不用得到)

　　自动抓取网页数据(自动抓取网页数据存放到excel文件中的关键是你用不用得到)

　　自动抓取网页数据存放到excel文件中，再导入mysql中。目前mysql的可用性相对于oracle、sqlserver、postgresql在性能上略逊一筹，但是hadoop对mysql的支持尚可，如果能够支持对mysql数据的快速查询，对于自己后续的开发会很有帮助。

　　关键是你用不用得到？

　　hive可以很好的利用hadoop的存储和计算资源。mysql主要面向关系型数据库，hive则是面向文本型数据库，所以.。

　　直接从hadoop迁移到mysql不是不可以，但要解决以下几个问题：1.迁移到mysql后如何部署，尤其是生产环境2.没有mysql支持，如何实现数据的快速读写，

　　mysql并不占优势。现在的主流都是以hive为代表的sql类型，基于photodata构建的hive与数据仓库有太多相似之处。sqoop可以很好解决。

　　1.最直接的，hive可以实现快速读写。数据量相对大的时候。速度很明显2.数据依赖dbms管理。大量数据的读写，sql自然很费劲。hive代替了dbms，实现了统一的api。开发更简单，最少的管理hive。对于企业而言。是个不错的选择。

　　由于hive关键优势是面向企业关系型数据库，针对的是有较大数据量的企业场景。而企业通常在选择数据库时会要求sql性能与内存占用效率。且由于where及子查询引发的sql执行锁，读写效率慢对于处理海量数据显得力不从心。mysql针对的是通用关系型数据库，建立在where语句支持良好，且操作简单的基础上。

　　读写性能可以较大限度的满足要求。不过说实话，mysql现在在国内有被人喷的风险。很多企业应用应该放弃mysql使用access或者postgresql等替代。