人工采集,二是智能采集格式的二的原因

　　人工采集,二是智能采集格式的二的原因

　　一是人工采集,二是智能采集,采集格式分别是csv和xml.通过这两种方式就可以获取站内的所有文本了.1、从“百度”爬取“云南信息”(包括开发板)2、用“中国信息搜索引擎”抓取“拉萨市”，我已经进行了二次验证，

　　相关技术难度不大，就是技术费用支出大。

　　前段时间正好在做一个app爬虫的功能，设计的一个有趣的场景，供参考一下。用api请求，抓取百度的酒店页面数据。可以直接打开也可以翻页，抓取速度快。主要是抓取百度酒店的房间信息，包括：交通，地址，面积，价格等等。所有数据都是csv格式的，json数据处理速度快，不需要特别的数据结构，一个简单的datetime字符串就行。

　　后台程序做了一些数据清洗，已达到最接近正规数据库的程度。当然实际上能抓取更多数据是一个优势，然而很多时候并不需要这么多数据，就那么一小小部分是真实有效的，所以只要能抓取数据其他少许的抽查数据做几组留言，这个酒店就可以在全国分分钟承包这么一个酒店了。关键场景就这么两个，我去年主要工作量就是如何做这个东西，前面说了这个功能用浏览器cookie就可以搞定，可能设计程序的人会有那么点想法。

　　然而作为业务人员，我就呵呵了。具体原因有三，其一：从酒店定位来说，确实只抓取某个区域的数据，本地就够了，越远这些数据库里面的数据越没有用，因为没有必要花过多的时间在数据库方面，还不如几组字符串解析返回多一些有意义的信息好了，比如价格。说到这里很多人就会说，这样不得不给酒店管理方造成麻烦么，估计不会吧。

　　恩。反正就我观察，这些每年都需要数据转化的公司，除了政府的一些基层*敏*感*词*岗位，基本上不会有很多人专门花时间维护这样的东西，设计的人肯定是没有这个人才能达到前端开发的那种效果。然而现实很残酷，一旦加入页面，来去都是会涉及到经济利益的，这个问题根本不是问题，既然要抓取数据，收不收这个价格对公司肯定是要判断的，那么问题来了，加价太大了我不愿意，公司要保护自己的利益，别人单方面翻一倍可能还不够呢，那么升级这样的数据库结构对于管理层来说根本不可行，要知道基层基本是没有设计数据库的概念的，估计连db的概念都没有，那么一个数据库还要字符串格式化也不可行，那我这样设计会不会让你基层*敏*感*词*都很不爽，不过我现在已经认识到了这个问题，不考虑这些细节了，只要不升级数据库结构，关闭的时候还是关闭你的房间记录，关闭验证。这就是一个工程。其二：从技术角度上来说，即使做这个功能，对于一般的应用，应该不会。