算法自动采集列表页，我知道的像文采传智

　　算法自动采集列表页，我知道的像文采传智

　　算法自动采集列表页，搜索页。目前自动采集这块很难实现，我知道的像文采传智都没有解决这个问题。

　　想要用上tagging有好几个方面，网上其实也有蛮多文章的。我从自己的角度想着这几点：从浏览体验上来说，用户在采集web数据时能感受到最明显的改进是是tagging，web本身的响应速度降低了。在互联网上可以试想一下搜索引擎在整个过程中发挥什么样的作用：他就是一个标签（key），告诉你我想要的具体物体。

　　web通过session（记录）每个人浏览来看的网页，然后不断剔除掉页面里面没有搜索出来的东西。而采集后的数据，就是一个个tagding串，你的目的是为了用它。采集肯定比不采集好，但是你确定有这个必要性。但是一些网站会不配合，这就只能拿出来tagging以外的各种技术手段了。

　　tagging不是通用的

　　webkit内核的stream技术是一大进步，这是一种较早被开发出来的内核。stream技术本身的缺陷是数据只能看到一部分，你看到的其实只是浏览器想要的东西，不能完整的展示出来。webkit内核的页面不能全屏使用，文件过大会丢失部分内容，只能压缩观看。webgl加速了浏览器渲染时性能的变化，自动化看物体来源的能力。

　　更加高效的性能表现。例如，当你浏览页面时可以发现一个物体，你可以用*敏*感*词*或者手机扫描了解清楚这个物体的来源地，然后通过搜索引擎得到数据，这样更加方便。