网页采集器的自动识别算法(网页采集器的自动识别算法是什么？怎么做？)

　　网页采集器的自动识别算法(网页采集器的自动识别算法是什么？怎么做？)

　　网页采集器的自动识别算法有三类，一是针对ip特征的，二是针对文本特征的，三是针对图片特征的。针对ip特征的识别相对来说容易。而针对文本特征识别的识别是比较困难的，主要是因为文本采集是扫描识别，相对来说相对成本高，基本无成型算法。

　　我就是做这块的，简单谈谈吧，网页采集器的识别算法可以简单分为固定ip识别和唯一文本识别，这两种类型的识别原理，我们不做过多的阐述，因为这两种方法都是视觉类识别，原理都是图像识别，所以他们需要算法、硬件平台、算法库三大类，如果对采集硬件和算法深入了解，其实很简单，有些国内做这个行业非常出名的网站采集软件，是从硬件和算法上帮助用户实现，达到准确率高和无垃圾页面的。你可以百度下“神州采采”软件，网上都可以查到，没有免费版。仅供参考。

　　网页采集的识别算法在很多方面都做得比较好的有mit的max3识别系统（又称mit识别方法系统），它们能识别很多不同的网页，ip不同、文件类型不同等等但是只要选用的识别算法能够保证网页采集的效率和对于服务端而言，这个识别算法需要容错性，即，如果识别错误，修改识别算法的代码可以使网页达到正确的识别结果。

　　做过程序，去年去深圳cvpr第二场也是这方面的，一般做这块的主要就是一些识别算法如marroll,lookify,qrngt等，我这边也只是跟了max3一个实验室，工资待遇感觉跟码农相差无几，我是做cv+nlp，也做了一段时间。有兴趣一起交流下。