网页采集器的自动识别算法(网页采集器的自动识别算法，已经存在的算法的实现)

　　网页采集器的自动识别算法(网页采集器的自动识别算法，已经存在的算法的实现)

　　网页采集器的自动识别算法，已经存在的算法的实现。不久前，知乎上有个回答获得了好几百赞。其中就有浏览器自动抓取和自动分类的实现。我们通过浏览器抓取，大概猜出了抓取的链接，想要去分类。然后就分类了。这个网页跟清真、穆斯林、建筑没啥关系。但是人们又对清真认识更多，分类更准确。真是方便简单。当然，人们对清真认识更多，好处也很多。总之是好处多多。

　　现在的扫描仪识别的核心算法应该都不复杂，越复杂越容易抓错、误差大。但在现在的硬件条件下，复杂算法能更有效的识别出各种各样的模糊效果，图片上的构图、清晰度，面部识别，基本都有准确识别率和准确率，看怎么看。识别的原理都大同小异，可以说核心算法都差不多，都是人为设定一些参数识别出图片里的内容，然后在数据库中不断查找类似的模式，以降低误差。

　　算法分为几种，先从无参入的开始说起。1.图像语义识别（也叫卷积神经网络）：构建简单模型，不需要任何参数或是参数量极少。一般采用采用欧氏距离为每个像素分配的亮度值来进行计算。不同于传统的二分类问题，这种不需要参数或是参数量极少的识别算法在解决目前的*敏*感*词*目标检测问题时有着非常好的效果。但是因为这种方法设计复杂，学习时间极长，且没有任何通用的深度学习方法，没有任何推广性。

　　目前其广泛用于短码率的识别以及速度要求很高的文本识别。（卷积神经网络并不是只有彩*敏*感*词*像，photoshop的滤镜中都是采用这种方法。）2.变量系统识别：对上述的二分类问题变量系统也是二分类问题，只是单个变量被记忆成了两个变量，分别是颜色值，和边框值。这是一种对人脑观察事物进行两个“模式”判断的神经网络方法。

　　具体如图一所示，输入图像，在经过卷积神经网络之后，结合上面所述的第一个变量，自动确定分类颜色，分类边框，对于其后接的输出也可以判断该二分类问题分类的类别。（不提倡使用对人脑来说极易理解的fdm方法进行训练）3.神经网络异常检测/目标跟踪：这个目前看来更像是监督学习算法，可以根据初始数据去训练算法，但一般人是几乎没有条件和计算机*敏*感*词*进行实验的，因此不过多解释。

　　4.目标检测：这是我目前最想深入研究的一块，因为目前的一些方法还没有达到可以在真实世界检测到某些具体目标或是长距离移动目标，这里不做展开。下面就开始提想说的比较简单的算法了。一共4种方法:1.非相关特征抽取：根据视频中同一帧（如75帧，pc中一般是11帧）中的人脸，车辆，运动目标，背景等图像特征抽取其它目标特征。2.相关特征抽取：两个或两个以上的变。