近期发布:深度学习行人重识别综述与展望，TPAMI 2021 最新文章

　　近期发布:深度学习行人重识别综述与展望，TPAMI 2021 最新文章

　　点击上方“3D Vision Workshop”，选择“Star”

　　干货第一时间发货

　　作者 | 叶芒 武汉大学

　　编辑 | 简历君

　　报告 | 我爱计算机视觉（微信id：aicvml）

　　摘要：行人重识别（Re-ID）是一种人工智能技术，它使用计算机视觉技术来检索图像或视频序列中是否存在特定的行人。它在智慧城市等监控场景中有重要应用。意义和前景。本文介绍了我们最新的 IEEE TPAMI 评论论文“Deep Learning for Person Re-identification: A Survey and Outlook”，作者来自武汉大学、起源人工智能研究所 (IIAI)、北理工、萨里大学、Salesforce 亚洲研究所。

　　首先非常感谢该领域的前辈和大哥们为本次评审提供了非常充实的资料和基础。

　　以下是本次审查的主要贡献的摘要：

　　综述：对Re-ID领域近几年深度学习进展的综合考察，包括近几年的三大视觉峰会中的大部分文章（如有遗漏，敬请见谅）。主要包括 Closed-world Re-ID 和 Open-world Re-ID 的研究进展，常用数据集和评价指标概述，分析现有方法的不足和改进点。

　　展望：1) 一种新的评估指标 mINP，用于评估寻找最难匹配行人的成本；2) 一种强大的 AGW 方法，在四种不同类型的 Re-ID 任务上，包括 12 个数据集，取得了不错的效果；3)从五个不同的方面讨论了未来Re-ID研究的重点和难点，仅供大家参考。

　　01

　　前言

　　根据个人理解，本文总结了 Re-ID 技术的五个步骤：

　　数据采集，一般来源于监控*敏*感*词*的原创视频数据；

　　行人帧生成，从视频数据中，通过人工或行人检测或跟踪将行人从图像中剔除，行人将占据图像中的大部分区域；

　　训练数据的标注，包括相机标签和行人标签等其他信息；

　　重新识别模型训练，设计模型（主要指深度学习模型），让它尽可能从训练数据中挖掘“如何识别不同行人的隐藏特征表达模式”；

　　行人检索，将训练好的模型应用到测试场景中，测试模型的实际效果。

　　如下所示：

　　图1. 构建人员再识别系统的五个主要步骤。包括：1）数据采集、2）行人框生成、3）训练数据标注；4）再识别模型训练，5）行人检索

　　全文的回顾和展望是围绕这五个步骤展开和讨论的。鉴于上述五个步骤的一些约束，本文将 ReID 技术分为两个子集：封闭世界和开放世界。Closed-world 被泛化为全注释的有监督人重新识别方法，Open-world 被泛化为多模态数据、端到端行人检索、无监督或半监督学习、噪声标注和一些 Open-set 方法. 其他场景。

　　

　　02

　　封闭世界重识别

　　本章主要介绍常用的 Closed-world Re-ID 设置，一般包括以下假设：

　　根据方法设计流程分为三部分：特征学习、度量学习和排名优化。研究人员的方法通常在这三个方面进行改进，重点不同。一些提出了新颖的特征学习方法，一些提出了有效的度量损失函数，还有一些在测试检索阶段进行了优化。本章最后还总结了现有常用的数据集和评价指标，以及现有SOTA的优缺点分析。

　　2.1 特征学习方法

　　图2.四种主要的Re-ID特征学习方法

　　2.2 度量学习方法

　　图 3. 三种常见的 Re-ID 度量学习（损失函数）方法

　　早期的度量学习主要设计了不同类型的距离/相似度度量矩阵。在深度学习时代，主要包括不同类型损失函数的设计和采样策略的改进：

　　2.3 排序优化

　　利用学习到的Re-ID特征得到初始检索排序结果后，利用图片间的相似关系对初始检索结果进行优化，主要包括重排序和排序融合。

　　图4. 重新排序示例

　　2.4 数据集和评估

　　主要包括对现有一些常见的图像和视频数据集的概括，以及对现有方法SOTA的一些总结和分析。希望评论中的一些分析能为模型设计提供一些思路和帮助。详细分析请参考原文。

　　03

　　开放世界重新识别

　　由于传统的封闭世界 Re-ID 在有监督的实验场景中已经达到或接近瓶颈，现在许多研究更倾向于开放世界的 Re-ID 场景，这也是当前 Re-ID 的热点研究。

　　根据 Re-ID 系统设计的五个步骤，本章还介绍了以下五个方面：

　　3.1 多模式（异构）数据

　　总的来说，异构行人重识别问题需要解决的一个主要问题是不同模态数据之间的差异。

　　3.2 端到端人员搜索

　　3.3 半监督和无监督的 Re-ID

　　

　　为了减轻对标记数据的依赖，半监督和无监督/自我监督现在是当前研究的热点，在 CV 峰会上呈爆炸式增长。本文也主要分为两部分：无监督 Re-ID（源域不需要标注）和无监督域自适应 Re-ID（源域数据或模型需要标注）：

　　Unsupervised Re-ID：主要包括一些跨相机标签估计的方法（聚类或者图匹配等），以及一些其他的有监督信息挖掘的方法（比如局部块相似度等）；

　　无监督域自适应Re-ID：包括一些目标域图像数据生成和一些目标域有监督信息挖掘等方法。

　　考虑到无监督学习也是现在的热门研究课题，本文还对现有的SOTA进行了简单的总结和分析。可见，目前的无监督学习方式已经很了不起，未来可期。

　　如下表所示：

　　表1.现有无监督学习方法对常见数据集的影响

　　3.4 抗噪重识别

　　主要针对标注数据或数据采集中产生的一些噪声或错误，方法包括：

　　3.5 Open-set Re-ID 及其他

　　主要讨论其他一些开放场景，比如查询行人没有出现在1）图库集合中的场景；2）Group Re-ID：行人分组匹配问题；3）动态相机网络匹配等问题

　　04

　　外表

　　4.1 新评价指标mINP：

　　考虑到在实际场景中，目标人比较隐蔽，很多情况下很难找到难的目标，给侦查工作带来了麻烦。mINP 的主要目的是衡量 Re-ID 算法寻找最难匹配样本的成本。

　　它的计算方法和mAP一样简单，对评估Re-ID的效果应该还是有一定的补充作用的。简单来说，正确的样本位置越靠后，人工调查和干预的成本越高，mINP的值越小。感谢 Fast-ReID (/JDAI-CV/fast) 项目集成了我们的评估指标和方法。

　　4.2 新的基准测试方法 AGW

　　主要是对@罗浩的包包技巧做了一些改进（感谢），主要包括：

　　图5. AGW 方法*敏*感*词*

　　根据审稿人的建议，我们针对四种不同类型的任务（图像重识别、视频重识别、跨模态红外重识别和部分重识别）的 12 个数据集提出了我们的建议 新指标 mINP 和 AGW 方法被评估，我们的方法在大多数情况下可以取得更好的结果。具体实验结果和分析请参考我们的论文和补充材料。希望我们的方法和评价指标能够对大家有所帮助。

　　4.3 对未来一些研究方向的思考

　　这部分也与上面提出的五个步骤密切相关，总结了五个步骤中未来急需解决的关键问题或热点问题。由于大家的认识存在认知偏差，这里的建议仅供大家参考：

　　后记：很多内容这里就不详细描述了。具体内容请参考原文、补充资料和源码。由于能力有限，有些描述可能并不完全客观和正确。我希望每个人都能理解。我们希望我们的评论可以为该领域的同行提供一些帮助和参考。再次感谢所有同事和前辈！欢迎批评和指正！

　　最新信息:今日头条搜索SEO如何优化？

　　之前看过一篇文章文章，作者写了一句让我很感动的一句话，“对于中国的群众来说，百度=搜索引擎。如果要动摇这个概念，还有很长的路要走。” 的确，作为搜索引擎的领头羊，百度的地位已经在大众心中根深蒂固，“谷歌外事，百度内政”的口号随处可见。我们知道，目前国内主流的搜索引擎有百度、搜狗、360、神马（主要是移动端）。根据一个统计平台，百度的搜索份额仍然在70%以上，神马的份额是10%，360的份额接近8%，搜狗的份额接近5%，当然还有谷歌和必应等搜索引擎. 但现在今日头条也开始成为一个搜索引擎。那个有什么用？

　　每次打开今日头条，我浏览的大部分内容都是我经常看的。我认为今日头条是目前第一个将用户兴趣推荐到极致的媒体平台。早期，今日头条内容搜索多以平台内搜索为主，现在平台拥有大量用户群。seo，使其形成一个完整的内容矩形。在这种情况下，今日头条也可以是一个搜索引擎。

　　有流量就有运营，有搜索自然就有SEO。既然今天今日头条宣布要做搜索引擎，那就一起来研究一下“今日头条SEO”吧。

　　一。今日头条SEO解释

　　什么是今日头条SEO？今日头条 SEO 指的是在今日头条 App 上以 关键词 的搜索结果排名靠前。这里特指今日头条App，因为目前头条搜索只打开App，网页版暂时只抓取今日头条自己的内容，也就是所谓的“站内”内容。而“站外”是指非今日头条制作的内容，而是来自其他第三方平台采集的内容。从两张图片的对比就可以看出区别。

　　

　　今日头条手机版

　　今日头条网页版

　　从以上两张图可以得出结论：

　　1.今日头条网页版尚未开通“站外”内容，即尚未实现“全网搜索”；而今日头条APP除了“站内”外，还收录大量“站外”内容。

　　2. 相对而言，今日头条“站内”内容的排名会比“站外”内容更优先。

　　

　　3.目前，今日头条的广告还在网站的信息流中，不排除以后可能会使用竞价形式的广告。

　　二。今日头条SEO搜索如何优化

　　对于SEO来说，无论搜索引擎平台如何变化，它的规则都是一样的。因此，基于这个核心的SEO搜索营销的运作规律不会改变。

　　1.关键词

　　网站的访问者经常通过关键词搜索进入网站，所以关键词是网站吸引力的核心。正如预期的那样，第二个条目将被阻止。能让访客满意的是关键词的布局需要保持一定的密度。以前关键词的密度越高越好，但是现在算法变了，所以最好不要设置太高关键词，一般达到三个左右，同时保证吸引访客的关注，让系统对自身的推广起到很好的效果，这种做法对于网站来说是非常重要的增加影响力的最有效方式。

　　好了，文章的这个内容营销圈就分享到这里了。对线上推广创业感兴趣的可以加微信：Dao8484 备注：营销圈引流学习，我拉你进直播课学习群，每周135晚免费分享推广引流技术课程，实用干货！

　　读过这篇文章的人也读过以下内容：什么是大创意，大创意的指导和创作工具？哪个搜索引擎好用，四大搜索引擎都有评论？给猫绝育要多少钱，200到2000的差别在哪里？SEO网站权重如何优化？操作系统都有哪些，三大操作系统混战详解？