行人重识别综述

目录

行人重识别系统

数据集

面临挑战

常用评价指标

rank-k

CMC曲线

mAP曲线

评价模式

single shot vs multi shot

single query vs multi query

行人重识别所用方法

传统方法

深度学习方法

可视化

常用ReID代码

定义

行人重识别(Person re-identification)也称行人再识别, 被广泛认为是一个图像检索的子问题, 是利用计算机视觉技术判断图像或者视频中是否存在特定行人的技术, 即给定一个监控行人图像检索跨设备下的该行人图像。行人重识别技术可以弥补目前固定摄像头的视觉局限, 并可与行人检测、行人跟踪技术相结合, 应用于视频监控、智能安防等领域。

应用

• 刑事侦查

• 行人理解

• 行人跟踪

  • 单摄像头单目标

  • 单摄像头多目标

  • 多摄像头多目标

  ---

行人重识别系统

• 特征提取：学习能够应对在不同摄像头下行人变化的特征

• 度量学习：将学习到的特征映射到新的空间使相同的人更近不同的人更远

• 图像检索：根据图片特征之间的距离进行

数据集

数据集分为训练集、验证集、Query、Gallery

Query：测试时的基准图片 Gallery：待检测的图片集合，从中选取与Query相似度高的

训练、测试中人物身份不重复

• 单帧

  • CUHK03

  • Market1501

  • DukeMTMC-ReID

  • MSMT17

• 序列（图片组成的轨迹，例如十张作为一个整体）

  • LPW

  • MARS

  • LVReID

数据集链接： Person Re-Identification Datasets

---

面临挑战

• 低分辨率

• 遮挡

• 视角、姿态变化

• 光照变化

• 视觉模糊性

类内差异大，类间差异小

常用评价指标

rank-k

rank-k：算法返回的排序列表中，前k位为存在检索目标则称为rank-k命中

 

CMC曲线

Cumulative Match Characteristic (CMC) curve:计算rank-k的击中率，形成rank-acc的曲线

 

mAP曲线

mAP(mean average precision)：反应检索的人在数据库中所有正确的图片排在排序列表前面的程度，能更加全面的衡量ReID算法的性能。

 

评价模式

single shot vs multi shot

Single shot是指gallery中每个人的图像为一张（N=1），而multi shot是指gallery中每个人的图像为N>1 张图像。同样的Rank-k下，一般N越大，得到的识别率越高。

 

single query vs multi query

Single query是指probe中每个人的图像为一张（N=1），而multi query是指probe中每个人的图像为N>1 张图像，然后融合N张图片的特征（最大池化或者平均池化）作为最终特征。同样的Rank-k下，一般N越大，得到的识别率越高。

 

行人重识别所用方法

传统方法

手工设计特征+距离度量

• 手工特征

  • 颜色空间：RGB、HSV、LAB、XYZ、YCbCr、ELF、ELF16

  • 纹理空间：LBP、Gabor

  • 局部特征：SIFT、HOG、SURF

  • 专用特征：LDFV、ColorInv、SDALP、LOMO

• 距离度量

  • 常用距离：欧式距离、马氏距离、余弦距离

  • 度量学习：LFDA、MFA、LMNN、LADF、XQDA、KISSME

深度学习方法

• 基于表征学习的方法

• 基于度量学习的方法

• 基于局部特征的方法

• 基于视频序列的方法

• 基于GAN网络的方法

可视化

在特征空间进行可视化，外观比较相似的人会形成聚类

 

常用ReID代码

GitHub - zhunzhong07/IDE-baseline-Market-1501: ID-discriminative Embedding (IDE) for Person Re-identification GitHub - KaiyangZhou/deep-person-reid: Torchreid: Deep learning person re-identification in PyTorch. GitHub - huanghoujing/person-reid-triplet-loss-baseline: Rank-1 89% (Single Query) on Market1501 with raw triplet loss, In Defense of the Triplet Loss for Person Re-Identification, using Pytorch