视频检测通常处理思路
| 思路 | 应用场景 | 原理 | 缺点 |
|---|---|---|---|
| 视频行为检测 | 行为识别 | 通过3D卷积核实现，结合空间语义信息以及运动信息识别人体行为 | ？ |
| 人体姿态识别 | 用于检测一个人是否摔倒或疾病，或用于健身、体育和舞蹈等的自动教学 | 基于关键点检测，联合时序信息判断人的行为 | 当人体被遮挡时会产生失真现象，复杂场景下鲁棒性不高 |
| 异常行为检测 | 视频场景下的异常行为检测技术是智能监控系统的核心技术 | 基于之前的正常行为预测下一帧，预测的下一帧与原视频对比，判断是否为异常行为 |
- 行为识别：识别短视频中的动作——what
- 时序动作检测：在长视频中定位特定动作出现的时间段——what+when
- 时空动作检测：识别并定位视频中出现的人和动作——what+when+where
视频检测的痛点：
- 如何表示视频中的动作
- 如何高效处理大量视频数据
- 如何降低视频数据的标注成本
SlowFast是Facebook在2019年ICCV的一篇视频识别论文，受到灵长类动物的视网膜神经细胞种类的启发（大约80%的细胞（P-cells）以低频运作，可以识别细节信息；而大约20%的细胞（M-cells）则以高频运作，对时间的变化敏感）。作者提出了一种快慢网络SlowFast架构，来实现两个分支分别对时间与空间维度进行处理分析。
结构SlowFast算法整体由两个卷积分支组成：
- Slow分支：较少的帧数以及较大的通道数学习空间语义信息。
- Fast分支：较大的帧数以及较少的通道数学习运动信息
.avi文件 需要每隔几帧采集成一幅图像.jpg文件
视频长短不一致
模型效果 mmaction2使用说明ubantu18.04 python == 3.8 torch == 1.8.0 cuda == 11.11
1、下载 数据集 和 开源框架mmaction2
从github下载mmaction2-init-master github：https://github.com/open-mmlab/mmaction2
下载UCF101（行为识别）数据集中的 Data Set、Action Recognition https://www.crcv.ucf.edu/research/data-sets/ucf101/
UCF101是从YouTube收集的具有101个操作类别的逼真动作视频的动作识别
2、安装开源框架
cd mkdir mmaction2 cd mmaction2 unzip mmaction2-master.zip cd mmaction2-master pip install -r requirements/build.txt python setup.py develop pip install decord -i https://pypi.douban.com/simple
https://github.com/jfzhang95/pytorch-video-recognition
人体姿态识别基于图卷积
人体姿态识别OpenPose源码编译 - 迷途小书童的Note迷途小书童的Note (xugaoxiang.com)
视频异常行为检测- 无监督学习：基于之前的正常行为预测下一帧，预测的下一帧与原视频对比，判断是否为异常行为
- 有监督学习：扩充异常样本
监控安保暴力行为检测
