MobileViT 网络测试

实验结果表明，在不同的任务和数据集上，MobileViT显著优于基于CNN和ViT的网络。

在ImageNet-1k数据集上，MobileViT在大约600万个参数的情况下达到了78.4%的Top-1准确率，对于相同数量的参数，比MobileNetv3和DeiT的准确率分别高出3.2%和6.2%。

在MS-COCO目标检测任务中，在参数数量相近的情况下，MobileViT比MobileNetv3的准确率高5.7%。

模型大小：

MobileViT s  19m

MobileViT xs 9.21m

MobileViT xxs 5.19m

介绍：Apple新作MobileViT：轻量通用且适合移动端的视觉Transformer！

import torch
import torch.nn as nn
from typing import Callable, Any, Optional, List
from einops import rearrange

import torch
import torch.nn as nn


class ConvNormAct(nn.Module):
    def __init__(self,
        in_channels: int,
        out_channels: int,
        kernel_size: int = 3,
        stride = 1,
        padding: Optional[int] = None,
        gr