LeViT

类别： 混合 · 代码： timm/models/levit.py · 架构： 20 · 预训练权重： 10（10 个具有 ImageNet-1k 结果）

LeViT 是一种用于快速推理的混合网络，其结构由一个卷积茎部（convolutional stem）和若干注意力阶段组成，这些阶段通过基于注意力的下采样来降低分辨率，并利用注意力偏置来表示位置信息。

论文

• LeViT：身披 ConvNet 外衣的视觉 Transformer，实现更快的推理

用法

请参阅快速入门了解如何加载预训练权重、进行图像预处理和微调，以及查阅特征提取了解如何将模型用作骨干网络。

>>> import timm
>>> model = timm.create_model('levit_256.fb_dist_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

模型 API 支持

✓ 支持，✓ (square) 仅支持方形尺寸，✗ 不支持，– 无需支持（模型本身已接受任意输入 尺寸）。通过在每个功能上运行随机初始化的模型（Levit 使用 levit_256d 在 224 上，LevitDistilled 使用 levit_128s 在 224 上）进行验证，同一类的其他架构预计表现相同。有关详细信息，请参阅 Model API 页面。

架构

GMACs 和参数量对应于每种架构的默认输入大小和分类器，数据来自基准测试结果。

预训练权重

Top-1 是 results-imagenet.csv 中在所列评估规模下的 ImageNet-1k 验证准确率，- 表示该权重没有 ImageNet-1k 结果（例如预训练权重或图文权重）。Classes 是预训练分类器的大小，对于没有分类器的权重则为 none。

引用

@article{graham2021levit,
  title={LeViT: a Vision Transformer in ConvNet's Clothing for Faster Inference},
  author={Benjamin Graham and Alaaeldin El-Nouby and Hugo Touvron and Pierre Stock and Armand Joulin and Herv'e J'egou and Matthijs Douze},
  journal={arXiv preprint arXiv:2104.01136},
  year={2021}
}