timm documentation
Next-ViT
快速入门
教程
模型页面
模型系列结果
卷积网络
视觉 Transformer
混合卷积 / 注意力网络
BYOANet(BoTNet、HaloNet、LambdaNet)CoaTCSATv2FocalNet混合视觉 TransformerLeViTMaxViT 和 CoAtNetMetaFormer(PoolFormer、ConvFormer、CAFormer)Next-ViTTinyViTVisformerViTamin
高效与移动网络
MLP 及其他 token 混合器
多模态模型的视觉编码器
参考
Next-ViT
类别: 混合 · 代码: timm/models/nextvit.py · 架构: 3 · 预训练权重: 12(12 个具有 ImageNet-1k 结果)
Next-ViT 是一种用于高效部署的 CNN / transformer 混合模型,它堆叠了 Next 卷积块(NCB)和 Next Transformer 块(NTB)。
论文
用法
请参阅快速入门了解如何加载预训练权重、进行图像预处理和微调,以及查阅特征提取了解如何将模型用作骨干网络。
>>> import timm
>>> model = timm.create_model('nextvit_small.bd_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)模型 API 支持
✓ 支持,✓ (square) 仅支持方形尺寸,✗ 不支持,– 无需支持(模型本身已接受任意输入尺寸)。通过在每个功能上运行随机初始化的模型(NextViT 使用 nextvit_small,尺寸为 224)进行验证,预期同一类的其他架构表现相同。详情请参阅 Model API 页面。
架构
| 架构 | 参数(M) | GMAC | 输入大小 | 预训练权重 |
|---|---|---|---|---|
nextvit_base | 44.79 | 8.29 | 224 | 4 |
nextvit_large | 57.83 | 10.77 | 224 | 4 |
nextvit_small | 31.74 | 5.80 | 224 | 4 |
GMACs 和参数量对应于每种架构的默认输入大小和分类器,数据来自基准测试结果。
预训练权重
Top-1 是 results-imagenet.csv 中在所列评估规模下的 ImageNet-1k 验证准确率,- 表示该权重没有 ImageNet-1k 结果(例如预训练权重或图文权重)。Classes 是预训练分类器的大小,对于没有分类器的权重则为 none。
| 权重 | 输入大小 | Top-1(%) | 评估大小 | 类 | 许可证 | Hub |
|---|---|---|---|---|---|---|
nextvit_base.bd_in1k | 224 | 83.498 | 224 | 1000 | apache-2.0 | timm |
nextvit_base.bd_in1k_384 | 384 | 84.706 | 384 | 1000 | apache-2.0 | timm |
nextvit_base.bd_ssld_6m_in1k | 224 | 85.186 | 224 | 1000 | apache-2.0 | timm |
nextvit_base.bd_ssld_6m_in1k_384 | 384 | 86.372 | 384 | 1000 | apache-2.0 | timm |
nextvit_large.bd_in1k | 224 | 83.654 | 224 | 1000 | apache-2.0 | timm |
nextvit_large.bd_in1k_384 | 384 | 84.930 | 384 | 1000 | apache-2.0 | timm |
nextvit_large.bd_ssld_6m_in1k | 224 | 85.514 | 224 | 1000 | apache-2.0 | timm |
nextvit_large.bd_ssld_6m_in1k_384 | 384 | 86.544 | 384 | 1000 | apache-2.0 | timm |
nextvit_small.bd_in1k | 224 | 82.626 | 224 | 1000 | apache-2.0 | timm |
nextvit_small.bd_in1k_384 | 384 | 84.036 | 384 | 1000 | apache-2.0 | timm |
nextvit_small.bd_ssld_6m_in1k | 224 | 84.872 | 224 | 1000 | apache-2.0 | timm |
nextvit_small.bd_ssld_6m_in1k_384 | 384 | 85.966 | 384 | 1000 | apache-2.0 | timm |