timm documentation

MambaOut

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v1.0.31).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

MambaOut

Categoría: CNN · Código: timm/models/mambaout.py · Arquitecturas: 11 · Pesos preentrenados: 12 (11 con resultados en ImageNet-1k)

MambaOut apila bloques de CNN con compuerta y bloques Mamba sin el mezclador de tokens del modelo de espacio de estados (SSM), para probar si los SSM son necesarios para la clasificación de imágenes.

Papers

Uso

Consulte la Introducción rápida para cargar pesos preentrenados, preprocesar imágenes y realizar el ajuste fino, y Extracción de características para usar los modelos como columnas verticales.

>>> import timm
>>> model = timm.create_model('mambaout_tiny.in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

Soporte de la API de modelos

CaracterísticaMambaOut
mapas de características de features_only=True✓ (pasos 4, 8, 16, 32)
forward_intermediates()✓
prune_intermediate_layers()✓
Cualquier tamaño de entrada, no se necesitan cambios✓
set_input_size()–
dynamic_img_size=True–
set_grad_checkpointing()✓
Decaimiento del LR por capa (group_matcher())✓
reset_classifier()✓

✓ compatible, ✓ (cuadrado) funciona solo con tamaños cuadrados, ✗ no compatible, – no necesario (el modelo ya acepta cualquier tamaño de entrada). Verificado ejecutando cada función en un modelo inicializado aleatoriamente (MambaOut con mambaout_femto en 224); se espera que otras arquitecturas de la misma clase se comporten de la misma manera. Consulte la página Model API para más detalles.

Arquitecturas

ArquitecturaParámetros (M)GMACsTamaño de entradaPesos preentrenados
mambaout_base84.8115.832241
mambaout_base_plus_rw101.6619.192243
mambaout_base_short_rw88.8316.312241
mambaout_base_tall_rw86.4816.152241
mambaout_base_wide_rw94.4517.782241
mambaout_femto7.301.162241
mambaout_kobe9.141.522241
mambaout_small48.498.962241
mambaout_small_rw48.508.962241
mambaout_tiny26.554.492241
test_mambaout0.450.031600

Los GMAC y el número de parámetros corresponden al tamaño de entrada y al clasificador predeterminados de cada arquitectura, según los resultados de las pruebas de rendimiento.

Pesos preentrenados

Top-1 es la precisión de validación en ImageNet-1k desde results-imagenet.csv en el tamaño de evaluación indicado, - si el peso no tiene un resultado de ImageNet-1k (p. ej. pesos de preentrenamiento o de imagen-texto). Classes es el tamaño del clasificador preentrenado, ninguno para pesos sin uno.

PesoTamaño de entradaTop-1 (%)Tamaño de evaluaciónClasesLicenciaHub
mambaout_base.in1k224 (prueba 288)84.7302881000apache-2.0timm
mambaout_base_plus_rw.sw_e150_in12k224 (prueba 288)--11821apache-2.0timm
mambaout_base_plus_rw.sw_e150_in12k_ft_in1k224 (prueba 288)86.9162881000apache-2.0timm
mambaout_base_plus_rw.sw_e150_r384_in12k_ft_in1k38487.5083841000apache-2.0timm
mambaout_base_short_rw.sw_e500_in1k224 (prueba 288)84.8422881000apache-2.0timm
mambaout_base_tall_rw.sw_e500_in1k224 (prueba 288)84.9882881000apache-2.0timm
mambaout_base_wide_rw.sw_e500_in1k224 (prueba 288)84.9662881000apache-2.0timm
mambaout_femto.in1k224 (prueba 288)79.9122881000apache-2.0timm
mambaout_kobe.in1k224 (prueba 288)81.0642881000apache-2.0timm
mambaout_small.in1k224 (prueba 288)84.5122881000apache-2.0timm
mambaout_small_rw.sw_e450_in1k224 (prueba 288)84.6042881000apache-2.0timm
mambaout_tiny.in1k224 (prueba 288)83.4522881000apache-2.0timm
Update on GitHub