MLP-Mixer, ResMLP y gMLP

Categoría: MLP · Código: timm/models/mlp_mixer.py · Arquitecturas: 15 · Pesos preentrenados: 19 (14 con resultados en ImageNet-1k)

Arquitecturas All-MLP que alternan la mezcla de tokens entre parches con la mezcla de canales: MLP-Mixer, ResMLP y gMLP (con gating mediante una proyección espacial). La docstring del módulo indica que la implementación de gMLP no está verificada.

Papers

• MLP-Mixer: una arquitectura basada en MLP para visión
• ResMLP: Redes feedforward para clasificación de imágenes con entrenamiento eficiente en datos
• Atención a los MLPs
• Preentrenamiento en ImageNet-21K para todos
• Propiedades emergentes en Vision Transformers auto-supervisados

Uso

Consulte la Introducción rápida para cargar pesos preentrenados, preprocesar imágenes y realizar el ajuste fino, y Extracción de características para usar los modelos como columnas verticales.

>>> import timm
>>> model = timm.create_model('gmixer_24_224.ra3_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

Soporte de la API de modelos

✓ compatible, ✓ (cuadrado) funciona solo con tamaños cuadrados, ✗ no compatible, – no necesario (el modelo ya acepta cualquier tamaño de entrada). Verificado ejecutando cada función en un modelo inicializado aleatoriamente (MlpMixer con gmlp_ti16_224 en 224); se espera que otras arquitecturas de la misma clase se comporten de la misma manera. Consulte la página Model API para más detalles.

Arquitecturas

Los GMAC y el número de parámetros corresponden al tamaño de entrada y al clasificador predeterminados de cada arquitectura, según los resultados de las pruebas de rendimiento.

Pesos preentrenados

Top-1 es la precisión de validación en ImageNet-1k desde results-imagenet.csv en el tamaño de evaluación indicado, - si el peso no tiene un resultado de ImageNet-1k (p. ej. pesos de preentrenamiento o de imagen-texto). Classes es el tamaño del clasificador preentrenado, ninguno para pesos sin uno.

Los pesos se agrupan por origen: el artículo o procedencia indicado en la configuración preentrenada, en su defecto una organización del Hub distinta de timm, y si no, la primera parte de la etiqueta preentrenada (architecture.tag). Los orígenes con un solo peso se listan bajo other.

etiquetas de fb

goog tags

etiquetas miil

ra3 etiquetas

Cita

@article{tolstikhin2021,
  title={MLP-Mixer: An all-MLP Architecture for Vision},
  author={Tolstikhin, Ilya and Houlsby, Neil and Kolesnikov, Alexander and Beyer, Lucas and Zhai, Xiaohua and Unterthiner,
        Thomas and Yung, Jessica and Keysers, Daniel and Uszkoreit, Jakob and Lucic, Mario and Dosovitskiy, Alexey},
  journal={arXiv preprint arXiv:2105.01601},
  year={2021}
}

@misc{touvron2021resmlp,
      title={ResMLP: Feedforward networks for image classification with data-efficient training},
      author={Hugo Touvron and Piotr Bojanowski and Mathilde Caron and Matthieu Cord and Alaaeldin El-Nouby and
        Edouard Grave and Armand Joulin and Gabriel Synnaeve and Jakob Verbeek and Hervé Jégou},
      year={2021},
      eprint={2105.03404},
}

@misc{liu2021pay,
      title={Pay Attention to MLPs},
      author={Hanxiao Liu and Zihang Dai and David R. So and Quoc V. Le},
      year={2021},
      eprint={2105.08050},
}