Hybrid Vision Transformer

Categoría: Híbrido · Código: timm/models/vision_transformer_hybrid.py · Arquitecturas: 14 · Pesos preentrenados: 14 (7 con resultados en ImageNet-1k)

Vision Transformers cuyos tokens de parche provienen de un backbone convolucional (tallo o etapas de ResNet / ResNetV2) en lugar de una incrustación lineal de parches, utilizando la clase VisionTransformer.

Papers

• Una imagen vale 16x16 palabras: Transformers para el reconocimiento de imágenes a gran escala
• Cómo entrenar tu ViT: datos, aumento y regularización en Vision Transformers
• MobileCLIP: Modelos de imagen y texto rápidos mediante entrenamiento reforzado multimodal
• MobileCLIP2: Mejora del entrenamiento reforzado multimodal

Uso

Consulte la Introducción rápida para cargar pesos preentrenados, preprocesar imágenes y realizar el ajuste fino, y Extracción de características para usar los modelos como columnas verticales.

>>> import timm
>>> model = timm.create_model('vit_small_r26_s32_224.augreg_in21k_ft_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

Soporte de la API de modelos

✓ compatible, ✓ (cuadrado) funciona solo con tamaños cuadrados, ✗ no compatible, – no necesario (el modelo ya acepta cualquier tamaño de entrada). Verificado ejecutando cada función en un modelo inicializado aleatoriamente (VisionTransformer con vit_tiny_r_s16_p8_224 a 224); se espera que otras arquitecturas de la misma clase se comporten de la misma manera. Consulte la página Model API para más detalles.

Arquitecturas

Los GMAC y el número de parámetros corresponden al tamaño de entrada y al clasificador predeterminados de cada arquitectura, según los resultados de las pruebas de rendimiento.

Pesos preentrenados

Top-1 es la precisión de validación en ImageNet-1k desde results-imagenet.csv en el tamaño de evaluación indicado, - si el peso no tiene un resultado de ImageNet-1k (p. ej. pesos de preentrenamiento o de imagen-texto). Classes es el tamaño del clasificador preentrenado, ninguno para pesos sin uno.

Los pesos se agrupan por origen: el artículo o procedencia indicado en la configuración preentrenada, en su defecto una organización del Hub distinta de timm, y si no, la primera parte de la etiqueta preentrenada (architecture.tag). Los orígenes con un solo peso se listan bajo other.

etiquetas de augreg

etiquetas originales

apple

Alojado por apple en el Hugging Face Hub.

Otros