Hiera

Categoría: ViT · Código: timm/models/hiera.py · Arquitecturas: 8 · Pesos preentrenados: 16 (8 con resultados en ImageNet-1k)

Hiera es un transformer jerárquico de visión sin módulos especializados (convoluciones, ventanas desplazadas, sesgos de posición relativos), que se apoya en el preentrenamiento con autoencoder enmascarado (MAE) para aprender sesgos espaciales.

Papers

• Hiera: un Vision Transformer jerárquico sin adornos
• La atención de ventana tiene un error: cómo no interpolar los incrustamientos de posición

Uso

Consulte la Introducción rápida para cargar pesos preentrenados, preprocesar imágenes y realizar el ajuste fino, y Extracción de características para usar los modelos como columnas verticales.

>>> import timm
>>> model = timm.create_model('hiera_tiny_224.mae_in1k_ft_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

Soporte de la API de modelos

✓ compatible, ✓ (cuadrado) funciona solo con tamaños cuadrados, ✗ no compatible, – no necesario (el modelo ya acepta cualquier tamaño de entrada). Verificado ejecutando cada función en un modelo inicializado aleatoriamente (Hiera con hiera_tiny_224 en 224); se espera que otras arquitecturas de la misma clase se comporten de la misma manera. Consulte la página Model API para más detalles.

Arquitecturas

Los GMAC y el número de parámetros corresponden al tamaño de entrada y al clasificador predeterminados de cada arquitectura, según los resultados de las pruebas de rendimiento.

Pesos preentrenados

Top-1 es la precisión de validación en ImageNet-1k desde results-imagenet.csv en el tamaño de evaluación indicado, - si el peso no tiene un resultado de ImageNet-1k (p. ej. pesos de preentrenamiento o de imagen-texto). Classes es el tamaño del clasificador preentrenado, ninguno para pesos sin uno.

Los pesos se agrupan por origen: el artículo o procedencia indicado en la configuración preentrenada, en su defecto una organización del Hub distinta de timm, y si no, la primera parte de la etiqueta preentrenada (architecture.tag). Los orígenes con un solo peso se listan bajo other.

etiquetas de mae

etiquetas sbb2