Vision Transformer (ViT)

Catégorie : ViT · Code : timm/models/vision_transformer.py · Architectures : 163 · Poids pré-entraînés : 309 (96 avec des résultats ImageNet-1k)

Le Vision Transformer (ViT) découpe une image en patches de taille fixe, les encode linéairement et traite la séquence de jetons résultante avec un encodeur Transformer standard. Ce module contient la classe VisionTransformer ainsi que les poids des modèles ViT d’origine, « How to train your ViT? » (AugReg) et FlexiViT, et de nombreuses tours d’images pré-entraînées image-texte (CLIP, SigLIP) et auto-supervisées qui partagent cette architecture.

Articles

• Une image vaut 16x16 mots : Transformers pour la reconnaissance d'images à grande échelle
• Comment entraîner votre ViT ? Données, augmentation et régularisation dans les Vision Transformers
• FlexiViT : un modèle pour toutes les tailles de patch
• Passer à l'échelle des Vision Transformers
• Trois choses que tout le monde devrait savoir sur les Vision Transformers
• Passer les Vision Transformers à l'échelle de 22 milliards de paramètres
• Mettre ViT en forme : lois d'échelle pour une conception de modèle optimale en calcul
• Les Vision Transformers ont besoin de registres
• Differential Transformer
• Lorsque les Vision Transformers surpassent les ResNets sans pré-entraînement ni augmentations de données fortes
• Pré-entraînement sur ImageNet-21K pour tous
• Propriétés émergentes des Vision Transformers auto-supervisés
• DINOv2 : Apprentissage de caractéristiques visuelles robustes sans supervision
• Les auto-encodeurs masqués sont des apprenants visuels évolutifs
• Apprentissage auto-supervisé à partir d'images avec une architecture prédictive à plongement conjoint
• EVA : Explorer les limites de l’apprentissage de représentations visuelles masquées à grande échelle
• L’image comme langue étrangère : pré-entraînement BEiT pour toutes les tâches de vision et de vision-langage
• Pré-entraînement autorégressif multimodal de grands encodeurs visuels
• Apprentissage de modèles visuels transférables à partir d'une supervision par langage naturel
• Lois d'échelle reproductibles pour l'apprentissage contrastif de paires image-langage
• DataComp : à la recherche de la prochaine génération de jeux de données multimodaux
• Réseaux de filtrage de données
• Démystifier les données CLIP
• Ensemble : Légende d'image par réalignement du texte alternatif
• Meta CLIP 2 : une recette de mise à l'échelle à l'échelle mondiale
• TinyCLIP : distillation de CLIP par imitation d'affinité et héritage de poids
• MobileCLIP2 : Amélioration de l'entraînement renforcé multimodal
• Perte sigmoïde pour la pré-entraînement d'images et de langage
• SigLIP 2 : encodeurs vision-langage multilingues avec une compréhension sémantique, une localisation et des caractéristiques denses améliorées
• PaliGemma : un VLM polyvalent de 3B pour le transfert
• PaliGemma 2 : une famille de VLM polyvalents pour le transfert
• TIPSv2 : Amélioration du pré-entraînement vision-langage par un alignement patch-texte renforcé
• Mini-InternVL : un modèle multimodal de poche à transfert flexible avec 5 % de paramètres et 90 % des performances
• Élargir les limites de performance des modèles multimodaux open source grâce à l'échelle du modèle, des données et du test

Référencé par les poids pré-entraînés :

• arXiv:2203.07845
• arXiv:2412.07679
• arXiv:2601.17237

Utilisation

Consultez le Démarrage rapide pour le chargement des poids pré-entraînés, le prétraitement des images et l’ajustement fin, ainsi que Extraction de caractéristiques pour utiliser les modèles comme squelettes.

>>> import timm
>>> model = timm.create_model('vit_base_patch16_224.augreg2_in21k_ft_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

Prise en charge de l'API des modèles

✓ pris en charge, ✓ (carré) fonctionne uniquement pour les tailles carrées, ✗ non pris en charge, – non nécessaire (le modèle accepte déjà n'importe quelle taille d'entrée). Vérifié en exécutant chaque fonctionnalité sur un modèle initialisé aléatoirement (VisionTransformer avec vit_tiny_patch16_224 à 224), les autres architectures de la même classe sont censées se comporter de la même manière. Consultez la page API du modèle pour plus de détails.

Architectures

Les GMACs et le nombre de paramètres correspondent à la taille d’entrée par défaut et au classifieur de chaque architecture, d’après les résultats des benchmarks.

Poids pré-entraînés

Top-1 est la précision de validation sur ImageNet-1k issue de results-imagenet.csv à la taille d'évaluation indiquée, - si le poids n'a pas de résultat ImageNet-1k (par exemple, poids de pré-entraînement ou poids image-texte). Classes est la taille du classifieur pré-entraîné, aucune pour les poids sans classifieur.

Les poids sont regroupés par source : le papier ou l’origine indiqué dans la configuration pré-entraînée, à défaut une organisation du Hub autre que timm, à défaut la première partie de l’étiquette pré-entraînée (architecture.tag). Les sources ne comportant qu’un seul poids sont listées sous other.

tags v2

webli tags

tags sbb

tags augreg

tags laion2b

tags openai

metaclip balises

tags apple

pali tags

lvd142m étiquettes

tags d'origine

pali2 étiquettes

tags sbb2

tags laion400m

metaclip2 étiquettes

tags datacompxl

balises dfn2b

dfn5b tags

dino tags

tags indomain

sw tags

tags tinyclip

arXiv:2412.07679

Les configurations préentraînées référencent arXiv:2412.07679.

mae tags

tags augreg2

tags ogvl

tags sam

arXiv:2601.17237

Les configurations préentraînées référencent arXiv:2601.17237.

Autres