ViTamin

カテゴリ: ハイブリッド · コード: timm/models/vitamin.py · アーキテクチャ: 13 · 事前学習済み重み: 15 (ImageNet-1kの結果を持つものは0)

ViTaminは、ビジョン言語モデル向けに設計されたビジョンモデルで、畳み込み（MBConv）ステージの後にトランスフォーマーステージが続きます。重みはCLIPのイメージタワーです。

論文

• ViTamin: ビジョン・ランゲージ時代におけるスケーラブルなビジョンモデルの設計

使用方法

事前学習済み重みの読み込み、画像の前処理、ファインチューニングについてはクイックスタートを、モデルをバックボーンとして使用する方法については特徴量抽出を参照してください。

>>> import timm
>>> model = timm.create_model('vitamin_base_224.datacomp1b_clip', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

モデルAPIのサポート

✓ 対応、✓ (正方形) 正方形サイズのみ動作、✗ 非対応、– 不要（モデルはすでに任意の入力サイズを受け入れる）。ランダムに初期化されたモデル（VisionTransformer、vitamin_small_224、224）で各機能を実行して確認しました。同じクラスの他のアーキテクチャも同様に動作すると予想されます。詳細はModel APIページを参照してください。

アーキテクチャ

GMACsとパラメータ数は、各アーキテクチャのデフォルトの入力サイズと分類器に基づいており、ベンチマーク結果から得られたものです。

事前学習済み重み

Top-1 は、results-imagenet.csv に記載された評価サイズでの ImageNet-1k 検証精度です。- は、ImageNet-1k の結果がない重み（例: プリトレーニング用または画像-テキスト用重み）を示します。Classes は事前学習済み分類器のサイズで、分類器を持たない重みについては none です。

引用

@inproceedings{chen2024vitamin,
  title={ViTamin: Designing Scalable Vision Models in the Vision-language Era},
  author={Chen, Jieneng and Yu, Qihang and Shen, Xiaohui and Yuille, Alan and Chen, Liang-Chieh},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  year={2024}
}