# PiT

**Categoria:** ViT · **Código:** [`timm/models/pit.py`](https://github.com/huggingface/pytorch-image-models/blob/main/timm/models/pit.py) · **Arquiteturas:** 8 · **Pesos pré-treinados:** 8 (8 com resultados no ImageNet-1k)

Vision Transformers baseados em pooling (PiT) reduzem o tamanho espacial e aumentam os canais dos tokens entre os estágios com uma camada de pooling de convolução depthwise, como em CNNs.

## Artigos

* [Repensando as Dimensões Espaciais dos Vision Transformers](https://arxiv.org/abs/2103.16302)

## Uso

Veja o [Início rápido](../quickstart) para carregar pesos pré-treinados, pré-processar imagens e fazer fine-tuning, e [Extração de recursos](../feature_extraction) para usar os modelos como backbones.

```py
>>> import timm
>>> model = timm.create_model('pit_s_distilled_224.in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)
```

## Suporte à API de modelos

| Recurso | `PoolingVisionTransformer` |
|---|---|
| [mapas de recursos de `features_only=True`](../model_api#intermediate-features) | ✓ (passos 8, 16, 32) |
| [`forward_intermediates()`](../model_api#intermediate-features) | ✓ |
| [`prune_intermediate_layers()`](../model_api#intermediate-features) | ✓ |
| [Qualquer tamanho de entrada, sem necessidade de alterações](../model_api#input-size) | ✗ |
| [`set_input_size()`](../model_api#input-size) | ✗ |
| [`dynamic_img_size=True`](../model_api#input-size) | ✗ |
| [`set_grad_checkpointing()`](../model_api#training-hooks) | ✗ |
| [Decaimento de LR por camada (`group_matcher()`)](../model_api#training-hooks) | ✗ |
| [`reset_classifier()`](../model_api#classifier) | ✓ |

✓ suportado, ✓ (quadrado) funciona apenas para tamanhos quadrados, ✗ não suportado, – não necessário (o modelo já aceita qualquer tamanho de entrada). Verificado executando cada recurso em um modelo inicializado aleatoriamente (`PoolingVisionTransformer` com `pit_ti_224` em 224); espera-se que outras arquiteturas da mesma classe se comportem da mesma forma. Consulte a página [Model API](../model_api) para mais detalhes.

## Arquiteturas

| Arquitetura | Parâmetros (M) | GMACs | Tamanho da entrada | Pesos pré-treinados |
|---|---:|---:|---:|---:|
| `pit_b_224` | 73.76 | 12.42 | 224 | 1 |
| `pit_b_distilled_224` | 74.79 | 12.50 | 224 | 1 |
| `pit_s_224` | 23.46 | 2.88 | 224 | 1 |
| `pit_s_distilled_224` | 24.04 | 2.90 | 224 | 1 |
| `pit_ti_224` | 4.85 | 0.70 | 224 | 1 |
| `pit_ti_distilled_224` | 5.10 | 0.71 | 224 | 1 |
| `pit_xs_224` | 10.62 | 1.40 | 224 | 1 |
| `pit_xs_distilled_224` | 11.00 | 1.41 | 224 | 1 |

Os GMACs e as contagens de parâmetros são para o tamanho de entrada e o classificador padrão de cada arquitetura, a partir dos [resultados do benchmark](https://github.com/huggingface/pytorch-image-models/tree/main/results).

## Pesos pré-treinados

Top-1 é a acurácia de validação no ImageNet-1k a partir de [`results-imagenet.csv`](https://github.com/huggingface/pytorch-image-models/blob/main/results/results-imagenet.csv) no tamanho de avaliação listado, - se o peso não tiver resultado no ImageNet-1k (por exemplo, pesos de pré-treinamento ou de imagem-texto). Classes é o tamanho do classificador pré-treinado, nenhum para pesos sem um.

| Peso | Tamanho da entrada | Top-1 (%) | Tamanho da avaliação | Classes | Licença | Hub |
|---|---:|---:|---:|---:|---|---|
| `pit_b_224.in1k` | 224 | 82.458 | 224 | 1000 | apache-2.0 | [timm](https://huggingface.co/timm/pit_b_224.in1k) |
| `pit_b_distilled_224.in1k` | 224 | 83.774 | 224 | 1000 | apache-2.0 | [timm](https://huggingface.co/timm/pit_b_distilled_224.in1k) |
| `pit_s_224.in1k` | 224 | 81.114 | 224 | 1000 | apache-2.0 | [timm](https://huggingface.co/timm/pit_s_224.in1k) |
| `pit_s_distilled_224.in1k` | 224 | 81.826 | 224 | 1000 | apache-2.0 | [timm](https://huggingface.co/timm/pit_s_distilled_224.in1k) |
| `pit_ti_224.in1k` | 224 | 72.926 | 224 | 1000 | apache-2.0 | [timm](https://huggingface.co/timm/pit_ti_224.in1k) |
| `pit_ti_distilled_224.in1k` | 224 | 74.276 | 224 | 1000 | apache-2.0 | [timm](https://huggingface.co/timm/pit_ti_distilled_224.in1k) |
| `pit_xs_224.in1k` | 224 | 78.196 | 224 | 1000 | apache-2.0 | [timm](https://huggingface.co/timm/pit_xs_224.in1k) |
| `pit_xs_distilled_224.in1k` | 224 | 79.172 | 224 | 1000 | apache-2.0 | [timm](https://huggingface.co/timm/pit_xs_distilled_224.in1k) |