# Компиляция модели

Квантование экономит память, но деквантование весов внутри каждого matmul может сделать генерацию медленнее, чем в bf16. [torch.compile](../perf_torch_compile) объединяет эту работу в оптимизированные ядра и восстанавливает значительную часть скорости.

## Автоматическая компиляция в generate

[generate()](/docs/transformers/v5.23.0/ru/main_classes/text_generation#transformers.GenerationMixin.generate) автоматически компилирует прямой проход модели, если выполняются все перечисленные ниже условия.

- Метод квантования поддерживает компиляцию ([compressed-tensors](./compressed_tensors), [Fine-grained FP8](./finegrained_fp8), [GGUF](./gguf), [NVFP4](./nvfp4) и [torchao](./torchao)).
- Модель использует кэш фиксированного размера, как [статический кэш](../kv_cache#fixed-size-cache).
- Модель работает на CUDA, XPU, Neuron или TPU.
- Ни одна часть модели не выгружается в оперативную память или на диск.

Передайте `cache_implementation="static"` в [generate()](/docs/transformers/v5.23.0/ru/main_classes/text_generation#transformers.GenerationMixin.generate). В примере ниже используется квантование только весов int8 с помощью [torchao](./torchao).

```py
import torch
from torchao.quantization import Int8WeightOnlyConfig
from transformers import AutoModelForCausalLM, AutoTokenizer, TorchAoConfig

model_id = "Qwen/Qwen3-0.6B"
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    quantization_config=TorchAoConfig(quant_type=Int8WeightOnlyConfig()),
    device_map="cuda",
)
tokenizer = AutoTokenizer.from_pretrained(model_id)

inputs = tokenizer("The capital of France is", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=32, cache_implementation="static")
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
```

Первые вызовы выполняются медленно, пока модель компилируется. Последующие вызовы с теми же формами повторно используют скомпилированные ядра.

Передайте `disable_compile=True` в [generate()](/docs/transformers/v5.23.0/ru/main_classes/text_generation#transformers.GenerationMixin.generate), чтобы отключить автоматическую компиляцию.

