# Xuất ra môi trường sản xuất

Xuất các mô hình của Transformers sang các định dạng khác nhau cho các runtime và thiết bị được tối ưu hóa. Triển khai cùng một mô hình lên các nhà cung cấp đám mây hoặc chạy trên các thiết bị di động và biên. Bạn không cần viết lại mô hình từ đầu cho mỗi môi trường triển khai. Tự do triển khai trên bất kỳ hệ sinh thái suy luận nào.

## ExecuTorch

[ExecuTorch](https://pytorch.org/executorch/stable/index.html) chạy các mô hình PyTorch trên thiết bị di động và thiết bị biên. Nó xuất mô hình thành một đồ thị gồm các toán tử chuẩn hóa, biên dịch đồ thị đó thành một chương trình ExecuTorch, và thực thi nó trên thiết bị đích. Runtime nhẹ và tính toán kế hoạch thực thi trước.

Cài đặt [Optimum ExecuTorch](https://huggingface.co/docs/optimum-executorch/en/index) từ mã nguồn.

```bash
git clone https://github.com/huggingface/optimum-executorch.git
cd optimum-executorch
pip install '.[dev]'
```

Xuất mô hình Transformers sang ExecuTorch bằng công cụ CLI.

```bash
optimum-cli export executorch \
    --model "Qwen/Qwen3-8B" \
    --task "text-generation" \
    --recipe "xnnpack" \
    --use_custom_sdpa \
    --use_custom_kv_cache \
    --qlinear 8da4w \
    --qembedding 8w \
    --output_dir="hf_smollm2"
```

Chạy lệnh sau để xem tất cả các tùy chọn xuất.

```bash
optimum-cli export executorch --help
```

## ONNX

[ONNX](http://onnx.ai) là một ngôn ngữ chung để mô tả các mô hình từ những framework khác nhau. Nó biểu diễn mô hình dưới dạng đồ thị gồm các toán tử chuẩn hóa với các kiểu, hình dạng và metadata được định nghĩa rõ ràng. Các mô hình được serialize thành các tệp protobuf gọn nhẹ, cho phép triển khai trên nhiều runtime và engine được tối ưu hóa.

[Optimum ONNX](https://huggingface.co/docs/optimum-onnx/index) xuất mô hình sang ONNX với các đối tượng cấu hình. Nó hỗ trợ nhiều [kiến trúc](https://huggingface.co/docs/optimum-onnx/onnx/overview) và dễ dàng mở rộng. Xuất mô hình thông qua công cụ CLI hoặc theo cách lập trình.

Cài đặt [Optimum ONNX](https://huggingface.co/docs/optimum-onnx/index).

```bash
uv pip install optimum-onnx
```

### optimum-cli

Chỉ định một mô hình để xuất và thư mục đầu ra bằng đối số `--model`.

```bash
optimum-cli export onnx --model Qwen/Qwen3-8B Qwen/Qwen3-8b-onnx/
```

Chạy lệnh sau để xem tất cả các đối số khả dụng hoặc tham khảo hướng dẫn [Xuất mô hình sang ONNX với optimum.exporters.onnx](https://huggingface.co/docs/optimum-onnx/onnx/usage_guides/export_a_model) để biết thêm chi tiết.

```bash
optimum-cli export onnx --help
```

Để xuất một model cục bộ, hãy lưu các file weights và tokenizer trong cùng một thư mục. Truyền đường dẫn thư mục vào đối số `--model` và sử dụng đối số `--task` để chỉ định [task](https://huggingface.co/docs/optimum/exporters/task_manager#transformers). Nếu bạn không cung cấp `--task`, hệ thống sẽ tự suy luận từ model hoặc sử dụng một kiến trúc không có head riêng cho task.

```bash
optimum-cli export onnx --model path/to/local/model --task text-generation Qwen/Qwen3-8b-onnx/
```

Triển khai mô hình với bất kỳ [runtime](https://onnx.ai/supported-tools.html#deployModel) nào hỗ trợ ONNX, bao gồm ONNX Runtime.

```py
from transformers import AutoTokenizer
from optimum.onnxruntime import ORTModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3-8b-onnx")
model = ORTModelForCausalLM.from_pretrained("Qwen/Qwen3-8b-onnx")
inputs = tokenizer("Plants generate energy through a process known as ", return_tensors="pt")
outputs = model.generate(**inputs)
print(tokenizer.batch_decode(outputs))
```

### optimum.onnxruntime

Xuất các mô hình của Transformers theo cách lập trình với Optimum ONNX. Khởi tạo một `ORTModel` với một mô hình và đặt `export=True`. Lưu mô hình ONNX bằng `save_pretrained`.

```py
from optimum.onnxruntime import ORTModelForCausalLM
from transformers import AutoTokenizer

ort_model = ORTModelForCausalLM.from_pretrained("Qwen/Qwen3-8b", export=True)
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3-8b")

ort_model.save_pretrained("onnx/")
tokenizer.save_pretrained("onnx/")
```

