TRL documentation

Integrasi dan Penggunaan Kernels Hub

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Integrasi dan Penggunaan Kernels Hub

kernel-builder logo

Perpustakaan kernels memungkinkan kernel komputasi yang dioptimalkan untuk dimuat langsung dari Hub.
Anda dapat menemukan kernels di org khusus atau dengan mencari tag kernel di dalam Hub.

Kernels adalah potongan kode yang dioptimalkan yang membantu dalam pengembangan, pelatihan, dan inferensi model. Di sini, kita akan berfokus pada integrasi mereka dengan TRL, tetapi lihat sumber daya di atas untuk mempelajari lebih lanjut tentang mereka.

Instalasi

Untuk menggunakan kernel dengan TRL, Anda perlu menginstal pustaka tersebut di lingkungan Python Anda:

pip install kernels

Menggunakan Kernels dari Hub di TRL

Kernels dapat langsung menggantikan implementasi attention, menghilangkan kebutuhan untuk mengompilasi backend attention seperti Flash Attention secara manual, dan meningkatkan kecepatan pelatihan hanya dengan menarik kernel attention yang sesuai dari Hub.

Anda dapat menentukan kernel saat memuat model:

from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained(
    "your-model-name",
    attn_implementation="kernels-community/flash-attn2"  # other options: kernels-community/vllm-flash-attn3, kernels-community/paged-attention
)

Atau saat menjalankan skrip pelatihan TRL:

python sft.py ... --attn_implementation kernels-community/flash-attn2

Atau menggunakan TRL CLI:

trl sft ... --attn_implementation kernels-community/flash-attn2

Sekarang Anda dapat memanfaatkan backend perhatian yang lebih cepat dengan kernel yang telah dioptimalkan sebelumnya untuk konfigurasi perangkat keras Anda dari Hub, sehingga mempercepat proses pengembangan dan pelatihan.

Memilih dan Mengunci Versi Kernel

Repositori kernel di Hub diberi versi sebagai cabang (v1, v2, v3, …), dan Transformers memilih versi default untuk setiap repositori. Default tersebut dapat berubah dari satu rilis Transformers ke rilis berikutnya, sehingga nilai attn_implementation yang sama tidak selalu merujuk ke build yang sama.

Untuk mengontrol build mana yang dimuat, tambahkan revisi ke id repositori, baik berupa cabang versi maupun SHA commit:

from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained(
    "your-model-name",
    attn_implementation="kernels-community/flash-attn2@v2",  # or a commit SHA to pin an exact build
)

Pinning berguna untuk membuat jalannya pelatihan dapat direproduksi, dan untuk tetap menggunakan build yang diketahui baik ketika versi yang lebih baru mengalami regresi. Perlu diingat bahwa setiap versi hanya menyediakan build untuk rentang versi Torch dan CUDA tertentu, sehingga versi yang di-pin mungkin tidak memiliki varian untuk lingkungan Anda.

attn_implementation="flash_attention_2" akan kembali ke kernel Hub kernels-community/flash-attn2 ketika paket flash-attn tidak terinstal, sehingga Anda mungkin menggunakan kernel Hub tanpa memintanya secara eksplisit.

Build v3 untuk CUDA 12.8 saat ini gagal pada backward pass untuk model yang menggunakan grouped-query attention. Jika lingkungan Anda menggunakan versi CUDA tersebut, kunci @v2 hingga huggingface/kernels-community#1085 ditutup.

Membandingkan Implementasi Atensi

Kami mengevaluasi berbagai implementasi perhatian yang tersedia di transformers, bersama dengan berbagai backend kernel, menggunakan TRL dan SFT.
Eksperimen dijalankan pada satu H100 GPU dengan CUDA 12.9, memanfaatkan Qwen3-8B dengan batch size 8, gradient accumulation 1, dan presisi bfloat16.
Perlu diingat bahwa hasil yang ditampilkan di sini spesifik untuk konfigurasi ini dan dapat bervariasi dengan konfigurasi pelatihan yang berbeda.

Gambar berikut mengilustrasikan latensi (waktu per langkah pelatihan) dan memori puncak yang dialokasikan untuk berbagai implementasi perhatian dan backend kernel.
Implementasi berbasis kernel memiliki performa yang setara dengan perhatian yang diinstal secara khusus, dan meningkatkan max_length model lebih lanjut meningkatkan performa. Konsumsi memori serupa di semua implementasi, menunjukkan tidak ada perbedaan yang signifikan. Kami mendapatkan performa yang sama tetapi dengan friksi yang lebih sedikit, seperti yang dijelaskan dalam bagian berikut.

Latency and Memory Usage Latency and Memory Usage

Flash Attention vs. Inti Hub

Membangun Flash Attention dari sumber dapat memakan waktu lama, sering kali berkisar dari beberapa menit hingga berjam-jam, tergantung pada perangkat keras, konfigurasi CUDA/PyTorch, dan ketersediaan roda yang sudah dikompilasi sebelumnya.

Sebaliknya, Hugging Face Kernels menyediakan alur kerja yang jauh lebih cepat dan andal. Pengembang tidak perlu khawatir tentang konfigurasi yang kompleks—semuanya ditangani secara otomatis. Dalam benchmark kami, kernel siap digunakan dalam waktu sekitar 2,5 detik, tanpa perlu kompilasi. Hal ini memungkinkan Anda memulai pelatihan hampir secara instan, sehingga mempercepat pengembangan secara signifikan. Cukup tentukan versi yang diinginkan, dan kernels akan mengurus sisanya.

Update on GitHub