TRL documentation
Integrasi dan Penggunaan Kernels Hub
Integrasi dan Penggunaan Kernels Hub
Perpustakaan kernels memungkinkan kernel komputasi yang dioptimalkan untuk dimuat langsung dari Hub.
Anda dapat menemukan kernels di org khusus atau dengan mencari tag kernel di dalam Hub.
Kernels adalah potongan kode yang dioptimalkan yang membantu dalam pengembangan, pelatihan, dan inferensi model. Di sini, kita akan berfokus pada integrasi mereka dengan TRL, tetapi lihat sumber daya di atas untuk mempelajari lebih lanjut tentang mereka.
Instalasi
Untuk menggunakan kernel dengan TRL, Anda perlu menginstal pustaka tersebut di lingkungan Python Anda:
pip install kernels
Menggunakan Kernels dari Hub di TRL
Kernels dapat langsung menggantikan implementasi attention, menghilangkan kebutuhan untuk mengompilasi backend attention seperti Flash Attention secara manual, dan meningkatkan kecepatan pelatihan hanya dengan menarik kernel attention yang sesuai dari Hub.
Anda dapat menentukan kernel saat memuat model:
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained(
"your-model-name",
attn_implementation="kernels-community/flash-attn2" # other options: kernels-community/vllm-flash-attn3, kernels-community/paged-attention
)Atau saat menjalankan skrip pelatihan TRL:
python sft.py ... --attn_implementation kernels-community/flash-attn2
Atau menggunakan TRL CLI:
trl sft ... --attn_implementation kernels-community/flash-attn2
Sekarang Anda dapat memanfaatkan backend perhatian yang lebih cepat dengan kernel yang telah dioptimalkan sebelumnya untuk konfigurasi perangkat keras Anda dari Hub, sehingga mempercepat proses pengembangan dan pelatihan.
Memilih dan Mengunci Versi Kernel
Repositori kernel di Hub diberi versi sebagai cabang (v1, v2, v3, …), dan Transformers memilih versi default untuk setiap repositori. Default tersebut dapat berubah dari satu rilis Transformers ke rilis berikutnya, sehingga nilai attn_implementation yang sama tidak selalu merujuk ke build yang sama.
Untuk mengontrol build mana yang dimuat, tambahkan revisi ke id repositori, baik berupa cabang versi maupun SHA commit:
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained(
"your-model-name",
attn_implementation="kernels-community/flash-attn2@v2", # or a commit SHA to pin an exact build
)Pinning berguna untuk membuat jalannya pelatihan dapat direproduksi, dan untuk tetap menggunakan build yang diketahui baik ketika versi yang lebih baru mengalami regresi. Perlu diingat bahwa setiap versi hanya menyediakan build untuk rentang versi Torch dan CUDA tertentu, sehingga versi yang di-pin mungkin tidak memiliki varian untuk lingkungan Anda.
attn_implementation="flash_attention_2"akan kembali ke kernel Hubkernels-community/flash-attn2ketika paketflash-attntidak terinstal, sehingga Anda mungkin menggunakan kernel Hub tanpa memintanya secara eksplisit.
Build
v3untuk CUDA 12.8 saat ini gagal pada backward pass untuk model yang menggunakan grouped-query attention. Jika lingkungan Anda menggunakan versi CUDA tersebut, kunci@v2hingga huggingface/kernels-community#1085 ditutup.
Membandingkan Implementasi Atensi
Kami mengevaluasi berbagai implementasi perhatian yang tersedia di transformers, bersama dengan berbagai backend kernel, menggunakan TRL dan SFT.
Eksperimen dijalankan pada satu H100 GPU dengan CUDA 12.9, memanfaatkan Qwen3-8B dengan batch size 8, gradient accumulation 1, dan presisi bfloat16.
Perlu diingat bahwa hasil yang ditampilkan di sini spesifik untuk konfigurasi ini dan dapat bervariasi dengan konfigurasi pelatihan yang berbeda.
Gambar berikut mengilustrasikan latensi (waktu per langkah pelatihan) dan memori puncak yang dialokasikan untuk berbagai implementasi perhatian dan backend kernel.
Implementasi berbasis kernel memiliki performa yang setara dengan perhatian yang diinstal secara khusus, dan meningkatkan max_length model lebih lanjut meningkatkan performa. Konsumsi memori serupa di semua implementasi, menunjukkan tidak ada perbedaan yang signifikan. Kami mendapatkan performa yang sama tetapi dengan friksi yang lebih sedikit, seperti yang dijelaskan dalam bagian berikut.

Flash Attention vs. Inti Hub
Membangun Flash Attention dari sumber dapat memakan waktu lama, sering kali berkisar dari beberapa menit hingga berjam-jam, tergantung pada perangkat keras, konfigurasi CUDA/PyTorch, dan ketersediaan roda yang sudah dikompilasi sebelumnya.
Sebaliknya, Hugging Face Kernels menyediakan alur kerja yang jauh lebih cepat dan andal. Pengembang tidak perlu khawatir tentang konfigurasi yang kompleks—semuanya ditangani secara otomatis. Dalam benchmark kami, kernel siap digunakan dalam waktu sekitar 2,5 detik, tanpa perlu kompilasi. Hal ini memungkinkan Anda memulai pelatihan hampir secara instan, sehingga mempercepat pengembangan secara signifikan. Cukup tentukan versi yang diinginkan, dan kernels akan mengurus sisanya.