TRL documentation

Intégration de DeepSpeed

You are viewing v1.18.0 version. A newer version v1.18.1 is available.
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Intégration de DeepSpeed

TRL prend en charge l'entraînement avec DeepSpeed, une bibliothèque qui implémente des techniques avancées d'optimisation de l'entraînement. Celles-ci incluent le partitionnement de l'état de l'optimiseur, le déchargement (offloading), le partitionnement des gradients, et plus encore.

DeepSpeed intègre le Zero Redundancy Optimizer (ZeRO), qui permet de faire évoluer la taille du modèle proportionnellement au nombre d’appareils tout en maintenant une efficacité élevée.

ZeRO Stages

Installation

Pour utiliser DeepSpeed avec TRL, installez-le à l'aide de la commande suivante :

pip install deepspeed

Exécution des scripts d'entraînement avec DeepSpeed

Aucune modification de votre script d’entraînement n’est requise. DeepSpeed est activé via les arguments d’entraînement, comme pour n’importe quel Trainer : définissez deepspeed sur le chemin d’un fichier de configuration DeepSpeed, puis lancez avec torchrun.

training_args = SFTConfig(..., deepspeed="<DEEPSPEED_CONFIG_FILE.json>")
torchrun --nproc_per_node 8 train.py

Les scripts qui analysent leurs arguments avec TrlParser, comme ceux qui sous-tendent l’interface en ligne de commande trl, les récupèrent depuis la ligne de commande :

trl sft ... --deepspeed <DEEPSPEED_CONFIG_FILE.json>

Nous fournissons des fichiers de configuration DeepSpeed prêts à l'emploi dans le répertoire examples/deepspeed_configs. Par exemple, pour lancer l'entraînement avec ZeRO Stage 2 :

trl sft ... --deepspeed examples/deepspeed_configs/zero2.json

Les valeurs définies sur "auto" dans ces fichiers (taille de lot, accumulation des gradients, précision, …) sont complétées à partir des arguments d'entraînement.

Ressources supplémentaires

Consultez la documentation DeepSpeed de 🤗 Transformers pour plus d'informations sur l'intégration DeepSpeed.

Update on GitHub