TRL documentation
Intégration de DeepSpeed
Intégration de DeepSpeed
TRL prend en charge l'entraînement avec DeepSpeed, une bibliothèque qui implémente des techniques avancées d'optimisation de l'entraînement. Celles-ci incluent le partitionnement de l'état de l'optimiseur, le déchargement (offloading), le partitionnement des gradients, et plus encore.
DeepSpeed intègre le Zero Redundancy Optimizer (ZeRO), qui permet de faire évoluer la taille du modèle proportionnellement au nombre d’appareils tout en maintenant une efficacité élevée.

Installation
Pour utiliser DeepSpeed avec TRL, installez-le à l'aide de la commande suivante :
pip install deepspeed
Exécution des scripts d'entraînement avec DeepSpeed
Aucune modification de votre script d’entraînement n’est requise. DeepSpeed est activé via les arguments d’entraînement, comme pour n’importe quel Trainer : définissez deepspeed sur le chemin d’un fichier de configuration DeepSpeed, puis lancez avec torchrun.
training_args = SFTConfig(..., deepspeed="<DEEPSPEED_CONFIG_FILE.json>")torchrun --nproc_per_node 8 train.py
Les scripts qui analysent leurs arguments avec TrlParser, comme ceux qui sous-tendent l’interface en ligne de commande trl, les récupèrent depuis la ligne de commande :
trl sft ... --deepspeed <DEEPSPEED_CONFIG_FILE.json>
Nous fournissons des fichiers de configuration DeepSpeed prêts à l'emploi dans le répertoire examples/deepspeed_configs. Par exemple, pour lancer l'entraînement avec ZeRO Stage 2 :
trl sft ... --deepspeed examples/deepspeed_configs/zero2.json
Les valeurs définies sur "auto" dans ces fichiers (taille de lot, accumulation des gradients, précision, …) sont complétées à partir des arguments d'entraînement.
Ressources supplémentaires
Consultez la documentation DeepSpeed de 🤗 Transformers pour plus d'informations sur l'intégration DeepSpeed.
Update on GitHub