Ce modèle a été publié dans HF papers le 2024-08-30 et contribué à Hugging Face Transformers le 2025-08-15.

X-Codec

Aperçu

Le modèle X-Codec a été proposé dans Codec Does Matter: Exploring the Semantic Shortcoming of Codec for Audio Language Model par Zhen Ye, Peiwen Sun, Jiahe Lei, Hongzhan Lin, Xu Tan, Zheqi Dai, Qiuqiang Kong, Jianyi Chen, Jiahao Pan, Qifeng Liu, Yike Guo, Wei Xue.

Le modèle X-Codec est un codec audio neuronal qui intègre des informations sémantiques issues de modèles auto-supervisés (par exemple, HuBERT) en plus des informations acoustiques traditionnelles. Cela permet :

• Poursuite musicale : une meilleure modélisation des sémantiques musicales produit des poursuites plus cohérentes.
• Synthèse texte-son : X-Codec capture l'alignement sémantique entre les invites texte et l'audio généré.
• Tokenisation audio tenant compte du sémantique : X-Codec est utilisé comme tokeniseur audio dans le modèle de génération de chansons à partir de paroles de YuE.

L'abstract de l'article énonce ce qui suit :

Les récentes avancées en génération audio ont été considérablement portées par les capacités des grands modèles de langage (LLM). Les recherches existantes sur les LLM audio se sont principalement concentrées sur l’amélioration de l’architecture et de l’échelle des modèles de langage audio, ainsi que sur l’exploitation de jeux de données plus volumineux. De manière générale, des codecs acoustiques, tels qu’EnCodec, sont utilisés pour la tokenisation audio. Toutefois, ces codecs ont été initialement conçus pour la compression audio, ce qui peut entraîner des performances sous-optimales dans le contexte des LLM audio. Notre recherche vise à remédier aux limites des codecs actuels pour LLM audio, en particulier leurs difficultés à préserver l’intégrité sémantique de l’audio généré. Par exemple, les méthodes existantes comme VALL-E, qui conditionnent la génération de tokens acoustiques sur des transcriptions textuelles, souffrent souvent d’imprécisions de contenu et de taux d’erreur de mot (WER) élevés en raison d’interprétations sémantiques erronées des tokens acoustiques, ce qui provoque des omissions de mots et des erreurs. Pour surmonter ces problèmes, nous proposons une approche simple mais efficace appelée X-Codec. X-Codec intègre des caractéristiques sémantiques issues d’un encodeur sémantique pré-entraîné avant l’étape de quantification vectorielle résiduelle (RVQ) et introduit une perte de reconstruction sémantique après la RVQ. En renforçant la capacité sémantique du codec, X-Codec réduit considérablement le WER dans les tâches de synthèse vocale et étend ces avantages à des applications non vocales, notamment la génération de musique et de sons. Nos expériences sur les tâches de texte-vers-parole, de continuation musicale et de texte-vers-son démontrent que l’intégration d’informations sémantiques améliore substantiellement les performances globales des modèles de langage en génération audio.

Fiches de modèle :

• xcodec-hubert-librispeech (pour la parole)
• xcodec-wavlm-mls (pour la parole)
• xcodec-wavlm-more-data (pour la parole)
• xcodec-hubert-general (pour l'audio général)
• xcodec-hubert-general-balanced (pour l'audio général)

Ce modèle a été contribué par Manal El Aidouni. Le code d'origine peut être trouvé ici et les points de contrôle d'origine pour les cinq modèles différents ici.

Les démonstrations sont disponibles sur cette page.

Exemple d'utilisation

Voici un exemple rapide de l’encodage et du décodage d’un audio à l’aide de ce modèle :

from datasets import Audio, load_dataset

from transformers import AutoFeatureExtractor, XcodecModel


dummy_dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")

# load model and feature extractor
model_id = "hf-audio/xcodec-hubert-librispeech"
model = XcodecModel.from_pretrained(model_id, device_map="auto")
feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)

# load audio sample
dummy_dataset = dummy_dataset.cast_column("audio", Audio(sampling_rate=feature_extractor.sampling_rate))
audio_sample = dummy_dataset[-1]["audio"]["array"]
inputs = feature_extractor(raw_audio=audio_sample, sampling_rate=feature_extractor.sampling_rate, return_tensors="pt").to(model.device)

# encode and decode
encoder_outputs = model.encode(inputs["input_values"])
decoder_outputs = model.decode(encoder_outputs.audio_codes)
audio_values = decoder_outputs.audio_values

# or the equivalent with a forward pass
audio_values = model(inputs["input_values"]).audio_values

Pour écouter l’audio original et reconstruit, exécutez l’extrait de code ci-dessous, puis ouvrez les fichiers original.wav et reconstruction.wav générés dans votre lecteur musical pour les comparer.

import soundfile as sf


original = audio_sample
reconstruction = audio_values[0].cpu().detach().numpy()
sampling_rate = feature_extractor.sampling_rate

sf.write("original.wav", original, sampling_rate)
sf.write("reconstruction.wav", reconstruction.T, sampling_rate)

XcodecConfig

>>> from transformers import XcodecModel, XcodecConfig

>>> # Initializing configuration
>>> configuration = XcodecConfig()

>>> # Initializing a model (with random weights) from the configuration
>>> model = XcodecModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

XcodecModel

>>> from datasets import load_dataset
>>> from transformers import AutoFeatureExtractor, XcodecModel

>>> model_id = "hf-audio/xcodec-hubert-librispeech"
>>> model = XcodecModel.from_pretrained(model_id)
>>> feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
>>> dataset = dataset.cast_column("audio", Audio(sampling_rate=feature_extractor.sampling_rate))
>>> audio_sample = dataset[0]['audio']['array']

>>> inputs = feature_extractor(raw_audio=audio_sample, return_tensors="pt")

>>> outputs = model(**inputs)
>>> audio_codes = outputs.audio_codes
>>> audio_values = outputs.audio_values