Model ini dipublikasikan di HF papers pada 2024-08-30 dan disumbangkan ke Hugging Face Transformers pada 2025-08-15.

X-Codec

Ikhtisar

Model X-Codec diusulkan dalam Codec Does Matter: Exploring the Semantic Shortcoming of Codec for Audio Language Model oleh Zhen Ye, Peiwen Sun, Jiahe Lei, Hongzhan Lin, Xu Tan, Zheqi Dai, Qiuqiang Kong, Jianyi Chen, Jiahao Pan, Qifeng Liu, Yike Guo, Wei Xue.

Model X-Codec adalah codec audio neural yang mengintegrasikan informasi semantik dari model self-supervised (misalnya, HuBERT) bersama dengan informasi akustik tradisional. Hal ini memungkinkan:

• Continuasi musik: Pemodelan semantik musik yang lebih baik menghasilkan continuasi yang lebih koheren.
• Sintesis Teks-ke-Suara: X-Codec menangkap keselarasan semantik antara prompt teks dan audio yang dihasilkan.
• Tokenisasi audio yang sadar semantik: X-Codec digunakan sebagai tokenizer audio dalam model YuE untuk menghasilkan lagu dari lirik.

Abstrak dari makalah tersebut menyatakan hal berikut:

Perkembangan terbaru dalam generasi audio telah didorong secara signifikan oleh kemampuan Large Language Models (LLM). Penelitian yang ada tentang audio LLM terutama berfokus pada peningkatan arsitektur dan skala model bahasa audio, serta pemanfaatan dataset yang lebih besar. Secara umum, codec akustik, seperti EnCodec, digunakan untuk tokenisasi audio. Namun, codec ini awalnya dirancang untuk kompresi audio, yang dapat menyebabkan kinerja yang kurang optimal dalam konteks audio LLM. Penelitian kami bertujuan untuk mengatasi kekurangan codec audio LLM saat ini, khususnya tantangan mereka dalam menjaga integritas semantik pada audio yang dihasilkan. Sebagai contoh, metode yang ada seperti VALL-E, yang mengondisikan generasi token akustik pada transkripsi teks, sering kali mengalami ketidakakuratan konten dan peningkatan word error rate (WER) akibat salah tafsir semantik dari token akustik, yang mengakibatkan lompatan kata dan kesalahan. Untuk mengatasi masalah ini, kami mengusulkan pendekatan yang sederhana namun efektif yang disebut X-Codec. X-Codec mengintegrasikan fitur semantik dari encoder semantik yang telah dilatih sebelumnya sebelum tahap Residual Vector Quantization (RVQ) dan memperkenalkan loss rekonstruksi semantik setelah RVQ. Dengan meningkatkan kemampuan semantik codec, X-Codec secara signifikan mengurangi WER dalam tugas sintesis ucapan dan memperluas manfaat ini ke aplikasi non-ucapan, termasuk generasi musik dan suara. Eksperimen kami dalam tugas text-to-speech, kelanjutan musik, dan text-to-sound menunjukkan bahwa integrasi informasi semantik secara substansial meningkatkan kinerja keseluruhan model bahasa dalam generasi audio.

Kartu model:

• xcodec-hubert-librispeech (untuk ucapan)
• xcodec-wavlm-mls (untuk ucapan)
• xcodec-wavlm-more-data (untuk ucapan)
• xcodec-hubert-general (untuk audio umum)
• xcodec-hubert-general-balanced (untuk audio umum)

Model ini disumbangkan oleh Manal El Aidouni. Kode aslinya dapat ditemukan di sini dan checkpoint asli untuk lima model yang berbeda di sini.

Demo dapat ditemukan di halaman ini.

Contoh penggunaan

Berikut adalah contoh singkat tentang cara mengkodekan dan mendekodekan audio menggunakan model ini:

from datasets import Audio, load_dataset

from transformers import AutoFeatureExtractor, XcodecModel


dummy_dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")

# load model and feature extractor
model_id = "hf-audio/xcodec-hubert-librispeech"
model = XcodecModel.from_pretrained(model_id, device_map="auto")
feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)

# load audio sample
dummy_dataset = dummy_dataset.cast_column("audio", Audio(sampling_rate=feature_extractor.sampling_rate))
audio_sample = dummy_dataset[-1]["audio"]["array"]
inputs = feature_extractor(raw_audio=audio_sample, sampling_rate=feature_extractor.sampling_rate, return_tensors="pt").to(model.device)

# encode and decode
encoder_outputs = model.encode(inputs["input_values"])
decoder_outputs = model.decode(encoder_outputs.audio_codes)
audio_values = decoder_outputs.audio_values

# or the equivalent with a forward pass
audio_values = model(inputs["input_values"]).audio_values

Untuk mendengarkan audio asli dan audio yang direkonstruksi, jalankan potongan kode di bawah ini, lalu buka file original.wav dan reconstruction.wav yang dihasilkan di pemutar musik Anda untuk membandingkannya.

import soundfile as sf


original = audio_sample
reconstruction = audio_values[0].cpu().detach().numpy()
sampling_rate = feature_extractor.sampling_rate

sf.write("original.wav", original, sampling_rate)
sf.write("reconstruction.wav", reconstruction.T, sampling_rate)

XcodecConfig

>>> from transformers import XcodecModel, XcodecConfig

>>> # Initializing configuration
>>> configuration = XcodecConfig()

>>> # Initializing a model (with random weights) from the configuration
>>> model = XcodecModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

XcodecModel

>>> from datasets import load_dataset
>>> from transformers import AutoFeatureExtractor, XcodecModel

>>> model_id = "hf-audio/xcodec-hubert-librispeech"
>>> model = XcodecModel.from_pretrained(model_id)
>>> feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
>>> dataset = dataset.cast_column("audio", Audio(sampling_rate=feature_extractor.sampling_rate))
>>> audio_sample = dataset[0]['audio']['array']

>>> inputs = feature_extractor(raw_audio=audio_sample, return_tensors="pt")

>>> outputs = model(**inputs)
>>> audio_codes = outputs.audio_codes
>>> audio_values = outputs.audio_values