Эта модель была опубликована в HF papers 30.08.2024 и добавлена в Hugging Face Transformers 15.08.2025.

X-Codec

Обзор

Модель X-Codec была предложена в статье Codec Does Matter: Exploring the Semantic Shortcoming of Codec for Audio Language Model авторами Zhen Ye, Peiwen Sun, Jiahe Lei, Hongzhan Lin, Xu Tan, Zheqi Dai, Qiuqiang Kong, Jianyi Chen, Jiahao Pan, Qifeng Liu, Yike Guo, Wei Xue.

Модель X-Codec — это нейронный аудиокодек, который объединяет семантическую информацию из самообучаемых моделей (например, HuBERT) с традиционной акустической информацией. Это позволяет:

• Продолжение музыки: Более точное моделирование музыкальной семантики обеспечивает более связные продолжения.
• Синтез звука из текста: X-Codec обеспечивает семантическое согласование между текстовыми запросами и генерируемым аудио.
• Семантически осведомленная токенизация аудио: X-Codec используется в качестве аудио-токенизатора в модели YuE для генерации песни по тексту.

В аннотации к статье сказано следующее:

Недавние достижения в области генерации аудио были значительно продвинуты благодаря возможностям больших языковых моделей (LLM). Существующие исследования в области аудио-LLM в основном сосредоточены на улучшении архитектуры и масштаба моделей аудиоязыка, а также на использовании более крупных наборов данных. Как правило, для токенизации аудио применяются акустические кодексы, такие как EnCodec. Однако эти кодексы изначально были разработаны для сжатия аудио, что может приводить к неоптимальной производительности в контексте аудио-LLM. Наша работа направлена на устранение недостатков текущих кодеков для аудио-LLM, в частности, их трудностей с сохранением семантической целостности в генерируемом аудио. Например, существующие методы, такие как VALL-E, которые обусловливают генерацию акустических токенов текстовой транскрипцией, часто страдают от неточностей в содержании и повышенного показателя ошибки распознавания слов (WER) из-за семантических искажений акустических токенов, что приводит к пропуску слов и ошибкам. Для решения этих проблем мы предлагаем простой, но эффективный подход, названный X-Codec. X-Codec включает семантические признаки из предварительно обученного семантического энкодера перед этапом остаточного векторного квантования (RVQ) и вводит потерю семантической реконструкции после RVQ. За счет усиления семантических возможностей кодека X-Codec значительно снижает WER в задачах синтеза речи и распространяет эти преимущества на приложения, не связанные с речью, включая генерацию музыки и звуков. Наши эксперименты в задачах преобразования текста в речь, продолжения музыки и преобразования текста в звук демонстрируют, что интеграция семантической информации существенно улучшает общую производительность языковых моделей в генерации аудио.

Карточки моделей:

• xcodec-hubert-librispeech (для речи)
• xcodec-wavlm-mls (для речи)
• xcodec-wavlm-more-data (для речи)
• xcodec-hubert-general (для общего аудио)
• xcodec-hubert-general-balanced (для общего аудио)

Эта модель была предоставлена Manal El Aidouni. Исходный код можно найти здесь, а исходные контрольные точки для пяти различных моделей — здесь.

Демо можно найти на этой странице.

Пример использования

Вот краткий пример того, как закодировать и декодировать аудио с помощью этой модели:

from datasets import Audio, load_dataset

from transformers import AutoFeatureExtractor, XcodecModel


dummy_dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")

# load model and feature extractor
model_id = "hf-audio/xcodec-hubert-librispeech"
model = XcodecModel.from_pretrained(model_id, device_map="auto")
feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)

# load audio sample
dummy_dataset = dummy_dataset.cast_column("audio", Audio(sampling_rate=feature_extractor.sampling_rate))
audio_sample = dummy_dataset[-1]["audio"]["array"]
inputs = feature_extractor(raw_audio=audio_sample, sampling_rate=feature_extractor.sampling_rate, return_tensors="pt").to(model.device)

# encode and decode
encoder_outputs = model.encode(inputs["input_values"])
decoder_outputs = model.decode(encoder_outputs.audio_codes)
audio_values = decoder_outputs.audio_values

# or the equivalent with a forward pass
audio_values = model(inputs["input_values"]).audio_values

Чтобы прослушать исходный и восстановленный звук, выполните приведённый ниже фрагмент кода, а затем откройте сгенерированные файлы original.wav и reconstruction.wav в музыкальном плеере для сравнения.

import soundfile as sf


original = audio_sample
reconstruction = audio_values[0].cpu().detach().numpy()
sampling_rate = feature_extractor.sampling_rate

sf.write("original.wav", original, sampling_rate)
sf.write("reconstruction.wav", reconstruction.T, sampling_rate)

XcodecConfig

>>> from transformers import XcodecModel, XcodecConfig

>>> # Initializing configuration
>>> configuration = XcodecConfig()

>>> # Initializing a model (with random weights) from the configuration
>>> model = XcodecModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

XcodecModel

>>> from datasets import load_dataset
>>> from transformers import AutoFeatureExtractor, XcodecModel

>>> model_id = "hf-audio/xcodec-hubert-librispeech"
>>> model = XcodecModel.from_pretrained(model_id)
>>> feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
>>> dataset = dataset.cast_column("audio", Audio(sampling_rate=feature_extractor.sampling_rate))
>>> audio_sample = dataset[0]['audio']['array']

>>> inputs = feature_extractor(raw_audio=audio_sample, return_tensors="pt")

>>> outputs = model(**inputs)
>>> audio_codes = outputs.audio_codes
>>> audio_values = outputs.audio_values