GGUF Quant
#1
by
DeZepTup
- opened
Есть какие-то особенности конвертации модели из HF?
После стандартного llama.cpp convert_hf_to_gguf.py ../RuadaptQwen3-4B-Hybrid-custom --outfile "../RuadaptQwen3-4B-Hybrid-custom.gguf" --outtype q8_0 ловлю error loading model: error loading model vocabulary: unknown pre-tokenizer type: 'ruadapt-qwen3'
Там есть особенности, да. Нужно предварительно вроде бы использовать convert_hf_to_gguf_update.py скрипт
Конкретную последовательность действий уже не помню, но там не было сильно ложно.
Возможно сделаем небольшой гайд по подготовке gguf для моделей с новыми токенайзерами в будущем