Transformers documentation

Simpan dan bagikan model

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Simpan dan bagikan model

Menyimpan model setelah melakukan kuantisasi saat memuatnya memungkinkan Anda, dan siapa pun yang Anda bagikan model tersebut, untuk melewati langkah kuantisasi pada penggunaan berikutnya. Metode kalibrasi seperti GPTQ paling diuntungkan karena proses kalibrasi dapat memakan waktu dari beberapa menit hingga beberapa jam.

Simpan model

Panggil save_pretrained() pada model terkuantisasi untuk menulis bobot terkuantisasi dan menambahkan quantization_config ke config.json.

from transformers import AutoModelForCausalLM, BitsAndBytesConfig

quantization_config = BitsAndBytesConfig(load_in_4bit=True)
model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-0.6B",
    quantization_config=quantization_config,
    device_map="auto",
)
model.save_pretrained("Qwen3-0.6B-bnb-4bit")

Simpan tokenizer ke direktori yang sama agar checkpoint lengkap.

Dorong model ke Hub

Panggil push_to_hub() untuk mengunggah bobot terkuantisasi dan konfigurasi ke repositori Hub. Masuk terlebih dahulu dengan hf auth login.

model.push_to_hub("Qwen3-0.6B-bnb-4bit")

Muat model yang disimpan

Muat checkpoint yang disimpan dengan from_pretrained() tanpa konfigurasi kuantisasi. Transformers membaca metode dari quantization_config di config.json dan memuat bobot yang sudah dikuantisasi.

from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("your-username/Qwen3-0.6B-bnb-4bit", device_map="auto")

Perpustakaan metode tersebut harus diinstal di mana pun checkpoint dimuat.

Metode yang tidak dapat menyimpan

Beberapa metode tidak dapat menyimpan bobot terkuantisasinya, dan save_pretrained() akan melempar ValueError untuk metode tersebut.

MetodeMengapa
GGUFBobot dimuat dari file GGUF. Simpan dalam format GGUF dengan alat llama.cpp sebagai gantinya.
NVFP4Menyimpan tidak didukung. Kuantisasi ulang model saat memuatnya.
QuantoPenyimpanan tidak didukung melalui Transformers.
QuarkPenyimpanan tidak didukung melalui Transformers.
AWQ dengan backend ExLlamaMenyimpan tidak didukung dengan backend ExLlama. Muat model dengan backend lain untuk menyimpannya.

Model terkuantisasi dengan adapter PEFT yang terpasang adalah pengecualian. save_pretrained() hanya menyimpan bobot adapter, sehingga berfungsi dengan metode apa pun.

Untuk menyimpan model dalam presisi penuh, dekuantisasi terlebih dahulu. Lihat Dequantize a model.

Update on GitHub