Transformers documentation
Simpan dan bagikan model
Simpan dan bagikan model
Menyimpan model setelah melakukan kuantisasi saat memuatnya memungkinkan Anda, dan siapa pun yang Anda bagikan model tersebut, untuk melewati langkah kuantisasi pada penggunaan berikutnya. Metode kalibrasi seperti GPTQ paling diuntungkan karena proses kalibrasi dapat memakan waktu dari beberapa menit hingga beberapa jam.
Simpan model
Panggil save_pretrained() pada model terkuantisasi untuk menulis bobot terkuantisasi dan menambahkan quantization_config ke config.json.
from transformers import AutoModelForCausalLM, BitsAndBytesConfig
quantization_config = BitsAndBytesConfig(load_in_4bit=True)
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen3-0.6B",
quantization_config=quantization_config,
device_map="auto",
)
model.save_pretrained("Qwen3-0.6B-bnb-4bit")Simpan tokenizer ke direktori yang sama agar checkpoint lengkap.
Dorong model ke Hub
Panggil push_to_hub() untuk mengunggah bobot terkuantisasi dan konfigurasi ke repositori Hub. Masuk terlebih dahulu dengan hf auth login.
model.push_to_hub("Qwen3-0.6B-bnb-4bit")Muat model yang disimpan
Muat checkpoint yang disimpan dengan from_pretrained() tanpa konfigurasi kuantisasi. Transformers membaca metode dari quantization_config di config.json dan memuat bobot yang sudah dikuantisasi.
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("your-username/Qwen3-0.6B-bnb-4bit", device_map="auto")Perpustakaan metode tersebut harus diinstal di mana pun checkpoint dimuat.
Metode yang tidak dapat menyimpan
Beberapa metode tidak dapat menyimpan bobot terkuantisasinya, dan save_pretrained() akan melempar ValueError untuk metode tersebut.
| Metode | Mengapa |
|---|---|
| GGUF | Bobot dimuat dari file GGUF. Simpan dalam format GGUF dengan alat llama.cpp sebagai gantinya. |
| NVFP4 | Menyimpan tidak didukung. Kuantisasi ulang model saat memuatnya. |
| Quanto | Penyimpanan tidak didukung melalui Transformers. |
| Quark | Penyimpanan tidak didukung melalui Transformers. |
| AWQ dengan backend ExLlama | Menyimpan tidak didukung dengan backend ExLlama. Muat model dengan backend lain untuk menyimpannya. |
Model terkuantisasi dengan adapter PEFT yang terpasang adalah pengecualian. save_pretrained() hanya menyimpan bobot adapter, sehingga berfungsi dengan metode apa pun.
Untuk menyimpan model dalam presisi penuh, dekuantisasi terlebih dahulu. Lihat Dequantize a model.
Update on GitHub