モデルの保存と共有
読み込み時に量子化してモデルを保存しておくと、次回以降、あなた自身や共有先で量子化ステップをスキップできます。GPTQのようなキャリブレーション手法は、キャリブレーションに数分〜数時間かかるため、特に恩恵が大きくなります。
モデルを保存する
量子化されたモデルに対してsave_pretrained()を呼び出し、量子化された重みを保存し、quantization_configをconfig.jsonに追加します。
from transformers import AutoModelForCausalLM, BitsAndBytesConfig
quantization_config = BitsAndBytesConfig(load_in_4bit=True)
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen3-0.6B",
quantization_config=quantization_config,
device_map="auto",
)
model.save_pretrained("Qwen3-0.6B-bnb-4bit")チェックポイントが完全になるように、トークナイザーも同じディレクトリに保存してください。
モデルをHubにプッシュする
hf auth login でログインしてから、push_to_hub() を呼び出して、量子化された重みと設定を Hub リポジトリにアップロードします。
model.push_to_hub("Qwen3-0.6B-bnb-4bit")保存されたモデルを読み込む
from_pretrained() を使用して、量子化設定なしで保存されたチェックポイントをロードします。Transformers は config.json 内の quantization_config からメソッドを読み取り、すでに量子化された重みをロードします。
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("your-username/Qwen3-0.6B-bnb-4bit", device_map="auto")メソッドのライブラリは、チェックポイントが読み込まれるすべての環境にインストールされている必要があります。
保存できないメソッド
一部のメソッドは量子化された重みを保存できず、それらのメソッドに対してsave_pretrained()はValueErrorを送出します。
| メソッド | なぜ |
|---|---|
| GGUF | 重みはGGUFファイルから読み込まれます。保存は代わりにllama.cppツールでGGUF形式として行ってください。 |
| NVFP4 | 保存はサポートされていません。読み込む際にモデルを再度量子化してください。 |
| Quanto | Transformers経由での保存はサポートされていません。 |
| Quark | Transformers経由での保存はサポートされていません。 |
| ExLlamaバックエンドによるAWQ | ExLlamaバックエンドでは保存がサポートされていません。保存するには、別のバックエンドでモデルを読み込んでください。 |
PEFTアダプターが接続された量子化モデルは例外です。save_pretrained()はアダプター重みのみを保存するため、どの方法でも動作します。
代わりにフル精度でモデルを保存するには、まずデクアンタイズしてください。モデルのデクアンタイズを参照してください。
Update on GitHub