Transformers documentation

モデルの保存と共有

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

モデルの保存と共有

読み込み時に量子化してモデルを保存しておくと、次回以降、あなた自身や共有先で量子化ステップをスキップできます。GPTQのようなキャリブレーション手法は、キャリブレーションに数分〜数時間かかるため、特に恩恵が大きくなります。

モデルを保存する

量子化されたモデルに対してsave_pretrained()を呼び出し、量子化された重みを保存し、quantization_configをconfig.jsonに追加します。

from transformers import AutoModelForCausalLM, BitsAndBytesConfig

quantization_config = BitsAndBytesConfig(load_in_4bit=True)
model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-0.6B",
    quantization_config=quantization_config,
    device_map="auto",
)
model.save_pretrained("Qwen3-0.6B-bnb-4bit")

チェックポイントが完全になるように、トークナイザーも同じディレクトリに保存してください。

モデルをHubにプッシュする

hf auth login でログインしてから、push_to_hub() を呼び出して、量子化された重みと設定を Hub リポジトリにアップロードします。

model.push_to_hub("Qwen3-0.6B-bnb-4bit")

保存されたモデルを読み込む

from_pretrained() を使用して、量子化設定なしで保存されたチェックポイントをロードします。Transformers は config.json 内の quantization_config からメソッドを読み取り、すでに量子化された重みをロードします。

from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("your-username/Qwen3-0.6B-bnb-4bit", device_map="auto")

メソッドのライブラリは、チェックポイントが読み込まれるすべての環境にインストールされている必要があります。

保存できないメソッド

一部のメソッドは量子化された重みを保存できず、それらのメソッドに対してsave_pretrained()はValueErrorを送出します。

メソッドなぜ
GGUF重みはGGUFファイルから読み込まれます。保存は代わりにllama.cppツールでGGUF形式として行ってください。
NVFP4保存はサポートされていません。読み込む際にモデルを再度量子化してください。
QuantoTransformers経由での保存はサポートされていません。
QuarkTransformers経由での保存はサポートされていません。
ExLlamaバックエンドによるAWQExLlamaバックエンドでは保存がサポートされていません。保存するには、別のバックエンドでモデルを読み込んでください。

PEFTアダプターが接続された量子化モデルは例外です。save_pretrained()はアダプター重みのみを保存するため、どの方法でも動作します。

代わりにフル精度でモデルを保存するには、まずデクアンタイズしてください。モデルのデクアンタイズを参照してください。

Update on GitHub