Kelas Auto-HF exporter yang menangani instansiasi otomatis ke HfExporter yang tepat berdasarkan ExportConfig.

Kelas konfigurasi ekspor Auto-HF yang menangani penugasan otomatis ke konfigurasi ekspor yang benar berdasarkan konfigurasi ekspor yang disimpan dalam kamus.

Daftarkan sebuah exporter, beserta config_class-nya, di bawah export_format-nya, dan runner yang menjalankan ekspor-nya, sehingga kelas auto dapat menemukannya.

Kelas basis abstrak untuk semua pengekspor Transformers.

Untuk menambahkan backend, turunkan kelas dan implementasikan ~HfExporter.export_program untuk menelusuri satu graf, serta ~HfExporter.save_program / ~HfExporter.load_program untuk menulis dan membacanya kembali. Fungsi publik ~HfExporter.export dan ~HfExporter.export_for_generation membangun ExportedModel di atas keduanya.

Model yang diekspor: grafnya (components, {name: ExportedComponent}) dan konfigurasi yang menjadi acuan pelacakannya, dipanggil dengan cara yang sama seperti memanggil model asalnya.

~HfExporter.export menghasilkan satu komponen "model", yang programnya adalah .program; ~HfExporter.export_for_generation menghasilkan satu komponen per tahap generation.

>>> exported = OnnxExporter().export(model, inputs, OnnxConfig(dynamic=True))
>>> exported.save_pretrained("exported")
>>> outputs = ExportedModel.from_pretrained("exported", device="cuda")(**inputs)
>>> outputs.last_hidden_state

Satu graf yang diekspor: program backend, dan apa yang dicatat oleh exporter tentang program tersebut.

Apa yang dicatat oleh exporter tentang satu graf (build_export_metadata()).

Menjalankan satu program yang diekspor pada backend-nya: runner(**kwargs) mengembalikan apa yang dikembalikan oleh model sumber.

Exporter yang mengonversi PreTrainedModel menjadi ExportedProgram.

>>> from transformers.exporters.exporter_dynamo import DynamoExporter, DynamoConfig

>>> exporter = DynamoExporter()
>>> exported = exporter.export(model, inputs, config=DynamoConfig(dynamic=True))
>>> outputs = exported(**inputs)
>>> exported.save_pretrained("exported")  # `model.pt2`, its metadata and the model config

Exporter yang mengonversi PreTrainedModel menjadi graf ONNX (sebuah onnx_ir.Model).

>>> from transformers.exporters.exporter_onnx import OnnxExporter, OnnxConfig

>>> exporter = OnnxExporter()
>>> exported = exporter.export(model, inputs, config=OnnxConfig(dynamic=True))
>>> outputs = exported(**inputs)  # on ONNX Runtime
>>> onnx_model = exported.program  # an `onnx_ir.Model`
>>> exported.save_pretrained("exported")  # `model.onnx`, its metadata and the model config

Exporter yang mengonversi PreTrainedModel menjadi ExecutorchProgramManager ExecuTorch.

>>> from transformers.exporters.exporter_executorch import ExecutorchExporter, ExecutorchConfig

>>> exporter = ExecutorchExporter()
>>> exported = exporter.export(model, inputs, config=ExecutorchConfig(backend="xnnpack"))
>>> outputs = exported(**inputs)  # on the ExecuTorch runtime
>>> exported.save_pretrained("exported")  # `model.pte`, its metadata and the model config

Kelas konfigurasi untuk mengekspor model melalui torch.export.

Kelas konfigurasi untuk mengekspor model ke ONNX melalui torch.onnx.export.

Mewarisi semua field dari DynamoConfig (dynamic, strict, dynamic_shapes, prefer_deferred_runtime_asserts_over_guards).

Kelas konfigurasi untuk mengekspor model ke format ExecuTorch.

Mewarisi semua field dari DynamoConfig (dynamic, strict, dynamic_shapes, prefer_deferred_runtime_asserts_over_guards).

Kelas konfigurasi untuk mengekspor model ke OpenVINO IR melalui openvino.convert_model.

Mewarisi semua field dari [DynamoConfig] (dynamic, strict, dynamic_shapes, prefer_deferred_runtime_asserts_over_guards).

Kelas dasar untuk kuantizer pasca-pelatihan yang diterapkan selama ekspor.

Quantizer menyatakan format ekspor yang didukungnya dan paket yang dibutuhkan (dengan versi yang diujinya, seperti pada exporter) serta apakah ia mengkuantisasi graf FX torch.export sebelum konversi apa pun (sehingga setiap backend mengambil hasilnya) atau model yang dikonversi oleh backend (onnx_ir.Model, openvino.Model). Exporter memvalidasinya terhadap ekspor di awal, lalu memanggil ~ExportQuantizer.quantize dengan model tersebut dan input sampel dari ekspor. Turunkan kelas ini dan implementasikan quantize untuk menambahkan metode kuantisasi baru; CalibrationSet memetakan sampel kalibrasi ke input model itu sendiri.

Tampilan yang dapat diiterasi ulang dari sampel kalibrasi sebagai input model.

Contoh-contoh tersebut adalah calibration_dataset dari kuantizer, atau sample_inputs milik ekspor itu sendiri (dengan peringatan, sekali mereka dibaca) jika tidak ada. Mereka dapat berupa pemetaan apa pun, seperti BatchEncoding dari tokenizer. transform memetakan setiap contoh forward-kwarg menjadi apa yang diterima model terkuantisasi (kwargs yang ditelusuri, umpan ONNX, umpan port OpenVINO), secara malas, satu contoh pada satu waktu, pada setiap pass.

Kuantisasi graf FX dengan kuantisasi PyTorch 2 Export (PT2E): prepare_pt2e menyisipkan observer, set kalibrasi menggerakkan observer tersebut, dan convert_pt2e menggantinya dengan op kuantisasi/dekuantisasi. Berfungsi dengan setiap backend ekspor.

>>> from torchao.quantization.pt2e.quantizer.x86_inductor_quantizer import (
...     X86InductorQuantizer,
...     get_default_x86_inductor_quantization_config,
... )
>>> from transformers.exporters import DynamoConfig, PT2EQuantizer

>>> x86 = X86InductorQuantizer().set_global(get_default_x86_inductor_quantization_config())
>>> DynamoConfig(quantizer=PT2EQuantizer(x86, calibration_dataset=samples))

Kuantisasi model ONNX yang telah dikonversi dengan alat bawaan ONNX Runtime (onnxruntime.quantization): quantize_static dengan OnnxRuntimeStaticConfig (default), atau quantize_dynamic dengan OnnxRuntimeDynamicConfig.

>>> from transformers.exporters import (
...     OnnxConfig,
...     OnnxRuntimeDynamicConfig,
...     OnnxRuntimeQuantizer,
...     OnnxRuntimeStaticConfig,
... )

>>> static = OnnxRuntimeStaticConfig(per_channel=True)
>>> OnnxConfig(quantizer=OnnxRuntimeQuantizer(static, calibration_dataset=samples))
>>> OnnxConfig(quantizer=OnnxRuntimeQuantizer(OnnxRuntimeDynamicConfig()))

Argumen dari onnxruntime.quantization.quantize_static: aktivasi dan bobot int8 (QDQ secara default), dikalibrasi pada calibration_dataset kuantizer. Bidang yang dibiarkan None mempertahankan default ONNX Runtime. Lihat quantize_static untuk masing-masing.

Argumen dari onnxruntime.quantization.quantize_dynamic: bobot int8, aktivasi dikuantisasi saat runtime, tanpa kalibrasi. Bidang yang dibiarkan None mempertahankan default ONNX Runtime. Lihat quantize_dynamic untuk masing-masing.

Kuantisasi model OpenVINO yang telah dikonversi dengan NNCF: nncf.quantize dengan NNCFQuantizationConfig (default), atau nncf.compress_weights dengan NNCFWeightCompressionConfig.

>>> import nncf
>>> from transformers.exporters import NNCFOpenVINOQuantizer, NNCFWeightCompressionConfig, OpenVINOConfig

>>> OpenVINOConfig(quantizer=NNCFOpenVINOQuantizer(calibration_dataset=samples))
>>> OpenVINOConfig(
...     quantizer=NNCFOpenVINOQuantizer(NNCFWeightCompressionConfig(mode=nncf.CompressWeightsMode.INT4_SYM))
... )

Kuantisasi model ONNX yang telah dikonversi dengan NNCF melalui backend ONNX-nya: nncf.quantize dengan NNCFQuantizationConfig (default, int8 QDQ), atau nncf.compress_weights dengan NNCFWeightCompressionConfig (int4 sebagai MatMulNBits dari ONNX Runtime).

>>> import nncf
>>> from transformers.exporters import NNCFOnnxQuantizer, NNCFWeightCompressionConfig, OnnxConfig

>>> OnnxConfig(quantizer=NNCFOnnxQuantizer(calibration_dataset=samples))
>>> OnnxConfig(quantizer=NNCFOnnxQuantizer(NNCFWeightCompressionConfig(mode=nncf.CompressWeightsMode.INT4_SYM)))

Kuantisasi graf FX torch.export dengan NNCF melalui backend TorchFX-nya: nncf.quantize dengan NNCFQuantizationConfig (default, ops quantize/dequantize), atau nncf.compress_weights dengan NNCFWeightCompressionConfig. Seperti PT2EQuantizer, ini berjalan sebelum konversi apa pun, sehingga setiap backend mengambil hasilnya. ExecuTorch hanya menurunkan hasil weight-only: XNNPACK tidak mendelegasikan ops quantize/dequantize, dan ExecuTorch tidak memiliki kernel untuk mereka.

>>> from transformers.exporters import DynamoConfig, NNCFTorchFXQuantizer

>>> DynamoConfig(quantizer=NNCFTorchFXQuantizer(calibration_dataset=samples))

Argumen dari nncf.quantize: aktivasi dan bobot int8, dikalibrasi pada calibration_dataset kuantizer. Bidang yang dibiarkan None mempertahankan default NNCF, kecuali model_type, yang defaultnya adalah nncf.ModelType.TRANSFORMER. Lihat nncf.quantize untuk masing-masing.

Argumen dari nncf.compress_weights: int8 atau int4 hanya-berat, dengan metode yang sadar data (AWQ, estimasi skala, GPTQ) untuk mode int4. Mode int8 bebas data; yang lain melakukan kalibrasi pada calibration_dataset kuantizer. gptq dan lora_correction hanya untuk OpenVINO. Bidang yang dibiarkan None mempertahankan default NNCF. Lihat nncf.compress_weights untuk masing-masing.

Ambil semua tensor daun secara rekursif dari struktur yang mungkin bersarang.

Konfigurasi model dan input untuk ekspor. Mengubah model dan inputs secara langsung, mengembalikan (model, inputs, output_flags) di mana output_flags menyimpan nilai yang diambil dari inputs untuk use_cache, return_dict, dll. (untuk diterapkan secara reversibel ke model.config oleh patch_model_config selama trace).

• Menghapus input label (labels, future_values) — perhitungan loss tidak didukung.
• Mengeluarkan bendera output (use_cache, return_dict, …) dari inputs agar tidak muncul sebagai kwargs yang ditelusuri; nilai-nilai tersebut dikembalikan agar blok trace dapat menerapkannya ke model.config.
• Menghitung sebelumnya kwargs visi/audio yang bergantung pada data yang didaftarkan melalui @register_export_input_preparer dan menuliskannya ke dalam inputs.
• Mengkast tensor input agar sesuai dengan dtype / device model.

Jalankan model.generate() dan tangkap input prefill dan decode.

Menggunakan mekanisme generasi penuh sehingga setiap arsitektur (decoder-only, SSM, encoder-decoder, multi-modal, …) mendapatkan input yang benar tanpa perlu mengimplementasikan ulang loop.

generation_config diteruskan ke generate() (defaultnya adalah milik model itu sendiri), sehingga input yang ditangkap menggunakan cache apa pun yang akan dibangun oleh generate(). Berikan satu dengan cache_implementation="static" dan max_cache_len=N untuk menangkap cache berukuran statis pada input decode — dasar untuk ekspor cache statis. max_cache_len menentukan ukuran cache secara independen dari penangkapan, sehingga decode yang diekspor menerima cache [..., N, ...] yang tetap alih-alih yang terus bertambah.

Ketika multi_token_decode, komponen decode ditangkap sebagai decode multi-token — dua langkah decode berurutan yang digabungkan (lihat _merge_decode_calls) sehingga sumbu query-sequence-nya tetap simbolik (decode single-token akan menspesialisasikan sumbu tersebut menjadi 1). Komponen ini kemudian menangani baik satu token (dekoding biasa) maupun banyak token (kelanjutan-dari-masa-lalu, atau prefill biasa jika cache kosong). Sebaliknya, decode adalah decode single-token klasik.

Ambil input untuk setiap submodul multi-modal melalui satu jalur maju (forward pass).

Mendeteksi semua submodul multi-modal yang dikenal berdasarkan nama atribut (vision tower, projector, language model, lm_head, …) dan menangkap kwargs forward mereka selama satu panggilan model(**inputs).

Setiap submodul dikembalikan sebagai entri name: (module, inputs) terpisah untuk ekspor independen. Langkah penggabungan token (misalnya masked_scatter untuk model multi-modal) sengaja dibiarkan di luar grafik yang diekspor — tanggung jawab pemanggil untuk merakit inputs_embeds dari keluaran encoder sebelum menjalankan decoder.

Uraikan model generatif menjadi pasangan (model, forward_inputs) yang dapat diekspor secara independen.

Menjalankan decompose_prefill_decode untuk menangkap kwargs forward prefill dan decode dari model.generate(**inputs, max_new_tokens=2) yang sebenarnya. Jika prefill bersifat multi-modal (sesuai is_multimodal), maka dipecah lebih lanjut menjadi satu entri per submodul (vision/audio encoder, projector, language model, lm_head) melalui decompose_multimodal.

Mengembalikan True jika model bersifat multi-modal dengan encoder modal dan model bahasa.

Model yang bukan PreTrainedModel (misalnya nn.Module polos) tidak memiliki accessor get_encoder/get_decoder yang kanonik dan secara trivial bukan multi-modal, sehingga langsung mengembalikan False.