Transformers documentation
Intel Gaudi
Intel Gaudi
Akselerator Intel Gaudi menjalankan PyTorch pada stack Intel Gaudi, dengan string perangkat hpu. Gaudi menjalankan PyTorch dalam mode eager secara default. Mode eager menjalankan setiap operasi segera setelah dipanggil, sama seperti cara PyTorch berjalan di CPU atau GPU, sehingga model Transformers berjalan di Gaudi tanpa perubahan yang spesifik untuk Gaudi. Untuk menangkap model ke dalam graf, kompilasi dengan torch.compile.
Instalasi
Instal perangkat lunak Intel Gaudi dan paket PyTorch-nya (habana-torch-plugin, diimpor sebagai habana_frameworks) dengan panduan instalasi Intel Gaudi, serta Accelerate 1.5.0 atau lebih baru.
Transformers menggunakan tensor int64 untuk ID token, sehingga aktifkan dukungan int64 pada Gaudi. CI Gaudi untuk Transformers dijalankan dengan pengaturan yang sama.
export PT_ENABLE_INT64_SUPPORT=1Periksa apakah Transformers dapat melihat perangkat.
from transformers import is_torch_hpu_available
print(is_torch_hpu_available())Ia mencetak True ketika Gaudi siap digunakan, dan False dengan Accelerate yang lebih lama dari 1.5.0, bahkan jika perangkat Gaudi hadir.
Pilih perangkat
Pilih perangkat Gaudi yang dapat digunakan oleh kontainer Docker saat kontainer tersebut dimulai. Atur HABANA_VISIBLE_MODULES ke ID modul, yang tetap sama di antara reboot dan instalasi ulang driver, atau HABANA_VISIBLE_DEVICES ke indeks perangkat, yang dapat berubah. Jika Anda tidak mengatur keduanya, PyTorch akan menggunakan perangkat Gaudi yang tersedia di server.
docker run --runtime=habana -e HABANA_VISIBLE_MODULES=0,1,2,3 ...
Jalankan hl-smi -Q index,module_id -f csv untuk memetakan indeks perangkat ke ID modul. Untuk beban kerja terdistribusi pada sebagian server, Intel hanya mendukung grup 2-perangkat dan 4-perangkat. Lihat Beberapa Docker masing-masing dengan satu beban kerja untuk kombinasi ID modul yang didukung.
Jalankan inferensi
Lewati device_map="hpu" ke from_pretrained(). pipeline() memilih Gaudi secara otomatis ketika Anda tidak melewatkan device.
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-0.6B", device_map="hpu")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3-0.6B")
inputs = tokenizer("Intel Gaudi is", return_tensors="pt").to(model.device)
output = model.generate(**inputs, max_new_tokens=50, do_sample=False)
print(tokenizer.decode(output[0], skip_special_tokens=True))Kuantisasi model
bitsandbytes mengkuantisasi model menjadi 4 atau 8 bit pada Gaudi 2 dan Gaudi 3. Jika Anda tidak meneruskan device_map, model ditempatkan pada perangkat Gaudi saat ini.
Untuk melakukan fine-tuning pada model yang tidak muat di satu perangkat, muat model tersebut dalam 4-bit dengan bitsandbytes dan latih adapter LoRA dengan PEFT.
Latih dengan Trainer
TrainingArguments mendeteksi Gaudi dan mengatur perangkat ke hpu, sehingga Trainer melatih di atasnya tanpa perlu pengaturan perangkat. Semua generasi Gaudi mendukung bf16.
from transformers import TrainingArguments
training_args = TrainingArguments(
output_dir="./outputs",
bf16=True,
)
print(training_args.device)Ia mencetak perangkat hpu ketika Trainer akan melatih pada Gaudi.
Compile model
Transformers membungkus torch.compile di Gaudi, sehingga setiap pemanggilan dengan backend selain hpu_backend atau eager, termasuk dekorator @torch.compile dalam kode pemodelan, akan beralih ke hpu_backend dan mencatat peringatan. Pembungkus ini berlaku untuk setiap pemanggilan torch.compile, baik untuk inferensi maupun pelatihan.
Untuk mengompilasi model untuk pelatihan, atur torch_compile=True di TrainingArguments, yang mengatur torch_compile_backend menjadi "hpu_backend".
from transformers import TrainingArguments
training_args = TrainingArguments(
output_dir="./outputs",
bf16=True,
torch_compile=True,
)Pelatihan terdistribusi
Pelatihan terdistribusi menggunakan backend kolektif HCCL. Transformers memilihnya di Gaudi, dan Anda juga dapat menyetelnya secara eksplisit dengan ddp_backend="hccl".
training_args = TrainingArguments(
output_dir="./outputs",
bf16=True,
ddp_backend="hccl",
)Luncurkan satu proses per perangkat Gaudi dengan torchrun atau accelerate launch, setelah memilih perangkat. accelerate launch mengatur jumlah proses menjadi jumlah perangkat Gaudi ketika Anda tidak meneruskan --num_processes.
accelerate launch train.py
Langkah selanjutnya
- Baca dokumentasi Intel Gaudi untuk detail perangkat keras, tumpukan perangkat lunak, dan arsitektur Gaudi.
- Coba Optimum for Intel Gaudi untuk implementasi model yang dioptimalkan untuk Gaudi dalam pelatihan dan inferensi.