Transformers documentation

Intel Gaudi

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.23.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Intel Gaudi

Akselerator Intel Gaudi menjalankan PyTorch pada stack Intel Gaudi, dengan string perangkat hpu. Gaudi menjalankan PyTorch dalam mode eager secara default. Mode eager menjalankan setiap operasi segera setelah dipanggil, sama seperti cara PyTorch berjalan di CPU atau GPU, sehingga model Transformers berjalan di Gaudi tanpa perubahan yang spesifik untuk Gaudi. Untuk menangkap model ke dalam graf, kompilasi dengan torch.compile.

Instalasi

Instal perangkat lunak Intel Gaudi dan paket PyTorch-nya (habana-torch-plugin, diimpor sebagai habana_frameworks) dengan panduan instalasi Intel Gaudi, serta Accelerate 1.5.0 atau lebih baru.

Transformers menggunakan tensor int64 untuk ID token, sehingga aktifkan dukungan int64 pada Gaudi. CI Gaudi untuk Transformers dijalankan dengan pengaturan yang sama.

export PT_ENABLE_INT64_SUPPORT=1

Periksa apakah Transformers dapat melihat perangkat.

from transformers import is_torch_hpu_available

print(is_torch_hpu_available())

Ia mencetak True ketika Gaudi siap digunakan, dan False dengan Accelerate yang lebih lama dari 1.5.0, bahkan jika perangkat Gaudi hadir.

Pilih perangkat

Pilih perangkat Gaudi yang dapat digunakan oleh kontainer Docker saat kontainer tersebut dimulai. Atur HABANA_VISIBLE_MODULES ke ID modul, yang tetap sama di antara reboot dan instalasi ulang driver, atau HABANA_VISIBLE_DEVICES ke indeks perangkat, yang dapat berubah. Jika Anda tidak mengatur keduanya, PyTorch akan menggunakan perangkat Gaudi yang tersedia di server.

docker run --runtime=habana -e HABANA_VISIBLE_MODULES=0,1,2,3 ...

Jalankan hl-smi -Q index,module_id -f csv untuk memetakan indeks perangkat ke ID modul. Untuk beban kerja terdistribusi pada sebagian server, Intel hanya mendukung grup 2-perangkat dan 4-perangkat. Lihat Beberapa Docker masing-masing dengan satu beban kerja untuk kombinasi ID modul yang didukung.

Jalankan inferensi

Lewati device_map="hpu" ke from_pretrained(). pipeline() memilih Gaudi secara otomatis ketika Anda tidak melewatkan device.

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-0.6B", device_map="hpu")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3-0.6B")

inputs = tokenizer("Intel Gaudi is", return_tensors="pt").to(model.device)
output = model.generate(**inputs, max_new_tokens=50, do_sample=False)
print(tokenizer.decode(output[0], skip_special_tokens=True))

Kuantisasi model

bitsandbytes mengkuantisasi model menjadi 4 atau 8 bit pada Gaudi 2 dan Gaudi 3. Jika Anda tidak meneruskan device_map, model ditempatkan pada perangkat Gaudi saat ini.

Untuk melakukan fine-tuning pada model yang tidak muat di satu perangkat, muat model tersebut dalam 4-bit dengan bitsandbytes dan latih adapter LoRA dengan PEFT.

Latih dengan Trainer

TrainingArguments mendeteksi Gaudi dan mengatur perangkat ke hpu, sehingga Trainer melatih di atasnya tanpa perlu pengaturan perangkat. Semua generasi Gaudi mendukung bf16.

from transformers import TrainingArguments

training_args = TrainingArguments(
    output_dir="./outputs",
    bf16=True,
)
print(training_args.device)

Ia mencetak perangkat hpu ketika Trainer akan melatih pada Gaudi.

Compile model

Transformers membungkus torch.compile di Gaudi, sehingga setiap pemanggilan dengan backend selain hpu_backend atau eager, termasuk dekorator @torch.compile dalam kode pemodelan, akan beralih ke hpu_backend dan mencatat peringatan. Pembungkus ini berlaku untuk setiap pemanggilan torch.compile, baik untuk inferensi maupun pelatihan.

Untuk mengompilasi model untuk pelatihan, atur torch_compile=True di TrainingArguments, yang mengatur torch_compile_backend menjadi "hpu_backend".

from transformers import TrainingArguments

training_args = TrainingArguments(
    output_dir="./outputs",
    bf16=True,
    torch_compile=True,
)

Pelatihan terdistribusi

Pelatihan terdistribusi menggunakan backend kolektif HCCL. Transformers memilihnya di Gaudi, dan Anda juga dapat menyetelnya secara eksplisit dengan ddp_backend="hccl".

training_args = TrainingArguments(
    output_dir="./outputs",
    bf16=True,
    ddp_backend="hccl",
)

Luncurkan satu proses per perangkat Gaudi dengan torchrun atau accelerate launch, setelah memilih perangkat. accelerate launch mengatur jumlah proses menjadi jumlah perangkat Gaudi ketika Anda tidak meneruskan --num_processes.

accelerate launch train.py

Langkah selanjutnya

Update on GitHub