Transformers documentation

Inferensi server web

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Inferensi server web

Web server adalah sistem yang menunggu permintaan dan melayaninya saat masuk. Artinya, Anda dapat menggunakan Pipeline sebagai mesin inferensi pada web server, karena Anda dapat menggunakan iterator (mirip dengan cara Anda beriterasi pada dataset) untuk menangani setiap permintaan yang masuk.

Merancang web server dengan Pipeline memang unik karena keduanya secara fundamental berbeda. Web server bersifat multiplexed (multithreaded, async, dll.) untuk menangani banyak permintaan secara bersamaan. Di sisi lain, Pipeline dan model yang mendasarinya tidak dirancang untuk paralelisme karena membutuhkan banyak memori. Sebaiknya berikan semua sumber daya yang tersedia kepada Pipeline saat berjalan atau untuk tugas yang intensif komputasi.

Panduan ini menunjukkan cara mengatasi perbedaan tersebut dengan menggunakan server web untuk menangani beban yang lebih ringan dalam menerima dan mengirim permintaan, serta menggunakan satu thread untuk menangani beban yang lebih berat dalam menjalankan Pipeline.

Buat server

Starlette adalah framework ringan untuk membangun server web. Anda dapat menggunakan framework lain yang Anda inginkan, tetapi mungkin perlu melakukan beberapa perubahan pada kode di bawah ini.

Sebelum memulai, pastikan Starlette dan uvicorn sudah terinstal.

!pip install starlette uvicorn

Sekarang Anda dapat membuat server web sederhana dalam file server.py. Kuncinya adalah memuat model hanya satu kali untuk mencegah salinan yang tidak perlu mengonsumsi memori.

Buat pipeline untuk mengisi token yang tersembunyi, [MASK].

from starlette.applications import Starlette
from starlette.responses import JSONResponse
from starlette.routing import Route
from transformers import pipeline
import asyncio

async def homepage(request):
    payload = await request.body()
    string = payload.decode("utf-8")
    response_q = asyncio.Queue()
    await request.app.model_queue.put((string, response_q))
    output = await response_q.get()
    return JSONResponse(output)

async def server_loop(q):
    pipe = pipeline(task="fill-mask",model="google-bert/bert-base-uncased")
    while True:
        (string, response_q) = await q.get()
        out = pipe(string)
        await response_q.put(out)

app = Starlette(
    routes=[
        Route("/", homepage, methods=["POST"]),
    ],
)

@app.on_event("startup")
async def startup_event():
    q = asyncio.Queue()
    app.model_queue = q
    asyncio.create_task(server_loop(q))

Mulai server dengan perintah berikut.

uvicorn server:app

Kirimkan permintaan POST ke server.

curl -X POST -d "Paris is the [MASK] of France." http://localhost:8000/

Ini seharusnya mengembalikan output di bawah.

[{'score': 0.9969332218170166,
  'token': 3007,
  'token_str': 'capital',
  'sequence': 'paris is the capital of france.'},
 {'score': 0.0005914849461987615,
  'token': 2540,
  'token_str': 'heart',
  'sequence': 'paris is the heart of france.'},
 {'score': 0.00043787318281829357,
  'token': 2415,
  'token_str': 'center',
  'sequence': 'paris is the center of france.'},
 {'score': 0.0003378340043127537,
  'token': 2803,
  'token_str': 'centre',
  'sequence': 'paris is the centre of france.'},
 {'score': 0.00026995912776328623,
  'token': 2103,
  'token_str': 'city',
  'sequence': 'paris is the city of france.'}]

Mengantrekan permintaan

Mekanisme antrean server dapat digunakan untuk beberapa aplikasi menarik seperti pengelompokan dinamis. Pengelompokan dinamis terlebih dahulu mengumpulkan beberapa permintaan sebelum memprosesnya dengan Pipeline.

Contoh di bawah ini ditulis dalam pseudocode demi keterbacaan, bukan performa. Secara khusus, Anda akan memperhatikan bahwa:

  1. Tidak ada batas ukuran batch.

  2. Timeout direset setiap kali ada pengambilan dari antrean, sehingga Anda bisa menunggu jauh lebih lama dari nilai timeout sebelum sebuah permintaan diproses. Hal ini juga akan menunda permintaan inferensi pertama selama durasi tersebut. Server web selalu menunggu 1ms meskipun antrean kosong, yang tidak efisien karena waktu tersebut bisa digunakan untuk memulai inferensi. Namun, hal ini mungkin masuk akal jika batching sangat penting untuk kasus penggunaan Anda.

    Lebih baik memiliki tenggat waktu 1ms tunggal, alih-alih meresetnya pada setiap pengambilan, seperti yang ditunjukkan di bawah ini.

async def server_loop(q):
    pipe = pipeline(task="fill-mask", model="google-bert/bert-base-uncased")
    while True:
        (string, rq) = await q.get()
        strings = []
        queues = []
        strings.append(string)
        queues.append(rq)
        while True:
            try:
                (string, rq) = await asyncio.wait_for(q.get(), timeout=1)
            except asyncio.exceptions.TimeoutError:
                break
            strings.append(string)
            queues.append(rq)
        outs = pipe(strings, batch_size=len(strings))
        for rq, out in zip(queues, outs):
            await rq.put(out)

Pemeriksaan kesalahan

Banyak hal yang bisa salah di lingkungan produksi. Anda bisa mengalami out-of-memory, kehabisan ruang, gagal memuat model, memiliki konfigurasi model yang salah, memiliki query yang salah, dan masih banyak lagi.

Menambahkan pernyataan try...except sangat membantu untuk mengembalikan error ini kepada pengguna guna keperluan debugging. Perlu diingat bahwa hal ini dapat menjadi risiko keamanan jika Anda tidak seharusnya mengungkapkan informasi tertentu.

Pemutus sirkuit

Cobalah untuk mengembalikan error 503 atau 504 ketika server mengalami beban berlebih, alih-alih memaksa pengguna menunggu tanpa batas waktu.

Menerapkan tipe-tipe error ini relatif sederhana karena hanya melibatkan satu antrean. Perhatikan ukuran antrean untuk menentukan kapan mulai mengembalikan error sebelum server Anda gagal akibat beban yang tinggi.

Memblokir utas utama

PyTorch tidak mendukung async, sehingga komputasi akan memblokir thread utama untuk berjalan.

Oleh karena itu, lebih baik menjalankan PyTorch di thread atau proses terpisah. Ketika inferensi untuk satu permintaan sangat lama (lebih dari 1 detik), hal ini menjadi semakin penting karena berarti setiap kueri selama inferensi harus menunggu 1 detik sebelum bahkan menerima error.

Batching dinamis

Dynamic batching dapat sangat efektif jika digunakan dalam pengaturan yang tepat, tetapi tidak diperlukan jika Anda hanya mengirim 1 permintaan pada satu waktu (lihat batch inference untuk detail lebih lanjut).

Update on GitHub