Hugging Face'ten Unity Sentis Modellerini Kullanma

Unity 3D, dünyanın en popüler oyun motorlarından biridir. Unity Sentis, Unity 2023 veya üzeri sürümlerde çalışan çıkarım motorudur. Donanım hızlandırmasını kullanarak oyununuza veya uygulamanıza sinir ağı modellerini kolayca entegre etmenizi ve çalıştırmanızı sağlayan bir API'dir. Unity; PC, mobil ve konsollar dahil olmak üzere birçok farklı form faktörüne dışa aktarılabilir olduğundan, sinir ağı modellerini birçok farklı donanım türünde çalıştırmak için kolay bir yoldur.

Hub'daki Sentis Modellerini Keşfetme

modeller sayfasının sol tarafında filtreleyerek unity-sentis modellerini bulabilirsiniz.

Hub'daki tüm Sentis modelleri, modeli Unity'de kullanmaya kolayca başlayabilmeniz için kod ve talimatlarla birlikte gelir. unity ad alanındaki tüm Sentis modelleri (örneğin, unity/sentis-yolotinyv7) çalışacak şekilde doğrulanmıştır, bu nedenle Unity'de çalışacaklarından emin olabilirsiniz.

Sentis'i kullanmaya ilişkin daha fazla ayrıntı için belgelerini okuyabilirsiniz. Sentis'i kullanan diğer kişilerden yardım almak için tartışma forumunda soru sorabilirsiniz.

Dosya türleri

Her depo, çeşitli türde dosyalar içerecektir:

• sentis dosyaları: Bunlar, Unity üzerinde çalışan sinir ağlarını içeren ana model dosyalarıdır.
• ONNX dosyaları: Sentis dosyalarının yanı sıra veya yerine dahil edebileceğiniz alternatif bir biçimdir. Netron gibi üçüncü taraf araçlarla görselleştirme için faydalı olabilir.
• cs dosyası: Bunlar, modelin Unity üzerinde çalıştırılmasını sağlayan kodu içeren C# dosyalarıdır.
• info.json: Bu dosya, depodaki dosyalar hakkında bilgi içerir.
• Veri dosyaları. Bunlar, modeli çalıştırmak için gereken diğer dosyalardır. Sözlük dosyaları, sınıf adları listeleri vb. içerebilirler. Tipik bazı dosyaların uzantıları json veya txt olacaktır.
• README.md. Bu, model kartıdır. Modelin nasıl kullanılacağına dair talimatları ve diğer ilgili bilgileri içerir.

Modeli çalıştırma

Her zaman model kartındaki talimatlara başvurun. Unity hakkında bazı bilgilere ve C# hakkında temel bilgilere sahip olmanız beklenir.

1. Unity 2023 veya üzeri bir sürümü açın ve yeni bir sahne oluşturun.

2. package manager üzerinden com.unity.sentis paketini yükleyin.

3. Model dosyalarınızı (*.sentis) ve veri dosyalarınızı indirin ve bunları, Assets klasörünün içindeki bir alt klasör olan StreamingAssets klasörüne yerleştirin. (Bu klasör yoksa oluşturabilirsiniz).

4. C# dosyanızı, Ana Kamera gibi sahnede bir nesneye yerleştirin.

5. Sahneye oluşturmanız gereken başka nesneler olup olmadığını görmek için model kartına başvurun.

Çoğu durumda, sizi işe koyacak temel uygulamayı sağlarız. Yaratıcı kullanım alanlarını bulmak size kalmıştır. Örneğin, ilginç işler yapmak için iki veya daha fazla modeli birleştirmek isteyebilirsiniz.

Kendi Sentis modellerinizi paylaşma

Kendi Sentis modellerinizi Hugging Face üzerinde paylaşmanızı öneririz. Bunlar, kendinizin eğittiği modeller veya Sentis biçimine dönüştürüp Unity'de çalıştığını test ettiğiniz modeller olabilir.

Yüklediğiniz her depo için modelleri lütfen Sentis biçiminde sağlayın. Bu, modellerin Unity'de çalışacağına dair ek bir kontrol sağlar ve büyük modeller için tercih edilen biçimdir. Model dosyalarının orijinal ONNX sürümlerini de dahil edebilirsiniz.

Minimal bir uygulama içeren bir C# dosyası sağlayın. Örneğin, bir görüntü işleme modeli, girdi için görüntünün nasıl hazırlanacağını ve çıktıdan görüntünün nasıl oluşturulacağını gösteren kod içermelidir. Alternatif olarak, bazı harici örnek kodlara bağlantı verebilirsiniz. Bu, başkalarının modeli Unity'de indirmesini ve kullanmasını kolaylaştıracaktır.

Modeli çalıştırmak için gereken tüm veri dosyalarını sağlayın. Örneğin, sözlük dosyaları.

Son olarak, projenizin dosyalarını listeleyen bir info.json dosyası lütfen sağlayın. Bu, indirme sayılarını saymaya yardımcı olur. info.json içeriğinin bazı örnekleri şunlardır:

{
   "code": [ "mycode.cs"], 
   "models": [ "model1.sentis", "model2.sentis"],
   "data": [ "vocab.txt" ]
}

Ya da kod örneğiniz dışarıdaysa:

{
   "sampleURL": [ "http://sampleunityproject"], 
   "models": [ "model1.sentis", "model2.sentis"]
}

Ek Bilgiler

Sentis'i kullanmaya başlamanıza yardımcı olmak için bazı tam örnek projeler de sunuyoruz.