Argilla

Argilla هو أداة تعاون مهندسي الذكاء الاصطناعي والخبراء في المجال الذين يحتاجون إلى بناء مجموعات بيانات عالية الجودة لمشاريعهم.

يمكن استخدام Argilla لجمع ملاحظات المستخدمين لمجموعة واسعة من مشاريع الذكاء الاصطناعي، مثل معالجة اللغة الطبيعية التقليدية (تصنيف النصوص، استخراج الكيانات الاسمية، إلخ)، ونماذج اللغة الكبيرة (RAG، ضبط التفضيلات، إلخ)، أو النماذج متعددة الوسائط (من النص إلى الصورة، إلخ). يتيح النهج البرمجي في Argilla بناء سير عمل للتقييم المستمر وتحسين النماذج. يهدف Argilla إلى ضمان تحقيق عائد على جهودك في العمل مع البيانات من خلال التكرار السريع على البيانات والنماذج الصحيحة.

بماذا يبني الناس باستخدام Argilla؟

تستخدم المجتمع Argilla لإنشاء مجموعات بيانات ونماذج مفتوحة المصدر رائعة.

مجموعات البيانات والنماذج مفتوحة المصدر

ساهم Argilla أيضاً في بعض النماذج ومجموعات البيانات مفتوحة المصدر.

• مجموعة بيانات UltraFeedback المُعدّة التي استُخدمت لضبط نماذج Notus وNotux بشكل دقيق. تم إنشاء مجموعة بيانات UltraFeedback الأصلية باستخدام فلاتر واجهة Argilla للعثور على خطأ برمجي في كود توليد البيانات الأصلي وإبلاغ عنه. بناءً على هذه العملية من إنشاء البيانات، قامت Argilla ببناء هذه النسخة الجديدة من مجموعة بيانات UltraFeedback وضبط Notus بشكل دقيق، متفوقةً على Zephyr في عدة اختبارات قياس.
• مجموعة بيانات distilabeled Intel Orca DPO المستخدمة لضبط نموذج OpenHermes المحسّن. تم بناء هذه المجموعة من خلال دمج التدقيق البشري في Argilla مع ملاحظات الذكاء الاصطناعي من distilabel، مما أدى إلى إصدار محسّن من مجموعة بيانات Intel Orca وتجاوز أداء النماذج المضبوطة على المجموعة الأصلية.

أمثلة حالات الاستخدام

تستخدم فرق الذكاء الاصطناعي في شركات مثل الصليب الأحمر وLoris.ai وProlific أداة Argilla لتحسين جودة وكفاءة مشاريع الذكاء الاصطناعي. وقد شاركوا تجاربهم في لقاء مجتمع الذكاء الاصطناعي الخاص بنا.

• الذكاء الاصطناعي من أجل الخير: عرض الصليب الأحمر يوضح كيف تعاون خبراء المجال في الصليب الأحمر مع فريق الذكاء الاصطناعي من خلال تصنيف الطلبات الواردة من لاجئي الأزمة الأوكرانية وإعادة توجيهها، بهدف تبسيط عمليات الدعم التي يقدمها الصليب الأحمر.
• دعم العملاء: خلال اجتماع لوريس، عرضوا كيف يستخدم فريق الذكاء الاصطناعي لديهم التعلم التبايني غير المُشرف والتعلم التبايني بعدد قليل من الأمثلة لمساعدتهم على التحقق بسرعة والحصول على عينات مُصنّفة لعدد هائل من مُصنّفات التسميات المتعددة.
• دراسات البحث: عرض Prolific أعلنوا عن تكاملهم مع منصتنا. يستخدمونها لتوزيع مشاريع جمع البيانات بنشاط بين قوة العمل المسؤولة عن التوسيم لديهم. وهذا يتيح لـ Prolific جمع بيانات عالية الجودة بسرعة وكفاءة لدراسات البحث.

المتطلبات

أولاً سجّل الدخول بحساب Hugging Face الخاص بك:

hf auth login

تأكد من تثبيت argilla>=2.0.0:

pip install -U argilla

أخيرًا، ستحتاج إلى نشر خادم Argilla وواجهة المستخدم، ويمكن القيام بذلك بسهولة على Hugging Face Hub.

استيراد وتصدير مجموعات البيانات والسجلات

يُظهر هذا الدليل كيفية استيراد وتصدير مجموعة بياناتك إلى Hugging Face Hub.

في Argilla، يمكنك استيراد/تصدير المكوّنين الرئيسيين لمجموعة البيانات:

• التكوين الكامل للبيانات المحدد في rg.Settings. وهذا مفيد إذا كنت ترغب في مشاركة مهمة الملاحظات الخاصة بك أو استعادتها لاحقًا في Argilla.
• السجلات المخزنة في مجموعة البيانات، بما في ذلك Metadata وVectors وSuggestions وResponses. وهذا مفيد إذا كنت ترغب في استخدام سجلات مجموعة البيانات الخاصة بك خارج Argilla.

دفع مجموعة بيانات Argilla إلى Hugging Face Hub

يمكنك دفع مجموعة بيانات من Argilla إلى Hugging Face Hub. وهذا مفيد إذا كنت ترغب في مشاركة مجموعة بياناتك مع المجتمع أو التحكم في إصداراتها. يمكنك دفع مجموعة البيانات إلى Hugging Face Hub باستخدام طريقة rg.Dataset.to_hub.

import argilla as rg

client = rg.Argilla(api_url="<api_url>", api_key="<api_key>")
dataset = client.datasets(name="my_dataset")
dataset.to_hub(repo_id="<repo_id>")

مع السجلات أو بدونها

ستقوم الأمثلة أعلاه بدفع إعدادات Settings والسجلات الخاصة بالبيانات إلى المحور. إذا كنت ترغب في دفع إعدادات البيانات فقط، يمكنك تعيين معامل with_records إلى False. وهذا مفيد إذا كنت مهتمًا فقط بقالب بيانات معين أو إذا كنت ترغب في إجراء تغييرات في إعدادات البيانات و/أو السجلات.

dataset.to_hub(repo_id="<repo_id>", with_records=False)

استخراج مجموعة بيانات Argilla من Hugging Face Hub

يمكنك جلب مجموعة بيانات من Hugging Face Hub إلى Argilla. وهذا مفيد إذا كنت ترغب في استعادة مجموعة البيانات وإعداداتها. يمكنك جلب مجموعة البيانات من Hugging Face Hub باستخدام طريقة rg.Dataset.from_hub.

import argilla as rg

client = rg.Argilla(api_url="<api_url>", api_key="<api_key>")
dataset = rg.Dataset.from_hub(repo_id="<repo_id>")

تحمّل طريقة rg.Dataset.from_hub الإعدادات والسجلات من مستودع مجموعة البيانات. إذا كنت ترغب في تحميل السجلات فقط، يمكنك تمرير كائن datasets.Dataset إلى طريقة rg.Dataset.log. يتيح لك ذلك تكوين مجموعة بياناتك الخاصة وإعادة استخدام مجموعات البيانات الموجودة على Hub.

مع السجلات أو بدونها

سيتيح المثال أعلاه جلب Settings والسجلات الخاصة بالبيانات من المستودع. إذا كنت ترغب في جلب إعدادات البيانات فقط، يمكنك تعيين معامل with_records إلى False. وهذا مفيد إذا كنت مهتمًا بقالب بيانات محدد فقط، أو إذا كنت ترغب في إجراء تغييرات في إعدادات البيانات و/أو السجلات.

dataset = rg.Dataset.from_hub(repo_id="<repo_id>", with_records=False)

باستخدام تكوين مجموعة البيانات، يمكنك بعد ذلك إجراء تغييرات عليها. على سبيل المثال، يمكنك تكييف إعدادات مجموعة البيانات لمهمة مختلفة:

dataset.settings.questions = [rg.TextQuestion(name="answer")]

يمكنك بعد ذلك تسجيل سجلات مجموعة البيانات باستخدام طريقة load_dataset من حزمة datasets ثم تمرير مجموعة البيانات إلى طريقة rg.Dataset.log.

hf_dataset = load_dataset("<repo_id>")
dataset.log(hf_dataset)

📚 الموارد

• 🚀 مستندات Argilla
• 🚀 مستندات Argilla - أدلة الاستيراد والتصدير