평가 결과

이것은 진행 중인 기능입니다.

Hub는 모델 평가 결과를 추적하기 위한 탈중앙화 시스템을 제공합니다. 벤치마크 데이터셋은 리더보드를 호스팅하며, 모델 저장소에는 평가 점수가 저장되어 모델 페이지와 벤치마크 리더보드에 자동으로 표시됩니다.

벤치마크 데이터셋

Dataset 저장소는 Benchmarks(예: MMLU-Pro, HLE, GPQA)로 정의될 수 있습니다. 이러한 저장소는 “Benchmark” 태그를 표시하고, Hub 전체의 model 저장소에서 평가 결과를 자동으로 집계하여 상위 모델의 리더보드를 표시합니다.

모델 평가 결과

평가 점수는 .eval_results/ 폴더에 YAML 파일로 모델 저장소에 저장됩니다. 이 결과는 다음과 같습니다:

• 모델 페이지에 벤치마크 리더보드 링크와 함께 표시됩니다
• 벤치마크 데이터셋의 리더보드에 집계됩니다
• PR을 통해 제출할 수 있으며 “community-provided”로 표시됩니다

평가 결과 추가

모델에 평가 결과를 추가하려면 .eval_results/ 폴더에 YAML 파일을 포함하여 모델 저장소에 PR을 제출할 수 있습니다.

모델 저장소의 .eval_results/*.yaml에 YAML 파일을 생성합니다:

- dataset:
    id: cais/hle                  # Required. Hub dataset ID (must be a Benchmark)
    task_id: default              # Required. ID of the Task, as defined in the dataset's eval.yaml
    revision: <hash>              # Optional. Dataset revision hash
  value: 20.90                    # Required. Metric value
  verifyToken: <token>            # Optional. Cryptographic proof of auditable evaluation
  date: "2025-01-15"              # Optional. ISO-8601 date or datetime of when the eval was run (defaults to git commit time)
  source:                         # Optional. Attribution for this result, for instance a repo containing output traces or a Paper
    url: https://huggingface.co/spaces/SaylorTwift/smollm3-mmlu-pro  # Required if source provided
    name: Eval traces             # Optional. Display name
    user: SaylorTwift             # Optional. HF username/org
  notes: "no-tools"               # Optional. Details about the evaluation setup (e.g., "tools", "no-tools", etc.)

또는 필수 속성만 사용하여:

- dataset:
    id: Idavidrein/gpqa
    task_id: gpqa_diamond
  value: 0.412

YAML 파일의 메타데이터에 따라 결과에 배지가 표시됩니다:

이 데이터의 포맷팅 방법에 대한 자세한 내용은 Eval Results 사양을 참고하세요.

커뮤니티 기여

누구나 Pull Request를 통해 모든 모델에 평가 결과를 제출할 수 있습니다:

1. 모델 페이지로 이동하여 Community 탭을 클릭하고 Pull Request를 생성합니다.
2. 결과를 담은 .eval_results/*.yaml 파일을 추가하세요.
3. PR이 열려 있는 동안 모델 페이지에는 “community-provided”로 표시됩니다.

모델 평가에 대한 도움이 필요하면 Inspect를 사용한 모델 평가 가이드를 참고하세요. Inspect의 평가 로그는 HF Storage Buckets에 직접 기록할 수 있습니다.

커뮤니티 점수는 PR이 열려 있는 동안 표시됩니다. 점수에 이의가 있는 경우, 모델 작성자는 PR을 닫아 해당 점수를 제거할 수 있습니다. 목표는 검증된 점수를 통해 완전히 재현 가능한 표준을 구축해 나가는 동안, 기존 평가 데이터를 투명하게 공개하는 것입니다.

리더보드에서 모델 숨기기

벤치마크 관리자는 보고된 결과에 이의를 제기하는 경우와 같이 리더보드에서 모델을 숨길 수 있습니다:

• benchmark dataset 페이지에서 유지보수자는 각 리더보드 행의 토글을 사용하여 모델을 숨기거나 표시할 수 있습니다. 숨겨진 모델은 나중에 복원할 수 있도록 메뉴에 나열됩니다.
• Hiding은 벤치마크의 모든 작업에 걸쳐 모델에 적용됩니다.
• Hidden models은 공개 리더보드에서 제거되고, 나머지 모델은 다시 순위가 매겨집니다.
• 모델 페이지에서 해당 벤치마크의 결과가 더 이상 공개적으로 표시되지 않습니다.

벤치마크 등록

데이터셋을 벤치마크로 등록하려면:

1. 평가 데이터를 포함하는 데이터셋 저장소를 생성합니다
2. eval.yaml 파일을 저장소 루트에 추가하고, 아래에 정의된 사양에 맞게 벤치마크 구성을 작성하세요.
3. 파일은 push 시점에 검증됩니다
4. (Beta) 연락 주시면 allow-list에 추가하겠습니다.

다음 벤치마크에서 예시를 찾을 수 있습니다: GPQA, MMLU-Pro, HLE, GSM8K.

Eval.yaml 사양

eval.yaml에는 다음 필드가 포함되어야 합니다:

• name — 벤치마크의 사람이 읽을 수 있는 표시 이름(예: "Humanity's Last Exam").
• description — 벤치마크가 측정하는 내용에 대한 간략한 설명.
• evaluation_framework — 이 벤치마크의 정식 평가 프레임워크 식별자입니다. Hugging Face 팀이 관리하는 열거형(enumerable)입니다. 여기에 직접 추가할 수 있습니다. 벤치마크당 정확히 하나의 프레임워크만 지원합니다.
• tasks[] — 이 벤치마크에서 정의된 작업(서브 리더보드) 목록(아래 참조).

각 tasks[] 항목의 필수 필드:

• id — 작업의 고유 식별자입니다. (예: "gpqa_diamond"). 하나의 벤치마크는 여러 작업을 정의할 수 있으며, 각 작업은 자체 리더보드를 생성합니다. 각 작업에 대해 리더보드 식별자를 자유롭게 선택할 수 있습니다.

각 tasks[] 항목의 선택 필드:

• config — 평가할 Hugging Face 데이터셋의 구성 (예: "default"). 기본값은 데이터셋의 기본 구성입니다.
• split — 평가할 Hugging Face 데이터셋의 분할(예: "test"). 기본값은 "test"입니다.

evaluation_framework: inspect-ai를 설정할 경우, 다음 필드도 함께 설정해야 합니다:

• field_spec — 입력 및 출력 필드의 사양입니다. input, target, choices 및 선택적 input_image 하위 필드로 구성됩니다. 자세한 내용은 문서를 참조하세요.
• solvers — AI 모델을 사용하여 입력에서 출력으로 전환하는 데 사용되는 Solvers. 단순한 시스템 프롬프트부터 자기 비판 루프까지 다양합니다. 자세한 내용은 문서를 참고하세요.
• scores — 사용된 Scorers입니다. Scorers는 데이터셋에 정의된 타겟에 대해 솔버가 올바른 출력을 찾는 데 성공했는지, 그리고 그 정도가 어느 정도인지를 결정합니다. 자세한 내용은 docs를 참고하세요.

최소 예시 (필수 필드만 포함):

name: MathArena AIME 2026
description: The American Invitational Mathematics Exam (AIME).
evaluation_framework: math-arena

tasks:
  - id: MathArena/aime_2026

확장된 예시:

name: MathArena AIME 2026
description: The American Invitational Mathematics Exam (AIME).
evaluation_framework: "math-arena"

tasks:
  - id: MathArena/aime_2026
    config: default
    split: test

확장된 예시("inspect-ai" 전용):

name: Humanity's Last Exam
description: >
  Humanity's Last Exam (HLE) is a multi-modal benchmark at the frontier of human
  knowledge, designed to be the final closed-ended academic benchmark of its
  kind with broad subject coverage. Humanity's Last Exam consists of 2,500
  questions across dozens of subjects, including mathematics, humanities, and
  the natural sciences. HLE is developed globally by subject-matter experts and
  consists of multiple-choice and short-answer questions suitable for automated
  grading.
evaluation_framework: "inspect-ai"

tasks:
  - id: hle
    config: default
    split: test

    field_spec:
      input: question
      input_image: image
      target: answer

    solvers:
      - name: system_message
        args:
          template: |
            Your response should be in the following format:
            Explanation: {your explanation for your answer choice}
            Answer: {your chosen answer}
            Confidence: {your confidence score between 0% and 100% for your answer}
      - name: generate

    scorers:
      - name: model_graded_fact
        args:
          model: openai/o3-mini