Post by Michael Gisiger · 2026-10-21
====================================

# Apertus im Faktencheck: 300 Testfälle zur Schweizer höheren Berufsbildung

Beim HackApertus 2026 habe ich mit **Apertus Swiss HVET Eval** einen
  domänenspezifischen Benchmark für Apertus v1.5 8B entwickelt.

https://hackapertus.ch/

Die Leitfrage war bewusst eng gefasst: **Wie zuverlässig bildet ein Schweizer
  Sprachmodell zentrale Fakten, Strukturen, Abschlüsse und institutionelle
  Zuständigkeiten der höheren Berufsbildung ab?**

Dafür entstanden **300 deutschsprachige Q\&A-Testfälle auf Basis von 100
  verifizierten Fakten**. Neben Referenzantworten umfasst der Datensatz Quellen,
  Metadaten, verschiedene Fragetypen und gezielt formulierte Fehlannahmen bzw.
  Grenzfälle.

Die wichtigsten Resultate:

* **43,3 %** der 300 Antworten wurden vom automatisierten Judge als korrekt
  bewertet.

* In einer **manuell geprüften Stichprobe von 60 Fällen** waren **31,7 %**
  korrekt.

* Judge und menschliche Bewertung stimmten in **75,0 %** der Fälle überein.

* Cohen’s κ lag bei **0,515**.

Gerade der Unterschied zwischen automatischer und manueller Bewertung war
  methodisch interessant: Der LLM-Judge bewertete einige inhaltlich falsche
  Antworten zu grosszügig. Für Evaluationen reicht es also nicht, lediglich ein
  zweites Modell als „Richter“ einzusetzen – auch dessen Verhalten muss
  kontrolliert werden.

Das Projekt umfasst deshalb nicht nur die Modellantworten, sondern auch
  **Quellenprovenienz, Bewertungslogik, Human Validation und einen
  reproduzierbaren Workflow**. Mit `make run` lässt sich die eingefrorene
  Evaluation aus dem Repository reproduzieren.

Nach der Hackathon-Einreichung ist **CodeFloe wieder die kanonische Quelle des
  Projekts**. Dort sind Benchmark, Methodik, Resultate und technische
  Dokumentation offen verfügbar:

[CodeFloe: Apertus Swiss HVET
  Eval](https://codefloe.com/michaelgisiger/apertus-swiss-hvet-eval)

Für mich war das Projekt vor allem eine praktische Vertiefung in
  **LLM-Evaluation, Datenqualität und reproduzierbare KI-Evaluation** – und
  zugleich ein interessantes Fallbeispiel dafür, wie stark lokale Fachdomänen
  generische Sprachmodelle weiterhin fordern.

Tags: apertus, HackApertus, LLMEvaluation, Datenqualität, Berufsbildung

Likes: 1 · Reposts: 1 · Bookmarks: 0 · Reactions from other networks: 2
  (@thomasweibel@swiss.social liked this, @gisiger@nerdculture.de shared this) ·
  Already counted in the numbers above.

--
vutuv agent document · type: post · schema_version: 3
generated_at: 2026-10-23T01:07:04Z
canonical:
  https://vutuv.de/michael_gisiger/posts/01a15d32-fdea-70a3-abc4-c4228b717cbd
noai: true