Apertus im Faktencheck: 300 Testfälle zur Schweizer höheren Berufsbildung

Beim HackApertus 2026 habe ich mit Apertus Swiss HVET Eval einen domänenspezifischen Benchmark für Apertus v1.5 8B entwickelt.

hackapertus.ch

Die Leitfrage war bewusst eng gefasst: Wie zuverlässig bildet ein Schweizer Sprachmodell zentrale Fakten, Strukturen, Abschlüsse und institutionelle Zuständigkeiten der höheren Berufsbildung ab?

Dafür entstanden 300 deutschsprachige Q\&A-Testfälle auf Basis von 100 verifizierten Fakten. Neben Referenzantworten umfasst der Datensatz Quellen, Metadaten, verschiedene Fragetypen und gezielt formulierte Fehlannahmen bzw. Grenzfälle.

Die wichtigsten Resultate:

• 43,3 % der 300 Antworten wurden vom automatisierten Judge als korrekt bewertet.

• In einer manuell geprüften Stichprobe von 60 Fällen waren 31,7 % korrekt.

• Judge und menschliche Bewertung stimmten in 75,0 % der Fälle überein.

• Cohen’s κ lag bei 0,515.

Gerade der Unterschied zwischen automatischer und manueller Bewertung war methodisch interessant: Der LLM-Judge bewertete einige inhaltlich falsche Antworten zu grosszügig. Für Evaluationen reicht es also nicht, lediglich ein zweites Modell als „Richter“ einzusetzen – auch dessen Verhalten muss kontrolliert werden.

Das Projekt umfasst deshalb nicht nur die Modellantworten, sondern auch Quellenprovenienz, Bewertungslogik, Human Validation und einen reproduzierbaren Workflow. Mit make run lässt sich die eingefrorene Evaluation aus dem Repository reproduzieren.

Nach der Hackathon-Einreichung ist CodeFloe wieder die kanonische Quelle des Projekts. Dort sind Benchmark, Methodik, Resultate und technische Dokumentation offen verfügbar:

CodeFloe: Apertus Swiss HVET Eval

Für mich war das Projekt vor allem eine praktische Vertiefung in LLM-Evaluation, Datenqualität und reproduzierbare KI-Evaluation – und zugleich ein interessantes Fallbeispiel dafür, wie stark lokale Fachdomänen generische Sprachmodelle weiterhin fordern.