apertus
Follow from the Fediverse
Follow #apertus from Mastodon or any other Fediverse app and its public posts arrive in your timeline. No vutuv account needed.
@apertus@tags.vutuv.de
Posts with this tag
2 posts
Filters
Apertus im Faktencheck: 300 Testfälle zur Schweizer höheren Berufsbildung
Beim HackApertus 2026 habe ich mit Apertus Swiss HVET Eval einen domänenspezifischen Benchmark für Apertus v1.5 8B entwickelt.
Die Leitfrage war bewusst eng gefasst: Wie zuverlässig bildet ein Schweizer Sprachmodell zentrale Fakten, Strukturen, Abschlüsse und institutionelle Zuständigkeiten der höheren Berufsbildung ab?
Dafür entstanden 300 deutschsprachige Q\&A-Testfälle auf Basis von 100 verifizierten Fakten. Neben Referenzantworten umfasst der Datensatz Quellen, Metadaten, verschiedene Fragetypen und gezielt formulierte Fehlannahmen bzw. Grenzfälle.
Die wichtigsten Resultate:
-
43,3 % der 300 Antworten wurden vom automatisierten Judge als korrekt bewertet.
-
In einer manuell geprüften Stichprobe von 60 Fällen waren 31,7 % korrekt.
-
Judge und menschliche Bewertung stimmten in 75,0 % der Fälle überein.
-
Cohen’s κ lag bei 0,515.
Gerade der Unterschied zwischen automatischer und manueller Bewertung war methodisch interessant: Der LLM-Judge bewertete einige inhaltlich falsche Antworten zu grosszügig. Für Evaluationen reicht es also nicht, lediglich ein zweites Modell als „Richter“ einzusetzen – auch dessen Verhalten muss kontrolliert werden.
Das Projekt umfasst deshalb nicht nur die Modellantworten, sondern auch Quellenprovenienz, Bewertungslogik, Human Validation und einen reproduzierbaren Workflow. Mit make run lässt sich die eingefrorene Evaluation aus dem Repository reproduzieren.
Nach der Hackathon-Einreichung ist CodeFloe wieder die kanonische Quelle des Projekts. Dort sind Benchmark, Methodik, Resultate und technische Dokumentation offen verfügbar:
CodeFloe: Apertus Swiss HVET Eval
Für mich war das Projekt vor allem eine praktische Vertiefung in LLM-Evaluation, Datenqualität und reproduzierbare KI-Evaluation – und zugleich ein interessantes Fallbeispiel dafür, wie stark lokale Fachdomänen generische Sprachmodelle weiterhin fordern.
From other networks 2
1 like 1 repost
@thomasweibel@swiss.social liked this @gisiger@nerdculture.de shared this
Already counted in the numbers above.
HackApertus Online Hackathon 01. bis 16. Oktober
Ich plane, beim HackApertus Online Hackathon mitzumachen.
HackApertus ist ein Schweizer Hackathon rund um Apertus, das offene Schweizer Sprachmodell. Im Track Swiss Voices möchte ich untersuchen, wie zuverlässig Apertus einen klar abgegrenzten Schweizer Fachkontext abbildet: die höhere Berufsbildung.
Geplant ist ein reproduzierbarer Benchmark mit mehreren hundert Fällen zu Systemstruktur, Abschlüssen, Zuständigkeiten, typischen Fehlannahmen und ausgewählten statistischen Daten. Bewertet werden unter anderem Faktentreue und Halluzinationen; ein Teil der Ergebnisse wird zusätzlich menschlich validiert.
Die Projektdokumentation und später auch die Resultate sollen offen zugänglich sein. Das Repo habe ich bewusst bereits veröffentlicht – auch als kleines öffentliches Commitment, das Projekt nach den Ferien konsequent fertigzustellen.
Mein Projekt: codefloe.com/michaelgisiger/…
Der Hackathon: hackapertus.ch
From other networks 7
4 likes 3 reposts
@loleg@hachyderm.io liked this @cumulonimbus@infosec.exchange liked this @loleg@hachyderm.io shared this +4 more
Already counted in the numbers above.