0
01a15d32-fdea-70a3-abc4-c4228b717cbd
https://vutuv.de/michael_gisiger/posts/01a15d32-fdea-70a3-abc4-c4228b717cbd
2
Michael Gisiger
michael_gisiger
https://vutuv.de/michael_gisiger
1
# Apertus im Faktencheck: 300 Testfälle zur Schweizer höheren Berufsbildung
Beim HackApertus 2026 habe ich mit **Apertus Swiss HVET Eval** einen domänenspezifischen Benchmark für Apertus v1.5 8B entwickelt.
https://hackapertus.ch/
Die Leitfrage war bewusst eng gefasst: **Wie zuverlässig bildet ein Schweizer Sprachmodell zentrale Fakten, Strukturen, Abschlüsse und institutionelle Zuständigkeiten der höheren Berufsbildung ab?**
Dafür entstanden **300 deutschsprachige Q\&A-Testfälle auf Basis von 100 verifizierten Fakten**. Neben Referenzantworten umfasst der Datensatz Quellen, Metadaten, verschiedene Fragetypen und gezielt formulierte Fehlannahmen bzw. Grenzfälle.
Die wichtigsten Resultate:
* **43,3 %** der 300 Antworten wurden vom automatisierten Judge als korrekt bewertet.
* In einer **manuell geprüften Stichprobe von 60 Fällen** waren **31,7 %** korrekt.
* Judge und menschliche Bewertung stimmten in **75,0 %** der Fälle überein.
* Cohen’s κ lag bei **0,515**.
Gerade der Unterschied zwischen automatischer und manueller Bewertung war methodisch interessant: Der LLM-Judge bewertete einige inhaltlich falsche Antworten zu grosszügig. Für Evaluationen reicht es also nicht, lediglich ein zweites Modell als „Richter“ einzusetzen – auch dessen Verhalten muss kontrolliert werden.
Das Projekt umfasst deshalb nicht nur die Modellantworten, sondern auch **Quellenprovenienz, Bewertungslogik, Human Validation und einen reproduzierbaren Workflow**. Mit `make run` lässt sich die eingefrorene Evaluation aus dem Repository reproduzieren.
Nach der Hackathon-Einreichung ist **CodeFloe wieder die kanonische Quelle des Projekts**. Dort sind Benchmark, Methodik, Resultate und technische Dokumentation offen verfügbar:
[CodeFloe: Apertus Swiss HVET Eval](https://codefloe.com/michaelgisiger/apertus-swiss-hvet-eval)
Für mich war das Projekt vor allem eine praktische Vertiefung in **LLM-Evaluation, Datenqualität und reproduzierbare KI-Evaluation** – und zugleich ein interessantes Fallbeispiel dafür, wie stark lokale Fachdomänen generische Sprachmodelle weiterhin fordern.
0
1
https://vutuv.de/michael_gisiger/posts/01a15d32-fdea-70a3-abc4-c4228b717cbd.json
https://vutuv.de/michael_gisiger/posts/01a15d32-fdea-70a3-abc4-c4228b717cbd.txt
https://vutuv.de/michael_gisiger/posts/01a15d32-fdea-70a3-abc4-c4228b717cbd.md
https://vutuv.de/michael_gisiger/posts/01a15d32-fdea-70a3-abc4-c4228b717cbd.xml
2026-10-23T01:06:55Z
false
# Apertus im Faktencheck: 300 Testfälle zur Schweizer höheren Berufsbildung
1
Michael Gisiger · 2026-10-21
post
-
@thomasweibel@swiss.social
like
https://swiss.social/users/thomasweibel
2026-10-22T08:05:10
swiss.social
-
@gisiger@nerdculture.de
announce
https://nerdculture.de/users/gisiger
2026-10-22T07:08:45
nerdculture.de
2026-10-21
1
3
-
01a15d32-fdea-70a3-abc4-c4228b717cbd
0
Michael Gisiger
https://vutuv.de/michael_gisiger/posts/01a15d32-fdea-70a3-abc4-c4228b717cbd
2026-10-21
michael_gisiger
# Apertus im Faktencheck: 300 Testfälle zur Schweizer höheren Berufsbildung
Beim HackApertus 2026 habe ich mit **Apertus Swiss HVET Eval** einen domänenspezifischen Benchmark für Apertus v1.5 8B entwickelt.
https://hackapertus.ch/
Die Leitfrage war bewusst eng gefasst: **Wie zuverlässig bildet ein Schweizer Sprachmodell zentrale Fakten, Strukturen, Abschlüsse und institutionelle Zuständigkeiten der höheren Berufsbildung ab?**
Dafür entstanden **300 deutschsprachige Q\&A-Testfälle auf Basis von 100 verifizierten Fakten**. Neben Referenzantworten umfasst der Datensatz Quellen, Metadaten, verschiedene Fragetypen und gezielt formulierte Fehlannahmen bzw. Grenzfälle.
Die wichtigsten Resultate:
* **43,3 %** der 300 Antworten wurden vom automatisierten Judge als korrekt bewertet.
* In einer **manuell geprüften Stichprobe von 60 Fällen** waren **31,7 %** korrekt.
* Judge und menschliche Bewertung stimmten in **75,0 %** der Fälle überein.
* Cohen’s κ lag bei **0,515**.
Gerade der Unterschied zwischen automatischer und manueller Bewertung war methodisch interessant: Der LLM-Judge bewertete einige inhaltlich falsche Antworten zu grosszügig. Für Evaluationen reicht es also nicht, lediglich ein zweites Modell als „Richter“ einzusetzen – auch dessen Verhalten muss kontrolliert werden.
Das Projekt umfasst deshalb nicht nur die Modellantworten, sondern auch **Quellenprovenienz, Bewertungslogik, Human Validation und einen reproduzierbaren Workflow**. Mit `make run` lässt sich die eingefrorene Evaluation aus dem Repository reproduzieren.
Nach der Hackathon-Einreichung ist **CodeFloe wieder die kanonische Quelle des Projekts**. Dort sind Benchmark, Methodik, Resultate und technische Dokumentation offen verfügbar:
[CodeFloe: Apertus Swiss HVET Eval](https://codefloe.com/michaelgisiger/apertus-swiss-hvet-eval)
Für mich war das Projekt vor allem eine praktische Vertiefung in **LLM-Evaluation, Datenqualität und reproduzierbare KI-Evaluation** – und zugleich ein interessantes Fallbeispiel dafür, wie stark lokale Fachdomänen generische Sprachmodelle weiterhin fordern.
- apertus
- HackApertus
- LLMEvaluation
- Datenqualität
- Berufsbildung
0