---
title: "Michael Gisiger · 2026-10-21"
description: "# Apertus im Faktencheck: 300 Testfälle zur Schweizer höheren Berufsbildung"
url: https://vutuv.de/michael_gisiger/posts/01a15d32-fdea-70a3-abc4-c4228b717cbd
type: post
schema_version: 3
generated_at: 2026-10-23T01:07:03Z
noai: true
---

# Post by [Michael Gisiger](https://vutuv.de/michael_gisiger) · 2026-10-21

# Apertus im Faktencheck: 300 Testfälle zur Schweizer höheren Berufsbildung

Beim HackApertus 2026 habe ich mit **Apertus Swiss HVET Eval** einen domänenspezifischen Benchmark für Apertus v1.5 8B entwickelt.

https://hackapertus.ch/

Die Leitfrage war bewusst eng gefasst: **Wie zuverlässig bildet ein Schweizer Sprachmodell zentrale Fakten, Strukturen, Abschlüsse und institutionelle Zuständigkeiten der höheren Berufsbildung ab?**

Dafür entstanden **300 deutschsprachige Q\&A-Testfälle auf Basis von 100 verifizierten Fakten**. Neben Referenzantworten umfasst der Datensatz Quellen, Metadaten, verschiedene Fragetypen und gezielt formulierte Fehlannahmen bzw. Grenzfälle.

Die wichtigsten Resultate:

* **43,3 %** der 300 Antworten wurden vom automatisierten Judge als korrekt bewertet.

* In einer **manuell geprüften Stichprobe von 60 Fällen** waren **31,7 %** korrekt.

* Judge und menschliche Bewertung stimmten in **75,0 %** der Fälle überein.

* Cohen’s κ lag bei **0,515**.

Gerade der Unterschied zwischen automatischer und manueller Bewertung war methodisch interessant: Der LLM-Judge bewertete einige inhaltlich falsche Antworten zu grosszügig. Für Evaluationen reicht es also nicht, lediglich ein zweites Modell als „Richter“ einzusetzen – auch dessen Verhalten muss kontrolliert werden.

Das Projekt umfasst deshalb nicht nur die Modellantworten, sondern auch **Quellenprovenienz, Bewertungslogik, Human Validation und einen reproduzierbaren Workflow**. Mit `make run` lässt sich die eingefrorene Evaluation aus dem Repository reproduzieren.

Nach der Hackathon-Einreichung ist **CodeFloe wieder die kanonische Quelle des Projekts**. Dort sind Benchmark, Methodik, Resultate und technische Dokumentation offen verfügbar:

[CodeFloe: Apertus Swiss HVET Eval](https://codefloe.com/michaelgisiger/apertus-swiss-hvet-eval)

Für mich war das Projekt vor allem eine praktische Vertiefung in **LLM-Evaluation, Datenqualität und reproduzierbare KI-Evaluation** – und zugleich ein interessantes Fallbeispiel dafür, wie stark lokale Fachdomänen generische Sprachmodelle weiterhin fordern.

Tags: #apertus, #HackApertus, #LLMEvaluation, #Datenqualität, #Berufsbildung

Likes: 1 · Reposts: 1 · Bookmarks: 0 · Reactions from other networks: 2 (@thomasweibel@swiss.social liked this, @gisiger@nerdculture.de shared this) · Already counted in the numbers above.