{
  "bookmark_count": 0,
  "in_reply_to": null,
  "replies": [],
  "tags": [
    "apertus",
    "HackApertus",
    "LLMEvaluation",
    "Datenqualität",
    "Berufsbildung"
  ],
  "thread": [
    {
      "id": "01a15d32-fdea-70a3-abc4-c4228b717cbd",
      "depth": 0,
      "author": "Michael Gisiger",
      "url": "https://vutuv.de/michael_gisiger/posts/01a15d32-fdea-70a3-abc4-c4228b717cbd",
      "published_on": "2026-10-21",
      "in_reply_to_id": null,
      "author_username": "michael_gisiger",
      "body_markdown": "# Apertus im Faktencheck: 300 Testfälle zur Schweizer höheren Berufsbildung\n\nBeim HackApertus 2026 habe ich mit **Apertus Swiss HVET Eval** einen domänenspezifischen Benchmark für Apertus v1.5 8B entwickelt.\n\nhttps://hackapertus.ch/\n\nDie Leitfrage war bewusst eng gefasst: **Wie zuverlässig bildet ein Schweizer Sprachmodell zentrale Fakten, Strukturen, Abschlüsse und institutionelle Zuständigkeiten der höheren Berufsbildung ab?**\n\nDafür entstanden **300 deutschsprachige Q\\&A-Testfälle auf Basis von 100 verifizierten Fakten**. Neben Referenzantworten umfasst der Datensatz Quellen, Metadaten, verschiedene Fragetypen und gezielt formulierte Fehlannahmen bzw. Grenzfälle.\n\nDie wichtigsten Resultate:\n\n* **43,3 %** der 300 Antworten wurden vom automatisierten Judge als korrekt bewertet.\n\n* In einer **manuell geprüften Stichprobe von 60 Fällen** waren **31,7 %** korrekt.\n\n* Judge und menschliche Bewertung stimmten in **75,0 %** der Fälle überein.\n\n* Cohen’s κ lag bei **0,515**.\n\nGerade der Unterschied zwischen automatischer und manueller Bewertung war methodisch interessant: Der LLM-Judge bewertete einige inhaltlich falsche Antworten zu grosszügig. Für Evaluationen reicht es also nicht, lediglich ein zweites Modell als „Richter“ einzusetzen – auch dessen Verhalten muss kontrolliert werden.\n\nDas Projekt umfasst deshalb nicht nur die Modellantworten, sondern auch **Quellenprovenienz, Bewertungslogik, Human Validation und einen reproduzierbaren Workflow**. Mit `make run` lässt sich die eingefrorene Evaluation aus dem Repository reproduzieren.\n\nNach der Hackathon-Einreichung ist **CodeFloe wieder die kanonische Quelle des Projekts**. Dort sind Benchmark, Methodik, Resultate und technische Dokumentation offen verfügbar:\n\n[CodeFloe: Apertus Swiss HVET Eval](https://codefloe.com/michaelgisiger/apertus-swiss-hvet-eval)\n\nFür mich war das Projekt vor allem eine praktische Vertiefung in **LLM-Evaluation, Datenqualität und reproduzierbare KI-Evaluation** – und zugleich ein interessantes Fallbeispiel dafür, wie stark lokale Fachdomänen generische Sprachmodelle weiterhin fordern.",
      "in_reply_to_author": null
    }
  ],
  "schema_version": 3,
  "files": [],
  "license": null,
  "fediverse_repost_count": 1,
  "review": null,
  "fediverse_replies": [],
  "published_on": "2026-10-21",
  "video": null,
  "fediverse_reactions": [
    {
      "handle": "@thomasweibel@swiss.social",
      "kind": "like",
      "url": "https://swiss.social/users/thomasweibel",
      "received_at": "2026-10-22T08:05:10",
      "network": "swiss.social"
    },
    {
      "handle": "@gisiger@nerdculture.de",
      "kind": "announce",
      "url": "https://nerdculture.de/users/gisiger",
      "received_at": "2026-10-22T07:08:45",
      "network": "nerdculture.de"
    }
  ],
  "type": "post",
  "title": "Michael Gisiger · 2026-10-21",
  "fediverse_like_count": 1,
  "description": "# Apertus im Faktencheck: 300 Testfälle zur Schweizer höheren Berufsbildung",
  "thread_truncated": false,
  "likers": [],
  "verified_author_links": [],
  "generated_at": "2026-10-23T01:06:55Z",
  "formats": {
    "json": "https://vutuv.de/michael_gisiger/posts/01a15d32-fdea-70a3-abc4-c4228b717cbd.json",
    "text": "https://vutuv.de/michael_gisiger/posts/01a15d32-fdea-70a3-abc4-c4228b717cbd.txt",
    "markdown": "https://vutuv.de/michael_gisiger/posts/01a15d32-fdea-70a3-abc4-c4228b717cbd.md",
    "xml": "https://vutuv.de/michael_gisiger/posts/01a15d32-fdea-70a3-abc4-c4228b717cbd.xml"
  },
  "like_count": 1,
  "images": [],
  "fediverse_reply_count": 0,
  "body_markdown": "# Apertus im Faktencheck: 300 Testfälle zur Schweizer höheren Berufsbildung\n\nBeim HackApertus 2026 habe ich mit **Apertus Swiss HVET Eval** einen domänenspezifischen Benchmark für Apertus v1.5 8B entwickelt.\n\nhttps://hackapertus.ch/\n\nDie Leitfrage war bewusst eng gefasst: **Wie zuverlässig bildet ein Schweizer Sprachmodell zentrale Fakten, Strukturen, Abschlüsse und institutionelle Zuständigkeiten der höheren Berufsbildung ab?**\n\nDafür entstanden **300 deutschsprachige Q\\&A-Testfälle auf Basis von 100 verifizierten Fakten**. Neben Referenzantworten umfasst der Datensatz Quellen, Metadaten, verschiedene Fragetypen und gezielt formulierte Fehlannahmen bzw. Grenzfälle.\n\nDie wichtigsten Resultate:\n\n* **43,3 %** der 300 Antworten wurden vom automatisierten Judge als korrekt bewertet.\n\n* In einer **manuell geprüften Stichprobe von 60 Fällen** waren **31,7 %** korrekt.\n\n* Judge und menschliche Bewertung stimmten in **75,0 %** der Fälle überein.\n\n* Cohen’s κ lag bei **0,515**.\n\nGerade der Unterschied zwischen automatischer und manueller Bewertung war methodisch interessant: Der LLM-Judge bewertete einige inhaltlich falsche Antworten zu grosszügig. Für Evaluationen reicht es also nicht, lediglich ein zweites Modell als „Richter“ einzusetzen – auch dessen Verhalten muss kontrolliert werden.\n\nDas Projekt umfasst deshalb nicht nur die Modellantworten, sondern auch **Quellenprovenienz, Bewertungslogik, Human Validation und einen reproduzierbaren Workflow**. Mit `make run` lässt sich die eingefrorene Evaluation aus dem Repository reproduzieren.\n\nNach der Hackathon-Einreichung ist **CodeFloe wieder die kanonische Quelle des Projekts**. Dort sind Benchmark, Methodik, Resultate und technische Dokumentation offen verfügbar:\n\n[CodeFloe: Apertus Swiss HVET Eval](https://codefloe.com/michaelgisiger/apertus-swiss-hvet-eval)\n\nFür mich war das Projekt vor allem eine praktische Vertiefung in **LLM-Evaluation, Datenqualität und reproduzierbare KI-Evaluation** – und zugleich ein interessantes Fallbeispiel dafür, wie stark lokale Fachdomänen generische Sprachmodelle weiterhin fordern.",
  "repost_count": 1,
  "author": {
    "name": "Michael Gisiger",
    "username": "michael_gisiger",
    "url": "https://vutuv.de/michael_gisiger"
  },
  "fediverse_reaction_count": 2,
  "url": "https://vutuv.de/michael_gisiger/posts/01a15d32-fdea-70a3-abc4-c4228b717cbd",
  "id": "01a15d32-fdea-70a3-abc4-c4228b717cbd",
  "reply_count": 0
}