Post by Michael Gisiger
HackApertus Online Hackathon 01. bis 16. Oktober
Ich plane, beim HackApertus Online Hackathon mitzumachen.
HackApertus ist ein Schweizer Hackathon rund um Apertus, das offene Schweizer Sprachmodell. Im Track Swiss Voices möchte ich untersuchen, wie zuverlässig Apertus einen klar abgegrenzten Schweizer Fachkontext abbildet: die höhere Berufsbildung.
Geplant ist ein reproduzierbarer Benchmark mit mehreren hundert Fällen zu Systemstruktur, Abschlüssen, Zuständigkeiten, typischen Fehlannahmen und ausgewählten statistischen Daten. Bewertet werden unter anderem Faktentreue und Halluzinationen; ein Teil der Ergebnisse wird zusätzlich menschlich validiert.
Die Projektdokumentation und später auch die Resultate sollen offen zugänglich sein. Das Repo habe ich bewusst bereits veröffentlicht – auch als kleines öffentliches Commitment, das Projekt nach den Ferien konsequent fertigzustellen.
Mein Projekt: codefloe.com/michaelgisiger/…
Der Hackathon: hackapertus.ch
From other networks 2
2 reposts
@lambert@rheinneckar.social shared this @gisiger@nerdculture.de shared this
Already counted in the numbers above.