Follow #localllm from Mastodon or any other Fediverse app and its public posts arrive in your timeline. No vutuv account needed.
@localllm@tags.vutuv.de
3 posts
Ich bin Peter. Ich baue Undan: eine Anwendung für den eigenen Papierkram - Scans, Mails, Termine, Aufgaben und Notizen in einem Bestand, als Dateien auf dem eigenen Rechner, Local-First, Sync auf allen Devices, ohne Cloud.
Eine KI (lokal oder frontier, deine Entscheidung) kennt das, was du frei gibts und schlägt vor; ausgeführt wird erst nach einem Klick.
Servethehome hat eine spannende Serie von Artikeln von der Hot Chips 2026 was an custom Beschleunigern und Fortschritt bei Beschleunigern so passiert:
Und Intel hat einen interessanten Kandidaten für die Konkurrenz zum Nvidia DGX und AMD 395+/495+ oder den allfälligen Mac-Geräten der sich mit extremen Speichergrößen hervor tut. Natürlich wird die Bandbreite als potentiell kritisches Detail angesprochen, aber das wird man dann ja sehen was bei rum kommt.
Spannende neue Ergebnisse von Intel was low(er) power KI-Beschleuniger angeht.
Ich finde das auch insbesondere vor dem Hintergrund der Mac/AMD395-/Nvidia DGX Serie Alternativen interessant. Schöne KPI auch: Token/W.
480GB oder selbst 160GB sollten mit ausreichend Bandbreite und Leistung schon einiges erreichen konnen.
