inference
Follow from the Fediverse
Follow #inference from Mastodon or any other Fediverse app and its public posts arrive in your timeline. No vutuv account needed.
@inference@tags.vutuv.de
Posts with this tag
1 post
Filters
Das ganze “digitale Souveranität” Thema wird immer gerne rumgereicht. Und für KI wirds ebenso so wichtig, wenn nicht wichtiger. Leider ist Deutschland hier auch wieder kurz vor abgehängt. Aber…
@hetzner@mastodon.hetzner.social to the rescue. Da scheint gerade die Aufbau-Phase fürs Inference-Only Hosting mit OpenWeight-Modellen zu laufen. Aktuell Qwen 3.6 und das aktuelle Qwen 3.8.
Und in dem Zusammenhang gibt’s aktuell eine kostenlose Testphase mit Free-Tokens: docs.hetzner.com/general/…
Qwen 3.8 scheint unter der Last zusammengebrochen zu sein, 3.6 reagiert.
OpenCode hat es schon als direkt verwendbaren Provider integriert.
Fragt sich ob das mit ZDR (Zero Data Retention) läuft und wie die zukünftigen Pläne für Flatrates, ZDR, andere Modelle wie DeepSeek V4 Flash und dergleichen aussehen. Sie sind an Feedback interessiert, sagt die Website.