vllm
Follow from the Fediverse
Follow #vllm from Mastodon or any other Fediverse app and its public posts arrive in your timeline. No vutuv account needed.
@vllm@tags.vutuv.de
Posts with this tag
1 post
Filters
It’s CheapSeek time again:
- Announcement, Inferencevendors, Openrouter: openrouter.ai/deepseek/…
- Weights: huggingface.co/deepseek-ai/…
- Announcement: deepseek.com/en/…
- Jetzt mit Vision. Soll auf DS4 Pro Level liegen. Je nach Berichten soll es im Opus-Bereich wildern. DS4F war deutlich weniger gefallsüchtig als die Produkte von Anthropic.
Verfügbarkeiten:
-
Absurd billig (50% ggü DeepInfra/OpenRouter) bei OpenCode Go (RefLink), absehbar an der Stelle tatsächlich China-hosted, dafür aber zumindest mit ZDR Zusicherung.
- Sonst zum doppelten Preis mit ZDR bei DeepInfra via OpenRouter. Wird aber zügig auch woanders laufen.: opencode.ai/docs/…
- DeepSeek direkt will wie üblich auf den Prompts trainieren, insofern kann man das skippen…
Es gibt schon die ersten On-Prem Inference Rezepte: recipes.vllm.ai/deepseek-ai/…
Und wie es aussieht mit durchaus akzeptabler Hardware.