Post by Jörg Kastning B.Sc. · 2026-08-23
========================================

@wintermeyer@vutuv.de Welche Hardware nutzt du für die Inferenz des LLMs? Hast
  du das bereits irgendwo aufgeschrieben?

Ich suche immer noch nach Ideen für mein Heimlabor.

Tags: GPU, Inferenz, self-hosting

Likes: 1 · Reposts: 0 · Bookmarks: 0

Liked by: Stefan Wintermeyer

CONVERSATION (2)
----------------
  * Stefan Wintermeyer · 2026-08-23 ·
  https://vutuv.de/wintermeyer/posts/01a02e68-14b4-7641-a0eb-e5beb03f45bf
    In reply to a post by Jörg Kastning B.Sc..
    > Welche Hardware nutzt du für die Inferenz des LLMs?
    
    2 × NVIDIA RTX A6000 à 48 GB
    
    > Ich suche immer noch nach Ideen für mein Heimlabor.
    
    Du kannst es natürlich mit fast jeder Hardware machen. Es dauert halt nur
  Ewigkeiten auf einem normal System.

--
vutuv agent document · type: post · schema_version: 3
generated_at: 2026-08-23T15:35:24Z
canonical:
  https://vutuv.de/joerg_kastning/posts/01a02d90-53db-7a41-b709-e3c90c252fc9