Post by Jörg Kastning B.Sc.
@wintermeyer@vutuv.de Welche Hardware nutzt du für die Inferenz des LLMs? Hast du das bereits irgendwo aufgeschrieben?
Ich suche immer noch nach Ideen für mein Heimlabor.
Liked by Stefan Wintermeyer
Welche Hardware nutzt du für die Inferenz des LLMs?
2 × NVIDIA RTX A6000 à 48 GB
Ich suche immer noch nach Ideen für mein Heimlabor.
Du kannst es natürlich mit fast jeder Hardware machen. Es dauert halt nur Ewigkeiten auf einem normal System.