Post by Stefan Wintermeyer
@wintermeyer@vutuv.de Welche Hardware nutzt du für die Inferenz des LLMs? Hast du das bereits irgendwo aufgeschrieben?
Ich suche immer noch nach Ideen für mein Heimlabor.
Welche Hardware nutzt du für die Inferenz des LLMs?
2 × NVIDIA RTX A6000 à 48 GB
Ich suche immer noch nach Ideen für mein Heimlabor.
Du kannst es natürlich mit fast jeder Hardware machen. Es dauert halt nur Ewigkeiten auf einem normal System.