01a02d90-53db-7a41-b709-e3c90c252fc9 post 01a02d90-53db-7a41-b709-e3c90c252fc9 0 Jörg Kastning B.Sc. https://vutuv.de/joerg_kastning/posts/01a02d90-53db-7a41-b709-e3c90c252fc9 2026-08-23 joerg_kastning @wintermeyer@vutuv.de Welche Hardware nutzt du für die Inferenz des LLMs? Hast du das bereits irgendwo aufgeschrieben? Ich suche immer noch nach Ideen für mein Heimlabor. 01a02e68-14b4-7641-a0eb-e5beb03f45bf 1 Stefan Wintermeyer https://vutuv.de/wintermeyer/posts/01a02e68-14b4-7641-a0eb-e5beb03f45bf 2026-08-23 01a02d90-53db-7a41-b709-e3c90c252fc9 wintermeyer > Welche Hardware nutzt du für die Inferenz des LLMs? 2 × NVIDIA RTX A6000 à 48 GB > Ich suche immer noch nach Ideen für mein Heimlabor. Du kannst es natürlich mit fast jeder Hardware machen. Es dauert halt nur Ewigkeiten auf einem normal System. Jörg Kastning B.Sc. @wintermeyer@vutuv.de Welche Hardware nutzt du für die Inferenz des LLMs? Hast du das bereits irgendwo aufgeschrieben? Jörg Kastning B.Sc. joerg_kastning https://vutuv.de/joerg_kastning Stefan Wintermeyer https://vutuv.de/wintermeyer/posts/01a02e68-14b4-7641-a0eb-e5beb03f45bf 2026-08-23 wintermeyer > Welche Hardware nutzt du für die Inferenz des LLMs? 2 × NVIDIA RTX A6000 à 48 GB > Ich suche immer noch nach Ideen für mein Heimlabor. Du kannst es natürlich mit fast jeder Hardware machen. Es dauert halt nur Ewigkeiten auf einem normal System. https://vutuv.de/joerg_kastning/posts/01a02d90-53db-7a41-b709-e3c90c252fc9 https://vutuv.de/joerg_kastning/posts/01a02d90-53db-7a41-b709-e3c90c252fc9.json https://vutuv.de/joerg_kastning/posts/01a02d90-53db-7a41-b709-e3c90c252fc9.txt https://vutuv.de/joerg_kastning/posts/01a02d90-53db-7a41-b709-e3c90c252fc9.md https://vutuv.de/joerg_kastning/posts/01a02d90-53db-7a41-b709-e3c90c252fc9.xml GPU Inferenz self-hosting 1 2026-08-23T15:36:28Z 3 2026-08-23 0 1 @wintermeyer@vutuv.de Welche Hardware nutzt du für die Inferenz des LLMs? Hast du das bereits irgendwo aufgeschrieben? Ich suche immer noch nach Ideen für mein Heimlabor. 0 0 0 0 Stefan Wintermeyer wintermeyer https://vutuv.de/wintermeyer 0 false