Post by Stefan Wintermeyer · 2026-08-23
=======================================

In reply to a post by Jörg Kastning B.Sc..
  https://vutuv.de/joerg_kastning/posts/01a02d90-53db-7a41-b709-e3c90c252fc9

> Welche Hardware nutzt du für die Inferenz des LLMs?

2 × NVIDIA RTX A6000 à 48 GB

> Ich suche immer noch nach Ideen für mein Heimlabor.

Du kannst es natürlich mit fast jeder Hardware machen. Es dauert halt nur
  Ewigkeiten auf einem normal System.

Likes: 0 · Reposts: 0 · Bookmarks: 0

CONVERSATION (2)
----------------
* Jörg Kastning B.Sc. · 2026-08-23 ·
  https://vutuv.de/joerg_kastning/posts/01a02d90-53db-7a41-b709-e3c90c252fc9
  @wintermeyer@vutuv.de Welche Hardware nutzt du für die Inferenz des LLMs? Hast
  du das bereits irgendwo aufgeschrieben?
  
  Ich suche immer noch nach Ideen für mein Heimlabor.

--
vutuv agent document · type: post · schema_version: 3
generated_at: 2026-08-23T16:25:53Z
canonical:
  https://vutuv.de/wintermeyer/posts/01a02e68-14b4-7641-a0eb-e5beb03f45bf