---
title: "Jörg Kastning B.Sc. · 2026-08-23"
description: "@wintermeyer@vutuv.de Welche Hardware nutzt du für die Inferenz des LLMs? Hast du das bereits irgendwo aufgeschrieben?"
url: https://vutuv.de/joerg_kastning/posts/01a02d90-53db-7a41-b709-e3c90c252fc9
type: post
schema_version: 3
generated_at: 2026-08-23T15:35:37Z
---

# Post by [Jörg Kastning B.Sc.](https://vutuv.de/joerg_kastning) · 2026-08-23

@wintermeyer@vutuv.de Welche Hardware nutzt du für die Inferenz des LLMs? Hast du das bereits irgendwo aufgeschrieben?

Ich suche immer noch nach Ideen für mein Heimlabor.

Tags: #GPU, #Inferenz, #self-hosting

Likes: 1 · Reposts: 0 · Bookmarks: 0

Liked by: Stefan Wintermeyer

## Conversation (2)

#### [Stefan Wintermeyer](https://vutuv.de/wintermeyer/posts/01a02e68-14b4-7641-a0eb-e5beb03f45bf) · 2026-08-23

> In reply to a post by Jörg Kastning B.Sc..

> Welche Hardware nutzt du für die Inferenz des LLMs?

2 × NVIDIA RTX A6000 à 48 GB

> Ich suche immer noch nach Ideen für mein Heimlabor.

Du kannst es natürlich mit fast jeder Hardware machen. Es dauert halt nur Ewigkeiten auf einem normal System.