Nvidia DGX Spark Cluster mit vLLM für Hermes Agent (von NousResearch)

Ich hatte zu Testzwecken auf meinem PC zum ersten Test ein LM Studio am laufen mit einer 16 GB Grafikkarte und 48 GB RAM. Darauf liefen meine ersten Schritte mit selbstgehosteten Sprachmodellen. Ich war fasziniert und wollte mehr erfahren, insbesondere, wie diese Technologie skaliert werden kann.

Zuerst lief bei mir OpenClaw mit unterschiedlichen Modellen, was eben in den PC „hineingepasst“ hat. OpenClaw war stark in der Verwendung von Werkzeugen, mir persönlich aber zu vergesslich. Also bin ich zu Hermes Agent gewechselt. Und dort wollte ich auch ein größeres Modell testen.

Nach ein paar Nächten habe ich dann alles ans Laufen gebracht. Es gab mehrere Bugs und Probleme: Qwen3-VL-MoE Pydantic-Bug (NGC vLLM 0.19), NVIDIA Container Runtime Bug, Mistral Tokenizer-Validator zu strikt, Worker-Reconnect nach Head-Restart, Qwen2.5-VL-72B Tool-Calling zu zurückhaltend, NCCL-Multinode-Hänger…

Weiterlesen

Nvidia DGX Spark Dashboard im LAN verwenden

Ich habe einen Nvidia DGX Spark, bei dem ich in meinem Netzwerk etwas spielen möchte mit KI und den modernen Modellen. Der DGX Spark kann größere Modelle laden, wie mein PC und ist damit eine nette Entwicklungsumgebung.

Richtet man den Spark zuerst ein, marschiert man durch das First-Time Setup und kann sich dann auf den Spark per SSH verbinden.

Es gibt auch ein Dashboard, das jedoch nur kompliziert zu verwenden ist. Entweder über SSH Tunnel, Nvidia Software oder andere Technologien. Das ist mit zu kompliziert.

Weiterlesen

Docker auf Proxmox im LXC Container

Will man mal schnell einen separaten Docker Host erstellen, so geht das in Proxmox recht schnell. Hier gibt es die Virtualisierung „LXC“ – die Linux Container Runtime. Hier kann basierend auf dem Host-Betriebssystem (Proxmox 8.2.8 in meinem Fall) eine VM erstellt werden. Sieht aus, wie eine echte VM, ist es aber nicht. Das LXC Betriebssystem basiert vollständig auf dem Host-Betriebssystem.

Mit einem solchen Container kann man in wenigen Schritten Docker installieren. Im folgenden habe ich zusammengeschrieben, welche Schritte dafür notwendig sind – quasi „quick and dirty“.

Weiterlesen

Lokalen Docker Registry Cache installieren

Ein Docker Swarm Mode sichert den Ausfall eines Systems ab. Dabei werden die Stacks oder Services von einem Node zum anderen geschoben. Dazu muss für den neuen Node jedoch gegebenenfalls das Image neu aus dem Internet geladen werden. Da die Zugriffe auf das Docker Hub limitiert sind, macht es ggf. Sinn einen eigenen Cache aufzusetzen, über den die Daten nur einmalig geladen werden.

Weiterlesen

Docker Swarm Cluster auf Openmediavault

Als Grundlage für mein Homelab habe ich ein Proxmox Cluster installiert, der Hochverfügbar eingerichtet ist. Dazu sind drei Cluster-Nodes installiert, die einen gemeinsamen Speicher über Ceph für die Virtuellen Maschinen (VMs) haben. Damit können VMs im Falle eines Neustarts zwischen den Proxmox Nodes ohne Verzögerung hin und her wandern.

Da ich Docker Container nutzen möchte, benötige ich zumindest eine VM. Wird diese VM jedoch im Rahmen von regelmäßigen Updates neugestartet, sind alle Docker Container im Rahmen dieses Updates nicht erreichbar. Ein Docker Swarm Cluster kann hierfür eine Lösung sein. Weiterhin ist das Loadbalancing auf die drei physikalischen Knoten mit nur einer Docker VM nicht möglich. Auch dafür kann der Docker Swarm Cluster eine Lösung darstellen.

Weiterlesen

Proxmox Cluster mit Ceph auf Minisforum MS-01

Für mein Homelab war ein Upgrade notwendig. Dabei habe ich mich für die Minisforum MS-01 Mini-Workstations entschieden. Mit drei NVME-SSD Anschlüssen für Festplatten / SSDs, zwei 10G LAN und zwei 2,5G LAN Anschlüssen, sowie zwei Thunderbolt Anschlüssen ist dieser Rechner hervorragend ausgestattet für ein Proxmox Cluster.

Drei Cluster-Nodes werden mindestens benötigt, wenn man einen Proxmox Cluster mit Ceph installieren möchte. Und genau für Ceph macht es sinn, die 20G Thunderbolt Netzwerkverbindung für den Ceph Cluster Sync zu nutzen. Damit ergeben sich drei logische Abschnitte für die Anleitung: Allgemeine Installation inkl. Proxmox, Einrichten vom Thunderbolt Netzwerk, Installation von Ceph.

Weiterlesen

Grandstream WP820 mit OPNsense (SIP-Telefon / WLAN Telefonie)

Wer sich ein Grandstram Telefon kauft und Telefonie über WLAN statt DECT abwickeln möchte, hat bei der Einrichtung manchmal Probleme. Es funktioniert recht einfach, wenn man eine Fritzbox verwendet, da die den SIP Gateway ins Internet stellt.

Wer jedoch Opensense als Firewall einsetzt, wir nach der Einrichtung des Telefons mit den Kontoeinstellungen feststellen, dass es irgendwie nicht funktioniert. Deswegen hier kurz zusammengefasst, was zu tun ist, damit das Telefon direkt ins Internet kommt.

Weiterlesen

Paperless-ngx als papierloses DMS / Archiv für zuhause auf QNAP Docker

Bisher hatte ich ecoDMS als papierlosses Dokumentenmanagementsystem (DMS) daheim verwendet. Nun erfolgte bei mir daheim der Umstieg auf Paperless-ngx.

Im Folgenden stelle ich zuerst meine aktuelle Infrastruktur dar und erkläre, was bei ecoDMS für privatanwender nicht ideal läuft und warum für mich Paperless-ngx besser zu sein scheint. Danach folgt die Installationsanleitung und Darstellung der Konfiguration.

Weiterlesen

EggBot – Sammelsurium

Ostern steht mal wieder vor der Türe – da wird der EggBot wieder angeworfen. Da ich mir jedes mal aufs neue Vorgehen und Einstellungen heraussuchen muss, habe ich mir die Grundlegenden mal dokumentiert.

Eggbot Pro

Bei EggBot wird mit Inkscape und dem dazugehörigen EggBot Plugin gearbeitet. Ich selbst habe meinen EggBot Pro bei Amazon gekauft. Gerade kurz vor Ostern ist der immer recht schwierig zu bekommen.

Weiterlesen