Waarom lokale AI vooral een hardwarehobby is

Ivo geeft zijn agent geheugen. Tristan laat Kimi K3 draaien op anderhalve terabyte RAM. Lokale AI blijkt vooral een hardwarehobby. Een AI-agent die je mail beantwoordt, taken onthoudt en zichzelf verbetert klinkt al snel als sciencefiction. Ivo Toby bouwt hem gewoon zelf. Met Talon geeft hij modellen gereedschap en grenzen; Postgram maakt zijn notities, vergaderingen en taken doorzoekbaar voor elke agent. Tristan Suerink kijkt naar de andere kant: het ijzer dat al dat denkwerk mogelijk maakt. Hij draaide Kimi K3 op een IBM Power11-machine met twee terabyte werkgeheugen en nam een halve AI-winkel mee naar de studio. Van tweedehands AMD-kaarten en een DGX Spark tot een 800-gigabitnetwerkkaart, alles komt op tafel. We bespreken wanneer lokale modellen goed genoeg zijn, waarom goedkope modellen betere opdrachten nodig hebben, hoe je een AI-server voor vijftig collega's bouwt en waarom datacenters straks zelfs hun restwarmte en algenproblemen moeten temmen. Over Ivo TobyIvo Toby is Senior (AI) Software Engineer bij Contentful. Hij bouwt opensourcehulpmiddelen voor AI-agents, waaronder Talon en meerdere MCP-servers, en schreef bij Contentful over vectordatabases. In deze aflevering laat hij zien hoe hij lokale modellen, modelroutering en een centraal agentgeheugen inzet.- LinkedIn: https://www.linkedin.com/in/ivotoby/- Website: https://github.com/ivo-toby Over Tristan SuerinkTristan Suerink is IT-architect en netwerkarchitect bij Nikhef. Hij bouwt en test reken-, opslag- en netwerkinfrastructuur voor deeltjesfysica, waaronder snelle dataverbindingen voor CERN-onderzoek. In deze aflevering legt hij uit hoeveel hardware lokale AI echt vraagt en waarom tweefasekoeling onvermijdelijk wordt.- LinkedIn: niet gevonden- Website: https://www.nikhef.nl/focusblokken/nikhef-it-architect-tristan-suerink-legt-zijn-werk-uit/ In deze aflevering0:00:00 Intro: agentgeheugen, VRAM en een tafel vol hardware0:02:49 Talon: een begrensde AI-agent via mail en Telegram0:12:17 Kimi K3 draaien op twee terabyte werkgeheugen0:20:14 Kleine lokale modellen en de knipperende doucheventilator0:32:23 Zes uur gratis programmeren met Qwen en een strenge reviewer0:36:05 Luistervraag van Boba: lokale AI voor vijftig collega's0:53:24 Een 800-gigabitnetwerkkaart voor de AI-fabriek0:58:14 Postgram geeft al je agents hetzelfde geheugen1:06:23 Takenlijsten, dagelijkse planning en zelfverbeterende agents1:14:04 Tweefasekoeling, datacenteralgen en warmte in de grond Genoemd in deze aflevering- Talonhttps://github.com/ivo-toby/talon, Ivo's zelfgehoste agentruntime met duidelijke grenzen- Kimi K3https://huggingface.co/moonshotai/Kimi-K3, open-weightsmodel van Moonshot AI met 2,8 biljoen parameters- Qwen3.6https://github.com/QwenLM/Qwen3.6, compacte open modellen voor lokaal agentwerk- OpenClawhttps://openclaw.ai/, zelfgehoste persoonlijke AI-agent voor meerdere kanalen- NVIDIA DGX Sparkhttps://docs.nvidia.com/dgx/dgx-spark/hardware.html, klein AI-kastje met 128 GB gedeeld geheugen- AMD Ryzen AI Halohttps://www.amd.com/en/products/processors/desktops/ryzen/ryzen-ai-halo.html, lokaal AI-platform met 128 GB gedeeld geheugen- Maxsun Intel Arc Pro B60 Dualhttps://www.maxsun.com/products/intel-arc-pro-b60-dual-48g-turbo, dubbele Intel-GPU met samen 48 GB geheugen- Obsidianhttps://obsidian.md/, notities in gewone lokale Markdown-bestanden- pgvectorhttps://github.com/pgvector/pgvector, semantisch zoeken in PostgreSQL- Wetenschapsdag bij Nikhefhttps://outreach.web.nikhef.nl/wetenschapsdag/, open dag op 3 oktober 2026 Tips van de tafelIvo Toby: Laat een groot model je opdracht aanscherpen als een klein lokaal model hem niet begrijpt; betere afbakening kan uren gratis rekenwerk bruikbaar maken. Ivo Toby: Houd je eigen notities als bron van waarheid en indexeer ze daarna voor agents, zodat je niet vastzit aan één model of apparaat. Tristan Suerink: Koop voor één lokale AI-machine eerder een AMD Ryzen AI Halo dan een DGX Spark; het AMD-kastje is goedkoper als je niet hoeft te clusteren. Randal Peelen: Automatiseer de omlijsting, maar houd mensenwerk in je kernproduct; bij MNOT zit de liefde in de gemonteerde audio.See omnystudio.com/listener for privacy information.