Waarom wij bij Divtag een LLM lokaal draaien

Deel 1 van onze blogserie over het lokaal draaien van een Large Language Model

De opkomst van Large Language Models (LLM’s) zoals ChatGPT, Claude, Deepseek en Gemini laat zien hoe krachtig taalmodellen kunnen zijn voor het ondersteunen van bedrijfsprocessen. Toch besloten wij bij Divtag om een LLM lokaal te draaien. Niet omdat we denken het beter te kunnen dan de grote techbedrijven, maar omdat er voor ons – en voor veel MKB(+) bedrijven – duidelijke voordelen zijn aan het lokaal beheren en gebruiken van een taalmodel.

In dit eerste deel van onze blogserie over het lokaal draaien van een LLM leggen we uit waarom we deze stap hebben gezet, welke beperkingen we ervaren met bestaande modellen, en wat de voordelen en toepassingen zijn van een LLM op eigen hardware. In de volgende delen gaan we dieper in op de hardwarekeuzes, de softwarestack en de eerste resultaten van ons project.

Privacy als uitgangspunt

De belangrijkste reden om een LLM lokaal te draaien, is voor ons het waarborgen van privacy. Bestaande LLM’s draaien doorgaans in de cloud bij externe partijen. Zodra we daar een prompt of document naartoe sturen, gaat onze data letterlijk de deur uit. In een tijd waarin privacy, compliance en dataveiligheid cruciaal zijn, is dat niet altijd wenselijk of toelaatbaar.

Bij Divtag werken we met klantgegevens en bedrijfsprocessen die gevoelig kunnen zijn. Daarom willen we maximale controle over wat er met die data gebeurt. Door een LLM lokaal te draaien, blijft alle informatie binnen onze eigen infrastructuur. Dat geeft zekerheid, grip en de mogelijkheid om AI te gebruiken binnen strengere privacykaders.

Volledige vrijheid om te experimenteren

Naast privacy is er een tweede belangrijke reden: we willen kunnen experimenteren met AI zonder beperkingen van derden. Commerciële modellen zijn vaak gesloten systemen met vaste interfaces en prijsmodellen. Wij willen juist leren, testen, finetunen en ontdekken.

Met onze eigen opstelling kunnen we:

• Verschillende open source modellen installeren en vergelijken
• Prompt structuren aanpassen en optimaliseren
• Zelf benchmarks uitvoeren op snelheid en accuraatheid
• Modellen inzetten die passen bij een specifieke use case of klantvraag

Deze vrijheid is voor ons essentieel om LLM-technologie op een zinvolle manier te integreren in onze maatwerksoftware.

Beperkingen van bestaande LLM’s

In de praktijk liepen we tegen meerdere beperkingen aan bij het gebruik van cloudgebaseerde LLM’s:

1. Beperkte controle over data – Gevoelige bedrijfsinformatie moet naar servers van derden worden gestuurd.
2. Afhankelijkheid van API’s – Werken via een API beperkt onze mogelijkheden om achter de schermen te begrijpen hoe een model werkt.
3. Beperkingen in modelkeuze – De grote aanbieders bepalen welke versies en modellen beschikbaar zijn.
4. Kostenstructuur – Intensief gebruik of geavanceerde toepassingen kunnen snel in de papieren lopen.

Voor een organisatie als de onze, die graag technisch de diepte in gaat, vormt dit een rem op innovatie. Met een lokaal draaiende LLM nemen we die drempels weg.

Geen concurrent voor GPT-4, wel een bewuste keuze

Het is belangrijk om realistisch te zijn. Een lokaal draaiende LLM is geen concurrent voor een model als GPT-4. Modellen als GPT-4 zijn getraind op enorme hoeveelheden data, bevatten miljarden parameters en draaien op hyperscale infrastructuur. Onze machine, gebouwd voor ongeveer duizend euro, heeft uiteraard beperkingen in snelheid en output.

Maar dat maakt het niet minder waardevol. Ons doel is niet om het beste taalmodel ter wereld te draaien, maar om:

• Zelf te leren hoe LLM’s technisch functioneren
• Gebruikstoepassingen te ontwikkelen die privacy vereisen
• Snel te kunnen testen en prototypen binnen ons eigen team
• Onafhankelijk te blijven van externe leveranciers

Bovendien zijn er modellen die, ondanks hun kleinere omvang, uitstekende prestaties leveren binnen een specifieke taak of context. Denk aan samenvatten, categoriseren of eenvoudig klantcontact.

Praktische toepassingen van een lokaal draaiende LLM

Met een lokaal draaiende LLM richten we ons op concrete, bedrijfskritische toepassingen. Enkele voorbeelden:

• Prototypes voor klanten waarbij privacy een harde vereiste is
• AI-integraties binnen maatwerk applicaties, zoals CRM-systemen of documentanalyse
• Interne tools die gegevens verwerken zonder internetverbinding
• Proof-of-concepts waarin snelheid, onafhankelijkheid en flexibiliteit belangrijker zijn dan pure rekenkracht

We zien deze toepassingen als een logische verlenging van onze missie: het ontwikkelen van slimme softwareoplossingen die aansluiten op de behoeften van het moderne MKB.

Wat het ons oplevert

Het lokaal draaien van een LLM levert ons op meerdere vlakken voordelen op:

• Kennisopbouw – Ons team ontwikkelt diepgaand inzicht in AI-technologie
• Autonomie – We kunnen zelf kiezen welke modellen we draaien en hoe we deze inzetten
• Snelheid – Voor veel taken is lokale verwerking sneller dan cloudoplossingen
• Innovatiekracht – We verkennen nieuwe mogelijkheden die niet zouden ontstaan binnen de beperkingen van commerciële tools

Bovendien vergroot dit traject ons vermogen om klanten te adviseren over veilige, effectieve en toekomstbestendige inzet van AI.

Wat jij hiervan kunt leren

Voor andere organisaties, zeker binnen het MKB, biedt onze aanpak waardevolle inzichten:

• Een LLM lokaal draaien is haalbaar, zeker met de huidige open source modellen en betaalbare hardware.
• Lokale verwerking kan voordelen bieden op het gebied van compliance, kostenbeheersing en innovatie.
• Door kennis in eigen huis op te bouwen, vergroot je je technologische onafhankelijkheid en wendbaarheid.

Onze ervaring leert dat AI geen “black box” hoeft te zijn. Door het zelf te draaien, begrijpen we het beter – en kunnen we het gerichter inzetten.

Bij Divtag geloven we in technologie die werkt voor de gebruiker én voor de organisatie.

Met een LLM die we lokaal draaien bouwen we aan een toekomst waarin we AI kunnen toepassen op onze eigen voorwaarden – veilig, flexibel en doelgericht. Wil je weten wat een lokaal draaiende LLM voor jouw organisatie kan betekenen? Neem dan gerust contact met ons op.

Dit was deel 1 van onze blogserie over het lokaal draaien van een LLM. In deel 2 gaan we dieper in op de hardware: welke keuzes we maakten, tegen welke technische uitdagingen we aanliepen, en hoe onze setup eruitziet.