Wist je dat niet altijd een internetverbinding en een duur abonnement nodig hebt om slimme AI-modellen te gebruiken. Als je ChatGPT of Claude gebruikt, stuur je al je invoer rechtstreeks naar de servers van grote techbedrijven. Voor gevoelige bedrijfsinformatie of privébestanden is dat verre van ideaal.

Gelukkig kun je deze modellen tegenwoordig op je eigen computer draaien. Het programma Ollama maakt dit proces verrassend eenvoudig. Je krijgt hiermee de kracht van een geavanceerde chatbot, maar dan volledig offline en zonder dat er data je computer verlaat.

De systeemeisen voor je computer

AI-modellen zijn zware computerprogramma’s die veel rekenkracht eisen. Hoewel Ollama prima draait op de processors (CPU’s) van moderne computers, presteert het pas echt goed met een dedicated videokaart (GPU). De videokaart beschikt namelijk over snel werkgeheugen, ook wel VRAM genoemd, dat de berekeningen versnelt.

Voor kleine modellen, zoals Llama 3 met 8 miljard parameters, is 8 gigabyte aan VRAM vaak al voldoende. Dit vind je bijvoorbeeld in een Nvidia RTX-videokaart of in de Apple Silicon-chips (M1, M2 of M3) van een Mac. Heb je minder krachtige hardware, dan kun je kiezen voor lichtere modellen zoals Phi-3 van Microsoft.

Stap 1: Ollama downloaden en installeren

De installatie begint op de officiële website van het project. Ga naar ollama.com en download de installateur die past bij jouw besturingssysteem (Windows, macOS of Linux). Open het gedownloade bestand en volg de instructies op het scherm.

Na de installatie draait Ollama geruisloos op de achtergrond. Op Windows of macOS zie je een klein icoontje in je taakbalk verschijnen. De software heeft zelf geen grafische interface, dus we sturen het programma aan via de commandoregel.

Stap 2: Je eerste model starten via de terminal

Open de command prompt op Windows (typ ‘cmd’ in de zoekbalk) of de Terminal op een Mac. We gaan nu een model ophalen uit de online bibliotheek van Ollama. Typ het volgende commando in en druk op enter:

ollama run llama3

De software begint nu direct met het downloaden van het Llama 3-model van Meta. Dit bestand is een paar gigabyte groot, dus de download kan even duren. Zodra de voortgangsbalk de honderd procent bereikt, verandert de invoerregel in een actieve chatbox.

Je kunt nu direct vragen stellen in de terminal. Typ bijvoorbeeld ‘Geef me een recept voor pannenkoeken’ en je ziet de AI direct reageren. Als je de chat wilt sluiten, typ je simpelweg /exit.

Modellen beheren op je harde schijf

Omdat de bestanden behoorlijk wat ruimte innemen op je schijf, is het handig om te weten hoe je ze beheert. Met het commando ollama list zie je in één oogopslag welke modellen er op je computer staan. Wil je een specifiek model verwijderen om ruimte te besparen, gebruik dan ollama rm [modelnaam].

Er zijn verschillende open-source opties beschikbaar in de bibliotheek van de software. Naast Llama van Meta kun je bijvoorbeeld experimenteren met Mistral (een uitstekend Frans model) of Gemma van Google. Elk model heeft zijn eigen sterke punten op het gebied van codering, taalgevoel of creativiteit.

Een gebruiksvriendelijke interface toevoegen

Praten met een AI via een zwarte terminal is functioneel, maar niet erg gezellig. Gelukkig kun je hier eenvoudig een visuele schil omheen bouwen die sprekend lijkt op ChatGPT. De populairste optie hiervoor is Open WebUI.

Je kunt Open WebUI installeren via Docker, maar er zijn ook simpelere alternatieven. De browserextensie Page Assist of de desktop-app AnythingLLM koppelen direct met jouw lokale Ollama-installatie. Je krijgt dan een vertrouwde chatomgeving met mappen, chathistorie en de mogelijkheid om documenten te uploaden.

Veelgestelde vragen

Kost het draaien van een lokaal model geld?
Nee, de software van Ollama en de beschikbare modellen zijn volledig gratis te gebruiken. Het enige dat geld kost is de stroom die je computer verbruikt tijdens het rekenwerk.

Is mijn data echt veilig?
Ja, de chatgeschiedenis en de berekeningen blijven volledig binnen de grenzen van je eigen computer. Er is geen verbinding met internet nodig om de AI te gebruiken nadat het model eenmaal is gedownload.