training
Deploying and fine-tuning open source LLMs
Deploy en fine-tune open-source LLM's als Llama en Mistral op eigen infrastructuur met vLLM, Ollama en LoRA.
Beschrijving
Niet elk AI-project kan of mag draaien op commerciële API's. Regulering, latency-eisen, kosten of datasoevereiniteit zijn redenen om open-source modellen zelf te hosten. In deze training leer je modellen als Llama en Mistral draaien met inference-frameworks vLLM en Ollama, en hoe je ze met LoRA fine-tunet op je eigen data. Je sluit af met een deployment op je eigen infrastructuur.
Deze training is bedoeld voor software, ML- en platform engineers die open-source LLM's willen draaien en fine-tunen op eigen of cloud-infrastructuur. Werk je in een Microsoft/.NET-omgeving en wil je AI-agents bouwen in C#? Bekijk dan de gerelateerde trainingen.
Leerdoelen
 Operate inference frameworks (vLLM, Ollama) to deploy open source LLMs on your own infrastructure | Apply  |
| Customize a base LLM for domain-specific tasks using LoRA and QLoRA fine-tuning | Apply |
| Compare model formats and quantization strategies (FP16, GPTQ, AWQ, GGUF) for inference | Understand  |
| Distinguish when to use fine-tuning, RAG, or prompt engineering for a given use case | Understand |
| Evaluate which open source model and deployment strategy best fits the quality, latency, cost, and compliance requirements of your project | Evaluate  |
Benodigde voorkennis
- Programmeerervaring in Python
- Basiskennis van machine learning (wat training en inference inhouden)
- Bekendheid met Docker en Linux is een pré
- Toegang tot een GPU-machine (lokaal of cloud) — wordt vóór de training geregeld
Onderwerpen
- Het open-source modellandschap: Llama, Mistral, Gemma, Phi en Qwen vergelijken
- Modelformaten en kwantisatie: FP16, GPTQ, AWQ en GGUF
- Inference met vLLM: continuous batching, PagedAttention en OpenAI-compatible API
- Inference met Ollama: lokaal draaien, Modelfile en applicatie-integratie
- Performance tuning: batch size, context length, tensor parallelism en GPU-geheugenbeheer
- RAG versus fine-tuning versus prompt engineering: wanneer kies je wat?
- LoRA en QLoRA: parameter-efficiënte fine-tuning
- Trainingsdata voorbereiden: formaten, kwaliteit en hoeveelheid
- Fine-tuning uitvoeren met Hugging Face TRL en PEFT
- Fine-tuned model evalueren tegen het basismodel
- Naar productie: model registry, versioning en monitoring
Planning
Incompany of persoonlijk advies nodig?
Onze opleidingsadviseurs denken graag met je mee om een persoonlijk advies te geven of een incompany training binnen jouw organisatie te vinden.
Voorkennis trainingen
"Zeer prettige docent, gaf op een eigen manier een zeer goede invulling aan de cursus. Was prettig om zo de cursus te volgen."Marieke
-
Hoge waardering
-
Praktijkgerichte trainingen
-
Gecertificeerde trainers
-
Eigen docenten