AI in productie

Zo evalueer je een LLM-toepassing in Python

Een taalmodel geeft vloeiende antwoorden, ook als ze fout zijn. Wie niet meet, weet niet of een wijziging iets verbetert of iets anders stukmaakt.

AI in productie3 min lezenRedactie Python People

Waarom proberen niet genoeg is

Het gedrag van een LLM-toepassing verandert bij elke wijziging aan prompt, model of data. Een aanpassing die tien voorbeelden beter maakt, kan twintig andere slechter maken. Met handmatig uitproberen zie je dat niet.

Een evaluatieset is daarom de meetlat van je project. Hij is belangrijker dan de keuze van het model, want zonder meetlat kun je modellen niet eens eerlijk vergelijken.

In vier stappen naar een evaluatie die werkt

  1. Verzamel echte gevallen

    Begin met vragen en taken uit de praktijk: uit logboeken, van de klantenservice of van gebruikers die meetesten. Vul aan met lastige randgevallen. Een kleinere set goed gekozen echte gevallen zegt meer dan een grote set gegenereerde.

  2. Leg vast wat goed is

    Noteer per geval het juiste antwoord, de bron die gebruikt moet worden of de regels waaraan het antwoord moet voldoen. Laat vakexperts dit beoordelen, niet alleen engineers.

  3. Kies passende metingen

    Gebruik exacte controles waar dat kan: klopt het bedrag, is de uitvoer geldig, wordt de juiste bron genoemd. Voor open antwoorden kan een tweede model beoordelen met een duidelijke rubriek, steekproefsgewijs gecontroleerd door mensen.

  4. Automatiseer

    Draai de set bij elke wijziging in je CI-pipeline en vergelijk met de vorige versie. Daalt de kwaliteit, dan gaat de wijziging niet live.

Wat je meet, per type toepassing

ToepassingKwaliteitVeiligheidKosten en snelheid
Kennisassistent (RAG)Juist antwoord, juiste bron, eerlijk "weet ik niet" als het antwoord ontbreektGeen gegevens buiten de rechten van de gebruikerKosten per vraag, antwoordtijd
Extractie uit documentenVelden correct en volledig, geldige uitvoerGeen gevoelige velden buiten het doelKosten per document, doorlooptijd
AgentTaak correct afgerond, aantal stappenGeen acties zonder toestemming, bestand tegen prompt injectionKosten per taak, doorlooptijd

Na livegang

Evaluatie stopt niet bij de release. Verzamel feedback van gebruikers, bekijk regelmatig een steekproef van echte gesprekken en voeg elke nieuwe fout toe aan je evaluatieset. Zo wordt je meetlat met de tijd steeds beter, en je toepassing ook.

In Python: evaluaties als gewone tests

De eenvoudigste manier om evaluatie vol te houden, is haar behandelen als een testsuite. Met pytest draai je elke testvraag als apart geval, en zie je bij elke wijziging precies welke gevallen omvallen.

import json
import pytest

with open("evals/klantvragen.jsonl") as f:
    GEVALLEN = [json.loads(regel) for regel in f]

@pytest.mark.parametrize("geval", GEVALLEN, ids=lambda g: g["id"])
def test_antwoord_noemt_juiste_bron(geval):
    antwoord = assistent.beantwoord(geval["vraag"])
    assert geval["bron_id"] in antwoord.bronnen

Zet deze tests in je CI-pijplijn, naast de gewone unittests. Voor oordelen die lastig in een assert passen, zoals de volledigheid van een antwoord, bieden Ragas en DeepEval kant-en-klare metrieken. Langfuse helpt om resultaten over tijd te vergelijken.

Een Python-developer nodig?

Bel ons of stuur je vacature. Binnen 48 uur hoor je welke developers uit ons netwerk passen en wat het kost.