AI in productie

Van AI-pilot naar productie met Python: waar het misgaat

Een overtuigende demo is met de huidige modellen snel gebouwd. Het verschil tussen een demo en een toepassing die honderden mensen elke dag gebruiken, is groter dan de meeste organisaties denken.

AI in productie2 min lezenRedactie Python People

Het patroon

Gartner voorspelde in 2024 dat minstens 30% van de generatieve-AI-projecten na de proof of concept zou stoppen. Als oorzaken noemt Gartner slechte datakwaliteit, onvoldoende risicobeheersing, oplopende kosten en onduidelijke waarde. Bron: Gartner, 29 juli 2024 (opent in nieuw tabblad)

Opvallend: geen van die oorzaken gaat over het model zelf. Ze gaan over alles eromheen. Dat is goed nieuws, want daar kun je iets aan doen.

Vijf dingen die je vanaf dag één regelt

1. Een meetbaar doel

Kies één proces en spreek vooraf af wat succes is: minuten per dossier, percentage correct afgehandelde vragen, kosten per transactie. Zonder die maatstaf blijft elke discussie over waarde een gevoelskwestie.

2. Een evaluatieset

Verzamel echte vragen of gevallen, met het goede antwoord erbij. Elke wijziging aan prompt, model of data wordt daartegen getest. Dit is het belangrijkste verschil tussen teams die doorgroeien en teams die blijven hangen.

3. Data op orde

Weet welke bronnen je gebruikt, hoe actueel ze zijn en wie wat mag zien. Begin klein, met bronnen die je vertrouwt.

4. Risico's in het ontwerp

Wat gebeurt er als het model zich vergist? Bouw controles in waar fouten pijn doen, en laat een mens beslissen over acties die je niet kunt terugdraaien.

5. Kosten per uitkomst

Meet niet alleen de rekening van de aanbieder, maar de kosten per afgehandelde vraag of taak. Dan zie je direct of een kleiner model, caching of een slimmere aanpak loont.

Staat je pilot op dit punt?

We denken graag mee over wat er nodig is om de stap naar productie te zetten, en wie je daarvoor nodig hebt.

Hoe dat er in Python uitziet

Het verschil tussen pilot en productie zit grotendeels in gewone software-engineering. Een voorbeeld: vertrouw nooit blind op de uitvoer van een model, maar valideer die met Pydantic, net als elke andere externe invoer.

from pydantic import BaseModel, ValidationError

class Classificatie(BaseModel):
    categorie: str
    zekerheid: float
    bron_id: str | None = None

def verwerk(ruwe_uitvoer: str) -> Classificatie | None:
    try:
        return Classificatie.model_validate_json(ruwe_uitvoer)
    except ValidationError:
        # ongeldige uitvoer gaat naar een mens, niet naar de klant
        stuur_naar_review(ruwe_uitvoer)
        return None

Daaromheen staat een vertrouwde Python-stack: FastAPI voor de API, pytest voor tests en evaluaties in de CI-pijplijn, OpenTelemetry of Langfuse om elke aanroep met kosten en looptijd te volgen, en uv om afhankelijkheden reproduceerbaar vast te leggen.