Techniek

RAG of fine-tuning in Python: wat past bij jouw project?

Je wilt dat een taalmodel je organisatie kent. Er zijn twee hoofdroutes, en ze lossen verschillende problemen op.

Techniek2 min lezenRedactie Python People

Het verschil in het kort

RAG zoekt bij elke vraag de relevante passages in jouw bronnen en geeft die mee aan het model. Het model verandert niet; de kennis zit in je documenten.

Fine-tuning traint een model bij op jouw voorbeelden. Het model leert een vorm, stijl of taak. Het leert er geen betrouwbare feitenkennis mee die je later eenvoudig kunt bijwerken.

Naast elkaar

RAGFine-tuning
Sterk inFeiten uit je eigen, veranderende bronnenEen vaste vorm, stijl of taak
Nieuwe informatieDocument toevoegenOpnieuw trainen
BronvermeldingJaNee
Rechten per gebruikerGoed te regelenNiet te regelen in het model
Wat je nodig hebtGoede bronnen en een sterke zoekfunctieVeel goede voorbeelden en een evaluatieset

Onze vuistregel

Begin bijna altijd met RAG en een goede evaluatieset. Een sterk model met de juiste context lost de meeste kennisvragen op. Overweeg fine-tuning pas als je een taak steeds op dezelfde manier wilt laten uitvoeren, kosten wilt verlagen met een kleiner model, of een vorm wilt afdwingen die met instructies niet lukt.

De twee sluiten elkaar niet uit: een bijgetraind klein model met RAG eromheen kan een goede, betaalbare combinatie zijn.

In Python: begin met meten

Welke route je ook kiest, begin met een meetlat. Voor RAG is de eerste vraag of de juiste passage überhaupt gevonden wordt. Dat meet je met een paar regels Python, nog voordat er een taalmodel aan te pas komt.

def hit_rate(testvragen, zoek, k=5):
    """Aandeel vragen waarbij de juiste passage in de top-k zit."""
    raak = 0
    for vraag in testvragen:
        resultaten = zoek(vraag["vraag"], k=k)
        if vraag["passage_id"] in {r.id for r in resultaten}:
            raak += 1
    return raak / len(testvragen)

Voor RAG werken teams vaak met PostgreSQL en pgvector, embeddings via sentence-transformers of een API, en Ragas voor evaluatie. Voor fine-tuning is de gebruikelijke route Hugging Face Transformers met PEFT (bijvoorbeeld LoRA), of de fine-tuning-API van je modelaanbieder.

Een Python-developer nodig?

Bel ons of stuur je vacature. Binnen 48 uur hoor je welke developers uit ons netwerk passen en wat het kost.