Expertise · Data engineering

Data die klaar is voor AI

Slechte datakwaliteit is een van de vaakst genoemde redenen waarom AI-projecten stranden. Onze data engineers leggen het fundament: betrouwbare pipelines, heldere afspraken en data die je kunt vertrouwen.

Wat AI van je data vraagt

  • Ongestructureerde data. Pdf's, e-mails en scans worden bruikbare, doorzoekbare data, met behoud van structuur en metadata.
  • Datacontracten. Heldere afspraken met de teams die data aanleveren, zodat een wijziging aan de bron niet ongemerkt je AI-toepassing breekt.
  • Kwaliteit en herkomst. Tests op elke stap, en zicht op waar data vandaan komt. Dat helpt ook bij verantwoording.
  • Privacy. Persoonsgegevens worden herkend en afgeschermd voordat ze in een index of trainingsset belanden.

Gartner noemt slechte datakwaliteit als een van de redenen waarom generatieve-AI-projecten na de proof of concept stoppen. Bron: Gartner, 29 juli 2024 (opent in nieuw tabblad)

Zo ziet dat eruit in code
pipeline/orders.pyPython 3.12
from collections.abc import AsyncIterator
from decimal import Decimal
from typing import Literal
from pydantic import BaseModel, ValidationError

class Order(BaseModel):
    order_id: str
    total: Decimal
    currency: Literal["EUR"]

async def load_orders(rows: AsyncIterator[dict]) -> RunStats:
    stats = RunStats()
    async for row in rows:
        try:
            order = Order.model_validate(row)
        except ValidationError as err:
            # afwijkingen apart zetten, nooit stil weggooien
            await quarantine.put(row, reason=str(err))
            stats.rejected += 1
            continue
        # idempotent: opnieuw draaien na een storing is veilig
        await warehouse.upsert("orders", order, key="order_id")
        stats.loaded += 1
    return stats

Profielen aanvragen

Binnen 48 uur profielen van passende data engineers

  • Vrijblijvend: je betaalt alleen gewerkte uren
  • Nederlandstalig, uit ons eigen netwerk en zelf getoetst
  • Op locatie, hybride of remote

Indicatief € 106–132 per uur, all-in, excl. btw

Liever bellen? 035-7111 373

Waar wij op selecteren

  1. 01

    Sterk in SQL en modellering

    Python is het gereedschap; een goed datamodel maakt het verschil.

  2. 02

    Denkt aan de afnemer

    Bouwt data waar modellen, analisten en toepassingen echt mee verder kunnen.

  3. 03

    Betrouwbaar

    Zorgt dat een mislukte run opvalt, herstelbaar is en geen stille fouten achterlaat.

Technologie die we vaak tegenkomen

Tools wisselen snel. We selecteren op principes, maar dit is wat de developers in ons netwerk in de praktijk gebruiken.

AirflowDagsterdbtPolarsSparkSnowflakeDatabricksBigQuery

Profielen die we zoeken

Een Python-developer voor dit vak nodig?

Stuur je vacature of aanvraag. Binnen 48 uur hoor je welke developers uit ons netwerk passen en wat het kost.