Over de functie
AI-agents op Nexus leggen schadenotities vast, stellen creditnota's op en classificeren douaneregels. Elke agent moet worden gemeten, beoordeeld en binnen zijn grenzen worden gehouden — met maatstaven die een toezichthouder zou accepteren.
Je bent verantwoordelijk voor onderdelen van eerlijke beoordeling, de referentiesets die modellen eerlijk houden en de manier waarop kwaliteit aan klanten wordt gerapporteerd.
Wat je gaat doen
- Evaluaties ontwerpen en uitvoeren voor agents, vaardigheden en modellen.
- Beoordelingspipelines bouwen die modellen uit verschillende families combineren.
- Slechte resultaten die door mensen zijn gemeld omzetten in blijvende testcases.
- Kwaliteit rapporteren op een manier die klanten en auditors kunnen controleren.
- Samenwerken met platform-engineers om beoordelingen voordelig genoeg te maken om ze vaak uit te voeren.
Wat je meebrengt
- Praktijkervaring met het evalueren van taalmodellen of ML-systemen.
- Sterke beheersing van Python en een goed statistisch beoordelingsvermogen.
- Ervaring met het bouwen van tools waar andere engineers op vertrouwen.
- Gezonde scepsis tegenover losse cijfers.
- Helder kunnen schrijven.
Mooi meegenomen
- Werkervaring in een gereguleerde sector of op het gebied van modelrisico.
- Ervaring met programma's voor menselijke beoordeling.
- Bekendheid met de EU-AI-verordening.
Wat we bieden
Echte verantwoordelijkheid voor een product dat op serieuze plekken wordt ingezet, een team dat zaken schriftelijk vastlegt en de tijd om het werk goed te doen. Het schriftelijke aanbod vermeldt het salaris, het functieniveau en de arbeidsvoorwaarden.
Hoe we werven voor deze functie
- Een eerste gesprek met de hiring manager, van ongeveer dertig minuten.
- Je werk. Neem ons mee door iets wat je hebt gebouwd, of maak een korte opdracht.
- Maak kennis met het team in een werksessie rond een praktijkprobleem.
- Een aanbod, op papier.
We geven je bij elke stap een terugkoppeling.