Om stillingen
AI-agenter i Nexus registrerer skadesnotater, udarbejder kreditnotaer og klassificerer toldlinjer. Hver enkelt skal måles, gennemgås og holdes inden for sine rammer, og målingerne skal kunne accepteres af en tilsynsmyndighed.
Du får ansvar for dele af den uvildige gennemgang, de referencesæt (golden sets), der holder modellerne ærlige, og den måde, kvalitet rapporteres til kunderne på.
Det skal du lave
- Designe og køre evalueringer af agenter, færdigheder og modeller.
- Opbygge kontrol-pipelines, der parrer modeller fra forskellige familier.
- Omdanne dårlige resultater rapporteret af mennesker til varige testcases.
- Rapportere kvalitet på måder, som kunder og revisorer kan efterprøve.
- Samarbejde med platformingeniører om at gøre gennemgange billige nok til at kunne køres ofte.
Hvad du kommer med
- Praktisk erfaring med evaluering af sprogmodeller eller ML-systemer.
- Stærke Python-kompetencer og god statistisk dømmekraft.
- Erfaring med at bygge værktøjer, som andre ingeniører er afhængige af.
- Sunde forbehold over for enkelttal.
- Evne til at skrive klart.
En fordel at have
- Arbejde inden for et reguleret område eller med modelrisiko.
- Erfaring med programmer for menneskelig gennemgang.
- Kendskab til EU's forordning om kunstig intelligens (AI-forordningen).
Hvad vi tilbyder
Reelt ejerskab over et produkt, der bruges til alvorlige formål, et team, der dokumenterer tingene skriftligt, og tid til at gøre arbejdet ordentligt. Det skriftlige tilbud fastlægger løn, niveau og goder.
Sådan ansætter vi til denne stilling
- En første samtale med den ansættende leder, cirka tredive minutter.
- Dit arbejde. Gennemgå noget, du har bygget, for os, eller løs en kort opgave.
- Mød teamet i en arbejdssession om et reelt problem.
- Et tilbud, på skrift.
Vi giver dig svar ved hvert trin.