Om rollen
AI-agenter på Nexus registrerar skadeanteckningar, upprättar kreditfakturor och klassificerar tullrader. Var och en måste mätas, granskas och hållas inom sina ramar, och mätningarna måste vara sådana som en tillsynsmyndighet skulle godta.
Du kommer att ansvara för delar av opartisk granskning, de referensmängder som håller modellerna tillförlitliga samt hur kvalitet rapporteras till kunderna.
Vad du kommer att göra
- Utforma och köra utvärderingar för agenter, färdigheter och modeller.
- Bygga granskningsflöden som kombinerar modeller från olika familjer.
- Omvandla dåliga resultat som rapporterats av människor till bestående testfall.
- Rapportera kvalitet på ett sätt som kunder och revisorer kan kontrollera.
- Samarbeta med plattformsingenjörer för att göra granskningarna tillräckligt kostnadseffektiva för att köras ofta.
Vad du tar med dig
- Praktisk erfarenhet av att utvärdera språkmodeller eller ML-system.
- Goda kunskaper i Python och gott statistiskt omdöme.
- Erfarenhet av att bygga verktyg som andra ingenjörer förlitar sig på.
- Sunda tvivel på enskilda nyckeltal.
- Förmåga att uttrycka sig klart i skrift.
Meriterande
- Arbete inom en reglerad bransch eller med modellrisk.
- Erfarenhet av program för mänsklig granskning.
- Kännedom om EU:s AI-förordning.
Vad vi erbjuder
Ett genuint ansvar för en produkt som används i krävande miljöer, ett team som dokumenterar sitt arbete och tid att göra jobbet ordentligt. Det skriftliga erbjudandet anger lön, nivå och förmåner.
Så rekryterar vi till den här rollen
- Ett första samtal med rekryterande chef, cirka trettio minuter.
- Ditt arbete. Gå igenom något du har byggt, eller gör ett kort arbetsprov.
- Träffa teamet i ett gemensamt arbetspass kring ett verkligt problem.
- Ett erbjudande, skriftligen.
Vi ger dig besked i varje steg.