Il ruolo in sintesi
Gli agenti di IA su Nexus registrano note di sinistro, redigono note di credito e classificano voci doganali. Ognuno deve essere misurato, verificato e mantenuto entro i propri limiti, utilizzando metriche accettabili per un'autorità di vigilanza.
Avrai la responsabilità di parti del processo di verifica imparziale, dei golden set che garantiscono l'affidabilità dei modelli e del modo in cui la qualità viene rendicontata ai clienti.
Cosa farai
- Progettare ed eseguire valutazioni per agenti, competenze e modelli.
- Sviluppare pipeline di verifica che combinano modelli di famiglie diverse.
- Trasformare gli errori segnalati dagli utenti in casi di test permanenti.
- Rendicontare la qualità in modo verificabile da clienti e revisori.
- Collaborare con gli ingegneri di piattaforma per rendere le verifiche abbastanza economiche da poter essere eseguite di frequente.
Cosa cerchiamo
- Esperienza pratica nella valutazione di modelli linguistici o sistemi di ML.
- Ottima padronanza di Python e solido senso statistico.
- Esperienza nello sviluppo di strumenti su cui fanno affidamento altri ingegneri.
- Sano scetticismo verso i singoli indicatori numerici.
- Chiarezza nella scrittura.
Requisiti preferenziali
- Esperienza in un settore regolamentato o nella gestione del rischio di modello.
- Esperienza con programmi di revisione umana.
- Conoscenza del regolamento sull'IA dell'UE.
Cosa offriamo
Responsabilità diretta su un prodotto usato in contesti critici, un team che documenta il lavoro per iscritto e il tempo necessario per fare le cose con cura. L'offerta scritta definisce retribuzione, inquadramento e benefit.
Il processo di selezione
- Un primo colloquio di circa trenta minuti con il responsabile della selezione.
- Il tuo lavoro. Presentaci un progetto che hai realizzato, oppure svolgi un breve esercizio pratico.
- Incontro con il team in una sessione di lavoro su un problema reale.
- Un'offerta, per iscritto.
Diamo un riscontro a ogni passaggio.