Despre rol
Agenții AI din Nexus înregistrează note de daună, redactează note de credit și clasifică poziții vamale. Fiecare trebuie măsurat, verificat și menținut în limitele sale, iar măsurătorile trebuie să fie acceptabile pentru o autoritate de reglementare.
Veți fi responsabil pentru componente ale evaluării independente, pentru seturile de referință care mențin corectitudinea modelelor și pentru modul în care calitatea este raportată clienților.
Ce veți face
- Proiectați și rulați evaluări pentru agenți, competențe și modele.
- Construiți fluxuri de verificare ce combină modele din familii diferite.
- Transformați rezultatele eronate raportate de utilizatori în cazuri de testare permanente.
- Raportați calitatea în moduri pe care clienții și auditorii le pot verifica.
- Colaborați cu inginerii de platformă pentru a face verificările suficient de economice încât să poată fi rulate frecvent.
Ce căutăm
- Experiență practică în evaluarea modelelor de limbaj sau a sistemelor ML.
- Cunoștințe solide de Python și un bun discernământ statistic.
- Experiență în dezvoltarea de instrumente pe care se bazează alți ingineri.
- Scepticism față de indicatorii unici.
- Exprimare clară în scris.
Constituie un avantaj
- Activitate într-un domeniu reglementat sau în gestionarea riscului de model.
- Experiență cu programe de verificare umană.
- Cunoașterea Regulamentului privind IA al UE.
Ce oferim
Responsabilitate reală asupra unui produs utilizat în medii critice, o echipă care documentează lucrurile în scris și timpul necesar pentru a face munca temeinic. Oferta scrisă detaliază salariul, nivelul și beneficiile.
Cum recrutăm pentru acest rol
- O primă discuție cu managerul care recrutează, de aproximativ treizeci de minute.
- Munca dumneavoastră. Prezentați-ne un proiect pe care l-ați construit sau rezolvați un exercițiu scurt.
- Cunoașteți echipa într-o sesiune de lucru pe o problemă reală.
- O ofertă, în scris.
Vă oferim un răspuns la fiecare etapă.