O stanowisku
Agenci AI na platformie Nexus rejestrują notatki szkodowe, przygotowują noty kredytowe i klasyfikują pozycje celne. Każdy z nich musi być mierzony, weryfikowany i utrzymywany w wyznaczonych granicach, a stosowane miary muszą spełniać wymogi organów nadzoru.
Będziesz odpowiadać za wybrane elementy rzetelnej weryfikacji, wzorcowe zbiory danych (golden sets) zapewniające uczciwość modeli oraz sposób raportowania jakości klientom.
Czym będziesz się zajmować
- Projektowanie i przeprowadzanie ewaluacji agentów, umiejętności oraz modeli.
- Budowanie potoków weryfikacyjnych łączących modele z różnych rodzin.
- Przekształcanie błędnych wyników zgłaszanych przez ludzi w trwałe przypadki testowe.
- Raportowanie jakości w sposób weryfikowalny dla klientów i audytorów.
- Współpraca z inżynierami platformy nad obniżeniem kosztów weryfikacji, aby mogły być uruchamiane często.
Czego oczekujemy
- Praktyczne doświadczenie w ewaluacji modeli językowych lub systemów ML.
- Bardzo dobra znajomość języka Python oraz wyczucie statystyczne.
- Doświadczenie w budowaniu narzędzi, na których polegają inni inżynierowie.
- Sceptycyzm wobec pojedynczych wskaźników liczbowych.
- Umiejętność jasnego pisania.
Mile widziane
- Praca w branży regulowanej lub w obszarze ryzyka modeli.
- Doświadczenie z programami weryfikacji z udziałem człowieka (human review).
- Znajomość aktu w sprawie sztucznej inteligencji (AI Act).
Co oferujemy
Realna odpowiedzialność za produkt wykorzystywany w poważnych instytucjach, zespół, który dokumentuje swoją pracę, oraz czas na rzetelne wykonywanie zadań. Pisemna oferta określa wynagrodzenie, poziom stanowiska i świadczenia dodatkowe.
Jak przebiega rekrutacja na to stanowisko
- Pierwsza rozmowa z menedżerem ds. rekrutacji, około trzydziestu minut.
- Twoja praca. Opowiedz nam o czymś, co zbudowałeś(-aś), lub wykonaj krótkie zadanie.
- Spotkanie z zespołem podczas sesji roboczej nad rzeczywistym problemem.
- Oferta, na piśmie.
Na każdym etapie przekazujemy informację zwrotną.