O pozici
AI agenti v platformě Nexus zapisují poznámky ke škodním událostem, připravují dobropisy a zařazují celní položky. Každého z nich je nutné měřit, kontrolovat a držet v daných mezích – a to pomocí metrik, které obstojí i před regulátorem.
Převezmete odpovědnost za části nezávislých revizí, referenční datové sady (golden sets), které udržují modely spolehlivé, a za způsob, jakým vykazujeme kvalitu zákazníkům.
Co budete dělat
- Navrhovat a spouštět evaluace pro agenty, dovednosti a modely.
- Budovat kontrolní procesy (pipelines), které párují modely z různých rodin.
- Přetvářet chybná řešení nahlášená lidmi v trvalé testovací případy.
- Vykazovat kvalitu způsobem, který si zákazníci i auditoři mohou ověřit.
- Spolupracovat s inženýry platformy na tom, aby byly kontroly dostatečně úsporné a mohly běžet často.
Co přinášíte
- Praktická zkušenost s evaluací jazykových modelů nebo systémů strojového učení (ML).
- Výborná znalost jazyka Python a dobrý statistický úsudek.
- Zkušenost s tvorbou nástrojů, na které spoléhají ostatní inženýři.
- Zdravá skepse k hodnocení podle jediného čísla.
- Schopnost psát jasně a srozumitelně.
Výhodou je
- Praxe v regulovaném odvětví nebo v oblasti řízení rizik modelů.
- Zkušenost s programy lidské kontroly (human review).
- Znalost aktu o umělé inteligenci (EU AI Act).
Co nabízíme
Skutečná odpovědnost za produkt nasazený v náročném prostředí, tým, který si věci zapisuje, a dostatek času dělat práci pořádně. Písemná nabídka jasně stanoví odměnu, úroveň i benefity.
Jak probíhá nábor na tuto pozici
- Úvodní hovor s vedoucím náboru na zhruba třicet minut.
- Vaše práce. Provedete nás něčím, co jste vytvořili, nebo vypracujete krátké zadání.
- Setkání s týmem při společném pracovním setkání nad reálným problémem.
- Nabídka, v písemné podobě.
Na každém kroku od nás dostanete odpověď.