Über die Stelle
KI-Agenten auf Nexus legen Schadensnotizen an, entwerfen Gutschriften und tarifieren Zollpositionen. Jeder einzelne muss gemessen, geprüft und in seinen Grenzen gehalten werden – und zwar nach Maßstäben, die auch einer Aufsichtsbehörde standhalten.
Sie verantworten Teile der unabhängigen Überprüfung, die Referenzdatensätze (Golden Sets), die für verlässliche Modelle sorgen, sowie die Qualitätsberichterstattung gegenüber den Kunden.
Ihre Aufgaben
- Entwurf und Durchführung von Evaluierungen für Agenten, Fähigkeiten und Modelle.
- Aufbau von Prüf-Pipelines, die Modelle aus verschiedenen Modellfamilien kombinieren.
- Umwandlung von durch Nutzer gemeldeten Fehlern in dauerhafte Testfälle.
- Qualitätsberichterstattung in einer Form, die Kunden und Prüfer nachvollziehen können.
- Zusammenarbeit mit Plattform-Ingenieuren, um Prüfungen so kosteneffizient zu gestalten, dass sie regelmäßig durchlaufen können.
Was Sie mitbringen
- Praktische Erfahrung in der Evaluierung von Sprachmodellen oder ML-Systemen.
- Sehr gute Python-Kenntnisse und ein sicheres statistisches Urteilsvermögen.
- Erfahrung im Bau von Werkzeugen, auf die sich andere Ingenieure verlassen.
- Gesunde Skepsis gegenüber einzelnen Kennzahlen.
- Klarer Schreibstil.
Von Vorteil
- Berufserfahrung in einem regulierten Umfeld oder im Bereich Modellrisiko.
- Erfahrung mit Programmen zur menschlichen Überprüfung (Human Review).
- Vertrautheit mit der KI-Verordnung.
Was wir bieten
Echte Verantwortung für ein Produkt in anspruchsvollen Einsatzbereichen, ein Team, das Dinge schriftlich festhält, und die nötige Zeit für gründliche Arbeit. Das schriftliche Angebot legt Gehalt, Einstufung und Zusatzleistungen klar dar.
Unser Bewerbungsprozess für diese Stelle
- Ein erstes Gespräch mit der einstellenden Führungskraft, etwa dreißig Minuten.
- Ihre Arbeit. Zeigen Sie uns etwas, das Sie entwickelt haben, oder bearbeiten Sie eine kurze Aufgabe.
- Lernen Sie das Team kennen in einer gemeinsamen Arbeitssitzung an einem realen Problem.
- Ein Angebot, in Schriftform.
Sie erhalten von uns nach jedem Schritt eine Rückmeldung.