À propos du poste
Les agents IA sur Nexus consignent les notes de dossier, rédigent les avoirs et classent les lignes douanières. Chacun d'entre eux doit être mesuré, contrôlé et maintenu dans ses limites, selon des critères recevables par un régulateur.
Vous serez responsable de certains volets de l'évaluation intègre, des jeux de données de référence qui garantissent la fiabilité des modèles, et de la manière dont la qualité est présentée aux clients.
Vos missions
- Concevoir et exécuter des évaluations pour les agents, les compétences et les modèles.
- Construire des pipelines de revue associant des modèles de familles différentes.
- Transformer les mauvais résultats signalés par les utilisateurs en cas de test pérennes.
- Présenter des rapports de qualité vérifiables par les clients et les auditeurs.
- Collaborer avec les ingénieurs plateforme pour rendre les contrôles suffisamment économiques pour être exécutés fréquemment.
Votre profil
- Expérience pratique de l'évaluation de modèles de langage ou de systèmes de ML.
- Solide maîtrise de Python et bon jugement statistique.
- Expérience dans la création d'outils sur lesquels s'appuient d'autres ingénieurs.
- Esprit critique face aux indicateurs uniques.
- Clarté rédactionnelle.
Points appréciés
- Expérience dans un secteur réglementé ou dans la gestion du risque lié aux modèles.
- Expérience des programmes de revue humaine.
- Connaissance du règlement européen sur l'IA.
Ce que nous offrons
Une réelle responsabilité sur un produit déployé dans des environnements critiques, une équipe qui travaille à l’écrit et le temps de bien faire les choses. L’offre écrite précise la rémunération, le niveau et les avantages.
Notre processus de recrutement pour ce poste
- Un premier appel avec le responsable du recrutement, d'environ trente minutes.
- Votre travail. Présentez-nous un projet que vous avez réalisé, ou faites un court exercice.
- Rencontre avec l'équipe lors d’une séance de travail sur un cas concret.
- Une offre, par écrit.
Nous vous donnons une réponse à chaque étape.