Sobre el puesto
Los agentes de IA en Nexus registran notas de siniestros, redactan notas de abono y clasifican partidas aduaneras. Cada uno debe medirse, revisarse y mantenerse dentro de sus límites, con métricas que un regulador aceptaría.
Te responsabilizarás de partes de la revisión honesta, de los conjuntos de referencia que mantienen la fiabilidad de los modelos y de la forma en que se informa sobre la calidad a los clientes.
Qué harás
- Diseñar y ejecutar evaluaciones para agentes, habilidades y modelos.
- Crear flujos de revisión que combinen modelos de distintas familias.
- Convertir los malos resultados señalados por las personas en casos de prueba permanentes.
- Informar sobre la calidad de forma que los clientes y los auditores puedan comprobarla.
- Trabajar con los ingenieros de plataforma para que las revisiones sean lo bastante económicas como para ejecutarlas a menudo.
Qué aporta
- Experiencia práctica en la evaluación de modelos de lenguaje o sistemas de aprendizaje automático.
- Dominio de Python y buen criterio estadístico.
- Experiencia en la creación de herramientas en las que confían otros ingenieros.
- Escepticismo ante las cifras únicas.
- Redacción clara.
Se valorará
- Haber trabajado en un sector regulado o en riesgo de modelos.
- Experiencia con programas de revisión humana.
- Familiaridad con el Reglamento de IA de la UE.
Qué ofrecemos
Responsabilidad real sobre un producto utilizado en entornos exigentes, un equipo que lo documenta todo por escrito y el tiempo necesario para hacer bien el trabajo. La oferta por escrito detalla la remuneración, el nivel y los beneficios.
Cómo contratamos para este puesto
- Una primera llamada con el responsable de contratación, de unos treinta minutos.
- Su trabajo. Explíquenos algo que haya construido o realice un ejercicio breve.
- Conozca al equipo en una sesión de trabajo sobre un problema real.
- Una oferta, por escrito.
Le damos una respuesta en cada etapa.