Sobre a função
Os agentes de IA no Nexus registam notas de sinistros, redigem notas de crédito e classificam artigos aduaneiros. Cada um tem de ser medido, revisto e mantido dentro dos seus limites, com métricas que um regulador aceite.
Será responsável por partes da revisão imparcial, pelos conjuntos de referência que mantêm os modelos honestos e pela forma como a qualidade é reportada aos clientes.
O que irá fazer
- Conceber e executar avaliações de agentes, competências e modelos.
- Construir canais de revisão que combinem modelos de diferentes famílias.
- Transformar maus resultados reportados por pessoas em casos de teste duradouros.
- Reportar a qualidade de forma a que clientes e auditores a possam verificar.
- Trabalhar com engenheiros de plataforma para tornar as revisões suficientemente económicas para serem executadas com frequência.
O que traz consigo
- Experiência prática na avaliação de modelos de linguagem ou sistemas de aprendizagem automática (ML).
- Sólidos conhecimentos de Python e bom discernimento estatístico.
- Experiência na criação de ferramentas das quais outros engenheiros dependem.
- Ceticismo em relação a métricas isoladas.
- Escrita clara.
Valorizamos também
- Experiência num setor regulado ou em risco de modelos.
- Experiência com programas de revisão humana.
- Familiaridade com o Regulamento da IA da UE.
O que oferecemos
Responsabilidade real sobre um produto utilizado em contextos críticos, uma equipa que documenta o que faz e o tempo necessário para fazer bem o trabalho. A proposta escrita define a remuneração, o nível e os benefícios.
Como contratamos para esta função
- Uma primeira chamada com o responsável pela contratação, de cerca de trinta minutos.
- O seu trabalho. Mostre-nos algo que tenha construído ou realize um breve exercício.
- Conheça a equipa numa sessão de trabalho sobre um problema real.
- Uma proposta, por escrito.
Damos-lhe uma resposta em cada etapa.