IA que faz o trabalho todo, e avisa quando não o fez.
Os modelos podem facilitar: saltar um passo, parecer mais seguros do que estão ou parar mais cedo. A revisão honesta recolhe amostras do trabalho, submete-o à verificação de outros modelos e de pessoas, e sinaliza padrões antes que se propaguem. Quando uma execução corre mal, é corrigida antes que alguém aja com base nela.


Revisto com frequência suficiente para detetar problemas cedo.
Defina a frequência com que cada tipo de trabalho é revisto, o que aciona sempre uma revisão e quem a faz. Os resultados chegam em tempo real, para que um padrão seja detetado antes de se propagar.
Quando ocorrem as revisões
- Amostragem por tipo de trabalho
- Critérios que acionam sempre uma revisão
- Revisores escolhidos por tarefa


Registo de uma revisão
- O que foi verificado
- O que estava errado
- O que aconteceu a seguir


Corrigido antes que alguém aja com base nisso.
Quando uma execução para mais cedo ou salta um passo, a revisão deteta a falha e o trabalho é corrigido enquanto ainda está a decorrer. As sugestões de alteração a instruções (prompts) e competências aguardam por uma pessoa.
Uma correção durante a execução
- Detetado durante a execução
- Corrigido antes do envio
- A correção registada


Correções a aguardar por uma pessoa
- Sugeridas pelas revisões
- Aprovadas por uma pessoa
- Testadas antes de usar


Os revisores também são revistos.
Os modelos revisores são aferidos pelo critério de pessoas, e são inseridos casos de teste com respostas conhecidas no meio do trabalho real para ver se as revisões os detetam.
Até que ponto confiar em cada revisor
- Concordância com pessoas medida
- Revisores retirados se desviarem
- Mostrado por tarefa


Conjunto de referência e testes-canário
- Respostas conhecidas entre o trabalho real
- Testes-canário falhados e sinalizados
- O conjunto cresce a partir de casos reais


Veja que respostas foram revistas.
Qualquer pessoa pode ver quais das suas respostas foram revistas e pedir a revisão de uma que pareça incorreta, na consola ou no telemóvel.
- Respostas revistas assinaladas
- Pedir uma revisão num clique
- Também funciona no telemóvel


Sobre a revisão honesta.
A revisão torna as respostas mais lentas?
Não. A maioria das revisões ocorre após a resposta, sobre uma amostra. As revisões durante uma execução ocorrem apenas onde o exigir.
Funciona offline?
Sim. A revisão honesta funciona sem ligação ao exterior, utilizando os modelos que tem nas suas instalações.
Aprofundar
Veja quão honesta é a sua IA.
Analisaremos consigo uma semana do seu trabalho de IA e mostraremos o que a revisão descobre.