AI die het hele werk doet, en het meldt als dat niet zo is.
Modellen kunnen de kantjes ervan aflopen: een stap overslaan, zekerder klinken dan ze zijn of te vroeg stoppen. Eerlijke controle neemt steekproeven van hun werk, laat dit nakijken door andere modellen en door mensen, en signaleert patronen voordat ze zich verspreiden. Als een taak misgaat, wordt deze gecorrigeerd voordat iemand ernaar handelt.
Vaak genoeg gecontroleerd om problemen vroeg te onderkennen.
Stel in hoe vaak elk type werk wordt gecontroleerd, wat altijd een controle activeert en wie de controle uitvoert. Resultaten komen direct binnen, zodat een patroon kan worden onderschept voordat het zich verspreidt.
Wanneer controles plaatsvinden
- Steekproeven per type werk
- Triggers die altijd een controle starten
- Controleurs gekozen per taak
Eén controlerapport
- Wat is gecontroleerd
- Wat er mis was
- Wat er daarna gebeurde
Gecorrigeerd voordat iemand ernaar handelt.
Wanneer een taak te vroeg stopt of een stap overslaat, wordt dit bij de controle opgemerkt en wordt het werk gecorrigeerd terwijl het nog loopt. Voorgestelde wijzigingen aan prompts en vaardigheden wachten op een mens.
Een correctie terwijl het werk loopt
- Opgemerkt tijdens de uitvoering
- Gecorrigeerd vóór indiening
- De correctie vastgelegd
Correcties die wachten op een mens
- Voorgesteld door controles
- Goedgekeurd door een mens
- Getest vóór gebruik
De controleurs worden ook gecontroleerd.
Controlemodellen worden getoetst aan het oordeel van mensen, en testcases met bekende antwoorden worden tussen het echte werk geplaatst om te zien of de controles ze opmerken.
In hoeverre elke controleur te vertrouwen is
- Overeenstemming met mensen gemeten
- Controleurs buiten gebruik gesteld bij afwijking
- Weergegeven per taak
Referentieset en kanaries
- Bekende antwoorden tussen echt werk
- Gemiste kanaries gemarkeerd
- De set groeit vanuit echte cases
Zie welke antwoorden zijn gecontroleerd.
Iedereen kan zien welke van zijn antwoorden zijn gecontroleerd en een controle aanvragen voor een antwoord dat onjuist lijkt, via de console of op de telefoon.
- Gecontroleerde antwoorden gemarkeerd
- Vraag in één klik een controle aan
- Werkt ook op de telefoon
Over eerlijke controle.
Vertraagt controle de antwoorden?
Nee. De meeste controles vinden plaats na het antwoord, via een steekproef. Controles tijdens een lopende taak vinden alleen plaats waar u dat vereist.
Werkt het offline?
Ja. Eerlijke controle werkt zonder externe verbinding, met de modellen die u op locatie hebt.
Ga dieper
Zie hoe eerlijk uw AI is.
We controleren samen met u een week aan AI-werk en laten zien wat de controle oplevert.