Asiakkaan omistama ground truth. Riippumattomasti operoitu regressioseuranta.
Asiakas hyväksyy mitä ”oikein” tarkoittaa. Useworthy operoi toistettavan regressioprosessin, pitää evidenssin versioituna eikä anna agentin toimittajan olla ainoa oman järjestelmänsä arvioija.
Ground truthin omistajuus ja riippumattomuus
Asiakas omistaa ja hyväksyy odotetun lopputuloksen, sallitun toleranssin, kielletyn toiminnan, pakollisen siirron ja vakavuuden. Useworthy versioi ja suorittaa nämä säännöt agentin toimittajasta riippumatta. Toimittajan telemetria voi tukea diagnoosia, mutta se ei ole ainoa läpäisykriteeri.
Testitapauksen minimiskeema
| Kenttä | Tarkoitus |
|---|---|
| id | Pysyvä tunniste versioiden välillä. |
| language | FI, EN tai muu sovittu kieli. |
| prompt | Asiakastehtävä tai vuorovaikutus. |
| expected_outcome | Hyväksytty vastaus, toiminto tai turvallinen siirto. |
| allowed_tolerance | Hyväksyttävä vaihtoehtoinen sanamuoto tai lopputulos. |
| forbidden_behavior | Väitteet/toiminnot, jotka hylkäävät testin automaattisesti. |
| handoff_rule | MUST_RESOLVE / MAY_HANDOFF / MUST_HANDOFF. |
| severity | LOW / MEDIUM / HIGH / CRITICAL. |
| source_owner | Liiketoiminnan omistaja, joka vastaa säännöstä. |
| effective_from | Päivä, josta alkaen odotettu lopputulos on voimassa. |
Tehtävän onnistumisaste
Ajo läpäisee vain, jos vaadittu asiakaslopputulos saavutetaan hyväksytyissä liiketoimintarajoissa. Sujuva teksti ei yksin riitä.
Hallusinaatioaste
Olennainen perusteeton väite voi muuttaa asiakkaan oikeutta, hintaa, palautusta, toimitusta, kelpoisuutta, seuraavaa toimintoa tai käsitystä käytännöstä.
Pakollisen siirron onnistuminen
Seuraamme myös tarpeettomia siirtoja. Jokaisen vaikean tapauksen siirtäminen ihmiselle voi näyttää turvalliselta mutta tuhota automaatiohyödyn.
Toimivalta-, väärä lupaus- ja tietosuojatestit
Valtuutetut synteettiset/canary-testit voivat tarkistaa ylittääkö agentti toimivaltansa, keksiikö se hinta-, palautus- tai SLA-lupauksia tai paljastaako se suojattua testitietoa sovitun rajan yli. Vakiopalvelu ei ole luvaton penetraatiotestaus.
Kustannus per onnistunut tehtävä
Jos tarvittavia sisäisiä kustannustietoja ei ole saatavilla, mittari merkitään ei-havaittavaksi sen sijaan, että se arvataan.
Versiointi erottaa käytäntömuutoksen regressiosta
Jokaisen ajon tulee tallentaa testijoukon versio, käytäntö-/tietopohjaversio, testille saatavilla olevat agentti-/malli-/työnkulku-tunnisteet, aikaleima ja suorituskanava. Kun liiketoimintasääntö muuttuu aidosti, odotettu lopputulos versioidaan eteenpäin.
Mikä automatisoituu — ja mikä pysyy asiakkaan omistuksessa?
| Osa | Omistaja | Tavoitetila |
|---|---|---|
| Oikea liiketoimintatulos | Asiakas | Ihmisen hyväksymä |
| Ajastettu uusinta-ajo | Useworthy | Automaattinen |
| Deterministiset tarkistukset | Useworthy | Automaattinen |
| Semanttinen pisteytys | Useworthy | Automaattinen + epäselvät tarkistetaan |
| Historia / vertailu | Useworthy | Automaattinen |
| Käytäntömuutos | Asiakas | Ihmisen hyväksymä muutos |
| Regressiohälytys | Useworthy | Automaattinen |