Verslomatika
Susisiekti

AI agentų kokybės kontrolė: patikrinamas rezultatas ir saugumo ribos

Agentų darbą vertiname pagal iš anksto aprašytą rezultatą, jo šaltinius ir leidžiamus veiksmus. Sklandus atsakymas ar bendras kokybės balas nepakeičia patikros. Kiekvienas darbas turi savus kriterijus: sąskaitos sumos tikrinamos kitaip nei tyrimo išvada ar kodo pakeitimas.

Neatitiktis sustabdo veiksmą
1Dokumentas

100 + 21, bendra suma 122

2Patikra

Tikėtina suma 121; skirtumas 1

3Peržiūra

Originalios reikšmės išsaugotos

Nėra automatinio eksporto
Aritmetika nepatvirtina mokestinio režimo
Nėra automatinio eksporto. Aritmetika nepatvirtina mokestinio režimo. Iliustracinis pavyzdys.

Sutarkite, ką reiškia „atlikta“

Prieš vykdymą aprašykite privalomus laukus, tinkamus šaltinius, leidžiamas operacijas ir išimties gavėją. Priėmimas taikomas konkrečiai įvesčiai, taisyklių versijai ir rezultatui. Pakeitus kainą, gavėją ar tekstą, ankstesnis patvirtinimas negali tyliai persikelti naujam veiksmui.

Iliustracinė situacijaPatikros rezultatasToliau
Sąskaitos eilutės ir bendra suma sutampa; dublikato nėraDuomenys tinkami kitai patikraiRengti perdavimą pagal jungties taisykles
Neįskaitomas sąskaitos numerisDuomenų nepakankaPrašyti patikslinimo
Tas pats dokumentas jau perduotasPakartotinis veiksmas netinkamasSusieti su esamu įrašu, nekurti antro

Autorius, tikrintojas ir proceso savininkas

Autorius parengia rezultatą. Tikrintojas lygina jį su šaltiniais ir kriterijais. Žmogus sprendžia ten, kur reikalingas įgaliojimas ar profesinis vertinimas. Komandoje galima paskirti skirtingus agentus šioms užduotims, bet vien vaidmenų atskyrimas dar neįrodo jų nepriklausomumo ar teisingumo.

Kritiniams skaičiavimams naudinga deterministinė patikra. Sąskaitos bendros sumos nereikia patvirtinti vien modelio nuomone. Neaiškus mokestinis pagrindas turi likti išimtimi, net jeigu sudėtis matematiškai teisinga.

Skirtingi įrodymai atsako į skirtingus klausimus

Faktų peržiūra tikrina teiginio ir šaltinio atitiktį. Automatinis testas patikrina užrašytą elgesio atvejį. Prieigų bandymas rodo, ar neleistinas veiksmas atmetamas. Išorinės sistemos patvirtinimas įrodo, kad joje atsirado numatytas pakeitimas. Vieno įrodymo negalima pateikti kaip visų keturių.

Testų rinkinys turi apimti įprastą eigą, trūkstamą informaciją, neleistiną veiksmą, pasikartojantį įvykį ir sutrikimą. Išsaugoma pirmoji nesėkmė, jos priežastis, pataisa bei pakartotinis rezultatas. Tai naudingiau už bendrą „viskas praėjo“ žinutę.

Sustabdymas ir taisymas

Kai šaltinis nepasiekiamas, rezultatas prieštaringas ar pasiekta sąnaudų riba, eiga sustoja aiškioje būsenoje. Atsakingas žmogus gauna problemą, jau atliktus veiksmus ir laukiamą sprendimą. Nepavykęs bandymas negali būti žymimas sėkme vien todėl, kad išsiųstas pranešimas.

Grąžinus ankstesnę agento versiją, jau atlikti išoriniai veiksmai savaime neatsukami. Jiems reikia atskiro suderinto kompensavimo: pavyzdžiui, įrašo pataisos ar klaidingai išsiųsto dokumento paaiškinimo.

Kaip veikia darbo eiga · Programavimo ir QA komanda · Procesų pavyzdžiai