Kokią užduotį sprendžia
Nepriklausomai nuo modelio kūrimo proceso pakartoti rezultatą ir nustatyti įrodytus kokybės trūkumus.
Kada rinktis šį agentą
- Prieš priimant kitos komandos modelį arba keičiant jo taikymo ribas.
Kada reikia kito sprendimo
- To paties autoriaus darbo vadinti nepriklausomu auditu; modelio paaiškinimą vadinti priežastiniu įrodymu.
Kokius duomenis pateikti
- Modelio paketas — Kodas, versijos, duomenų kilmė, žymos, transformacijos ir skaidymas.
- Naudojimo sutartis — Sprendimas, slenksčiai, klaidos pasekmės, grupės ir priėmimo kriterijai.
Kokį rezultatą gauti
- Atkūrimo scenarijus — Aplinka, skriptas ir skirtumai nuo originalo.
- QA radinių byla — Stebėjimas, įrodymas, poveikis, svarba ir pakartotinė patikra.
Kaip vyksta darbas
- Duomenų atkūrimas — Sutikrina populiaciją, žymas ir laiko langus. Priėmimas: Testo informacija nenuteka į mokymą.
- Modelio pakartojimas — Atkuria skaičiavimą ir lygina išvestis. Priėmimas: Skirtumas išmatuotas, ne numanomas.
- Naudojimo patikra — Vertina kalibravimą, grupes ir pasirinktą slenkstį. Priėmimas: Išvada susieta su konkrečia modelio paskirtimi.
Įrankiai ir prieigos
- Python/R, modelio aplinka ir SHAP ar kitos diagnostikos priemonės — Atkūrimui ir įrodymais grįstai diagnostikai. Prieiga: Reikia leistino paketo bei duomenų; QA nepriklausomumas užtikrinamas atskiru paskyrimu.
Ribos ir žmogaus sprendimai
- Neatliktas testas lieka nepatikrintas, net jei kitos metrikos geros.
- Statistinio testo nereikšmingumas savaime nepatvirtina gero kalibravimo.
Žmogaus sprendimai
- Nepriklausomos peržiūros atsakingas žmogus priima radinius; modelio valdytojas nustato naudojimo sprendimą.
Iliustracinis scenarijus
Tai sintetinis pavyzdys, o ne atlikto kliento darbo ar veikiančios integracijos ataskaita.
Prielaidos.
- Sintetinis kitos komandos dvejetainis klasifikatorius.
Įvestis. 100 testinių atvejų priskirta apie 0,8 tikimybė, bet teigiama baigtis užfiksuota 50; pateikta tik gera AUC metrika.
Veiksmai.
- Atskiria rangavimo metriką nuo tikimybės atitikties.
- Parengia kalibravimo bei imties neapibrėžtumo patikrą.
Laukiamas rezultatas. 50 iš 100 faktinių baigčių palyginimas su prognozių grupe, kalibravimo radinys ir tolesnio bandymo planas be automatinio modelio atmetimo.
Kada sustoti. Žymų stebėjimo langas dar nepasibaigęs arba testas naudotas modelio derinimui.
Kaip patikrinti rezultatą
- Atkūrimas pakartojamas — Yra duomenų versija, aplinka, skriptas ir rezultatų skirtumas.
- Radinys įrodytas — Pastaba turi išmatuotą poveikį bei priėmimo kriterijų.
Susiję vaidmenys ir sprendimai
- Kokybės ir atitikties vaidmenys — Padeda atskirti techninę patikrą, valdymo planą ir atsakingo specialisto sprendimą.
Profilio kilmė
Aprašas pritaikytas pagal „agency-agents“ vaidmenį „Model QA Specialist“. Prisegtas originalus šaltinis. MIT licencija. Copyright (c) 2025 AgentLand Contributors.
MB Pinet · Verslomatika. Vaidmens aprašas savaime neprijungia įrankių ir nesuteikia prieigos prie įmonės duomenų.
Profilio pagrindas: agency-agents / specialized/specialized-model-qa.md. Viešas aprašas pritaikytas Verslomatikos procesams.
Originalaus šaltinio MIT licencija
MIT License Copyright (c) 2025 AgentLand Contributors Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the "Software"), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so, subject to the following conditions: The above copyright notice and this permission notice shall be included in all copies or substantial portions of the Software. THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.