AI balso agentai skambučiams lietuviškai: architektūra, vėlinimas ir testavimas

Vienas galimas variantas – kalbos atpažinimas, kalbos modelis ir kalbos sintezė: STT → modelis → TTS. Kitas modelis gali apdoroti garsą tiesiogiai. Šios architektūros neturi būti suplaktos į vieną universalią grandinę.

Naršyklės balso scenarijuje WebRTC naudojamas ryšiui ir medijos perdavimui; tai nėra pats kalbos supratimo modelis. MDN WebRTC apžvalga paaiškina medijos ir duomenų ryšio paskirtį. Telefono kanalui reikia atskiros telefonijos integracijos bei jos sąlygų.

Šio straipsnio pavyzdys aprašo naršyklės pokalbio bandymo modelį, nepriskirdamas V2 nepatikrinto teikėjo ar modelio versijos.

Užfiksuokite vartotojo kalbos pabaigą, pirmą išgirstą agento garsą, įrankio pradžią bei pabaigą ir viso veiksmo rezultatą. Atsako pradžia ir patvirtinta rezervacija yra skirtingos laiko atkarpos.

Palyginimui reikia to paties kanalo ir tos pačios matavimo metodikos. Protokole išsaugokite modelius, versijas, datą, tinklo sąlygas, imtį ir nesėkmingus bandymus. Nulinės reikšmės nenaudokite vietoj negauto matavimo.

Registracija. Vartotojas pateikia vardą ir prašo antradienio popietės. Agentas patikslina konkrečią datą, o siūlomą laiką atskiria nuo patvirtintos rezervacijos.

Suma ir pataisa. Vartotojas sako „šimtas penkiolika“, tada pataiso į „šimtas penkiasdešimt“. Agentas pakartoja galutinę reikšmę ir neatlieka finansinio veiksmo vien iš nepatvirtinto garso.

Perėmimas. Triukšme neaiškus užsakymo numeris, vartotojas paprašo darbuotojo. Agentas perduoda patikrintą kontekstą ir nežinomus laukus, neišgalvodamas numerio.

Pokalbių scenarijų rinkinyje yra pilni dialogai ir numatomi tikrinimo taškai. Tai rašytiniai sintetiniai scenarijai, ne įvykusių skambučių transkriptai ar garso įrašai.

Tapatybės patikra parenkama pagal veiksmą. Viešam klausimui ir užsakymo keitimui nereikia tų pačių duomenų. Skambučio metu išgirstas prašymas negali išplėsti agento leidimų. CRM įraše išsaugoma santrauka, sutikrinti laukai ir išimties priežastis.

Prieš įrašant pokalbį ar tvarkant jo duomenis nustatomas tikslas, teisinis pagrindas, informavimas, prieigos ir saugojimas. Pats techninis įrašymo mygtukas šių sąlygų nesukuria. Demonstracijoms naudojami sintetiniai duomenys ir aiškus jų paaiškinimas.

Matavimo protokole pateikti įvykiai, vertinimo taisyklės ir rezultatų formatas. Tikroje ataskaitoje turi būti realūs įrašai, girdimų duomenų ir tikslo atitiktis bei nesėkmės. Kol jų nėra, sparta ir atpažinimo tikslumas nepublikuojami kaip išmatuoti.

Perdavimą ir nepasiekiamą darbuotoją paaiškina eskalavimo straipsnis (straipsnis dar nepaskelbtas). Visą aptarnavimo procesą – aptarnavimo sprendimas.

Tiesiogiai su žmogumi bendraujantis agentas turi aiškiai pranešti, kad tai DI, nuo pirmo tikro bendravimo pradžios, nebent tai akivaizdu pagal taikomas aplinkybes. Pavyzdžiui: „Esu įmonės DI asistentas. Galiu padėti dėl registracijos arba perduoti klausimą darbuotojui.“ Šią DI akto skaidrumo pareigą vertinkite atskirai nuo pokalbio įrašymo ir asmens duomenų tvarkymo sąlygų.