IBM „ALTK-Evolve“ pagerina klientų aptarnavimo agentus naudodama išmoktas prompt gaires, be modelio perkvalifikavimo
Trumpai: IBM Research sukurtas ALTK-Evolve išskiria trumpas elgsenos taisykles iš agento ankstesnių mokymo užduočių bandymų ir prideda jas prie bazinio ReAct agento, veikiančio su GPT-4.1, sisteminio prompt'o. τ²-bench klientų aptarnavimo benchmarke (mažmeninės prekybos ir oro linijų srityse) šis mokymosi atminties metodas pagerino tikslumą ir patikimumą be modelio svorių atnaujinimo ar žmogaus anotacijų. Pilnas „lossless“ gairių rinkinys pakėlė GPT-4.1 agentą iki 67,5% Pass^4 balo mažmeninėje prekyboje — tai aukščiausias rezultatas 2026 m. spalio 12 d. lyderių lentelės momentinėje nuotraukoje, aplenkiant net modelį, specialiai perkvalifikuotą sintetiniais mažmeninės prekybos duomenimis. Technika taip pat pagerino pažangų GPT-5.5 agentą oro linijų užduotyse, pakėlusi jį į lyderių lentelės viršūnę.
Šią santrauką automatiškai parengė dirbtinis intelektas pagal „Hugging Face“ publikaciją. Tai mūsų tekstas, ne originalo kopija — faktai, skaičiai ir citatos priklauso šaltiniui, kurio nuoroda pateikta viršuje ir apačioje.
Kas pasikeitė?
- 1Išmoktos gairės (išgautos naudojant GPT-4.1 iš paties agento ankstesnių veiksmų seku) pridedamos prie sisteminio prompt'o, be modelio svorių pakeitimų
- 2Testuotos trys konfigūracijos: baseline (be gairių), sup3 (aukšto patvirtinimo branduolys, 31 mažmeninės/14 oro linijų taisyklės), lossless (visos gairės, 292 mažmeninės/101 oro linijų)
- 3Mažmeninėje prekyboje su lossless gairėmis: vidutinis tikslumas 78,1%→82,5%, Pass^4 57,5%→67,5%
- 4Oro linijose su lossless gairėmis: vidutinis tikslumas 57,5%→65,0%, Pass^4 35,0%→45,0% (sup3 geriausia Pass^4 atžvilgiu — 45,0%)
- 5Kainos poveikis apribotas tik įvesties token'ais: mažmeninės prekybos pokalbio kaina pakilo nuo 0,084 iki 0,139 USD naudojant lossless gaires; pokalbiai tapo šiek tiek trumpesni (mažiau ėjimų), o ne ilgesni
- 6Pakartotinai testuota su GPT-5.5 kaip agentu ir gairių išgavėju oro linijose: tikslumas 72,5%→82,5%, Pass^4 55,0%→70,0%
- 7Visoje τ²-bench lyderių lentelėje (bazinė imtis): GPT-4.1 agentas užima #1 vietą mažmeninėje prekyboje (67,5% Pass^4, aplenkiant perkvalifikuotą RAFT-30B-A3B modelį su 61,4%); GPT-5.5 agentas užima #1 vietą oro linijose (82,0% Pass^4, aukščiau visų pažangiausių modelių, siekiančių 66–72%)
Kodėl tai svarbu?
Tai parodo, kad prompt lygio „išmokta atmintis“ — trumpos, automatiškai išgautos elgsenos taisyklės — gali prilygti ar net pranokti perkvalifikuotus modelius taisyklėmis grįstose klientų aptarnavimo užduotyse, kainuodama tik daugiau įvesties token'ų (didžia dalimi susigrąžinama per prompt caching), o ne ilgesnius, lėtesnius pokalbius. Agentų kūrėjams tai pigus, nuo modelio nepriklausomas būdas pagerinti ir užduoties sėkmės rodiklį, ir nuoseklumą kartojant bandymus — tai svarbu, kai agentai vykdo negrįžtamus veiksmus, pvz., grąžinimus ar rezervacijas.
Ką tai reiškia AI agentams ir kontaktų centrams?
Komandoms, kurios valdo balso ar pokalbių klientų aptarnavimo agentus su griežta politika (autentifikavimas, patvirtinimas prieš negrįžtamus veiksmus, įrankių iškvietimų seka), šis metodas siūlo praktišką atnaujinimo kelią: išgauti gaires iš paties agento ankstesnių pokalbių ir pridėti jas prie prompt'o vietoj perkvalifikavimo. Verta palyginti su dabartiniu sprendimu pagal tikslumą, Pass^k tipo patikimumą kartojant skambučius, delsą (ėjimų skaičius per pokalbį) ir papildomą įvesties token'ų kainą lyginant su sutaupymais per prompt caching — ypač aktualu palaikant mažiau paplitusias kalbas, pvz., lietuvių, kur gairių derinimas kiekvienai sričiai gali reikalauti atskiro patvirtinimo.
🧪 Verta testuoti
Metodą pigu išbandyti (nereikia perkvalifikavimo ar žmogaus anotacijų), jis tiesiogiai pritaikomas taisyklėmis grįstiems balso/pokalbių agentams su įrankių iškvietimais, o šaltinis pateikia konkrečius prieš/po metrikos duomenis (tikslumas, Pass^4, kaina, ėjimai), kuriuos galima lyginti su savo sprendimu.
Šaltiniai
- Hugging FaceOficialusPirminis šaltinisOriginalus straipsnis →„ALTK-Evolve: How learned memory tops the τ²-bench leaderboard on customer service tasks without a frontier model“2026-10-20 18:19
- Šaltinio publikavimo data
- 2026-10-20 18:19
- Mūsų sistema rado
- 2026-10-20 18:46
- Santrauka sugeneruota
- 2026-10-20 18:48
Straipsnį pagal originalų šaltinį parašė AI. Faktai, skaičiai ir kainos — iš šaltinio; trūkstamos reikšmės pažymėtos „Nėra oficialių duomenų“. Teisinė informacija, autorių teisės ir privatumas