Naujas etalonas SLATE kelia iššūkį dirbtinio intelekto agentams vykdant sudėtingus API darbo procesus
Trumpai: Tyrėjai pristatė SLATE – etaloninį testą, skirtą įvertinti ilgalaikį, didelio masto API pasirinkimą įmonių programinės įrangos aplinkose. Skirtingai nei dabartiniai testai, jis priverčia modelius naviguoti tarp maždaug 1000 įrankių, kad atliktų sudėtingas užduotis.
Šią santrauką automatiškai parengė dirbtinis intelektas pagal „arXiv cs.CL“ publikaciją. Tai mūsų tekstas, ne originalo kopija — faktai, skaičiai ir citatos priklauso šaltiniui, kurio nuoroda pateikta viršuje ir apačioje.
Kas pasikeitė?
- 1Išleistas deterministinis simuliatorius įrankių naudojimo trajektorijoms vertinti.
- 2Pristatytas užduočių sėkmės rodiklis, kuris patvirtina galutinius rezultatus, o ne tarpinius veiksmus.
- 3Nustatyta sudėtinga pradinė vertė: geriausi modeliai šiuo metu pasiekia tik 5 % sėkmės rodiklį.
Kodėl tai svarbu?
Standartiniai etaloniniai testai nefiksuoja įmonių automatizavimo realybės, kurioje agentai turi rinktis iš tūkstančių API, kad atliktų ilgas procedūras. Šis testas suteikia galimybę išmatuoti tikrąjį agentų patikimumą vykdant sudėtingus darbo procesus.
Ką tai reiškia AI agentams ir kontaktų centrams?
Kuriant balso agentus, tai parodo, kad dabartiniai modeliai gali susidurti su sunkumais atliekant gilią, daugiapakopę įrankių orkestraciją. Naudokite šį testą, kad patikrintumėte savo agento sprendimų priėmimo logiką ir išsiaiškintumėte, ar mažesni, specializuoti modeliai arba patobulintos samprotavimo grandinės pagerina sėkmės rodiklius, viršijančius dabartinį 5 % bazinį lygį.
🧪 Verta testuoti
Tai padeda nustatyti kritinius agento orkestracijos logikos trūkumus naudojant dideles API bibliotekas.
Šaltiniai
- arXiv cs.CLOficialusPirminis šaltinisOriginalus straipsnis →„SLATE: A Large-Scale Benchmark for Long-Horizon API Selection in E-commerce Tool Use“2026-11-04 07:00Licencija: arXiv metadata CC0; papers under their own licences · mūsų santrauka (turinys pakeistas)
- Šaltinio publikavimo data
- 2026-11-04 07:00
- Mūsų sistema rado
- 2026-11-04 07:36
- Santrauka sugeneruota
- 2026-11-04 07:37
Straipsnį pagal originalų šaltinį parašė AI. Faktai, skaičiai ir kainos — iš šaltinio; trūkstamos reikšmės pažymėtos „Nėra oficialių duomenų“. Teisinė informacija, autorių teisės ir privatumas