Sumanymo istorijos glaudinimas mažina dirbtinio intelekto agentų kaštus
Trumpai: Nauji tyrimai rodo, kad samprotavimo istoriją galima perrašyti į kompaktiškus būsenos įrašus prieš įvedant naujus įrankių rezultatus. Šis metodas veiksmingai sumažina būsimų samprotavimo žetonų skaičių ir bendras agento išlaidas, pašalindamas nereikalingas mintis, nereikalaujant modelio perkvalifikavimo.
Šią santrauką automatiškai parengė dirbtinis intelektas pagal „arXiv cs.CL“ publikaciją. Tai mūsų tekstas, ne originalo kopija — faktai, skaičiai ir citatos priklauso šaltiniui, kurio nuoroda pateikta viršuje ir apačioje.
Kas pasikeitė?
- 1Samprotavimo pėdsakų perrašymas į glaustas santraukas prieš integruojant įrankio išvestį.
- 2Pademonstruotas būsimų žetonų suvartojimo sumažėjimas užduotims, kurioms reikia daug samprotavimo.
- 3Išlaikytas užduoties atlikimo pajėgumas, kartu optimizuojant išvadas pagal kaštus.
Kodėl tai svarbu?
Samprotavimo modeliai yra brangūs dėl ilgų žetonų grandinių. Glaudindami istoriją, galite išlaikyti agento našumą ir žymiai sumažinti užklausos kainą gamybinėse aplinkose.
Ką tai reiškia AI agentams ir kontaktų centrams?
Kuriant balso agentus, apsvarstykite galimybę integruoti glaudinimo sluoksnį prieš modelio iškvietimus, kad sutrumpintumėte nereikalingus samprotavimo veiksmus. Išmatuokite kompromisą tarp glaudinimui sugaišto laiko ir vėlavimo sutaupymo atliekant vėlesnę modelio išvadą.
🧪 Verta testuoti
Tai tiesioginis būdas sumažinti LLM veiklos sąnaudas sudėtingoms agentinėms darbo eigoms.
Šaltiniai
- arXiv cs.CLOficialusPirminis šaltinisOriginalus straipsnis →„Why Pay for Long Reasoning When Rewrite Do Trick? Causal Effects of Reasoning History Compaction on Future Generation and Agent Cost“2026-11-04 07:00Licencija: arXiv metadata CC0; papers under their own licences · mūsų santrauka (turinys pakeistas)
- Šaltinio publikavimo data
- 2026-11-04 07:00
- Mūsų sistema rado
- 2026-11-04 07:36
- Santrauka sugeneruota
- 2026-11-04 07:36
Straipsnį pagal originalų šaltinį parašė AI. Faktai, skaičiai ir kainos — iš šaltinio; trūkstamos reikšmės pažymėtos „Nėra oficialių duomenų“. Teisinė informacija, autorių teisės ir privatumas