Tyrėjai pristatė LOTUS – sistemą haliucinacijoms aptikti, kuri naudoja multilinijinę mažo rango dekompoziciją (low-rank decomposition) signalams iš paslėptų LLM sluoksnių išgauti. Analizuojant aktyvacijų pikus ir tarp-sluoksninius modelius, šis metodas tiksliau atpažįsta neteisingus atsakymus nei dabartinės telkimo (pooling) technikos.
Tyrėjai sukūrė „TraceQuery“ – retų (sparse) dekodavimo karkasą, mažinantį difuzinių didžiųjų kalbos modelių (dLLM) skaičiavimo kaštus. Analizuojant triukšmo šalinimo trajektorijas, metodas selektyviai perskaičiuoja tik būtinas žetonų (token) reprezentacijas, užuot atlikęs perteklines operacijas, taip išlaikant aukštą tikslumą su mažesniais skaičiavimo resursais.
Tyrėjai pristatė „Boa Compressor“ – internetinį įrankį, naudojantį „Mamba“ būsenos erdvės modelį, kuris linijiniu laiku suspaudžia ilgą kontekstą į trumpesnes reprezentacijas. Išskirstant žinias iš pilno konteksto LLM sąveikų, šis metodas leidžia efektyviai atlikti išvadas kiekvienai užklausai be didelių „Transformer“ pagrįsto glaudinimo delsos sąnaudų.
Tyrėjai pristatė „Recursive Semantic Divergence“ (RSD) – neprižiūrimą metriką, kuri matuoja ir baudžia už nenuoseklumą LLM agentų trajektorijose. Naudojant RSD kaip atlygio signalą tiksliojo derinimo (fine-tuning) metu, modeliai demonstruoja daug stabilesnį elgesį ir didesnius sėkmės rodiklius atliekant įrankių naudojimo užduotis.
Šiame tyrime pristatomas tikrinimu pagrįstas karkasas, skirtas tobulinti dirbtinio intelekto agentų emocijų atpažinimo galimybes. Sistema neperrenka modelių, o identifikuoja specifines klaidų vietas ir pritaiko tikslinius užklausų atnaujinimus rezultatams gerinti.
CISA kartu su Kanados kibernetinio saugumo centru ir kitais partneriais paskelbė bendras gaires, padedančias organizacijoms sekti ir valdyti išlaidas tokenams, kai naudojamasi trečiųjų šalių AI (vadinamų „super intelligence“) paslaugomis. Agentūros pažymi, kad nekontroliuojamas tokenų vartojimas gali sukelti netikėtą kainų augimą, sulėtinti ar sutrikdyti paslaugas ir palikti sistemas pažeidžiamas atakoms, kurių tikslas – išeikvoti aukos tokenų biudžetą ar piniginę. Gairėse pateikiami žingsniai, apimantys tokenų paskirstymą, efektyvių darbo eigų kūrimą, užklausų rašymą, talpyklos (caching) ir pakartotinai naudojamo konteksto panaudojimą, duomenų sumažinimą prieš siunčiant modeliui, bei nuolatinį vartojimo stebėjimą.
Red Hat, IBM ir Google pristatė llm-d 1.0 — Kubernetes pagrįstą paskirstytą LLM užklausų aptarnavimo sistemą, kuri peržengė atskirų našumo technikų demonstravimo etapą ir tapo tinkama realiai gamybinei eksploatacijai. Naujoje versijoje pridėta daugiafunkcė paslaugų kokybės kontrolė, nenutrūkstamos naujinimo operacijos ir agentams pritaikytas aptarnavimas, kad tas pats galinis taškas galėtų efektyviai aptarnauti tiek žmones, tiek autonominius agentus. Viename teste llm-d prefiksų talpyklos maršrutizatorius pasiekė 97% talpyklos pakartotinio panaudojimo agentiniame programavimo scenarijuje, o IBM/Red Hat paleido 3000 vienu metu veikiančių programinės įrangos inžinerijos agentų 5-10 kartų pigiau nei naudojant tą patį modelį kaip talpinamą paslaugą.