„Google“ pristatė „Gemini Decisions API“, varomą naujojo „gemini-decision-1“ modelio. Skirtingai nei standartiniai generatyviniai modeliai, šis įrankis atlieka vieno žingsnio klasifikavimą ir vertinimą apdorojant tekstą, garsą, vaizdus, vaizdo įrašus ir PDF failus, grąžindamas pasitikėjimo balus (confidence scores), o ne tekstą.
„Amazon“ išplėtė „AgenticRetrieveStream“ API funkcionalumą, leisdama kūrėjams nurodyti iteracijų skaičių žinių bazės užklausoms. Dabar galite rinktis tarp nulio, vieno ar kelių paieškos žingsnių, kad subalansuotumėte greitį, kainą ir sudėtingumą.
„Apple“ tyrėjai pristatė būdą pagreitinti maksimalios vidinės sandaugos paiešką (MIPS) RAG sistemose, naudojant mažus, konkrečiai užduočiai optimizuotus neuroninius tinklus. Apmokius modelius (SupportNet ir KeyNet) pagal užklausų pasiskirstymą, pasiekiamas didesnis tikslumas ir mažesnė delsa, palyginus su tradiciniu klasterizavimu.
Nauja beta versijos funkcija leidžia saugoti pokalbio būseną serverio pusėje. Siųsdami tik naujus pranešimus, o ne visą pokalbio istoriją, galite pasiekti greitesnį pirmosios atsakymo dalies (time-to-first-token) generavimą.
„Google“ atnaujino savo A2UI generatyvinio UI protokolą, įtraukdama keičiamus išvadų (inference) formatus, taip spręsdama vėlavimo ir patikimumo problemas, susijusias su ankstesniu „Direct JSON“ metodu. Naujasis „A2UI Express“ formatas sumažina tokenų sunaudojimą iki 3 kartų ir delsą iki 3 kartų, naudodamas glaustą „Python“ stiliaus sintaksę.
Tyrėjai pristatė „Boa Compressor“ – internetinį įrankį, naudojantį „Mamba“ būsenos erdvės modelį, kuris linijiniu laiku suspaudžia ilgą kontekstą į trumpesnes reprezentacijas. Išskirstant žinias iš pilno konteksto LLM sąveikų, šis metodas leidžia efektyviai atlikti išvadas kiekvienai užklausai be didelių „Transformer“ pagrįsto glaudinimo delsos sąnaudų.
„Amazon Bedrock“ dabar palaiko aiškų (explicit) ir numanomą (implicit) užklausų spartinimą (prompt caching) „OpenAI“ modeliams, leidžiantį saugoti ir pakartotinai naudoti statinius duomenis, tokius kaip įrankiai, instrukcijos ir pokalbių istorija. Išvengus identiškų žetonų pakartotinio apdorojimo, galite žymiai sumažinti įvesties kaštus ir pagerinti reagavimą sudėtingose agentų darbo eigose.
„Google“ išleido ML Drift — atvirojo kodo, kelioms platformoms skirtą GPU skaičiavimo variklį ML inferencijai įrenginyje, pakeičiantį senąjį TFLite GPU delegate. Jis suvienodina šeiderių tvarkymą tarp OpenGL ES, OpenCL, Metal ir WebGPU, prideda 5D tenzorių palaikymą ir įveda etapais pagrįstus optimizavimus LLM prefill/decode fazėms. Jis jau veikia gamyboje „Chrome“, „YouTube Shorts“, „Google Photos“, „Meet“ ir partnerių programose iš „Adobe“ bei „Snap“.