„Google“ pristatė „Gemini Decisions API“, varomą naujojo „gemini-decision-1“ modelio. Skirtingai nei standartiniai generatyviniai modeliai, šis įrankis atlieka vieno žingsnio klasifikavimą ir vertinimą apdorojant tekstą, garsą, vaizdus, vaizdo įrašus ir PDF failus, grąžindamas pasitikėjimo balus (confidence scores), o ne tekstą.
„Amazon“ išplėtė „AgenticRetrieveStream“ API funkcionalumą, leisdama kūrėjams nurodyti iteracijų skaičių žinių bazės užklausoms. Dabar galite rinktis tarp nulio, vieno ar kelių paieškos žingsnių, kad subalansuotumėte greitį, kainą ir sudėtingumą.
„Amazon SageMaker Inference“ pristatė NVIDIA „Multi-Instance GPU“ (MIG) palaikymą, leidžiantį padalyti vieną fizinį GPU į kelis nepriklausomus vienetus. Šis aparatinis padalijimas suteikia kiekvienai particijai skirtą skaičiavimo galią ir atmintį, užtikrinant nuspėjamą delsą ir griežtą izoliaciją tarp modelių, esančių tame pačiame akceleratoriuje.
AI agentai dažnai klaidingai supranta senus kodo komentarus, tokius kaip TODO ar FIXME, laikydami juos dabartinėmis instrukcijomis. Tyrimai rodo, kad 6 % programavimo sesijų agentai imasi tirti nereikšmingus, uždarytus ar pasenusius klaidas, o tai didina išlaidas ir apimties didėjimą (scope creep).
„Apple“ tyrėjai pristatė būdą pagreitinti maksimalios vidinės sandaugos paiešką (MIPS) RAG sistemose, naudojant mažus, konkrečiai užduočiai optimizuotus neuroninius tinklus. Apmokius modelius (SupportNet ir KeyNet) pagal užklausų pasiskirstymą, pasiekiamas didesnis tikslumas ir mažesnė delsa, palyginus su tradiciniu klasterizavimu.
Tyrėjai sukūrė metodą, leidžiantį apskaičiuoti teorinę kelių juodraščių spekuliacinio dekodavimo (MDSD) efektyvumo ribą, sprendžiant optimalaus transportavimo problemos dualiąją formą. Tyrimas atskleidžia, kad dabartiniai verifikavimo algoritmai dažnai nepasiekia šios ribos, o atranka be grąžinimo (sampling without replacement) gerokai padidina priėmimo rodiklius, palyginti su atranka su grąžinimu.
„Cartesia“ pristatė du balso modelius: „Sonic“ (teksto pavertimas balsu) ir „Ink“ (balsas į tekstą). Sukurti naudojant būsenos erdvės modelio (SSM) architektūrą, šie modeliai yra skirti itin mažo vėlinimo, realaus laiko veikimui, tinkamam profesionaliems balso agentams.
Nauja beta versijos funkcija leidžia saugoti pokalbio būseną serverio pusėje. Siųsdami tik naujus pranešimus, o ne visą pokalbio istoriją, galite pasiekti greitesnį pirmosios atsakymo dalies (time-to-first-token) generavimą.
„AssemblyAI“ pristatė „AssemblyAI-TTS-1“ – tekstas-į-kalbą (TTS) modelį, optimizuotą balso agentams. Jis užtikrina mažesnį nei 100 ms vėlinimą, turi daugiau nei 4000 balsų biblioteką ir greitą balso klonavimą už 15 USD kainą už 1 mln. simbolių.
„Google“ atnaujino savo A2UI generatyvinio UI protokolą, įtraukdama keičiamus išvadų (inference) formatus, taip spręsdama vėlavimo ir patikimumo problemas, susijusias su ankstesniu „Direct JSON“ metodu. Naujasis „A2UI Express“ formatas sumažina tokenų sunaudojimą iki 3 kartų ir delsą iki 3 kartų, naudodamas glaustą „Python“ stiliaus sintaksę.
Tyrėjai pristatė „Boa Compressor“ – internetinį įrankį, naudojantį „Mamba“ būsenos erdvės modelį, kuris linijiniu laiku suspaudžia ilgą kontekstą į trumpesnes reprezentacijas. Išskirstant žinias iš pilno konteksto LLM sąveikų, šis metodas leidžia efektyviai atlikti išvadas kiekvienai užklausai be didelių „Transformer“ pagrįsto glaudinimo delsos sąnaudų.
„Amazon Bedrock“ dabar palaiko aiškų (explicit) ir numanomą (implicit) užklausų spartinimą (prompt caching) „OpenAI“ modeliams, leidžiantį saugoti ir pakartotinai naudoti statinius duomenis, tokius kaip įrankiai, instrukcijos ir pokalbių istorija. Išvengus identiškų žetonų pakartotinio apdorojimo, galite žymiai sumažinti įvesties kaštus ir pagerinti reagavimą sudėtingose agentų darbo eigose.
IBM Research pristatė vLLM-Hook MIA – papildinį atviro kodo vLLM išvedimo varikliui, leidžiantį kūrėjams stebėti ir keisti modelio vidinę būseną vykdymo metu – pavyzdžiui, atmesti kenkėjiškus užklausimus, pažymėti haliucinuotus faktus ar koreguoti atsakymo toną – neišjungiant spartaus vLLM grafikų kartojimo režimo. Pagal IBM techninę ataskaitą, MIA yra iki 20 kartų greitesnis nei ankstesnė vLLM-Hook versija ir iki 14 kartų greitesnis nei metodai, įterpiantys kodą tiesiai į modelį. Testuose valdant 8B Llama ar 1,5B Qwen modelį delsa padidėjo vos apie 2%, o su 70B Llama modeliu – apie 6%.
AWS išleido „push“ tipo NIXL konektorių vLLM sistemai, keičiantį, kaip raktas-reikšmė (KV) talpyklos duomenys perduodami tarp prefill ir decode egzempliorių atskirtame LLM aptarnavime. Vietoj to, kad decode egzempliorius trauktų KV blokus po prefill pabaigos, decode egzempliorius iš anksto užregistruoja paskirties atmintį, o prefill egzempliorius tiesiogiai įrašo KV duomenis, kai tik jie parengti – taip koordinavimo darbas pašalinamas iš kritinio kelio. Testuojant su Qwen3-32B modeliu 1 prefill/1 decode konfigūracijoje EC2 P5en egzemplioriuose su EFA, push režimas pasiekė iki 3 kartų geresnį laiką iki pirmo tokeno (TTFT) ir iki 30% geresnį vieno tokeno generavimo laiką (TPOT) nei numatytasis pull režimas, ypač esant didelei užklausų apkrovai.
„Anam“, kurianti fotorealistinius interaktyvius avatarus, perėjo prie „Deepgram“ Flux kalbos atpažinimo (STT) modelio, siekdama išspręsti pokalbio eilės (turn-taking) problemas neparuoštuose, realaus laiko pokalbiuose. A/B testavime, lyginant su savarankiškai talpinamu atviro kodo STT variantu, Flux sumažino nepageidaujamus avataro pertraukimus apie 50%, delsa nepadidėjo, o skundai dėl pokalbio eigos angliškose sesijose sumažėjo beveik iki nulio. „Anam“ įdiegė Flux savo „Kubernetes“/H100 infrastruktūroje ir pritaikė ją visiems „turnkey“ vartotojams po dviejų savaičių savarankiško diegimo (palyginti su keliomis dienomis naudojant „Deepgram“ talpinamą versiją).
AWS pristatė tris branduolio (kernel) lygio optimizacijas Mixture-of-Experts (MoE) modelių aptarnavimui Hopper GPU, sukurtas bendradarbiaujant su vLLM bendruomene ir įdiegtas Amazon SageMaker AI LMI konteineryje. Pakeitimai sprendžia fused MoE skaičiavimų neefektyvumą dekodavimo fazėje su mažomis partijomis, kai anksčiau Tensor Core branduoliai būdavo nepilnai išnaudojami. Kartu optimizacijos suteikia iki 10% didesnį pralaidumą ir iki 9% greitesnį laiką iki pirmo tokeno (TTFT).
„Google“ išleido ML Drift — atvirojo kodo, kelioms platformoms skirtą GPU skaičiavimo variklį ML inferencijai įrenginyje, pakeičiantį senąjį TFLite GPU delegate. Jis suvienodina šeiderių tvarkymą tarp OpenGL ES, OpenCL, Metal ir WebGPU, prideda 5D tenzorių palaikymą ir įveda etapais pagrįstus optimizavimus LLM prefill/decode fazėms. Jis jau veikia gamyboje „Chrome“, „YouTube Shorts“, „Google Photos“, „Meet“ ir partnerių programose iš „Adobe“ bei „Snap“.
AssemblyAI pristatė Sync API — naują transporto būdą trumpų garso įrašų transkripcijai: vienas HTTP POST užklausimas grąžina baigtą Universal-3.5 Pro transkripciją toje pačioje atsakyme, vidutiniškai per ~134ms. Tai užpildo tarpą tarp Async API (pateikti ir laukti, pridedant 5-6 sekundes uždelsimo) ir Realtime API (WebSocket, skirtas tęstinėms sesijoms), taikant dėmesį tokioms užduotims kaip diktavimas, pokalbių agento ėjimų transkripcija, IVR ir push-to-talk. Palaikomi 80ms–2min ilgio įrašai iki 40MB, su 1,59% klaidų lygiu trumpam garsui. Kaina — 0,45 USD/val., tiek pat, kiek Universal-3.5 Pro Realtime.
AssemblyAI paleido atviro kodo Qwen3.5 4B modelio diegimą savo LLM Gateway platformoje, specialiai optimizuotą perrašyti neapdorotą kalbos-teksto išvestį į švarų, suformatuotą tekstą. Balso perrašymo užduotyse, tokiose kaip diktavimo valymas ir transkripcijos formatavimas, modelis vidutiniškai atsakė per 612ms — 1,9 karto greičiau nei GPT-4.1 — ir kainavo 94% mažiau per valandą apdoroto garso. Modelio kaina — $0.10/$0.50 už milijoną tokenų (užklausa/atsakymas), palaikomi tik max_tokens, temperature ir stream parametrai, be įrankių kvietimo (tool calling).