Cohere sukūrė kontroliuojamą testavimo aplinką, kad ištirtų, kaip turėtų būti organizuojamos kodavimo agentų komandos — testuojant, kur deleguojamas darbas, kaip pagrindinis agentas laukia darbuotojų, kokie modeliai atlieka kokius vaidmenis, komandos dydį ir bendravimo būdus. ProgramBench teste gerai organizuotos komandos lenkė pavienius agentus iki ~10 procentinių punktų, tačiau kainavo 3–7 kartus brangiau. Svarbiausia išvada: deleguojant darbuotojams tik tyrinėjimą ir planavimą pasiekiamas toks pat rezultatas kaip deleguojant visus etapus (įgyvendinimą ir patikrinimą) už perpus mažesnę kainą, o stiprus pagrindinis agentas su 16 pigių planavimo darbuotojų pasiekė 61,8% rezultatą, palyginti su 63,2% visiškai stipraus modelio komandoje, sumažinant kainą nuo 510 iki 155 dolerių.
GitHub pakeitė savo LLM pagrindu veikusią sistemą, skirtą aptikti bendro pobūdžio paslaptis (slaptažodžius, API raktus), fine-tuned ModernBERT klasifikatoriumi kartu su regex kandidatų generavimu. Nauja dviejų pakopų sistema pagerino aptikimo tikslumą, kartu gerokai sumažindama skenavimo laiką ir eksploatavimo kaštus, ir dabar yra pakankamai greita, kad veiktų ne tik po kodo įkėlimo, bet ir prieš jį (push protection).
„Liquid AI“ paskelbė LFM2.5-24B-A2B – mišrių ekspertų (MoE) modelį su 24B bendrų parametrų, bet tik 2B aktyvių vienam tokenui, skirtą samprotaujantiems agentams vykdyti lokalioje įrangoje. Naujoje versijoje konteksto langas išplėstas iki 131K tokenų, žodynas padvigubintas, o pradinis mokymas atliktas naudojant maždaug dvigubai daugiau duomenų nei ankstesnėje versijoje. Agentinio ir įrankių naudojimo testų rezultatais modelis prilygsta arba lenkia modelius, turinčius apie 50 % daugiau parametrų, kartu pasiekdamas greitą veikimą tiek vartotojiškoje, tiek duomenų centro įrangoje.
AWS pristatė tris branduolio (kernel) lygio optimizacijas Mixture-of-Experts (MoE) modelių aptarnavimui Hopper GPU, sukurtas bendradarbiaujant su vLLM bendruomene ir įdiegtas Amazon SageMaker AI LMI konteineryje. Pakeitimai sprendžia fused MoE skaičiavimų neefektyvumą dekodavimo fazėje su mažomis partijomis, kai anksčiau Tensor Core branduoliai būdavo nepilnai išnaudojami. Kartu optimizacijos suteikia iki 10% didesnį pralaidumą ir iki 9% greitesnį laiką iki pirmo tokeno (TTFT).
NVIDIA paskelbė, kad visa „Run:ai“ platforma dabar yra atvirojo kodo ir tampa NVIDIA DSX AI Factory Platform pagrindu AI darbo krūvių bei GPU orkestravimui Kubernetes aplinkoje. Leidime pateikiami keturi moduliniai komponentai — KAI Scheduler, GPU Fractioning Operator, KAI Resource Management ir Workload Map, kuriuos galima naudoti kartu arba atskirai. Aštuoni ekosistemos partneriai, tarp jų Crusoe, Mirantis, Nebius, OpenNebula Systems, Rafay, Saturn Cloud, Spectro Cloud ir vCluster, integruoja platformą į savo paslaugas.
„Amazon Web Services“ tyrėjai paskelbė metodą „priming“, kuris paverčia iš anksto apmokytus Transformer modelius hibridinėmis architektūromis, derinančiomis dėmesio (attention) ir būsenos erdvės modelio (SSM) sluoksnius, panaudojant jau turimus svorius vietoj mokymo nuo nulio. Metodas sumažina mokymo sąnaudas daugiau nei 99% ir leidžia 32 milijardų parametrų hibridiniam modeliui pasiekti tokią pačią kokybę kaip originalus Transformer modelis, dekoduojant iki dvigubai greičiau. „Amazon“ išbandė tris SSM tipus ir atvirai paskelbė modelių rinkinį, mokymo kodą bei įrankius pagal Apache 2.0 licenciją.
AWS kartu su Postman paskelbė techninę apžvalgą, kaip Postman sukūrė „Agent Mode“ – AI pagrįstą sąsają API testavimui ir dokumentacijai, veikiančią produkcinėje aplinkoje dideliu mastu. Komanda nustatė, kad didžiausia kliūtis buvo ne modelio kokybė, o įrankių gausa ir trūkstamas kontekstas. Įraše aprašomi architektūriniai sprendimai: dinaminis įrankių parinkimas, schema pagrįstos užklausos, specializuoti konteksto apdorojimo moduliai bei Amazon Bedrock teikiamos galimybės – modelio lankstumas, kelių regionų išvada, duomenų rezidavimo kontrolė ir prompt caching.
„Google“ išleido ML Drift — atvirojo kodo, kelioms platformoms skirtą GPU skaičiavimo variklį ML inferencijai įrenginyje, pakeičiantį senąjį TFLite GPU delegate. Jis suvienodina šeiderių tvarkymą tarp OpenGL ES, OpenCL, Metal ir WebGPU, prideda 5D tenzorių palaikymą ir įveda etapais pagrįstus optimizavimus LLM prefill/decode fazėms. Jis jau veikia gamyboje „Chrome“, „YouTube Shorts“, „Google Photos“, „Meet“ ir partnerių programose iš „Adobe“ bei „Snap“.
Cloudflare sukūrė AI agentų sistemą savo „Managed Defense“ saugumo paslaugai, skirtą tvarkyti įspėjimų antplūdį, kuris apsunkina žmonių analitikų darbą. Vietoj vieno bendros paskirties agento, analizuojančio viską, sistema atskiria deterministinį duomenų rinkimą nuo modeliu pagrįsto samprotavimo ir lygiagrečiai paleidžia keturis specializuotus agentus prieš sintezės agentą, sujungiantį išvadas. Bendrovė teigia, kad tai sumažina haliucinacijas ir padaro tyrimus audituojamus bei atkuriamus.
Z.ai sukurtas GLM 5.3 — 753 milijardų parametrų MoE modelis, optimizuotas kodavimui ir ilgalaikėms agentinėms užduotims — dabar prieinamas kaip pilnai valdomas modelis „Amazon Bedrock“ platformoje. Jis tobulina GLM 5 liniją geresniais kodavimo benchmarkų rezultatais, išskirtinėmis kibernetinio saugumo galimybėmis (CyberGym rezultatas 84,5) ir gilesne integracija su Bedrock, įskaitant OpenAI suderinamas API, prompt talpinimą, tarpregioninį interferavimą ir aptarnavimo lygius. AWS taip pat parodo, kaip GLM 5.3 naudoti su atviro kodo agentu Strix autorizuotam savo programų penetraciniam testavimui.