„Microsoft Research“ išleido „Magnetar“ – nulinio žinojimo virtualią mašiną (zkVM), galinčią sukurti kriptografinius įrodymus, kad programa buvo įvykdyta teisingai, be poreikio ją paleisti iš naujo ar pasitikėti operatoriumi. Užuot vertus kūrėjus perrašyti programas į specialias kriptografines schemas, „Magnetar“ įrodo standartinį RISC-V mašininį kodą, todėl „Rust“, „Go“ ar C kalbomis parašytos programos gali būti sukompiliuotos įprastai ir įrodytos tokios, kokios yra. Testai su 15 programų parodė, kad sistema apdoroja 7,2–8,7 milijono instrukcijų per sekundę nešiojamajame kompiuteryje, o įrodymus galima patikrinti per maždaug 12 milisekundžių; jos kriptografinis saugumas remiasi tik standartinėmis maišos funkcijomis, tokiomis kaip SHA-256 ar SHA-3, o ne elipsinėmis kreivėmis ar gardelėmis pagrįstomis schemomis.
AWS pristatė tris branduolio (kernel) lygio optimizacijas Mixture-of-Experts (MoE) modelių aptarnavimui Hopper GPU, sukurtas bendradarbiaujant su vLLM bendruomene ir įdiegtas Amazon SageMaker AI LMI konteineryje. Pakeitimai sprendžia fused MoE skaičiavimų neefektyvumą dekodavimo fazėje su mažomis partijomis, kai anksčiau Tensor Core branduoliai būdavo nepilnai išnaudojami. Kartu optimizacijos suteikia iki 10% didesnį pralaidumą ir iki 9% greitesnį laiką iki pirmo tokeno (TTFT).
IBM Research naudojo koordinuotą kelių agentų „agentų gamyklą“, kad ištirtų aparatinės įrangos optimizavimo galimybes kvantinio klaidų taisymo dekoderiui, lygindama patentuotus ir atvirus pirmaujančius modelius pagal tą patį 100 hipotezių paieškos biudžetą. Atviro modelio konfigūracija, veikianti vietoje per IBM „llm-d“ paskirstyto išvedimo sistemą, pasiekė 52 kartų pagreitį lyginant su baziniu projektu, o tai kainavo apie 26 JAV dolerius išvedimo išlaidų, palyginti su 299 doleriais patentuoto modelio konfigūracijai, kuri pasiekė didesnį, 204 kartų, pagreitį. Tyrimas parodo, kad talpyklos pažinimu paremtas maršrutizavimas ir efektyvus aptarnavimas (98 % priešdėlio talpyklos pataikymų rodiklis, ~0,11 USD už milijoną žetonų) padarė atvirų modelių metodą gerokai pigesnį, vis tiek rasdamas tinkamus, kompaktiškus aparatinės įrangos sprendimus.
Apple ML tyrėjai paskelbė NeurIPS straipsnį apie SELFCOMPACT – karkasą, leidžiantį kalbos modelių agentams patiems nuspręsti, kada ir kaip glaudinti sukauptą kontekstą, vietoj fiksuoto intervalo glaudinimo pagal žetonų skaičių. Metodas derina modelio iškviečiamą glaudinimo įrankį su lengvu taisyklių rinkiniu, nurodančiu, kada glaudinti (kai použduotis išspręsta) ir kada susilaikyti (vidury išvedimo ar įstrigus). Testuotas šešiuose etalonuose ir septyniuose modeliuose, jis prilygo arba lenkė fiksuoto intervalo glaudinimą naudodamas gerokai mažiau žetonų.
Naujame Apple mokslinio tyrimo straipsnyje pristatomas Minions – sistema, kuri sujungia nenaudojamą GPU galią skirtinguose Apple Silicon Mac kompiuteriuose į vieną paskirstytą debesį mašininio mokymosi išvadoms vykdyti. Vietoj papildomos GPU įrangos pirkimo komandos galėtų panaudoti laisvą skaičiavimo galią jau turimuose macOS įrenginiuose. Autoriai teigia, kad sistema užtikrina užduočių paskirstymą, atsparumą gedimams ir efektyvų resursų naudojimą, siūlydama alternatyvą, kai dedikuotų GPU resursų trūksta arba jie brangūs.
„Amazon Web Services“ tyrėjai paskelbė metodą „priming“, kuris paverčia iš anksto apmokytus Transformer modelius hibridinėmis architektūromis, derinančiomis dėmesio (attention) ir būsenos erdvės modelio (SSM) sluoksnius, panaudojant jau turimus svorius vietoj mokymo nuo nulio. Metodas sumažina mokymo sąnaudas daugiau nei 99% ir leidžia 32 milijardų parametrų hibridiniam modeliui pasiekti tokią pačią kokybę kaip originalus Transformer modelis, dekoduojant iki dvigubai greičiau. „Amazon“ išbandė tris SSM tipus ir atvirai paskelbė modelių rinkinį, mokymo kodą bei įrankius pagal Apache 2.0 licenciją.
NVIDIA kartu su Prinstono universiteto Dao AI Lab sukūrė ReplaySSM — naują būdą saugoti būseną hibridiniuose modeliuose, kurie jungia būsenos erdvės (SSM) sluoksnius su dėmesio (attention) sluoksniais. Užuot perrašius visą būseną kiekviename žingsnyje, metodas laiko periodinį kontrolinį tašką (checkpoint) ir trumpą neseniai gautų įvesčių sąrašą, atskirdamas rezultato skaičiavimą nuo atminties atnaujinimo. Tai sumažina atminties srautą maždaug per pusę, pagreitina dekodavimo branduolius iki 1,80 karto didelėse apkrovose, o spekuliatyvaus dekodavimo pralaidumas daugiau nei padvigubėja 120B dydžio modeliuose, išlaikant tikslumą arti pilno tikslumo lygio. Metodas jau integruotas į TensorRT-LLM, vLLM ir FlashInfer bei veikia produkcijoje su GLM-5.3-Flash ir Kimi-K3.
„OCP Global Summit“ renginyje NVIDIA perdavė savo „Vera Rubin“ lentynų ir skaičiavimo dėklų projektus atvirai MGX architektūrai bei paskelbė eilę partnerysčių, susijusių su AI gamyklų maitinimu, aušinimu ir tinklų standartais. Tarp partnerių – tokie hiperskalės žaidėjai kaip Meta, Google, Microsoft ir AMD, taip pat Cisco bei Visionbay. Pranešimai apima lentynų specifikacijas (MGX 1.2), naują atvirojo kodo programinę įrangą AI duomenų centrams valdyti (DSX OS komponentai), tinklo atsparumo standartus, 800V nuolatinės srovės maitinimo architektūrą, naują „Ethernet“ komutaciją (Spectrum-6) ir naują optinio siųstuvo-imtuvo standartą (USFP) kartu su Cisco.
NVIDIA aprašė Megatron Core darbo eigą, kuri leidžia didelio masto modelių pretreniravimui būti bitiniu lygmeniu determinuotam – tai reiškia, kad nepriklausomi arba iš kontrolinio taško atnaujinti treniravimo paleidimai vyksta lygiai tuo pačiu skaitiniu keliu. Naudojant tenzorių fingerprinting metodą per treniravimo fazes, modulius, operacijas ir branduolius (kernels), inžinieriai gali atsekti nedeterminizmą iki konkretaus branduolio ir jį ištaisyti. Trilijono parametrų Nemotron modeliui, veikiančiam su 2 432 GPU, optimizacijos sumažino determinizmo kainą iki apie 2 %, išlaikant bitiniu lygmeniu identiškus rezultatus per 800 treniravimo žingsnių.
Apple tyrėjai kartu su kolegomis iš Pensilvanijos universiteto ir UIUC pristatė naują generatyvinio modeliavimo metodą, vadinamą Normalizing Trajectory Models (NTM), straipsnyje, priimtame NeurIPS konferencijai. Skirtingai nei įprasti difuzijos modeliai, kurie remiasi daugybe mažų Gauso triukšmo šalinimo žingsnių, NTM kiekvieną žingsnį traktuoja kaip lanksčią, apgręžiamą transformaciją, išlaikančią tikslų tikimybių skaičiavimą – tai dažniausiai prarandama greituose keleto žingsnių metoduose, kurie remiasi distiliacija ar priešiškuoju mokymu. Pasak straipsnio, NTM gali pasiekti ar pranokti stiprias teksto-į-vaizdą bazines sistemas naudojant tik keturis atrankos žingsnius.
„Apple“ tyrėjai kartu su Singapūro nacionaliniu universitetu paskelbė straipsnį apie RISED – naują LLM agentų mokymo sistemą, skirtą tuo pačiu metu mokytis keliose skirtingose interaktyviose aplinkose. Vietoj to, kad remtųsi tik skaitiniais atlygio signalais, RISED naudoja LLM teisėją, kuris kiekvieną mokymo bandymą pažymi rubrikomis, apibūdinančiomis elgseną, o tada šias žymas naudoja treniruočių duomenims atrinkti ir papildomai priežiūrai suteikti. Autoriai teigia, kad RISED pasiekia aukščiausią vidutinį sėkmės rodiklį tarp aplinkų, palyginti su esamais metodais, ir kiekvienoje testuotoje aplinkoje užima pirmą arba antrą vietą.
„Google Research“ pristatė penkių partnerių atliktų vertinimų rezultatus apie savo Population Dynamics Foundation Model (PDFM) — „Google Earth AI“ sistemą, paverčiančią paieškos tendencijas, žmonių judėjimą, statinės aplinkos tankį ir aplinkos duomenis į kas mėnesį atnaujinamus vietos embeddingus. Sveikatos priežiūros institucijos šiuos iš anksto apmokytus embeddingus tiesiog integravo į savo esamus statistinius ir ML modelius be jokio papildomo pritaikymo konkrečiai užduočiai ir patikrino juos penkiose skirtingose epidemiologinėse srityse. Kiekvienas partneris nurodė pastebimą pagerėjimą, palyginti su įprastais duomenų šaltiniais, teigdamas, kad PDFM gali tapti „prijunk ir naudok“ pakaitalu ar papildiniu lėtiems, izoliuotiems sveikatos duomenims.
„Google Research“ paskelbė ataskaitą iš savo Contextual Agent Privacy and Security (CAPS) seminaro, kurią bendrai parengė daugiau nei 50 mokslininkų ir pramonės atstovų. Ataskaitoje teigiama, kad AI agentai turi gebėti suprasti kontekstines socialines normas, o ne tik statiškus leidimus, kad tinkamai elgtųsi tvarkydami asmens duomenis ir atlikdami veiksmus vartotojo vardu. Siūlomas daugiasluoksnis požiūris, apimantis sistemos lygmens „sandboxing“, modelio lygmens samprotavimą, vartotojui orientuotus valdiklius, kelių agentų apsaugos priemones ir ekosistemos valdymą, remiantis Kontekstinio vientisumo (Contextual Integrity) teorija.
GitHub paskelbė ReviewBench — tyrimų peržiūros stadijos (research preview) etaloną, skirtą palyginti AI kodo peržiūros agentus pagal bendrą, patikrinamą standartą. Duomenų rinkinį sudaro 219 realių viešų pull request'ų iš 19 kalbų ir 187 saugyklų, parinktų taip, kad atspindėtų kalbų ir dydžio pasiskirstymą tarp 103,9 mln. realių GitHub PR. Pagrindinė tiesa (ground truth) sudaryta iš žmonių recenzentų, statinės analizės įrankių ir kelių pažangiausių (frontier) LLM, o jų vertinimus patikrino vyresnieji inžinieriai, kurių sprendimai sutapo su etalono žymėjimais 96,6% atvejų. GitHub teigia jau naudojęs ReviewBench vidiniam Copilot code review (CCR) produkto sekimui, ir kad offline etalono pokyčiai patikimai prognozavo vėlesnių gamybinių A/B testų kryptį.
AWS tyrėjai aprašo sistemą, kuri telekomunikacijų tinklą modeliuoja kaip nuolat atnaujinamą grafą ('skaitmeninį dvynį') ir naudoja AI agentus, vykdančius grafų algoritmų kaskadą (dekompozicija, klasterizavimas, centrališkumo reitingavimas), kad nustatytų gedimų pagrindines priežastis. Metodas pademonstruotas su NTT DOCOMO Mobile World Conference renginyje, teigiama, kad komercijose tinkluose gedimų priežasčių nustatymas sutrumpėjo nuo valandų iki minučių. Agentai taip pat konsultuojasi su incidentų žinių baze bei veiklos vadovais ir laikui bėgant gali pereiti nuo patariamojo vaidmens iki pilno savarankiško taisymo.
„Microsoft Research“ pristatė Quine – tyrimų sistemą, jungiančią daugiarūšį biologijos „pasaulio modelį“ su interaktyviu įrankiu, sujungiančiu AI modelius, mokslinę literatūrą, laboratorijos įrankius ir mokslininkus. Modelis mokomas bendrai iš genomikos, baltymų, chemijos, RNR/ląstelių būsenos ir bioatvaizdų duomenų, siekiant prognozuoti, kaip biologinės sistemos reaguos į intervencijas, prieš atliekant brangius laboratorinius eksperimentus. Kartu su Broad Institute (MIT ir Harvard) „Microsoft“ panaudojo Quine tūkstančių junginių prioritetizavimui pagal jų potencialą perkelti kasos vėžio ląsteles tarp terapiškai svarbių būsenų, o geriausiai įvertinti kandidatai buvo patvirtinti laboratorijoje per vieną savaitgalį. „Microsoft“ dabar atveria „Quine Fellows“ programą, suteikiančią ankstyvą prieigą atrinktiems mokslininkams, tačiau pabrėžia, kad sistema yra eksperimentinė, skirta tik tyrimams, ne klinikiniam naudojimui.
„Google Cloud“ TPU inžinerių komanda kartu su Ai2 nuo nulio atkūrė „Olmo 3 7B“ modelio pre-treniravimą naudodama MaxText — „Google“ JAX/XLA treniravimo karkasą, veikiantį TPU įrenginiuose vietoje originalaus Ai2 PyTorch/GPU sprendimo. Jie pasiekė sutapimą su Ai2 paskelbtais rezultatais ne tik treniravimo nuostolio kreivėje, bet ir keturiose nepriklausomose atskirtų (held-out) vertinimo plotmėse per visą ~5,93 trilijono žetonų, 1,41 mln. žingsnių 1 etapo treniravimą bei 2 etapo „annealing“ fazę. Šio darbo metu jie perkėlė į MaxText neįprastą „Olmo 3“ architektūrą (pertvarkytą normalizavimo bloką, QK-norm, 3:1 slankaus/globalaus dėmesio santykį) ir aptiko duomenų kraunimo klaidą, kuri tyliai „pagražino“ rezultatus dėl įsiminimo, o ne tikro mokymosi.
Google inžinieriai aprašo, kaip jie įgyvendino retą (sparse) erdvinio-laikinio dėmesio (attention) skaičiavimą vaizdo difuzijos modeliams TPU v6e lustuose, paversdami teorinį Sparse VideoGen (SVG) metodo retumą realiu aparatinės įrangos pagreičiu. Per kelis branduolio optimizavimo etapus (plytelių specializaciją, dydžio derinimą ir kaukės suderinimą su plytelėmis) jie sumažino dėmesio skaičiavimo laiką nuo 96,37 ms (naivus retas variantas) iki 32,76 ms – tai 2,40 karto greičiau nei tankus Splash Attention viename TPU v6e luste, naudojant 75,6 tūkst. token, 10 galvų ir 128 galvos dimensiją.
„Google DeepMind“ pristatė „SynthID Bio“ – vandenženklinimo technologiją, kuri įterpia nepastebimą, patikrinamą parašą į AI sukurtus baltymus ir jų 3D struktūras, nepakenkiant jų biologinei funkcijai. Sistema išbandyta su baltymų jungikliais (VEGF-A, SARS-CoV-2 spyglio RBD, PD-L1) naudojant „AlphaProteo“ ir modifikuotą „ProteinMPNN“, taip pat įdiegta į „AlphaFold 3“ difuzijos tinklą struktūrų vandenženklinimui. „DeepMind“ taip pat bendradarbiauja su Stanfordo „Hie“ laboratorija ir „Arc Institute“, pritaikydama metodą „Evo 2“ genominiam modeliui bakteriofagų genomų vandenženklinimui. Tikslas – sustiprinti biosaugumą, padedant DNR sintezės patikros teikėjams ir viešosioms duomenų bazėms patikrinti AI sukurtų biologinių dizainų kilmę.