AWS pristatė tris branduolio (kernel) lygio optimizacijas Mixture-of-Experts (MoE) modelių aptarnavimui Hopper GPU, sukurtas bendradarbiaujant su vLLM bendruomene ir įdiegtas Amazon SageMaker AI LMI konteineryje. Pakeitimai sprendžia fused MoE skaičiavimų neefektyvumą dekodavimo fazėje su mažomis partijomis, kai anksčiau Tensor Core branduoliai būdavo nepilnai išnaudojami. Kartu optimizacijos suteikia iki 10% didesnį pralaidumą ir iki 9% greitesnį laiką iki pirmo tokeno (TTFT).
IBM Research naudojo koordinuotą kelių agentų „agentų gamyklą“, kad ištirtų aparatinės įrangos optimizavimo galimybes kvantinio klaidų taisymo dekoderiui, lygindama patentuotus ir atvirus pirmaujančius modelius pagal tą patį 100 hipotezių paieškos biudžetą. Atviro modelio konfigūracija, veikianti vietoje per IBM „llm-d“ paskirstyto išvedimo sistemą, pasiekė 52 kartų pagreitį lyginant su baziniu projektu, o tai kainavo apie 26 JAV dolerius išvedimo išlaidų, palyginti su 299 doleriais patentuoto modelio konfigūracijai, kuri pasiekė didesnį, 204 kartų, pagreitį. Tyrimas parodo, kad talpyklos pažinimu paremtas maršrutizavimas ir efektyvus aptarnavimas (98 % priešdėlio talpyklos pataikymų rodiklis, ~0,11 USD už milijoną žetonų) padarė atvirų modelių metodą gerokai pigesnį, vis tiek rasdamas tinkamus, kompaktiškus aparatinės įrangos sprendimus.
„Amazon Web Services“ tyrėjai paskelbė metodą „priming“, kuris paverčia iš anksto apmokytus Transformer modelius hibridinėmis architektūromis, derinančiomis dėmesio (attention) ir būsenos erdvės modelio (SSM) sluoksnius, panaudojant jau turimus svorius vietoj mokymo nuo nulio. Metodas sumažina mokymo sąnaudas daugiau nei 99% ir leidžia 32 milijardų parametrų hibridiniam modeliui pasiekti tokią pačią kokybę kaip originalus Transformer modelis, dekoduojant iki dvigubai greičiau. „Amazon“ išbandė tris SSM tipus ir atvirai paskelbė modelių rinkinį, mokymo kodą bei įrankius pagal Apache 2.0 licenciją.
„OCP Global Summit“ renginyje NVIDIA perdavė savo „Vera Rubin“ lentynų ir skaičiavimo dėklų projektus atvirai MGX architektūrai bei paskelbė eilę partnerysčių, susijusių su AI gamyklų maitinimu, aušinimu ir tinklų standartais. Tarp partnerių – tokie hiperskalės žaidėjai kaip Meta, Google, Microsoft ir AMD, taip pat Cisco bei Visionbay. Pranešimai apima lentynų specifikacijas (MGX 1.2), naują atvirojo kodo programinę įrangą AI duomenų centrams valdyti (DSX OS komponentai), tinklo atsparumo standartus, 800V nuolatinės srovės maitinimo architektūrą, naują „Ethernet“ komutaciją (Spectrum-6) ir naują optinio siųstuvo-imtuvo standartą (USFP) kartu su Cisco.
„Google DeepMind“ pristatė „SynthID Bio“ – vandenženklinimo technologiją, kuri įterpia nepastebimą, patikrinamą parašą į AI sukurtus baltymus ir jų 3D struktūras, nepakenkiant jų biologinei funkcijai. Sistema išbandyta su baltymų jungikliais (VEGF-A, SARS-CoV-2 spyglio RBD, PD-L1) naudojant „AlphaProteo“ ir modifikuotą „ProteinMPNN“, taip pat įdiegta į „AlphaFold 3“ difuzijos tinklą struktūrų vandenženklinimui. „DeepMind“ taip pat bendradarbiauja su Stanfordo „Hie“ laboratorija ir „Arc Institute“, pritaikydama metodą „Evo 2“ genominiam modeliui bakteriofagų genomų vandenženklinimui. Tikslas – sustiprinti biosaugumą, padedant DNR sintezės patikros teikėjams ir viešosioms duomenų bazėms patikrinti AI sukurtų biologinių dizainų kilmę.