Hugging Face „Transformers“ bibliotekoje pristatė ekspertų srautinio perdavimo funkciją, skirtą „Mixture-of-Experts“ (MoE) modeliams. Šis metodas leidžia paleisti didžiulius modelius, kurie paprastai viršytų standartinius techninės įrangos atminties limitus, srautiniu būdu įkeliant aktyvius ekspertus pagal poreikį.
„PolyAI“ pristatė „Dialog-RSN-1“ – modelį, specialiai sukurtą tiesioginiam pokalbiui balsu, apdorojantį garso signalą tiesiogiai, be tarpinės transkripcijos. Dabar jis pasiekiamas AWS ekosistemoje kaip saugus ir privatus išvadų (inference) taškas.
NVIDIA išleido naują „RTX Spark“ stalinių kompiuterių seriją, skirtą vietiniams DI procesams vykdyti. Šiuose kompiuteriuose, kuriuos gamina ASUS, „Dell“ ir MSI, naudojami 20 branduolių „NVIDIA Grace“ procesoriai, „Blackwell RTX“ grafikos plokštės bei iki 128 GB suvienytosios atminties dideliems kalbos modeliams ir nuolatiniams agentams veikti.
Tyrėjai pristatė „Limite 1B - Violetto“ – kompaktišką 1 milijardo parametrų modelį, sukurtą matematinių užduočių sprendimui. Jis palaiko 131 tūkst. žetonų konteksto langą ir yra platinamas pagal „Apache 2.0“ licenciją.
Naujas priežastinis metodas RAW (Refusal Aversion in the Wild) naudoja LLM stochastiškumą, kad išmatuotų, kaip dažnai vartotojų užklausų atmetimas lemia platformos palikimą. Analizuodami egzistuojančius sąveikos žurnalus, galite nustatyti tikslų priežastinį atsisakymų poveikį tolesniam vartotojų įsitraukimui.
„Aionic Labs“ išleido „OpenTSLM-Flamingo“ – laiko eilučių kalbos modelį (TSLM), kurį dabar galima diegti per „Amazon SageMaker JumpStart“. Jis sujungia „Gemma 3 4B“ architektūrą su laiko eilučių kodavimo įrankiu, kad kartu su tekstiniu kontekstu interpretuotų operacinius duomenis.
AWS pristatė valdomą NVIDIA Dynamo palaikymą SageMaker HyperPod aplinkoje, supaprastindama didelių kalbos modelių diegimą. Atnaujinimas suteikia galimybę naudoti kelių mazgų (multi-node) išvestį, leidžiančią vykdyti modelius, kurie viršija vieno GPU atminties ribas per atskirtus prefill ir decode procesus.
Amazon SageMaker AI pristatė naują 'KV_AWARE' nukreipimo strategiją, kuri nukreipia LLM užklausas į egzempliorius pagal faktinę KV podėlio būseną, o ne tik pagal užklausos pradžią. Tai optimizuoja daugiasluoksnius pokalbius ir ilgo konteksto užduotis, užtikrinant, kad užklausos patektų ten, kur jau saugomi reikiami duomenys.
„NVIDIA“ paskelbė technines gaires, kaip kurti retosios dėmesio („sparse attention“) mechanizmus didelio konteksto modeliams. Optimizuojant „indexer“ branduolius, kurie prieš atliekant pilną dėmesio skaičiavimą nustato svarbiausius duomenis, galima žymiai padidinti išvedimo (inference) efektyvumą esant daugiau nei 100 tūkst. žetonų kontekstui.
NVIDIA pristatė „Nemotron for Science“ – įrankių rinkinį, jungiantį „Nemotron 3.5 Super VL“ modelį su specializuotais chemijos duomenų rinkiniais ir apmokymo receptais. Ši platforma leidžia tyrėjams diegti vietinius agentus, kurie gali savarankiškai planuoti eksperimentus, vykdyti kodą ir patikrinti duomenų rezultatus.
Pristatytas „OmniTag-Bench“ – naujas penkių kalbų vertinimo rėmas, skirtas multimodalių LLM testavimui, atliekant sinchroninę kalbos transkripciją ir metaduomenų žymėjimą. Tyrimas rodo, kad vienas, papildomai apmokytas multimodalus modelis gali išgauti transkripciją, emocijas, lytį, kalbą ir vardines entybes vienu žingsniu, pakeičiant atskirus specializuotus modelius.
„TokenEconomizer“ yra naujas atvirojo kodo įskiepis, leidžiantis DI kodavimo agentams mokytis iš ankstesnių sesijų konkrečioje saugykloje. Stebėdamas pasikartojančius modelius, šalindamas nenaudojamus įrankius ir užkirsdamas kelią nesėkmių ciklams, jis ženkliai sumažina žetonų sunaudojimą nekeičiant paties agento ar jo bazinio modelio.
„Hugging Face“ pradėjo partnerystę su „OpenRouter“, kad optimizuotų kalbos modelių išvedimo (inference) procesus. Visos užklausos dabar automatiškai nukreipiamos per „OpenRouter“, parenkant tinkamiausią teikėją pagal kainą, greitį ir patikimumą realiuoju laiku.
Tyrėjai pristatė ActGCG metodą, leidžiantį atkartoti aktyvavimo valdymo (activation steering) efektus, kurie anksčiau reikalavo vidinės prieigos prie modelio, optimizuojant įvesties sufiksus. Šis metodas leidžia atkartoti specifinius elgsenos modelius, pavyzdžiui, kalbos keitimą, vien tik per išorinio teksto įvestį.
„Amazon“ pristatė architektūrinį sprendimą, integruojantį „NVIDIA NeMo Switchyard“ biblioteką su „LiteLLM“, skirtą dinamiškai nukreipti kodo agentų užklausas tarp skirtingų „Bedrock“ modelių. Naudojant „stage“ arba „random“ maršrutizavimą, galima efektyviai paskirstyti srautą tarp galingų ir ekonomiškų modelių, optimizuojant našumą bei kaštus.
Nuo spalio pradžios sparčiai išaugo DI pagrįstų įsilaužimo (pentesting) ir orkestravimo sistemų skaičius, dabar aktyviai veikia tūkstančiai jų modifikacijų. Šie autonominiai įrankiai automatizuoja visą kibernetinės atakos grandinę, leisdami jiems greitai išnaudoti pavogtus kredencialus ir judėti per infrastruktūrą.
NVIDIA išleido modulį cuda.bindings.cudla, leidžiantį „Python“ kalba valdyti „Deep Learning Accelerator“ (DLA) „Jetson AGX Orin“ platformoje. Kūrėjai dabar gali suderinti GPU išankstinį apdorojimą ir DLA išvadas viename „CUDA stream“ sraute.
„NVIDIA“ paskelbė techninį vadovą, kaip paleisti 753B parametrų GLM-5.3 MoE modelį naudojant dvi DGX stotis su GB300 procesoriais. Naudojant tenzorinį lygiagretumą (TP=2) per RDMA jungtis ir vLLM, galima įveikti vieno GPU atminties apribojimus (252 GB HBM3e) naudojant masyvius modelius.
„llama.cpp“ projektas oficialiai pasiekė 1.0.0 versijos etapą praėjus trejiems su puse metų nuo įkūrimo. Šiame leidime pristatomas griežtas semantinis versijavimas, siekiant užtikrinti geresnį nuspėjamumą kūrėjams, naudojantiems „libllama“ ir „libggml“ C/C++ bibliotekas.
DeepSeek išplėtė savo paslaugas, atverdama kūrėjams visą taikomųjų programų įrankių rinkinį. Nuo šiol API vartotojai gali įjungti žiniatinklio paieškos, URL nuskaitymo, failų apdorojimo ir saugos filtrų parametrus, taip pat naudoti atskirus ASR, TTS ir OCR taškus.
Amazon išleido SGLang-Neuron – įskiepį, leidžiantį kūrėjams vykdyti didelio masto DI modelius naudojant AWS Trainium aparatinę įrangą per standartinę SGLang sąsają. Ši integracija palaiko natūralų PyTorch vykdymą ir pažangias funkcijas, tokias kaip PD disaggregation naudojant EFA, siekiant optimizuoti modelių aptarnavimą.
Tyrėjai nustatė teorines maksimalaus atlygio padidėjimo ribas derinant kalbos modelius esant fiksuotiems KL-divergencijos apribojimams. Tyrimas rodo, kad „best-of-N“ atrankos metodas priartėja prie šių teorinių ribų, o įprasti stiprinamojo mokymosi metodai, tokie kaip PPO ir GRPO, šiuo metu pasiekia suboptimalius rezultatus.
„Google“ pristatė dvi naujas SQL funkcijas „AlloyDB“ – ai.classify ir ai.extract, leidžiančias atlikti „Gemini“ pagrįstas operacijas tiesiogiai „PostgreSQL 18“ aplinkoje. Šios funkcijos automatizuoja nestruktūrizuoto teksto apdorojimą, pavyzdžiui, nuotaikų analizę ar JSON išgavimą, nereikalaujant papildomų programinių tarpinių sluoksnių.
NVIDIA į savo „AI Cluster Runtime“ (AICR) įrankį integravo atvirojo kodo „k8s-aibom“ projektą. Tai leidžia platformų komandoms automatiškai generuoti ir audituoti dirbtinio intelekto komponentų sąrašus (AIBOM) Kubernetes aplinkoje, identifikuojant modelius, išvados (inference) aplinkas bei priklausomybes.