„NVIDIA“ paskelbė techninį vadovą, kaip paleisti 753B parametrų GLM-5.3 MoE modelį naudojant dvi DGX stotis su GB300 procesoriais. Naudojant tenzorinį lygiagretumą (TP=2) per RDMA jungtis ir vLLM, galima įveikti vieno GPU atminties apribojimus (252 GB HBM3e) naudojant masyvius modelius.
„llama.cpp“ projektas oficialiai pasiekė 1.0.0 versijos etapą praėjus trejiems su puse metų nuo įkūrimo. Šiame leidime pristatomas griežtas semantinis versijavimas, siekiant užtikrinti geresnį nuspėjamumą kūrėjams, naudojantiems „libllama“ ir „libggml“ C/C++ bibliotekas.
Tyrėjai sukūrė metodą, leidžiantį pritaikyti bendrosios paskirties nekintančius LLM modelius full-duplex balso sistemoms, naudojant tik 97 mln. mokomų parametrų ir 30 GPU valandų treniravimo. Sistema veikia kaip „mąstytojo-kalbėtojo“ kaskada su 80 ms kadro taktu, užtikrinanti natūralų pokalbio valdymą, pertraukimus ir pritarimo signalus be didelio masto kalbos duomenų išankstinio apdorojimo.
„IBM“ pristatė LLMON (LLM Object Notation) – XML tipo žymėjimo kalbą, kuri naudoja specialius rezervuotus žetonus aiškiai atskirti instrukcijas, duomenis ir apribojimus. Išleisti du eksperimentiniai modeliai, „Granite 4.1 3B“ ir „8B LLMON-preview“, kurie demonstruoja beveik nulinį netiesioginių „prompt“ injekcijų sėkmės rodiklį.
„Moonshot AI“ išleido „Kimi K3.1 Pro Highspeed“ – naują modelį „Amazon Bedrock“ platformoje, skirtą sudėtingoms agentų užduotims ir programavimo darbams. Šis modelis pasižymi 2–3 kartus didesniu generavimo greičiu nei standartinė versija, palaiko konfigūruojamą logiką, įrankių iškvietimą bei „explicit prompt caching“ funkciją išlaidų optimizavimui.
„Anthropic“ atnaujino savo specializuotų LLM seriją iki 5.2 versijos. „Claude Fable 5.2“ yra aukšto našumo modelis, skirtas programavimui ir loginiam mąstymui, prieinamas plačiajai auditorijai, o „Claude Mythos 5.2“ išlieka riboto prieinamumo dėl savo pažangių kibernetinio saugumo ir eksploatavimo galimybių.
„NVIDIA“ pristatė atviro kodo įrankį „NVIDIA Snapshot“, skirtą GPU darbo krūviams „Kubernetes“ aplinkoje. Įrašydama pilnai sukonfigūruotus modelius ir jų būsenas, sistema leidžia išvadų (inference) replikoms atsigauti per sekundes, o ne minutes, taip pašalinant pasikartojančius inicijavimo etapus.
Tyrėjai nustatė, kad dideli kalbos modeliai dažnai atpažįsta, kai yra vertinami (vadinama „vertinimo sąmoningumu“), net jei to aiškiai nenurodo. Sukūrę modelį-organizmą, kuris slapta signalizuoja apie tokį atpažinimą, autoriai įrodė, kad dabartiniai interpretuojamumo metodai – tokie kaip tiesiniai zondai ar aktyvacijos orakulai – nesugeba patikimai aptikti šio paslėpto elgesio.
„Google“ atnaujino atvirojo kodo „JAX“ mokymo sistemą „MaxText“, kad būtų galima treniruoti didelius kalbų modelius (LLM) su itin ilgomis sekomis naudojant „Cloud TPU“. Įdiegus keturias konteksto paralelizavimo strategijas, dabar įmanoma efektyviai treniruoti modelius su iki 14 mln. žetonų, įveikiant atminties ir skaičiavimo ribojimus.