Pereiti prie turinio
2026 m. lapkričio 19 d., ketvirtadienis
Tenesys AI News
Prenumerata

Visos naujienos

TENESYS AI NEWS seka svarbiausias AI naujienas ir paaiškina, kas pasikeitė, kodėl tai svarbu ir ar technologiją verta išbandyti.

“Inference” — 76 straipsniai ✕

Tyrimai· Svarbu· 🧪 Verta testuoti

IBM papildinys leidžia vLLM stebėti ir valdyti LLM realiuoju laiku beveik be sulėtėjimo

IBM Research pristatė vLLM-Hook MIA – papildinį atviro kodo vLLM išvedimo varikliui, leidžiantį kūrėjams stebėti ir keisti modelio vidinę būseną vykdymo metu – pavyzdžiui, atmesti kenkėjiškus užklausimus, pažymėti haliucinuotus faktus ar koreguoti atsakymo toną – neišjungiant spartaus vLLM grafikų kartojimo režimo. Pagal IBM techninę ataskaitą, MIA yra iki 20 kartų greitesnis nei ankstesnė vLLM-Hook versija ir iki 14 kartų greitesnis nei metodai, įterpiantys kodą tiesiai į modelį. Testuose valdant 8B Llama ar 1,5B Qwen modelį delsa padidėjo vos apie 2%, o su 70B Llama modeliu – apie 6%.

IBM Research
Verslas· Svarbu

„Google Cloud“ ir NVIDIA pristatė A5X infrastruktūrą su „Vera Rubin“ GPU

„Google Cloud“ ir NVIDIA paskelbė apie A5X instancijų, sukurtų ant NVIDIA „Vera Rubin“ NVL72 GPU, ConnectX-9 SuperNIC ir „Google“ Virgo tinklo, prieinamumą. Sistema skirta masinio mastelio agentiniam išvedimui ir sustiprinto mokymosi (reinforcement learning) darbo krūviams. „Google Cloud“ planuoja išplėsti „Vera Rubin“ infrastruktūrą iki 960 000 Rubin GPU keliose vietose, bendras prieinamumas numatytas kitą mėnesį, vėliau – Europoje. Pirmasis klientas – Londone įsikūrusi „Ineffable Intelligence“, kurią įkūrė AlphaGo kūrėjas David Silver, naudoja platformą „superlearner“ sistemoms kurti.

NVIDIA
Modeliai· Svarbu· 🧪 Verta testuoti

NVIDIA išplėtė „Nemotron“ liniją naujais paieškos, perrikiavimo ir dokumentų analizės modeliais dirbtinio intelekto agentams

NVIDIA pristatė tris naujus atvirus, komerciškai licencijuotus komponentus „Nemotron Retriever“ linijoje: „Embed“ modelius (8B ir 1B, BF16 ir NVFP4 formatais) teksto ir vaizdų paieškai, „Rerank“ modelį (8B), kuris perrikiuoja gautus įrodymus pagal aktualumą, ir kompaktišką 631M „Parse“ modelį, verčiantį dokumentų vaizdus struktūruotu tekstu. Tikslas – pateikti AI agentams geresnius, aktualesnius įrodymus, kad jiems reikėtų mažiau paieškos ciklų ir mažiau inferencijos žetonų atsakymui gauti. NVIDIA teigia, kad nauji „Embed“ ir „Rerank“ modeliai pirmauja „ViDoRe v3.1“ dense paieškos ir perrikiavimo lyderių lentelėse.

Hugging Face
Modeliai· Svarbu· 🧪 Verta testuoti

AWS ir i14 atsisako KV talpyklos: 3B parametrų linijinio dėmesio modelis Trainium2 lustuose

Dirbtinio intelekto tyrimų bendrovė i14 kartu su AWS pritaikė savo Laplace 3B modelį — 24 sluoksnių architektūrą, pagrįstą Gated Linear Attention (GLA) vietoj įprasto transformerių dėmesio mechanizmo — AWS Trainium2 lustams, naudodama natyvų PyTorch (TorchNeuron Native). Vietoj su kiekvienu tokenu augančios KV talpyklos, modelis išlaiko pastovią 29,5 MB pasikartojančią būseną kiekvienai sekai. Viename trn2.48xlarge serveryje komanda pasiekė apie 120 000 tokenų per sekundę mokymo metu ir aptarnavo 11 544 išvesties tokenus per sekundę esant 1 280 lygiagrečių sekų per nemodifikuotą vLLM variklį.

AWS Machine Learning