Pereiti prie turinio
2026 m. lapkričio 19 d., ketvirtadienis
Tenesys AI News
Prenumerata

Visos naujienos

TENESYS AI NEWS seka svarbiausias AI naujienas ir paaiškina, kas pasikeitė, kodėl tai svarbu ir ar technologiją verta išbandyti.

“Inference” — 107 straipsniai ✕

Tyrimai· Svarbu· 🧪 Verta testuoti

IBM papildinys leidžia vLLM stebėti ir valdyti LLM realiuoju laiku beveik be sulėtėjimo

IBM Research pristatė vLLM-Hook MIA – papildinį atviro kodo vLLM išvedimo varikliui, leidžiantį kūrėjams stebėti ir keisti modelio vidinę būseną vykdymo metu – pavyzdžiui, atmesti kenkėjiškus užklausimus, pažymėti haliucinuotus faktus ar koreguoti atsakymo toną – neišjungiant spartaus vLLM grafikų kartojimo režimo. Pagal IBM techninę ataskaitą, MIA yra iki 20 kartų greitesnis nei ankstesnė vLLM-Hook versija ir iki 14 kartų greitesnis nei metodai, įterpiantys kodą tiesiai į modelį. Testuose valdant 8B Llama ar 1,5B Qwen modelį delsa padidėjo vos apie 2%, o su 70B Llama modeliu – apie 6%.

IBM Research
Verslas· Svarbu

„Google Cloud“ ir NVIDIA pristatė A5X infrastruktūrą su „Vera Rubin“ GPU

„Google Cloud“ ir NVIDIA paskelbė apie A5X instancijų, sukurtų ant NVIDIA „Vera Rubin“ NVL72 GPU, ConnectX-9 SuperNIC ir „Google“ Virgo tinklo, prieinamumą. Sistema skirta masinio mastelio agentiniam išvedimui ir sustiprinto mokymosi (reinforcement learning) darbo krūviams. „Google Cloud“ planuoja išplėsti „Vera Rubin“ infrastruktūrą iki 960 000 Rubin GPU keliose vietose, bendras prieinamumas numatytas kitą mėnesį, vėliau – Europoje. Pirmasis klientas – Londone įsikūrusi „Ineffable Intelligence“, kurią įkūrė AlphaGo kūrėjas David Silver, naudoja platformą „superlearner“ sistemoms kurti.

NVIDIA
Modeliai· Svarbu· 🧪 Verta testuoti

NVIDIA išplėtė „Nemotron“ liniją naujais paieškos, perrikiavimo ir dokumentų analizės modeliais dirbtinio intelekto agentams

NVIDIA pristatė tris naujus atvirus, komerciškai licencijuotus komponentus „Nemotron Retriever“ linijoje: „Embed“ modelius (8B ir 1B, BF16 ir NVFP4 formatais) teksto ir vaizdų paieškai, „Rerank“ modelį (8B), kuris perrikiuoja gautus įrodymus pagal aktualumą, ir kompaktišką 631M „Parse“ modelį, verčiantį dokumentų vaizdus struktūruotu tekstu. Tikslas – pateikti AI agentams geresnius, aktualesnius įrodymus, kad jiems reikėtų mažiau paieškos ciklų ir mažiau inferencijos žetonų atsakymui gauti. NVIDIA teigia, kad nauji „Embed“ ir „Rerank“ modeliai pirmauja „ViDoRe v3.1“ dense paieškos ir perrikiavimo lyderių lentelėse.

Hugging Face
Modeliai· Svarbu· 🧪 Verta testuoti

AWS ir i14 atsisako KV talpyklos: 3B parametrų linijinio dėmesio modelis Trainium2 lustuose

Dirbtinio intelekto tyrimų bendrovė i14 kartu su AWS pritaikė savo Laplace 3B modelį — 24 sluoksnių architektūrą, pagrįstą Gated Linear Attention (GLA) vietoj įprasto transformerių dėmesio mechanizmo — AWS Trainium2 lustams, naudodama natyvų PyTorch (TorchNeuron Native). Vietoj su kiekvienu tokenu augančios KV talpyklos, modelis išlaiko pastovią 29,5 MB pasikartojančią būseną kiekvienai sekai. Viename trn2.48xlarge serveryje komanda pasiekė apie 120 000 tokenų per sekundę mokymo metu ir aptarnavo 11 544 išvesties tokenus per sekundę esant 1 280 lygiagrečių sekų per nemodifikuotą vLLM variklį.

AWS Machine Learning

NVIDIA pristatė Cosmos3-H-Dreams – realaus laiko generatyvinį chirurgijos simuliatorių

NVIDIA išleido Cosmos3-H-Dreams – pasaulio modelį (world foundation model), generuojantį interaktyvias, realaus laiko chirurgines scenas pagal roboto kinematiką iš tikrų klinikinių cholecistektomijos procedūrų, įrašytų naudojant CMR Surgical Versius platformą. Modelis sukurtas ant 16 milijardų parametrų Cosmos3-H-Embodied-Nano pagrindo ir pagreitintas naudojant NVIDIA FlashDreams srautinio išvedimo biblioteką, veikia viename RTX PRO 6000 GPU. Sistema mokosi vizualinės chirurginės dinamikos tiesiai iš vaizdo ir kinematikos duomenų, o ne iš tiesioginio fizikos modeliavimo, ir siūlo keturių bei dviejų žingsnių distiliuotus kontrolinius taškus, leidžiančius rinktis tarp kokybės ir greičio.

Hugging Face
Modeliai· Svarbu

Google pristatė natūralius PyTorch išvedimo variklius vLLM ir SGLang, skirtus TPU

Google paskelbė naujus vLLM ir SGLang išvedimo (inference) variklius, sukurtus tiesiogiai ant PyTorch TPU įrenginiams, kuriuos kūrė kartu su Inferact ir RadixArk. Varikliai veikia ant naujo TorchTPU sluoksnio, kuris paverčia TPU natūraliu PyTorch įrenginiu, pakeisdamas ankstesnį JAX pagrindu veikusį sprendimą. Google praneša apie viešą 2,01 cento už milijoną tokenų savikainą esant dideliam lygiagretumui per SemiAnalysis InferenceX projektą, taip pat palaikomus agentinius darbo krūvius, ilgą kontekstą, atskirtą (disaggregated) aptarnavimą ir multimodalius modelius.

Google Developers
Tyrimai· Svarbu

„Google“ baigė kurti atvirą „Coral NPU“ edge-AI architektūrą ir kompiliatorių, pasirodė pirmi komerciniai lustai

„Google Research“ paskelbė apie paskutinį „Coral NPU“ atviro aparatinės įrangos standarto etapą – 32 bitų RISC-V architektūrą su nauju Matricų vykdymo bloku (iki 1 TOPS, apie 10mW), bei v1.0 atvirojo kodo IREE/MLIR kompiliatorių, kuris modelius iš JAX, PyTorch ir TensorFlow tiesiogiai perkelia į aparatinę įrangą. „Synaptics“ pristato pirmus komercinius lustus, sukurtus pagal šį standartą, įskaitant „Astra SR200“ mikrovaldiklių seriją (400 GOPS) ir naujus „Coralboard SR“ bei „SL“ kūrėjų rinkinius, o „SL“ versija jau visuotinai prieinama per „DigiKey“. „Google“ taip pat bendradarbiauja su „VeriSilicon“ ir „GlobalFoundries“, siekdama pritaikyti atvirą RTL gamybiniams lustams.

Google Developers
Agentai· Svarbu· 🧪 Verta testuoti

Pristatytas llm-d 1.0: atviro kodo Kubernetes infrastruktūra LLM modelių eksploatavimui gamyboje

Red Hat, IBM ir Google pristatė llm-d 1.0 — Kubernetes pagrįstą paskirstytą LLM užklausų aptarnavimo sistemą, kuri peržengė atskirų našumo technikų demonstravimo etapą ir tapo tinkama realiai gamybinei eksploatacijai. Naujoje versijoje pridėta daugiafunkcė paslaugų kokybės kontrolė, nenutrūkstamos naujinimo operacijos ir agentams pritaikytas aptarnavimas, kad tas pats galinis taškas galėtų efektyviai aptarnauti tiek žmones, tiek autonominius agentus. Viename teste llm-d prefiksų talpyklos maršrutizatorius pasiekė 97% talpyklos pakartotinio panaudojimo agentiniame programavimo scenarijuje, o IBM/Red Hat paleido 3000 vienu metu veikiančių programinės įrangos inžinerijos agentų 5-10 kartų pigiau nei naudojant tą patį modelį kaip talpinamą paslaugą.

IBM Research
Agentai· Svarbu· 🧪 Verta testuoti

„Amazon Bedrock“ priverčia visus „Claude“ modelius grąžinti tikslią JSON schemą

AWS visiems „Anthropic Claude“ modeliams, veikiantiems „Amazon Bedrock“ platformoje, įdiegė struktūrizuotus atsakymus — tiek standartiniame runtime endpoint'e, tiek naujesniame agentinėms užduotims skirtame Mantle endpoint'e. Vietoj tikėjimosi, kad modelis grąžins teisingą JSON, kūrėjai dabar gali priversti atsakymus tiksliai atitikti schemą naudojant apribotą dekodavimą, kuris neleidžia modeliui generuoti formatą pažeidžiančių token'ų. Papildoma funkcija — griežtas įrankių naudojimas (strict tool use) — tą patį garantą taiko ir funkcijų iškvietimo parametrams, kad agentų darbo eigos nenutrūktų dėl netinkamo formato įvesties.

AWS Machine Learning
Voice AI· Svarbu· 🧪 Verta testuoti

Deepgram sumažino paketinės transkripcijos kaštus perkėlęs Nova-3 į AWS Trainium2

AWS ir Deepgram kartu perrašė Nova-3 kalbos atpažinimo modelį, kad jis veiktų tiesiogiai ant Trainium2 lustų vietoj įprastos GPU pagrįstos PyTorch infrastruktūros, orientuojantis į didelio masto nesinchroninius transkripcijos darbus. Darbo metu buvo perrašyti lėčiausi sluoksniai į individualius branduolius (kernels), o Python paslaugų sluoksnis pakeistas Rust laikomąja sistema, tiesiogiai kreipiantis į Trainium. Rezultatas: viena trn2.3xlarge instancija, vykdanti aštuonias lygiagrečias modelio kopijas, apdoroja 11-70% daugiau garso vienam doleriui nei ankstesnė Deepgram infrastruktūra, o panašus sutaupymas potencialiai pasiekiamas klientams, savarankiškai diegiantiems sprendimą per SageMaker.

AWS Machine Learning
Tyrimai· Svarbu· 🧪 Verta testuoti

AWS pristato „push“ tipo KV perdavimą, mažinantį delsą atskirtame vLLM infrastruktūros apdorojime

AWS išleido „push“ tipo NIXL konektorių vLLM sistemai, keičiantį, kaip raktas-reikšmė (KV) talpyklos duomenys perduodami tarp prefill ir decode egzempliorių atskirtame LLM aptarnavime. Vietoj to, kad decode egzempliorius trauktų KV blokus po prefill pabaigos, decode egzempliorius iš anksto užregistruoja paskirties atmintį, o prefill egzempliorius tiesiogiai įrašo KV duomenis, kai tik jie parengti – taip koordinavimo darbas pašalinamas iš kritinio kelio. Testuojant su Qwen3-32B modeliu 1 prefill/1 decode konfigūracijoje EC2 P5en egzemplioriuose su EFA, push režimas pasiekė iki 3 kartų geresnį laiką iki pirmo tokeno (TTFT) ir iki 30% geresnį vieno tokeno generavimo laiką (TPOT) nei numatytasis pull režimas, ypač esant didelei užklausų apkrovai.

AWS Machine Learning

„Microsoft“ ir NVIDIA pristatė bendrą atvirų svorių modelių rizikos valdymo sistemą

„Microsoft“ ir NVIDIA išleido bendrą baltąją knygą „Risk Management for Open-Weight Models in Enterprise“ — pirmąją iš planuojamos serijos, siūlančią įmonėms bendrą rizikos taksonomiją ir metodiką atvirų svorių AI modeliams vertinti. Dokumente teigiama, kad ar modelis yra atvirų, ar uždarų svorių, nėra pagrindinis rizikos veiksnys — svarbiausia naudojimo paskirtis, diegimo architektūra ir aplinkiniai apsaugos mechanizmai. Rizikos suskirstytos į penkias kategorijas (kibernetinis saugumas, duomenų apsauga, turinys, žmogaus-AI sąveika, šališkumas) ir susietos su vertinimais pagal ISO standartus bei NIST AI rizikos valdymo sistemą.

Microsoft Security
Modeliai· Svarbu

Reflection pristatė Beam – 501B parametrų atvirą MoE modelį su 1M tokenų kontekstu

Nauja JAV DI laboratorija Reflection pristatė savo pirmąjį modelį Beam – atvirojo kodo mišrios ekspertų architektūros (MoE) modelį su 501B bendrų parametrų (23B aktyvuojama vienam tokenui) ir 1M tokenų konteksto langu, išleistą pagal Apache 2.0 licenciją. Modelis sukurtas programavimo ir agentinėms užduotims, pristatomas su specialiu Rust pagrindu veikiančiu vykdymo karkasu bei iš karto veikia su transformers, vLLM ir SGLang bibliotekomis. Reflection pateikia stiprius rezultatus programavimo, loginio mąstymo ir įrankių iškvietimo testuose BF16, FP8 ir NVFP4 formatais.

Hugging Face
Modeliai· Svarbu· 🧪 Verta testuoti

IBM sujungia transkripciją, sprendimų priėmimą ir pokalbį viename Granite Switch modelyje

IBM pristatė Granite Switch 4.1 8B ir 30B dydžio versijas – modulinę sistemą, kuri vykdo pokalbį, sprendimų priėmimą ir kalbos transkripciją iš vieno talpinamo endpoint'o, o ne iš atskirų modelių. Atnaujinime pridėtas bendros paskirties sprendimų adapteris, specializuotas „Guardian“ adapteris saugumo klasifikacijai ir integruotas ASR modelis Granite-Speech-5.0-Turbo-CTC, pirmaujantis OpenASR reitinge. Nors sujungtos trys funkcijos, bendras modelis naudoja maždaug tiek pat VRAM, kiek ir pagrindinis modelis vienas.

Hugging Face

„Apple“ parodė, kaip trilijono parametrų klasės LLM veikia lokaliai per Mac Studio klasterius su MLX

„Apple“ MLX komanda paskelbė našumo testus, rodančius, kad dideli atvirojo svorio modeliai – įskaitant beveik trilijono parametrų MoE modelį „Muse Spark Open“ – veikia Mac Studio aparatinėje įrangoje, tiek vienu įrenginiu, tiek paskirstytai iki keturių Mac Studio per naują RDMA-over-Thunderbolt tvarkyklę. Naujas M5 Ultra lustas su dedikuotais GPU „Neural Accelerators“ ir 1,2 TB/s atminties pralaidumu pasiekia iki 4,6 karto greitesnį pirmojo tokeno laiką ir 1,6 karto greitesnį generavimo greitį lyginant su ankstesniu M3 Ultra. Modeliams, netelpantiems viename įrenginyje, MLX dabar palaiko pipeline ir tensor paralelizaciją keliuose „Mac“ per Thunderbolt RDMA, leidžiant keturių Mac Studio klasteriui generuoti daugiau nei 36 tokenus per sekundę 816 mlrd. parametrų modeliui.

Apple Machine Learning
Modeliai· Svarbu

„Mistral“ pristatė Timestral – laiko eilučių prognozavimo modelių šeimą

„Mistral AI“ išleido Timestral – pirmąją savo laiko eilučių prognozavimo pagrindinių modelių šeimą, kurią sudaro keturi dydžiai nuo 5 mln. iki 209 mln. parametrų. Didžiausias modelis užima pirmą vietą visuose trijuose pagrindiniuose viešuose prognozavimo etalonuose (GIFT-Eval, TIME, fev-bench), aplenkdamas ankstesnius lyderius, turinčius daugiau parametrų. Modeliai generuoja tikimybinius, daugiamačius prognozavimus, palaiko praeities ir žinomas ateities kintamąsias (covariates) ir efektyviai veikia CPU be GPU poreikio.

Mistral AI
Agentai· Svarbu· 🧪 Verta testuoti

Cohere tyrimas: gerai organizuotos agentų komandos lenkia pavienius kodavimo agentus už dalį kainos

Cohere sukūrė kontroliuojamą testavimo aplinką, kad ištirtų, kaip turėtų būti organizuojamos kodavimo agentų komandos — testuojant, kur deleguojamas darbas, kaip pagrindinis agentas laukia darbuotojų, kokie modeliai atlieka kokius vaidmenis, komandos dydį ir bendravimo būdus. ProgramBench teste gerai organizuotos komandos lenkė pavienius agentus iki ~10 procentinių punktų, tačiau kainavo 3–7 kartus brangiau. Svarbiausia išvada: deleguojant darbuotojams tik tyrinėjimą ir planavimą pasiekiamas toks pat rezultatas kaip deleguojant visus etapus (įgyvendinimą ir patikrinimą) už perpus mažesnę kainą, o stiprus pagrindinis agentas su 16 pigių planavimo darbuotojų pasiekė 61,8% rezultatą, palyginti su 63,2% visiškai stipraus modelio komandoje, sumažinant kainą nuo 510 iki 155 dolerių.

Cohere

„Tamnoon“ naudoja „Amazon Bedrock“ agentus automatizuoti debesijos saugumo pašalinimui

„Tamnoon“ sukūrė „Tami“ – agentinį orkestratorių „Amazon Bedrock“ platformoje, kuris tiria debesijos saugumo radinius iš CNAPP ir debesijos paslaugų teikėjų, įvertina pašalinimo saugumą ir generuoja pataisymus su apsaugos mechanizmais. Įmonė praneša apie daugiau nei 90 % kritinių debesijos pažeidžiamumų sumažėjimą per 90 dienų, be jokių gamybinių problemų. Sistema naudoja keturis specializuotus agentus (tyrimo, saugumo vertinimo, pašalinimo, kodo generavimo), kurie per „Bedrock“ kreipiasi į skirtingus pamatinius modelius, o „Bedrock Guardrails“ ir regionų tarpusavio išvada užtikrina saugumą ir mastelį.

AWS Machine Learning
Kibernetinis saugumas· Svarbu· 🧪 Verta testuoti

GitHub pakeitė LLM pagrindu veikusį paslapčių skaitytuvą lengvu ModernBERT klasifikatoriumi

GitHub pakeitė savo LLM pagrindu veikusią sistemą, skirtą aptikti bendro pobūdžio paslaptis (slaptažodžius, API raktus), fine-tuned ModernBERT klasifikatoriumi kartu su regex kandidatų generavimu. Nauja dviejų pakopų sistema pagerino aptikimo tikslumą, kartu gerokai sumažindama skenavimo laiką ir eksploatavimo kaštus, ir dabar yra pakankamai greita, kad veiktų ne tik po kodo įkėlimo, bet ir prieš jį (push protection).

GitHub
Modeliai· Svarbu· 🧪 Verta testuoti

Nauja atviro svorio „Liquid AI“ modelio versija leidžia vykdyti agentinį samprotavimą lokaliai, naudojant tik 2B aktyvių parametrų

„Liquid AI“ paskelbė LFM2.5-24B-A2B – mišrių ekspertų (MoE) modelį su 24B bendrų parametrų, bet tik 2B aktyvių vienam tokenui, skirtą samprotaujantiems agentams vykdyti lokalioje įrangoje. Naujoje versijoje konteksto langas išplėstas iki 131K tokenų, žodynas padvigubintas, o pradinis mokymas atliktas naudojant maždaug dvigubai daugiau duomenų nei ankstesnėje versijoje. Agentinio ir įrankių naudojimo testų rezultatais modelis prilygsta arba lenkia modelius, turinčius apie 50 % daugiau parametrų, kartu pasiekdamas greitą veikimą tiek vartotojiškoje, tiek duomenų centro įrangoje.

Hugging Face
Tyrimai· 🧪 Verta testuoti

AWS atveria MoE branduolio optimizacijas vLLM sistemai – mažesnė delsa ir didesnis pralaidumas H200 GPU

AWS pristatė tris branduolio (kernel) lygio optimizacijas Mixture-of-Experts (MoE) modelių aptarnavimui Hopper GPU, sukurtas bendradarbiaujant su vLLM bendruomene ir įdiegtas Amazon SageMaker AI LMI konteineryje. Pakeitimai sprendžia fused MoE skaičiavimų neefektyvumą dekodavimo fazėje su mažomis partijomis, kai anksčiau Tensor Core branduoliai būdavo nepilnai išnaudojami. Kartu optimizacijos suteikia iki 10% didesnį pralaidumą ir iki 9% greitesnį laiką iki pirmo tokeno (TTFT).

AWS Machine Learning
Verslas· Svarbu· 🧪 Verta testuoti

NVIDIA atveria „Run:ai“ GPU orkestravimo platformos kodą

NVIDIA paskelbė, kad visa „Run:ai“ platforma dabar yra atvirojo kodo ir tampa NVIDIA DSX AI Factory Platform pagrindu AI darbo krūvių bei GPU orkestravimui Kubernetes aplinkoje. Leidime pateikiami keturi moduliniai komponentai — KAI Scheduler, GPU Fractioning Operator, KAI Resource Management ir Workload Map, kuriuos galima naudoti kartu arba atskirai. Aštuoni ekosistemos partneriai, tarp jų Crusoe, Mirantis, Nebius, OpenNebula Systems, Rafay, Saturn Cloud, Spectro Cloud ir vCluster, integruoja platformą į savo paslaugas.

NVIDIA Developer
Tyrimai· Svarbu

IBM parodė, kad atvirų modelių AI agentai gali sumažinti lustų projektavimo paieškos kaštus daugiau nei 11 kartų

IBM Research naudojo koordinuotą kelių agentų „agentų gamyklą“, kad ištirtų aparatinės įrangos optimizavimo galimybes kvantinio klaidų taisymo dekoderiui, lygindama patentuotus ir atvirus pirmaujančius modelius pagal tą patį 100 hipotezių paieškos biudžetą. Atviro modelio konfigūracija, veikianti vietoje per IBM „llm-d“ paskirstyto išvedimo sistemą, pasiekė 52 kartų pagreitį lyginant su baziniu projektu, o tai kainavo apie 26 JAV dolerius išvedimo išlaidų, palyginti su 299 doleriais patentuoto modelio konfigūracijai, kuri pasiekė didesnį, 204 kartų, pagreitį. Tyrimas parodo, kad talpyklos pažinimu paremtas maršrutizavimas ir efektyvus aptarnavimas (98 % priešdėlio talpyklos pataikymų rodiklis, ~0,11 USD už milijoną žetonų) padarė atvirų modelių metodą gerokai pigesnį, vis tiek rasdamas tinkamus, kompaktiškus aparatinės įrangos sprendimus.

IBM Research

Apple tyrėjai siūlo paversti neveikiančias Mac GPU bendru išvados klasteriu

Naujame Apple mokslinio tyrimo straipsnyje pristatomas Minions – sistema, kuri sujungia nenaudojamą GPU galią skirtinguose Apple Silicon Mac kompiuteriuose į vieną paskirstytą debesį mašininio mokymosi išvadoms vykdyti. Vietoj papildomos GPU įrangos pirkimo komandos galėtų panaudoti laisvą skaičiavimo galią jau turimuose macOS įrenginiuose. Autoriai teigia, kad sistema užtikrina užduočių paskirstymą, atsparumą gedimams ir efektyvų resursų naudojimą, siūlydama alternatyvą, kai dedikuotų GPU resursų trūksta arba jie brangūs.

Apple Machine Learning