Pereiti prie turinio
2026 m. lapkričio 19 d., ketvirtadienis
Tenesys AI News
Prenumerata

Visos naujienos

TENESYS AI NEWS seka svarbiausias AI naujienas ir paaiškina, kas pasikeitė, kodėl tai svarbu ir ar technologiją verta išbandyti.

“LLM” — 73 straipsniai ✕

Tyrimai· Svarbu

Allen Institute pristatė „FairStress“ – naują etalonų rinkinį paslėptam LLM šališkumui atskleisti

Allen Institute for AI (Ai2) paskelbė FairStress – etaloną, kuris tikrina LLM demografinį sąžiningumą ne tik pagal galutinį sprendimą, bet ir pagal tai, kaip lengvai tas sprendimas keičiasi veikiant įtikinėjimui. Testuojant atvirojo kodo ir priešakinius modelius, tarp jų Olmo, Llama, Qwen, Gemma, Claude ir GPT šeimą, nustatyta, kad modeliai dažniau atsisako teisingo, gerai pagrįsto sprendimo, kai tai naudinga mažumai priskiriamam kandidatui – šis reiškinys vadinamas „anti-stereotipiniu peržengimu“ (anti-stereotypical over-correction). Etaloną sudaro 300 scenarijų 29 srityse (įdarbinimas, kreditavimas, sveikatos priežiūra, švietimas, būstas, baudžiamoji teisė), išplėstų į daugiau nei 13 mln. testinių atvejų, taip pat mažesnis 50 tūkst. elementų „FairStress-Core“ pogrupis greitesniam vertinimui.

Hugging Face
Tyrimai· Svarbu

Google ir Meta integravo natyvų TPU palaikymą į PyTorch TorchTitan mokymo karkasą

„Google“ pristatė TorchTPU – natyvų PyTorch backend'ą Cloud TPU („torch.device("tpu")“), ir kartu su „Meta“ sukūrė TorchTitan atšaką, pritaikytą mokymui TPU įrenginiuose. Anksčiau norint mokyti PyTorch modelius TPU reikėdavo perrašyti kodą į JAX arba naudoti senesnį torch_xla kelią; dabar pakanka minimalių įrenginio inicializavimo pakeitimų. Atšaka siūlo paruoštus receptus didelių tankių modelių (Llama 3 70B/405B, Qwen 3 8B/32B), MoE modelių (Qwen 3 235B) ir difuzinių transformerių (FLUX.1 12B) pirminiam mokymui, taip pat „Graph Trainer“, kuris visą mokymo žingsnį užfiksuoja kaip vieną XLA programą geresniam kompiliatoriaus optimizavimui.

Google Developers
Modeliai· Svarbu

Google pristatė natūralius PyTorch išvedimo variklius vLLM ir SGLang, skirtus TPU

Google paskelbė naujus vLLM ir SGLang išvedimo (inference) variklius, sukurtus tiesiogiai ant PyTorch TPU įrenginiams, kuriuos kūrė kartu su Inferact ir RadixArk. Varikliai veikia ant naujo TorchTPU sluoksnio, kuris paverčia TPU natūraliu PyTorch įrenginiu, pakeisdamas ankstesnį JAX pagrindu veikusį sprendimą. Google praneša apie viešą 2,01 cento už milijoną tokenų savikainą esant dideliam lygiagretumui per SemiAnalysis InferenceX projektą, taip pat palaikomus agentinius darbo krūvius, ilgą kontekstą, atskirtą (disaggregated) aptarnavimą ir multimodalius modelius.

Google Developers
Agentai· Svarbu· 🧪 Verta testuoti

Pristatytas llm-d 1.0: atviro kodo Kubernetes infrastruktūra LLM modelių eksploatavimui gamyboje

Red Hat, IBM ir Google pristatė llm-d 1.0 — Kubernetes pagrįstą paskirstytą LLM užklausų aptarnavimo sistemą, kuri peržengė atskirų našumo technikų demonstravimo etapą ir tapo tinkama realiai gamybinei eksploatacijai. Naujoje versijoje pridėta daugiafunkcė paslaugų kokybės kontrolė, nenutrūkstamos naujinimo operacijos ir agentams pritaikytas aptarnavimas, kad tas pats galinis taškas galėtų efektyviai aptarnauti tiek žmones, tiek autonominius agentus. Viename teste llm-d prefiksų talpyklos maršrutizatorius pasiekė 97% talpyklos pakartotinio panaudojimo agentiniame programavimo scenarijuje, o IBM/Red Hat paleido 3000 vienu metu veikiančių programinės įrangos inžinerijos agentų 5-10 kartų pigiau nei naudojant tą patį modelį kaip talpinamą paslaugą.

IBM Research
Tyrimai· Svarbu

Nauji tyrimai: AI agentas nenusprendžia paklusti prompt injection iškart — sprendimas formuojasi samprotavimo metu

Naujas tyrimas kvestionuoja įsitikinimą, kad AI agento likimas prieš prompt injection ataką nulemiamas tą akimirką, kai jis perskaito kenkėjišką tekstą. Tyrėjai sukūrė šakojamų pakartojimų (branching rollouts) metodą AgentDojo testų rinkiniuose: jie pakartojo agento eigą iki momento, kai jis aptinka įterptą instrukciją, tada leido likusiai epizodo daliai vystytis daugybe skirtingų būdų, kad išmatuotų, kiek galutinio rezultato jau buvo nulemta, o kiek – dar atvira. Qwen3 agentui be išplėstinio samprotavimo ("thinking") 91 proc. rezultato buvo jau nulemta tą akimirką; įjungus samprotavimą, šis skaičius sumažėjo iki 62 proc., o tai rodo, kad paklusimo sprendimas dažnai tęsiasi dar ilgai po pirmo kontakto su ataka. Samprotavimo įjungimas taip pat sumažino sėkmingų atakų prieš Qwen3 dažnį, tačiau padidino jį dviems kitiems testuotiems modeliams, o bandymų rezultatai samprotaujantiems agentams pasikeisdavo pakartojus testą iki 35 proc. atvejų.

arXiv cs.CL
Tyrimai· Svarbu· 🧪 Verta testuoti

AWS pristato „push“ tipo KV perdavimą, mažinantį delsą atskirtame vLLM infrastruktūros apdorojime

AWS išleido „push“ tipo NIXL konektorių vLLM sistemai, keičiantį, kaip raktas-reikšmė (KV) talpyklos duomenys perduodami tarp prefill ir decode egzempliorių atskirtame LLM aptarnavime. Vietoj to, kad decode egzempliorius trauktų KV blokus po prefill pabaigos, decode egzempliorius iš anksto užregistruoja paskirties atmintį, o prefill egzempliorius tiesiogiai įrašo KV duomenis, kai tik jie parengti – taip koordinavimo darbas pašalinamas iš kritinio kelio. Testuojant su Qwen3-32B modeliu 1 prefill/1 decode konfigūracijoje EC2 P5en egzemplioriuose su EFA, push režimas pasiekė iki 3 kartų geresnį laiką iki pirmo tokeno (TTFT) ir iki 30% geresnį vieno tokeno generavimo laiką (TPOT) nei numatytasis pull režimas, ypač esant didelei užklausų apkrovai.

AWS Machine Learning

„Microsoft“ ir NVIDIA pristatė bendrą atvirų svorių modelių rizikos valdymo sistemą

„Microsoft“ ir NVIDIA išleido bendrą baltąją knygą „Risk Management for Open-Weight Models in Enterprise“ — pirmąją iš planuojamos serijos, siūlančią įmonėms bendrą rizikos taksonomiją ir metodiką atvirų svorių AI modeliams vertinti. Dokumente teigiama, kad ar modelis yra atvirų, ar uždarų svorių, nėra pagrindinis rizikos veiksnys — svarbiausia naudojimo paskirtis, diegimo architektūra ir aplinkiniai apsaugos mechanizmai. Rizikos suskirstytos į penkias kategorijas (kibernetinis saugumas, duomenų apsauga, turinys, žmogaus-AI sąveika, šališkumas) ir susietos su vertinimais pagal ISO standartus bei NIST AI rizikos valdymo sistemą.

Microsoft Security
Tyrimai· Svarbu

„Google Research“ kuria AI agentus, kurie patys atlieka laboratorinius eksperimentus

„Google Research“ pristatė tyrimus, kaip AI agentus „įžeminti“ fizinėje laboratorinėje aplinkoje naudojant skaitmeninio dvynio sistemą VERID, leidžiančią agentams saugiai planuoti ir vykdyti skysčių dozavimo robotų protokolus. Kartu su uždaro ciklo molekuliniu dizainu aptamerams ir baltymams, agentai mokėsi iš laboratorinių rezultatų, kelis ciklus gerindami sėkmės rodiklius ir galiausiai aptikdami vienaženklio nanomolinio afiniteto baltymų surišiklius vėžio taikiniui.

Google Research
Agentai· 🧪 Verta testuoti

Google Cloud pristatė trijų sluoksnių agentų architektūrą didelio skaičiavimo ir valdomiems biotechnologijų procesams

Google Cloud paskelbė referencinę architektūrą, skirtą AI agentams, koordinuojantiems ilgai trunkančias, GPU reikalaujančias mokslines užduotis, tokias kaip baltymų lankstymas ir junginių atranka, kurios sugriauna įprastą vieno LLM agento modelį dėl laiko limitų ir konteksto perpildymo. Architektūra atskiria kognityvinį orkestratorių (Gemini su Agent Runtime) nuo GPU vykdymo sluoksnio (NVIDIA NIM, pvz., ESMFold ir GenMol, veikiantys GKE) ir viską apgaubia įmonės valdymo lygmeniu su agento identitetu, vartais, registru ir Model Armor apsauga. Taip pat pateikiamos geriausios praktikos: didelius duomenis perduoti nuorodomis, o ne tiesiogiai, transliuoti tarpinius pažangos atnaujinimus ir negrįžtamus veiksmus leisti tik gavus žmogaus patvirtinimą.

Google Cloud AI
Modeliai· Svarbu

Reflection pristatė Beam – 501B parametrų atvirą MoE modelį su 1M tokenų kontekstu

Nauja JAV DI laboratorija Reflection pristatė savo pirmąjį modelį Beam – atvirojo kodo mišrios ekspertų architektūros (MoE) modelį su 501B bendrų parametrų (23B aktyvuojama vienam tokenui) ir 1M tokenų konteksto langu, išleistą pagal Apache 2.0 licenciją. Modelis sukurtas programavimo ir agentinėms užduotims, pristatomas su specialiu Rust pagrindu veikiančiu vykdymo karkasu bei iš karto veikia su transformers, vLLM ir SGLang bibliotekomis. Reflection pateikia stiprius rezultatus programavimo, loginio mąstymo ir įrankių iškvietimo testuose BF16, FP8 ir NVFP4 formatais.

Hugging Face

NVIDIA ir AI4Bharat išleidžia 2,8 trilijono žetonų Indijos kalbų išankstinio apmokymo duomenų rinkinį ir atvirą duomenų generavimo konvejerį

NVIDIA kartu su IIT Madras AI4Bharat laboratorija išleidžia Nemotron-pretraining-Indic-v1 – apie 2,8 trilijono žetonų sintetinį išankstinio apmokymo duomenų rinkinį, apimantį 22 Indijos kalbas, kartu su atviru GPU pagreitintu konvejeriu, naudotu jam sukurti. Duomenų rinkinyje yra originalios rašybos duomenys visoms 22 kalboms ir romanizuoti tekstai dvylikai kalbų, sukurti verčiant atrinktą anglišką turinį (žiniatinklio tekstus, matematiką, kodą, klausimus-atsakymus) naudojant NeMo Data Designer ir tikrinant pagal MQM principu pagrįstą vertinimo sistemą. NVIDIA jau panaudojo 10 mlrd. žetonų Indijos kalbų poaibį tolesniam Nemotron 3.5 Super VL apmokymui, kuris parodė pastebimą pagerėjimą Indijos kalbų testuose.

Hugging Face
Modeliai· Svarbu· 🧪 Verta testuoti

IBM sujungia transkripciją, sprendimų priėmimą ir pokalbį viename Granite Switch modelyje

IBM pristatė Granite Switch 4.1 8B ir 30B dydžio versijas – modulinę sistemą, kuri vykdo pokalbį, sprendimų priėmimą ir kalbos transkripciją iš vieno talpinamo endpoint'o, o ne iš atskirų modelių. Atnaujinime pridėtas bendros paskirties sprendimų adapteris, specializuotas „Guardian“ adapteris saugumo klasifikacijai ir integruotas ASR modelis Granite-Speech-5.0-Turbo-CTC, pirmaujantis OpenASR reitinge. Nors sujungtos trys funkcijos, bendras modelis naudoja maždaug tiek pat VRAM, kiek ir pagrindinis modelis vienas.

Hugging Face
Modeliai· Svarbu· 🧪 Verta testuoti

Meta pristatė Muse Spark Open – atviro svorio 816B parametrų multimodalinį MoE modelį

Meta paskelbė Muse Spark Open – atvirų svorių mišraus ekspertų (MoE) modelį, turintį apie 816 milijardų parametrų iš viso ir 42 milijardus aktyvių vienam tokenui. Jis priima tekstą, vaizdus, garsą ir video, o generuoja tekstą, naudodamas iki 1 milijono tokenų kontekstą. Meta pristato jį kaip kodavimui optimizuotą, agentinį modelį, sukurtą ant mažesnio Muse Glimmer architektūros pagrindo, vadindama jį pažangiausiu iki šiol išleistu JAV atvirų svorių modeliu.

Hugging Face

„Apple“ parodė, kaip trilijono parametrų klasės LLM veikia lokaliai per Mac Studio klasterius su MLX

„Apple“ MLX komanda paskelbė našumo testus, rodančius, kad dideli atvirojo svorio modeliai – įskaitant beveik trilijono parametrų MoE modelį „Muse Spark Open“ – veikia Mac Studio aparatinėje įrangoje, tiek vienu įrenginiu, tiek paskirstytai iki keturių Mac Studio per naują RDMA-over-Thunderbolt tvarkyklę. Naujas M5 Ultra lustas su dedikuotais GPU „Neural Accelerators“ ir 1,2 TB/s atminties pralaidumu pasiekia iki 4,6 karto greitesnį pirmojo tokeno laiką ir 1,6 karto greitesnį generavimo greitį lyginant su ankstesniu M3 Ultra. Modeliams, netelpantiems viename įrenginyje, MLX dabar palaiko pipeline ir tensor paralelizaciją keliuose „Mac“ per Thunderbolt RDMA, leidžiant keturių Mac Studio klasteriui generuoti daugiau nei 36 tokenus per sekundę 816 mlrd. parametrų modeliui.

Apple Machine Learning
Modeliai· Svarbu· 🧪 Verta testuoti

Apertus 1.5: atviri 8B/70B modeliai dabar supranta vaizdą ir garsą, turi ilgesnį kontekstą bei mąstymo režimą

Swiss AI išleido Apertus 1.5 — tolesnį atvirų Apertus 1.0 modelių (8B ir 70B, Apache 2.0 licencija) apmokymą, pridedant natyvų vaizdo ir eksperimentinį garso supratimą, 4 kartus didesnį kontekstą (262 144 žetonai), pasirenkamą mąstymo režimą bei pagerintą instrukcijų laikymąsi ir įrankių naudojimą. Modeliai apmokyti iš viso su 19T (8B) ir 17T (70B) žetonų, o visi mokymo duomenys, receptai ir tarpiniai kontrolpunktai paskelbti viešai atkuriamumui. Komanda taip pat paskelbė detalias standartizuotas vertinimo korteles ir pranešė apie ankstyvą API prieigą per tiekėjus kaip Swisscom bei Infomaniak, be to, pristatė ~600B parametrų MoE Apertus 2.0 planus.

Hugging Face
Voice AI· 🧪 Verta testuoti

Nedidelis apmokytas modelis išmoksta vykdyti naujus reguliuojamus skambučių scenarijus be perkvalifikavimo

Tyrėjai pristato sistemą FlowSpec, kuri kreditoriaus teisinę skambučio procedūrą paverčia mašininiu formatu suprantamomis instrukcijomis, įrankių apribojimais, mokymo signalais ir testais balso agentui. 9 milijardų parametrų modelis buvo apmokytas naudojant skambučius, apimančius beveik 300 atsitiktinai sugeneruotų procedūrų, o vėliau išbandytas su keturiomis niekada nematytomis procedūromis, įskaitant visiškai atskirtą scenarijų šeimą, siekiant patikrinti, ar atitikties elgsena perduodama.

arXiv cs.CL
Kibernetinis saugumas· Svarbu· 🧪 Verta testuoti

GitHub pakeitė LLM pagrindu veikusį paslapčių skaitytuvą lengvu ModernBERT klasifikatoriumi

GitHub pakeitė savo LLM pagrindu veikusią sistemą, skirtą aptikti bendro pobūdžio paslaptis (slaptažodžius, API raktus), fine-tuned ModernBERT klasifikatoriumi kartu su regex kandidatų generavimu. Nauja dviejų pakopų sistema pagerino aptikimo tikslumą, kartu gerokai sumažindama skenavimo laiką ir eksploatavimo kaštus, ir dabar yra pakankamai greita, kad veiktų ne tik po kodo įkėlimo, bet ir prieš jį (push protection).

GitHub
Modeliai· Svarbu· 🧪 Verta testuoti

Nauja atviro svorio „Liquid AI“ modelio versija leidžia vykdyti agentinį samprotavimą lokaliai, naudojant tik 2B aktyvių parametrų

„Liquid AI“ paskelbė LFM2.5-24B-A2B – mišrių ekspertų (MoE) modelį su 24B bendrų parametrų, bet tik 2B aktyvių vienam tokenui, skirtą samprotaujantiems agentams vykdyti lokalioje įrangoje. Naujoje versijoje konteksto langas išplėstas iki 131K tokenų, žodynas padvigubintas, o pradinis mokymas atliktas naudojant maždaug dvigubai daugiau duomenų nei ankstesnėje versijoje. Agentinio ir įrankių naudojimo testų rezultatais modelis prilygsta arba lenkia modelius, turinčius apie 50 % daugiau parametrų, kartu pasiekdamas greitą veikimą tiek vartotojiškoje, tiek duomenų centro įrangoje.

Hugging Face
Agentai· Svarbu· 🧪 Verta testuoti

Orca Security 90% sumažino užklausų kaštus naudodama pakopinį Bedrock agentų konvejerį

Orca Security sukūrė Discovery AI — Amazon Bedrock agentą, verčiantį paprastus klausimus natūralia kalba į struktūrizuotas užklausas Sonar sistemai, kuri stebi daugiau nei 900 debesijos išteklių tipų. Vietoj vieno didelio modelio su visa schema kiekviename užklausime, gamybinė versija darbą paskirsto devynioms specializuotoms pakopoms ir keliems skirtingiems pagrindiniams modeliams. Rezultatas — gerokai mažesnės sąnaudos, greitesni atsakymai ir geresnis tikslumas sudėtingoms užklausoms; sistema veikia nuo 2026 m. kovo.

AWS Machine Learning
Tyrimai· 🧪 Verta testuoti

AWS atveria MoE branduolio optimizacijas vLLM sistemai – mažesnė delsa ir didesnis pralaidumas H200 GPU

AWS pristatė tris branduolio (kernel) lygio optimizacijas Mixture-of-Experts (MoE) modelių aptarnavimui Hopper GPU, sukurtas bendradarbiaujant su vLLM bendruomene ir įdiegtas Amazon SageMaker AI LMI konteineryje. Pakeitimai sprendžia fused MoE skaičiavimų neefektyvumą dekodavimo fazėje su mažomis partijomis, kai anksčiau Tensor Core branduoliai būdavo nepilnai išnaudojami. Kartu optimizacijos suteikia iki 10% didesnį pralaidumą ir iki 9% greitesnį laiką iki pirmo tokeno (TTFT).

AWS Machine Learning
Verslas· Svarbu· 🧪 Verta testuoti

NVIDIA atveria „Run:ai“ GPU orkestravimo platformos kodą

NVIDIA paskelbė, kad visa „Run:ai“ platforma dabar yra atvirojo kodo ir tampa NVIDIA DSX AI Factory Platform pagrindu AI darbo krūvių bei GPU orkestravimui Kubernetes aplinkoje. Leidime pateikiami keturi moduliniai komponentai — KAI Scheduler, GPU Fractioning Operator, KAI Resource Management ir Workload Map, kuriuos galima naudoti kartu arba atskirai. Aštuoni ekosistemos partneriai, tarp jų Crusoe, Mirantis, Nebius, OpenNebula Systems, Rafay, Saturn Cloud, Spectro Cloud ir vCluster, integruoja platformą į savo paslaugas.

NVIDIA Developer
Tyrimai· Svarbu

IBM parodė, kad atvirų modelių AI agentai gali sumažinti lustų projektavimo paieškos kaštus daugiau nei 11 kartų

IBM Research naudojo koordinuotą kelių agentų „agentų gamyklą“, kad ištirtų aparatinės įrangos optimizavimo galimybes kvantinio klaidų taisymo dekoderiui, lygindama patentuotus ir atvirus pirmaujančius modelius pagal tą patį 100 hipotezių paieškos biudžetą. Atviro modelio konfigūracija, veikianti vietoje per IBM „llm-d“ paskirstyto išvedimo sistemą, pasiekė 52 kartų pagreitį lyginant su baziniu projektu, o tai kainavo apie 26 JAV dolerius išvedimo išlaidų, palyginti su 299 doleriais patentuoto modelio konfigūracijai, kuri pasiekė didesnį, 204 kartų, pagreitį. Tyrimas parodo, kad talpyklos pažinimu paremtas maršrutizavimas ir efektyvus aptarnavimas (98 % priešdėlio talpyklos pataikymų rodiklis, ~0,11 USD už milijoną žetonų) padarė atvirų modelių metodą gerokai pigesnį, vis tiek rasdamas tinkamus, kompaktiškus aparatinės įrangos sprendimus.

IBM Research
Tyrimai· Svarbu· 🧪 Verta testuoti

„Amazon“ „Priming“ metodas paverčia iš anksto apmokytus Transformer modelius efektyviais hibridais už mažiau nei 1% mokymo kainos

„Amazon Web Services“ tyrėjai paskelbė metodą „priming“, kuris paverčia iš anksto apmokytus Transformer modelius hibridinėmis architektūromis, derinančiomis dėmesio (attention) ir būsenos erdvės modelio (SSM) sluoksnius, panaudojant jau turimus svorius vietoj mokymo nuo nulio. Metodas sumažina mokymo sąnaudas daugiau nei 99% ir leidžia 32 milijardų parametrų hibridiniam modeliui pasiekti tokią pačią kokybę kaip originalus Transformer modelis, dekoduojant iki dvigubai greičiau. „Amazon“ išbandė tris SSM tipus ir atvirai paskelbė modelių rinkinį, mokymo kodą bei įrankius pagal Apache 2.0 licenciją.

Amazon Science

NVIDIA ir Prinstonas pašalino sprendimo kliūtis hibridiniuose SSM modeliuose

NVIDIA kartu su Prinstono universiteto Dao AI Lab sukūrė ReplaySSM — naują būdą saugoti būseną hibridiniuose modeliuose, kurie jungia būsenos erdvės (SSM) sluoksnius su dėmesio (attention) sluoksniais. Užuot perrašius visą būseną kiekviename žingsnyje, metodas laiko periodinį kontrolinį tašką (checkpoint) ir trumpą neseniai gautų įvesčių sąrašą, atskirdamas rezultato skaičiavimą nuo atminties atnaujinimo. Tai sumažina atminties srautą maždaug per pusę, pagreitina dekodavimo branduolius iki 1,80 karto didelėse apkrovose, o spekuliatyvaus dekodavimo pralaidumas daugiau nei padvigubėja 120B dydžio modeliuose, išlaikant tikslumą arti pilno tikslumo lygio. Metodas jau integruotas į TensorRT-LLM, vLLM ir FlashInfer bei veikia produkcijoje su GLM-5.3-Flash ir Kimi-K3.

NVIDIA Developer