Pereiti prie turinio
2026 m. lapkričio 19 d., ketvirtadienis
Tenesys AI News
Prenumerata

Visos naujienos

TENESYS AI NEWS seka svarbiausias AI naujienas ir paaiškina, kas pasikeitė, kodėl tai svarbu ir ar technologiją verta išbandyti.

“Inference” — 88 straipsniai ✕

Tyrimai· Svarbu· 🧪 Verta testuoti

AWS pristato „push“ tipo KV perdavimą, mažinantį delsą atskirtame vLLM infrastruktūros apdorojime

AWS išleido „push“ tipo NIXL konektorių vLLM sistemai, keičiantį, kaip raktas-reikšmė (KV) talpyklos duomenys perduodami tarp prefill ir decode egzempliorių atskirtame LLM aptarnavime. Vietoj to, kad decode egzempliorius trauktų KV blokus po prefill pabaigos, decode egzempliorius iš anksto užregistruoja paskirties atmintį, o prefill egzempliorius tiesiogiai įrašo KV duomenis, kai tik jie parengti – taip koordinavimo darbas pašalinamas iš kritinio kelio. Testuojant su Qwen3-32B modeliu 1 prefill/1 decode konfigūracijoje EC2 P5en egzemplioriuose su EFA, push režimas pasiekė iki 3 kartų geresnį laiką iki pirmo tokeno (TTFT) ir iki 30% geresnį vieno tokeno generavimo laiką (TPOT) nei numatytasis pull režimas, ypač esant didelei užklausų apkrovai.

AWS Machine Learning
Modeliai· Svarbu

Reflection pristatė Beam – 501B parametrų atvirą MoE modelį su 1M tokenų kontekstu

Nauja JAV DI laboratorija Reflection pristatė savo pirmąjį modelį Beam – atvirojo kodo mišrios ekspertų architektūros (MoE) modelį su 501B bendrų parametrų (23B aktyvuojama vienam tokenui) ir 1M tokenų konteksto langu, išleistą pagal Apache 2.0 licenciją. Modelis sukurtas programavimo ir agentinėms užduotims, pristatomas su specialiu Rust pagrindu veikiančiu vykdymo karkasu bei iš karto veikia su transformers, vLLM ir SGLang bibliotekomis. Reflection pateikia stiprius rezultatus programavimo, loginio mąstymo ir įrankių iškvietimo testuose BF16, FP8 ir NVFP4 formatais.

Hugging Face
Modeliai· Svarbu· 🧪 Verta testuoti

IBM sujungia transkripciją, sprendimų priėmimą ir pokalbį viename Granite Switch modelyje

IBM pristatė Granite Switch 4.1 8B ir 30B dydžio versijas – modulinę sistemą, kuri vykdo pokalbį, sprendimų priėmimą ir kalbos transkripciją iš vieno talpinamo endpoint'o, o ne iš atskirų modelių. Atnaujinime pridėtas bendros paskirties sprendimų adapteris, specializuotas „Guardian“ adapteris saugumo klasifikacijai ir integruotas ASR modelis Granite-Speech-5.0-Turbo-CTC, pirmaujantis OpenASR reitinge. Nors sujungtos trys funkcijos, bendras modelis naudoja maždaug tiek pat VRAM, kiek ir pagrindinis modelis vienas.

Hugging Face
Modeliai· Svarbu

„Mistral“ pristatė Timestral – laiko eilučių prognozavimo modelių šeimą

„Mistral AI“ išleido Timestral – pirmąją savo laiko eilučių prognozavimo pagrindinių modelių šeimą, kurią sudaro keturi dydžiai nuo 5 mln. iki 209 mln. parametrų. Didžiausias modelis užima pirmą vietą visuose trijuose pagrindiniuose viešuose prognozavimo etalonuose (GIFT-Eval, TIME, fev-bench), aplenkdamas ankstesnius lyderius, turinčius daugiau parametrų. Modeliai generuoja tikimybinius, daugiamačius prognozavimus, palaiko praeities ir žinomas ateities kintamąsias (covariates) ir efektyviai veikia CPU be GPU poreikio.

Mistral AI
Agentai· Svarbu· 🧪 Verta testuoti

Cohere tyrimas: gerai organizuotos agentų komandos lenkia pavienius kodavimo agentus už dalį kainos

Cohere sukūrė kontroliuojamą testavimo aplinką, kad ištirtų, kaip turėtų būti organizuojamos kodavimo agentų komandos — testuojant, kur deleguojamas darbas, kaip pagrindinis agentas laukia darbuotojų, kokie modeliai atlieka kokius vaidmenis, komandos dydį ir bendravimo būdus. ProgramBench teste gerai organizuotos komandos lenkė pavienius agentus iki ~10 procentinių punktų, tačiau kainavo 3–7 kartus brangiau. Svarbiausia išvada: deleguojant darbuotojams tik tyrinėjimą ir planavimą pasiekiamas toks pat rezultatas kaip deleguojant visus etapus (įgyvendinimą ir patikrinimą) už perpus mažesnę kainą, o stiprus pagrindinis agentas su 16 pigių planavimo darbuotojų pasiekė 61,8% rezultatą, palyginti su 63,2% visiškai stipraus modelio komandoje, sumažinant kainą nuo 510 iki 155 dolerių.

Cohere

„Tamnoon“ naudoja „Amazon Bedrock“ agentus automatizuoti debesijos saugumo pašalinimui

„Tamnoon“ sukūrė „Tami“ – agentinį orkestratorių „Amazon Bedrock“ platformoje, kuris tiria debesijos saugumo radinius iš CNAPP ir debesijos paslaugų teikėjų, įvertina pašalinimo saugumą ir generuoja pataisymus su apsaugos mechanizmais. Įmonė praneša apie daugiau nei 90 % kritinių debesijos pažeidžiamumų sumažėjimą per 90 dienų, be jokių gamybinių problemų. Sistema naudoja keturis specializuotus agentus (tyrimo, saugumo vertinimo, pašalinimo, kodo generavimo), kurie per „Bedrock“ kreipiasi į skirtingus pamatinius modelius, o „Bedrock Guardrails“ ir regionų tarpusavio išvada užtikrina saugumą ir mastelį.

AWS Machine Learning
Kibernetinis saugumas· Svarbu· 🧪 Verta testuoti

GitHub pakeitė LLM pagrindu veikusį paslapčių skaitytuvą lengvu ModernBERT klasifikatoriumi

GitHub pakeitė savo LLM pagrindu veikusią sistemą, skirtą aptikti bendro pobūdžio paslaptis (slaptažodžius, API raktus), fine-tuned ModernBERT klasifikatoriumi kartu su regex kandidatų generavimu. Nauja dviejų pakopų sistema pagerino aptikimo tikslumą, kartu gerokai sumažindama skenavimo laiką ir eksploatavimo kaštus, ir dabar yra pakankamai greita, kad veiktų ne tik po kodo įkėlimo, bet ir prieš jį (push protection).

GitHub
Modeliai· Svarbu· 🧪 Verta testuoti

Nauja atviro svorio „Liquid AI“ modelio versija leidžia vykdyti agentinį samprotavimą lokaliai, naudojant tik 2B aktyvių parametrų

„Liquid AI“ paskelbė LFM2.5-24B-A2B – mišrių ekspertų (MoE) modelį su 24B bendrų parametrų, bet tik 2B aktyvių vienam tokenui, skirtą samprotaujantiems agentams vykdyti lokalioje įrangoje. Naujoje versijoje konteksto langas išplėstas iki 131K tokenų, žodynas padvigubintas, o pradinis mokymas atliktas naudojant maždaug dvigubai daugiau duomenų nei ankstesnėje versijoje. Agentinio ir įrankių naudojimo testų rezultatais modelis prilygsta arba lenkia modelius, turinčius apie 50 % daugiau parametrų, kartu pasiekdamas greitą veikimą tiek vartotojiškoje, tiek duomenų centro įrangoje.

Hugging Face
Verslas· Svarbu· 🧪 Verta testuoti

NVIDIA atveria „Run:ai“ GPU orkestravimo platformos kodą

NVIDIA paskelbė, kad visa „Run:ai“ platforma dabar yra atvirojo kodo ir tampa NVIDIA DSX AI Factory Platform pagrindu AI darbo krūvių bei GPU orkestravimui Kubernetes aplinkoje. Leidime pateikiami keturi moduliniai komponentai — KAI Scheduler, GPU Fractioning Operator, KAI Resource Management ir Workload Map, kuriuos galima naudoti kartu arba atskirai. Aštuoni ekosistemos partneriai, tarp jų Crusoe, Mirantis, Nebius, OpenNebula Systems, Rafay, Saturn Cloud, Spectro Cloud ir vCluster, integruoja platformą į savo paslaugas.

NVIDIA Developer
Tyrimai· Svarbu

IBM parodė, kad atvirų modelių AI agentai gali sumažinti lustų projektavimo paieškos kaštus daugiau nei 11 kartų

IBM Research naudojo koordinuotą kelių agentų „agentų gamyklą“, kad ištirtų aparatinės įrangos optimizavimo galimybes kvantinio klaidų taisymo dekoderiui, lygindama patentuotus ir atvirus pirmaujančius modelius pagal tą patį 100 hipotezių paieškos biudžetą. Atviro modelio konfigūracija, veikianti vietoje per IBM „llm-d“ paskirstyto išvedimo sistemą, pasiekė 52 kartų pagreitį lyginant su baziniu projektu, o tai kainavo apie 26 JAV dolerius išvedimo išlaidų, palyginti su 299 doleriais patentuoto modelio konfigūracijai, kuri pasiekė didesnį, 204 kartų, pagreitį. Tyrimas parodo, kad talpyklos pažinimu paremtas maršrutizavimas ir efektyvus aptarnavimas (98 % priešdėlio talpyklos pataikymų rodiklis, ~0,11 USD už milijoną žetonų) padarė atvirų modelių metodą gerokai pigesnį, vis tiek rasdamas tinkamus, kompaktiškus aparatinės įrangos sprendimus.

IBM Research
Tyrimai· Svarbu· 🧪 Verta testuoti

„Amazon“ „Priming“ metodas paverčia iš anksto apmokytus Transformer modelius efektyviais hibridais už mažiau nei 1% mokymo kainos

„Amazon Web Services“ tyrėjai paskelbė metodą „priming“, kuris paverčia iš anksto apmokytus Transformer modelius hibridinėmis architektūromis, derinančiomis dėmesio (attention) ir būsenos erdvės modelio (SSM) sluoksnius, panaudojant jau turimus svorius vietoj mokymo nuo nulio. Metodas sumažina mokymo sąnaudas daugiau nei 99% ir leidžia 32 milijardų parametrų hibridiniam modeliui pasiekti tokią pačią kokybę kaip originalus Transformer modelis, dekoduojant iki dvigubai greičiau. „Amazon“ išbandė tris SSM tipus ir atvirai paskelbė modelių rinkinį, mokymo kodą bei įrankius pagal Apache 2.0 licenciją.

Amazon Science
Agentai· Svarbu· 🧪 Verta testuoti

AWS ir Postman atskleidžia, kaip „Agent Mode“ veikia 40 mln. kūrėjų naudojant Amazon Bedrock

AWS kartu su Postman paskelbė techninę apžvalgą, kaip Postman sukūrė „Agent Mode“ – AI pagrįstą sąsają API testavimui ir dokumentacijai, veikiančią produkcinėje aplinkoje dideliu mastu. Komanda nustatė, kad didžiausia kliūtis buvo ne modelio kokybė, o įrankių gausa ir trūkstamas kontekstas. Įraše aprašomi architektūriniai sprendimai: dinaminis įrankių parinkimas, schema pagrįstos užklausos, specializuoti konteksto apdorojimo moduliai bei Amazon Bedrock teikiamos galimybės – modelio lankstumas, kelių regionų išvada, duomenų rezidavimo kontrolė ir prompt caching.

AWS Machine Learning
Modeliai· Svarbu· 🧪 Verta testuoti

„Google“ atvėrė ML Drift — naują GPU variklį AI inferencijai įrenginyje

„Google“ išleido ML Drift — atvirojo kodo, kelioms platformoms skirtą GPU skaičiavimo variklį ML inferencijai įrenginyje, pakeičiantį senąjį TFLite GPU delegate. Jis suvienodina šeiderių tvarkymą tarp OpenGL ES, OpenCL, Metal ir WebGPU, prideda 5D tenzorių palaikymą ir įveda etapais pagrįstus optimizavimus LLM prefill/decode fazėms. Jis jau veikia gamyboje „Chrome“, „YouTube Shorts“, „Google Photos“, „Meet“ ir partnerių programose iš „Adobe“ bei „Snap“.

Google Developers
Agentai· Svarbu

AWS pristato, kaip AI agentai gali mokėti už kiekvieną užklausą naudojant Bedrock AgentCore payments

AWS paskelbė atvejo analizę apie Amazon Bedrock AgentCore payments – valdomą funkciją, leidžiančią AI agentams savarankiškai mokėti už paslaugas, pvz., modelio užklausas, po vieną kartą naudojant x402 mokėjimų protokolą. Incarna šią funkciją panaudojo tam, kad jos agentai galėtų mokėti BlockRun, kelių tiekėjų inferencijos maršrutizatoriui, už kiekvieną atskirą modelio užklausą, atsiskaitant USDC stabilia moneta Base tinkle. AWS teigia, kad Incarna sutrumpino integracijos laiką nuo planuotų dviejų–trijų mėnesių iki trijų dienų ir apie 200 kodo eilučių. Beta testavimo metu agentai apdorojo daugiau nei 1000 mokėjimų, svyruojančių nuo 0,001 iki 0,05 USD už užklausą.

AWS Machine Learning
Kibernetinis saugumas· Svarbu· 🧪 Verta testuoti

Cloudflare diegia kelių AI agentų sistemą saugumo įspėjimams rūšiuoti dideliu mastu

Cloudflare sukūrė AI agentų sistemą savo „Managed Defense“ saugumo paslaugai, skirtą tvarkyti įspėjimų antplūdį, kuris apsunkina žmonių analitikų darbą. Vietoj vieno bendros paskirties agento, analizuojančio viską, sistema atskiria deterministinį duomenų rinkimą nuo modeliu pagrįsto samprotavimo ir lygiagrečiai paleidžia keturis specializuotus agentus prieš sintezės agentą, sujungiantį išvadas. Bendrovė teigia, kad tai sumažina haliucinacijas ir padaro tyrimus audituojamus bei atkuriamus.

Cloudflare Security
Modeliai· Svarbu· 🧪 Verta testuoti

Z.ai GLM 5.3 (753B MoE) pasirodė „Amazon Bedrock“ su stipriais kodavimo ir saugumo rezultatais

Z.ai sukurtas GLM 5.3 — 753 milijardų parametrų MoE modelis, optimizuotas kodavimui ir ilgalaikėms agentinėms užduotims — dabar prieinamas kaip pilnai valdomas modelis „Amazon Bedrock“ platformoje. Jis tobulina GLM 5 liniją geresniais kodavimo benchmarkų rezultatais, išskirtinėmis kibernetinio saugumo galimybėmis (CyberGym rezultatas 84,5) ir gilesne integracija su Bedrock, įskaitant OpenAI suderinamas API, prompt talpinimą, tarpregioninį interferavimą ir aptarnavimo lygius. AWS taip pat parodo, kaip GLM 5.3 naudoti su atviro kodo agentu Strix autorizuotam savo programų penetraciniam testavimui.

AWS Machine Learning