Pereiti prie turinio
2026 m. lapkričio 22 d., sekmadienis
Tenesys AI News
Prenumerata

Visos naujienos

TENESYS AI NEWS seka svarbiausias AI naujienas ir paaiškina, kas pasikeitė, kodėl tai svarbu ir ar technologiją verta išbandyti.

#Latency — 22 straipsniai ✕

Agentai· Svarbu· 🧪 Verta testuoti

„Google“ pristatė „Tool Retrieval“ funkciją „Gemini API“ agentams

„Google“ pristatė „Tool Retrieval“ – naują peržiūros funkciją „Gemini Interactions API“, leidžiančią agentams įrankių schemas įkelti tik tada, kai jų prireikia. Dabar kontekste laikomi tik įrankių pavadinimai ir aprašymai, o parametrų detalės atsiunčiamos tik užklausos metu, taip sumažinant įvesties žetonų (tokens) skaičių.

Google AI
Automatizavimas· Svarbu· 🧪 Verta testuoti

Didelių JSON apkrovų optimizavimas dirbtinio intelekto agentams

AWS pateikia tris strategijas, kaip valdyti masyvius JSON duomenų paketus (virš 20 MB) AI agentuose, pasiekiant iki 71 % mažesnį tokenų sunaudojimą ir 80 % mažesnį delsos laiką. Metodas apima duomenų perkėlimą į Amazon S3, rezultatų fragmentavimą ir žodynų glaudinimą.

AWS Machine Learning
Modeliai· Svarbu· 🧪 Verta testuoti

Amazon SageMaker AI pristatė KV podėliu pagrįstą užklausų nukreipimą

Amazon SageMaker AI pristatė naują 'KV_AWARE' nukreipimo strategiją, kuri nukreipia LLM užklausas į egzempliorius pagal faktinę KV podėlio būseną, o ne tik pagal užklausos pradžią. Tai optimizuoja daugiasluoksnius pokalbius ir ilgo konteksto užduotis, užtikrinant, kad užklausos patektų ten, kur jau saugomi reikiami duomenys.

AWS Machine Learning
Karšta naujienaModeliai· 🧪 Verta testuoti

„Google“ pristatė „Gemini Decisions API“, skirtą itin spartiam multimodaliniam klasifikavimui

„Google“ pristatė „Gemini Decisions API“, varomą naujojo „gemini-decision-1“ modelio. Skirtingai nei standartiniai generatyviniai modeliai, šis įrankis atlieka vieno žingsnio klasifikavimą ir vertinimą apdorojant tekstą, garsą, vaizdus, vaizdo įrašus ir PDF failus, grąžindamas pasitikėjimo balus (confidence scores), o ne tekstą.

Google AI
Automatizavimas· Svarbu· 🧪 Verta testuoti

„Amazon SageMaker“ dabar palaiko „Multi-Instance GPU“ valdomiems galiniams taškams

„Amazon SageMaker Inference“ pristatė NVIDIA „Multi-Instance GPU“ (MIG) palaikymą, leidžiantį padalyti vieną fizinį GPU į kelis nepriklausomus vienetus. Šis aparatinis padalijimas suteikia kiekvienai particijai skirtą skaičiavimo galią ir atmintį, užtikrinant nuspėjamą delsą ir griežtą izoliaciją tarp modelių, esančių tame pačiame akceleratoriuje.

AWS Machine Learning
Tyrimai· Svarbu· 🧪 Verta testuoti

AI agentų blaškymosi mažinimas didelėse kodo bazėse

AI agentai dažnai klaidingai supranta senus kodo komentarus, tokius kaip TODO ar FIXME, laikydami juos dabartinėmis instrukcijomis. Tyrimai rodo, kad 6 % programavimo sesijų agentai imasi tirti nereikšmingus, uždarytus ar pasenusius klaidas, o tai didina išlaidas ir apimties didėjimą (scope creep).

Google Developers
Modeliai· Svarbu· 🧪 Verta testuoti

RAG paieškos optimizavimas naudojant neuroninių tinklų maršrutizatorius

„Apple“ tyrėjai pristatė būdą pagreitinti maksimalios vidinės sandaugos paiešką (MIPS) RAG sistemose, naudojant mažus, konkrečiai užduočiai optimizuotus neuroninius tinklus. Apmokius modelius (SupportNet ir KeyNet) pagal užklausų pasiskirstymą, pasiekiamas didesnis tikslumas ir mažesnė delsa, palyginus su tradiciniu klasterizavimu.

Apple Machine Learning
Tyrimai· 🧪 Verta testuoti

Kelių juodraščių spekuliacinio dekodavimo efektyvumo optimizavimas

Tyrėjai sukūrė metodą, leidžiantį apskaičiuoti teorinę kelių juodraščių spekuliacinio dekodavimo (MDSD) efektyvumo ribą, sprendžiant optimalaus transportavimo problemos dualiąją formą. Tyrimas atskleidžia, kad dabartiniai verifikavimo algoritmai dažnai nepasiekia šios ribos, o atranka be grąžinimo (sampling without replacement) gerokai padidina priėmimo rodiklius, palyginti su atranka su grąžinimu.

arXiv cs.CL
Modeliai· Svarbu· 🧪 Verta testuoti

Google atnaujino A2UI su keičiamais išvadų formatais ir Express režimu

„Google“ atnaujino savo A2UI generatyvinio UI protokolą, įtraukdama keičiamus išvadų (inference) formatus, taip spręsdama vėlavimo ir patikimumo problemas, susijusias su ankstesniu „Direct JSON“ metodu. Naujasis „A2UI Express“ formatas sumažina tokenų sunaudojimą iki 3 kartų ir delsą iki 3 kartų, naudodamas glaustą „Python“ stiliaus sintaksę.

Google Developers
Modeliai· Svarbu· 🧪 Verta testuoti

„Boa Compressor“ suteikia LLM galimybę realiuoju laiku glaudinti ilgą kontekstą

Tyrėjai pristatė „Boa Compressor“ – internetinį įrankį, naudojantį „Mamba“ būsenos erdvės modelį, kuris linijiniu laiku suspaudžia ilgą kontekstą į trumpesnes reprezentacijas. Išskirstant žinias iš pilno konteksto LLM sąveikų, šis metodas leidžia efektyviai atlikti išvadas kiekvienai užklausai be didelių „Transformer“ pagrįsto glaudinimo delsos sąnaudų.

arXiv cs.CL
Modeliai· Svarbu· 🧪 Verta testuoti

Mažinkite AI agentų kaštus su Bedrock „prompt“ spartinimu

„Amazon Bedrock“ dabar palaiko aiškų (explicit) ir numanomą (implicit) užklausų spartinimą (prompt caching) „OpenAI“ modeliams, leidžiantį saugoti ir pakartotinai naudoti statinius duomenis, tokius kaip įrankiai, instrukcijos ir pokalbių istorija. Išvengus identiškų žetonų pakartotinio apdorojimo, galite žymiai sumažinti įvesties kaštus ir pagerinti reagavimą sudėtingose agentų darbo eigose.

AWS Machine Learning
Tyrimai· Svarbu· 🧪 Verta testuoti

IBM papildinys leidžia vLLM stebėti ir valdyti LLM realiuoju laiku beveik be sulėtėjimo

IBM Research pristatė vLLM-Hook MIA – papildinį atviro kodo vLLM išvedimo varikliui, leidžiantį kūrėjams stebėti ir keisti modelio vidinę būseną vykdymo metu – pavyzdžiui, atmesti kenkėjiškus užklausimus, pažymėti haliucinuotus faktus ar koreguoti atsakymo toną – neišjungiant spartaus vLLM grafikų kartojimo režimo. Pagal IBM techninę ataskaitą, MIA yra iki 20 kartų greitesnis nei ankstesnė vLLM-Hook versija ir iki 14 kartų greitesnis nei metodai, įterpiantys kodą tiesiai į modelį. Testuose valdant 8B Llama ar 1,5B Qwen modelį delsa padidėjo vos apie 2%, o su 70B Llama modeliu – apie 6%.

IBM Research
Tyrimai· Svarbu· 🧪 Verta testuoti

AWS pristato „push“ tipo KV perdavimą, mažinantį delsą atskirtame vLLM infrastruktūros apdorojime

AWS išleido „push“ tipo NIXL konektorių vLLM sistemai, keičiantį, kaip raktas-reikšmė (KV) talpyklos duomenys perduodami tarp prefill ir decode egzempliorių atskirtame LLM aptarnavime. Vietoj to, kad decode egzempliorius trauktų KV blokus po prefill pabaigos, decode egzempliorius iš anksto užregistruoja paskirties atmintį, o prefill egzempliorius tiesiogiai įrašo KV duomenis, kai tik jie parengti – taip koordinavimo darbas pašalinamas iš kritinio kelio. Testuojant su Qwen3-32B modeliu 1 prefill/1 decode konfigūracijoje EC2 P5en egzemplioriuose su EFA, push režimas pasiekė iki 3 kartų geresnį laiką iki pirmo tokeno (TTFT) ir iki 30% geresnį vieno tokeno generavimo laiką (TPOT) nei numatytasis pull režimas, ypač esant didelei užklausų apkrovai.

AWS Machine Learning
Voice AI· Svarbu· 🧪 Verta testuoti

„Deepgram“ Flux STT modelis sumažino nepageidaujamus pertraukimus „Anam“ avatarų pokalbiuose beveik perpus

„Anam“, kurianti fotorealistinius interaktyvius avatarus, perėjo prie „Deepgram“ Flux kalbos atpažinimo (STT) modelio, siekdama išspręsti pokalbio eilės (turn-taking) problemas neparuoštuose, realaus laiko pokalbiuose. A/B testavime, lyginant su savarankiškai talpinamu atviro kodo STT variantu, Flux sumažino nepageidaujamus avataro pertraukimus apie 50%, delsa nepadidėjo, o skundai dėl pokalbio eigos angliškose sesijose sumažėjo beveik iki nulio. „Anam“ įdiegė Flux savo „Kubernetes“/H100 infrastruktūroje ir pritaikė ją visiems „turnkey“ vartotojams po dviejų savaičių savarankiško diegimo (palyginti su keliomis dienomis naudojant „Deepgram“ talpinamą versiją).

Deepgram
Tyrimai· 🧪 Verta testuoti

AWS atveria MoE branduolio optimizacijas vLLM sistemai – mažesnė delsa ir didesnis pralaidumas H200 GPU

AWS pristatė tris branduolio (kernel) lygio optimizacijas Mixture-of-Experts (MoE) modelių aptarnavimui Hopper GPU, sukurtas bendradarbiaujant su vLLM bendruomene ir įdiegtas Amazon SageMaker AI LMI konteineryje. Pakeitimai sprendžia fused MoE skaičiavimų neefektyvumą dekodavimo fazėje su mažomis partijomis, kai anksčiau Tensor Core branduoliai būdavo nepilnai išnaudojami. Kartu optimizacijos suteikia iki 10% didesnį pralaidumą ir iki 9% greitesnį laiką iki pirmo tokeno (TTFT).

AWS Machine Learning
Modeliai· Svarbu· 🧪 Verta testuoti

„Google“ atvėrė ML Drift — naują GPU variklį AI inferencijai įrenginyje

„Google“ išleido ML Drift — atvirojo kodo, kelioms platformoms skirtą GPU skaičiavimo variklį ML inferencijai įrenginyje, pakeičiantį senąjį TFLite GPU delegate. Jis suvienodina šeiderių tvarkymą tarp OpenGL ES, OpenCL, Metal ir WebGPU, prideda 5D tenzorių palaikymą ir įveda etapais pagrįstus optimizavimus LLM prefill/decode fazėms. Jis jau veikia gamyboje „Chrome“, „YouTube Shorts“, „Google Photos“, „Meet“ ir partnerių programose iš „Adobe“ bei „Snap“.

Google Developers
Voice AI· Svarbu· 🧪 Verta testuoti

AssemblyAI pristato Sync API: pilna transkripcija per vieną HTTP užklausą, ~134ms uždelsimas

AssemblyAI pristatė Sync API — naują transporto būdą trumpų garso įrašų transkripcijai: vienas HTTP POST užklausimas grąžina baigtą Universal-3.5 Pro transkripciją toje pačioje atsakyme, vidutiniškai per ~134ms. Tai užpildo tarpą tarp Async API (pateikti ir laukti, pridedant 5-6 sekundes uždelsimo) ir Realtime API (WebSocket, skirtas tęstinėms sesijoms), taikant dėmesį tokioms užduotims kaip diktavimas, pokalbių agento ėjimų transkripcija, IVR ir push-to-talk. Palaikomi 80ms–2min ilgio įrašai iki 40MB, su 1,59% klaidų lygiu trumpam garsui. Kaina — 0,45 USD/val., tiek pat, kiek Universal-3.5 Pro Realtime.

AssemblyAI
Voice AI· Svarbu· 🧪 Verta testuoti

AssemblyAI pristato Qwen3.5 4B LLM Gateway platformoje greitam balso transkripcijų perrašymui

AssemblyAI paleido atviro kodo Qwen3.5 4B modelio diegimą savo LLM Gateway platformoje, specialiai optimizuotą perrašyti neapdorotą kalbos-teksto išvestį į švarų, suformatuotą tekstą. Balso perrašymo užduotyse, tokiose kaip diktavimo valymas ir transkripcijos formatavimas, modelis vidutiniškai atsakė per 612ms — 1,9 karto greičiau nei GPT-4.1 — ir kainavo 94% mažiau per valandą apdoroto garso. Modelio kaina — $0.10/$0.50 už milijoną tokenų (užklausa/atsakymas), palaikomi tik max_tokens, temperature ir stream parametrai, be įrankių kvietimo (tool calling).

AssemblyAI