Pereiti prie turinio
2026 m. lapkričio 19 d., ketvirtadienis
Tenesys AI News
Prenumerata

Visos naujienos

TENESYS AI NEWS seka svarbiausias AI naujienas ir paaiškina, kas pasikeitė, kodėl tai svarbu ir ar technologiją verta išbandyti.

“NVIDIA” — 4 straipsniai ✕

Modeliai· Svarbu· 🧪 Verta testuoti

Kodo agentų sąnaudų optimizavimas naudojant „Amazon Bedrock“ ir „NVIDIA NeMo Switchyard“

„Amazon“ pristatė architektūrinį sprendimą, integruojantį „NVIDIA NeMo Switchyard“ biblioteką su „LiteLLM“, skirtą dinamiškai nukreipti kodo agentų užklausas tarp skirtingų „Bedrock“ modelių. Naudojant „stage“ arba „random“ maršrutizavimą, galima efektyviai paskirstyti srautą tarp galingų ir ekonomiškų modelių, optimizuojant našumą bei kaštus.

AWS Machine Learning
Modeliai· 🧪 Verta testuoti

NVIDIA pristatė tiesioginį „Python“ palaikymą DLA vykdymui

NVIDIA išleido modulį cuda.bindings.cudla, leidžiantį „Python“ kalba valdyti „Deep Learning Accelerator“ (DLA) „Jetson AGX Orin“ platformoje. Kūrėjai dabar gali suderinti GPU išankstinį apdorojimą ir DLA išvadas viename „CUDA stream“ sraute.

NVIDIA Developer
Modeliai· Svarbu· 🧪 Verta testuoti

Didelių MoE modelių diegimas naudojant kelias NVIDIA DGX stotis

„NVIDIA“ paskelbė techninį vadovą, kaip paleisti 753B parametrų GLM-5.3 MoE modelį naudojant dvi DGX stotis su GB300 procesoriais. Naudojant tenzorinį lygiagretumą (TP=2) per RDMA jungtis ir vLLM, galima įveikti vieno GPU atminties apribojimus (252 GB HBM3e) naudojant masyvius modelius.

NVIDIA Developer
Modeliai· Svarbu· 🧪 Verta testuoti

llama.cpp pasiekė 1.0.0 versiją su oficialiu API stabilumu

„llama.cpp“ projektas oficialiai pasiekė 1.0.0 versijos etapą praėjus trejiems su puse metų nuo įkūrimo. Šiame leidime pristatomas griežtas semantinis versijavimas, siekiant užtikrinti geresnį nuspėjamumą kūrėjams, naudojantiems „libllama“ ir „libggml“ C/C++ bibliotekas.

Hugging Face