„llama.cpp“ projektas oficialiai pasiekė 1.0.0 versijos etapą praėjus trejiems su puse metų nuo įkūrimo. Šiame leidime pristatomas griežtas semantinis versijavimas, siekiant užtikrinti geresnį nuspėjamumą kūrėjams, naudojantiems „libllama“ ir „libggml“ C/C++ bibliotekas.
NVIDIA pristatė „NVIDIA Kubernetes Engine“ (NVKE) ir „NVIDIA Kubernetes Recipes“ (NVKR) kaip atvirojo kodo projektus viešajai peržiūrai. Šie įrankiai skirti padėti kurti, diegti ir valdyti „Kubernetes“ klasterius, specialiai optimizuotus GPU pagreitinamiems darbams.
„Nod“ yra nauja atvirojo kodo, lokaliai veikianti agento programa, kuri atlieka užduotis veikdama „sandbox“ virtualioje aplinkoje jūsų kompiuteryje. Skirtingai nei pokalbių AI, „Nod“ tiesiogiai sąveikauja su žiniatinklio sąsajomis ir programomis, kad savarankiškai atliktų daugiapakopius darbus.
„IBM“ pristatė „Praxis Policy Engine“ (PPE) – atviro kodo įrankį, dabar esantį „CNCF Sandbox“, skirtą saugumo ir prieigos politikai užtikrinti DI sraute. Jis veikia kaip etaloninis stebėtojas, reguliuojantis užklausas, modelių iškvietimus ir agentų sąveiką naudojant bendrą duomenų formatą.
OpenSSF pristatė naują vadovą, kaip naudoti dirbtinį intelektą pažeidžiamumų paieškai ir šalinimui, bei paskelbė apie gruodžio mėn. startuosiantį „Secure AI Associate“ (SAIA) sertifikavimą. Šios iniciatyvos skirtos spręsti saugumo spragas, kylančias dėl spartaus AI integravimo į programinės įrangos kūrimo ciklą.
NVIDIA pristatė diegimo receptus keturiems svarbiems Korėjos atviro kodo modeliams, tokiems kaip A.X K2 ir „Solar Open 2“, naudojant „Dynamo“ sistemą. Šie receptai yra specialiai pritaikyti kelių mazgų NVIDIA B200 GPU klasteriams, kad būtų galima efektyviai vykdyti didelio masto išvadas (inference).
„Gradium“ išleido „Phonon“ – kompaktiškų (65–75 MB) teksto į kalbą modelių rinkinį, skirtą veikti tiesiogiai vartotojo įrenginyje. Jis palaiko penkias kalbas, veikia be interneto ir demonstruoja rezultatus, prilygstančius gerokai didesniems modeliams.
IBM pristatė tris „Granite Speech“ šeimos atnaujinimus: visiškai naują 2B kalbos-kalbos modelį (granite-speech-5.0-2b), patobulintą 470M „Turbo CTC“ modelį, skirtą greičiui, ir patobulintą 4.1-2B-Plus modelį, pritaikytą pokalbiams su keliais kalbėtojais. Kartu jie skirti tikslesnei transkripcijai/vertimui, greitam atpažinimui įrenginyje ir tiksliam kalbėtojų bei laiko žymių nurodymui. Visi trys lieka pagal Apache 2.0 licenciją.
IBM Research pristatė vLLM-Hook MIA – papildinį atviro kodo vLLM išvedimo varikliui, leidžiantį kūrėjams stebėti ir keisti modelio vidinę būseną vykdymo metu – pavyzdžiui, atmesti kenkėjiškus užklausimus, pažymėti haliucinuotus faktus ar koreguoti atsakymo toną – neišjungiant spartaus vLLM grafikų kartojimo režimo. Pagal IBM techninę ataskaitą, MIA yra iki 20 kartų greitesnis nei ankstesnė vLLM-Hook versija ir iki 14 kartų greitesnis nei metodai, įterpiantys kodą tiesiai į modelį. Testuose valdant 8B Llama ar 1,5B Qwen modelį delsa padidėjo vos apie 2%, o su 70B Llama modeliu – apie 6%.
Red Hat, IBM ir Google pristatė llm-d 1.0 — Kubernetes pagrįstą paskirstytą LLM užklausų aptarnavimo sistemą, kuri peržengė atskirų našumo technikų demonstravimo etapą ir tapo tinkama realiai gamybinei eksploatacijai. Naujoje versijoje pridėta daugiafunkcė paslaugų kokybės kontrolė, nenutrūkstamos naujinimo operacijos ir agentams pritaikytas aptarnavimas, kad tas pats galinis taškas galėtų efektyviai aptarnauti tiek žmones, tiek autonominius agentus. Viename teste llm-d prefiksų talpyklos maršrutizatorius pasiekė 97% talpyklos pakartotinio panaudojimo agentiniame programavimo scenarijuje, o IBM/Red Hat paleido 3000 vienu metu veikiančių programinės įrangos inžinerijos agentų 5-10 kartų pigiau nei naudojant tą patį modelį kaip talpinamą paslaugą.