„Apple“ pristatė „Depth Pro 2“ – naują monokulinio gylio vertinimo metodą, leidžiantį apdoroti nuotraukas ir vaizdo įrašus natūralia raiška. Modelis išsprendžia tradicinį konfliktą tarp aštrių objektų kraštų ir laikino stabilumo tarp kadrų. Jis užtikrina tikslų gylį metrais, nereikalaudamas kameros metaduomenų.
Tyrėjai nustatė teorines maksimalaus atlygio padidėjimo ribas derinant kalbos modelius esant fiksuotiems KL-divergencijos apribojimams. Tyrimas rodo, kad „best-of-N“ atrankos metodas priartėja prie šių teorinių ribų, o įprasti stiprinamojo mokymosi metodai, tokie kaip PPO ir GRPO, šiuo metu pasiekia suboptimalius rezultatus.
CISA atnaujino savo žinomų išnaudotų pažeidžiamumų (KEV) katalogą, įtraukdama CVE-2024-27834 – netinkamo autentifikavimo spragą, paveikiančią įvairius „Apple“ produktus. Tai rodo, kad šis pažeidžiamumas šiuo metu yra aktyviai išnaudojamas kibernetinių atakų metu.
„Apple“ tyrėjai pristatė būdą pagreitinti maksimalios vidinės sandaugos paiešką (MIPS) RAG sistemose, naudojant mažus, konkrečiai užduočiai optimizuotus neuroninius tinklus. Apmokius modelius (SupportNet ir KeyNet) pagal užklausų pasiskirstymą, pasiekiamas didesnis tikslumas ir mažesnė delsa, palyginus su tradiciniu klasterizavimu.
„Apple“ tyrėjai pristatė naują mobiliųjų UI agentų mokymo infrastruktūrą, kuri atskiria navigacijos logiką nuo vizualinio atpažinimo. Naudojant žingsninį atlygį iš LLM vertintojo ir naują GiGPPO vertinimo metodą, šie agentai pasižymi didesniu patikimumu nei modeliai, apmokyti tik stacionariais duomenimis.
„Apple“ pristatė GHARP – naują 3D žmonių galvų animacijos metodą, pagrįstą dviejų pakopų „Gaussian Splatting“ architektūra. Atskyrus statinį tapatybės atkūrimą nuo lengvo, mobiliesiems įrenginiams optimizuoto mimikos prognozavimo, modelis pasiekia aukščiausius rezultatus „Ava-256“ standarte išlaikydamas efektyvumą.
„Apple“ MLX komanda paskelbė našumo testus, rodančius, kad dideli atvirojo svorio modeliai – įskaitant beveik trilijono parametrų MoE modelį „Muse Spark Open“ – veikia Mac Studio aparatinėje įrangoje, tiek vienu įrenginiu, tiek paskirstytai iki keturių Mac Studio per naują RDMA-over-Thunderbolt tvarkyklę. Naujas M5 Ultra lustas su dedikuotais GPU „Neural Accelerators“ ir 1,2 TB/s atminties pralaidumu pasiekia iki 4,6 karto greitesnį pirmojo tokeno laiką ir 1,6 karto greitesnį generavimo greitį lyginant su ankstesniu M3 Ultra. Modeliams, netelpantiems viename įrenginyje, MLX dabar palaiko pipeline ir tensor paralelizaciją keliuose „Mac“ per Thunderbolt RDMA, leidžiant keturių Mac Studio klasteriui generuoti daugiau nei 36 tokenus per sekundę 816 mlrd. parametrų modeliui.
Apple ML tyrėjai paskelbė NeurIPS straipsnį apie SELFCOMPACT – karkasą, leidžiantį kalbos modelių agentams patiems nuspręsti, kada ir kaip glaudinti sukauptą kontekstą, vietoj fiksuoto intervalo glaudinimo pagal žetonų skaičių. Metodas derina modelio iškviečiamą glaudinimo įrankį su lengvu taisyklių rinkiniu, nurodančiu, kada glaudinti (kai použduotis išspręsta) ir kada susilaikyti (vidury išvedimo ar įstrigus). Testuotas šešiuose etalonuose ir septyniuose modeliuose, jis prilygo arba lenkė fiksuoto intervalo glaudinimą naudodamas gerokai mažiau žetonų.
Naujame Apple mokslinio tyrimo straipsnyje pristatomas Minions – sistema, kuri sujungia nenaudojamą GPU galią skirtinguose Apple Silicon Mac kompiuteriuose į vieną paskirstytą debesį mašininio mokymosi išvadoms vykdyti. Vietoj papildomos GPU įrangos pirkimo komandos galėtų panaudoti laisvą skaičiavimo galią jau turimuose macOS įrenginiuose. Autoriai teigia, kad sistema užtikrina užduočių paskirstymą, atsparumą gedimams ir efektyvų resursų naudojimą, siūlydama alternatyvą, kai dedikuotų GPU resursų trūksta arba jie brangūs.
Apple tyrėjai kartu su kolegomis iš Pensilvanijos universiteto ir UIUC pristatė naują generatyvinio modeliavimo metodą, vadinamą Normalizing Trajectory Models (NTM), straipsnyje, priimtame NeurIPS konferencijai. Skirtingai nei įprasti difuzijos modeliai, kurie remiasi daugybe mažų Gauso triukšmo šalinimo žingsnių, NTM kiekvieną žingsnį traktuoja kaip lanksčią, apgręžiamą transformaciją, išlaikančią tikslų tikimybių skaičiavimą – tai dažniausiai prarandama greituose keleto žingsnių metoduose, kurie remiasi distiliacija ar priešiškuoju mokymu. Pasak straipsnio, NTM gali pasiekti ar pranokti stiprias teksto-į-vaizdą bazines sistemas naudojant tik keturis atrankos žingsnius.
„Apple“ tyrėjai kartu su Singapūro nacionaliniu universitetu paskelbė straipsnį apie RISED – naują LLM agentų mokymo sistemą, skirtą tuo pačiu metu mokytis keliose skirtingose interaktyviose aplinkose. Vietoj to, kad remtųsi tik skaitiniais atlygio signalais, RISED naudoja LLM teisėją, kuris kiekvieną mokymo bandymą pažymi rubrikomis, apibūdinančiomis elgseną, o tada šias žymas naudoja treniruočių duomenims atrinkti ir papildomai priežiūrai suteikti. Autoriai teigia, kad RISED pasiekia aukščiausią vidutinį sėkmės rodiklį tarp aplinkų, palyginti su esamais metodais, ir kiekvienoje testuotoje aplinkoje užima pirmą arba antrą vietą.