Firma Apple zaprezentowała Depth Pro 2, nowe podejście do monokularowej estymacji głębi, które obsługuje zdjęcia i wideo w natywnej rozdzielczości. Model eliminuje tradycyjny kompromis między ostrością krawędzi obiektów a stabilnością czasową między klatkami. Dostarcza gęste mapy głębi w metrach bez konieczności posiadania metadanych kamery.
Naukowcy wyznaczyli teoretyczne limity maksymalnego wzrostu nagrody podczas wyrównywania modeli językowych przy ustalonych ograniczeniach dywergencji KL. Wyniki pokazują, że metoda próbkowania „best-of-N” skutecznie zbliża się do tych teoretycznych granic, podczas gdy powszechne metody uczenia przez wzmacnianie, takie jak PPO i GRPO, pozostają obecnie suboptymalne.
CISA zaktualizowała swój katalog znanych wykorzystywanych luk (KEV), dodając CVE-2024-27834, czyli błąd nieprawidłowego uwierzytelniania mający wpływ na różne produkty Apple. Wskazuje to, że luka jest obecnie aktywnie wykorzystywana w atakach.
Badacze Apple wprowadzili podejście przyspieszające wyszukiwanie Maximum Inner Product Search (MIPS) w systemach RAG przy użyciu małych, wyspecjalizowanych sieci neuronowych. Trenując modele (SupportNet i KeyNet) w oparciu o rozkłady zapytań, systemy osiągają wyższą skuteczność (recall) przy niższym opóźnieniu w porównaniu do tradycyjnych metod partycjonowania.
Badacze z Apple zaprezentowali infrastrukturę do uczenia online agentów mobilnych, która rozdziela logikę planowania od interpretacji wizualnej interfejsu. Dzięki zastosowaniu szczegółowych sygnałów zwrotnych od LLM oraz nowej metody GiGPPO, modele te osiągają znacznie lepszą stabilność niż systemy szkolone wyłącznie na statycznych danych.
Firma Apple zaprezentowała GHARP, nową metodę animowania ludzkich głów 3D w czasie rzeczywistym z wykorzystaniem dwuetapowego podejścia Gaussian Splatting. Dzięki rozdzieleniu statycznej rekonstrukcji tożsamości od lekkiego, zoptymalizowanego pod kątem urządzeń mobilnych przewidywania mimiki, model osiąga wiodące wyniki w benchmarku Ava-256 przy wysokiej wydajności obliczeniowej.
Zespół MLX firmy Apple opublikował testy wydajności pokazujące, że duże modele open-weight — w tym model MoE o niemal bilionie parametrów o nazwie Muse Spark Open — działają na sprzęcie Mac Studio, zarówno na pojedynczej maszynie, jak i rozproszone na do czterech Mac Studio dzięki nowemu sterownikowi RDMA over Thunderbolt. Nowy chip M5 Ultra, z dedykowanymi GPU Neural Accelerators i przepustowością pamięci 1,2 TB/s, osiąga do 4,6 razy szybszy czas do pierwszego tokena i 1,6 razy szybszą generację w porównaniu z poprzednim M3 Ultra. Dla modeli zbyt dużych, by zmieścić się na jednej maszynie, MLX obsługuje teraz równoległość potokową i tensorową na wielu Makach połączonych przez Thunderbolt RDMA, pozwalając klastrowi czterech Mac Studio generować ponad 36 tokenów na sekundę dla modelu o 816 mld parametrów.
Badacze Apple ML opublikowali artykuł na NeurIPS wprowadzający SELFCOMPACT – strukturę pozwalającą agentom opartym na modelach językowych samodzielnie decydować, kiedy i jak kompaktować zgromadzony kontekst, zamiast polegać na kompaktyzacji wyzwalanej w stałych odstępach na podstawie liczby tokenów. Metoda łączy narzędzie kompaktyzacji wywoływane przez model z lekkim zestawem reguł wskazujących, kiedy działać (gdy podzadanie zostało rozwiązane) i kiedy wstrzymać się (w trakcie wyprowadzania lub przy utknięciu). Testowana na sześciu benchmarkach i siedmiu modelach, dorównała lub przewyższyła kompaktyzację w stałych odstępach, zużywając znacznie mniej tokenów.
Nowy artykuł badawczy Apple przedstawia Minions – system łączący niewykorzystaną moc GPU w komputerach Mac z chipami Apple Silicon w jedną rozproszoną chmurę do uruchamiania wnioskowania modeli uczenia maszynowego. Zamiast kupować dodatkowy sprzęt GPU, zespoły mogłyby wykorzystać wolną moc obliczeniową już posiadanych urządzeń z macOS. Autorzy twierdzą, że system zapewnia planowanie zadań, odporność na awarie i efektywne wykorzystanie zasobów, oferując alternatywę, gdy dedykowanych zasobów GPU brakuje lub są drogie.
Naukowcy Apple, wraz ze współpracownikami z University of Pennsylvania i UIUC, przedstawili nową technikę modelowania generatywnego o nazwie Normalizing Trajectory Models (NTM) w artykule przyjętym na konferencję NeurIPS. W przeciwieństwie do typowych modeli dyfuzyjnych, które opierają się na wielu małych krokach odszumiania Gaussa, NTM traktuje każdy krok jako elastyczną, odwracalną transformację zachowującą dokładne obliczenia prawdopodobieństwa — coś, co większość szybkich metod kilkuetapowych traci, polegając na destylacji lub trenowaniu adwersarialnym. Według artykułu, NTM może dorównać lub przewyższyć mocne modele bazowe text-to-image, używając zaledwie czterech kroków próbkowania.
Badacze Apple, wspólnie z Narodowym Uniwersytetem Singapuru, opublikowali pracę o RISED – nowej metodzie trenowania agentów LLM, które muszą jednocześnie uczyć się w wielu różnych środowiskach interaktywnych. Zamiast polegać wyłącznie na skalarnych sygnałach nagrody, RISED wykorzystuje sędziego LLM, który oznacza każdy przebieg treningowy rubrykami opisującymi zachowanie, a następnie wykorzystuje te oznaczenia do wyboru danych treningowych i dostarczenia dodatkowego nadzoru. Autorzy podają, że RISED osiąga najwyższy średni wskaźnik sukcesu we wszystkich środowiskach w porównaniu z istniejącymi metodami, zajmując pierwsze lub drugie miejsce w każdym testowanym środowisku.