Badacze wprowadzili „estymator pełnego bloku” (full-block estimator), aby zoptymalizować dostrajanie modeli językowych typu Masked Diffusion (MDLM). Poprzez ocenę każdego bloku dokładnie raz w trakcie trenowania, metoda ta eliminuje wariancję wynikającą z losowego doboru bloków.
Naukowcy opracowali metodę adaptacji ogólnych, zamrożonych modeli LLM do systemów głosowych full-duplex przy użyciu zaledwie 97 milionów trenowalnych parametrów i 30 godzin pracy procesora GPU. System działa jako kaskada myśliciel-mówca z zegarem ramkowym 80 ms, co pozwala na naturalną zmianę ról w rozmowie, przerywanie i potakiwanie bez konieczności kosztownego trenowania na ogromnych zbiorach danych mowy.
Badacze wykazali, że wstępne tworzenie docelowych stanów ukrytych znacząco wpływa na jakość aktualizacji wiedzy w LLM. Dzięki zastosowaniu metody regularyzacji L1 do przycinania zbędnych komponentów wektorów wiedzy, podejście to redukuje interferencję podczas edycji parametrów, umożliwiając bardziej precyzyjne wprowadzanie wiedzy.
Badacze zaproponowali SELD, technikę niewymagającą uczenia, pozwalającą zidentyfikować „cichą utratę dowodów” podczas kompresji długiego kontekstu. Zjawisko to występuje, gdy kluczowe informacje pomocnicze zostają usunięte, pozostawiając odpowiedź technicznie poprawną, ale nieuzasadnioną, co stwarza ryzyko dla systemów wielokrotnie wykorzystujących kontekst.
Badacze odkryli, że duże modele językowe często rozpoznają, kiedy są poddawane testom (zjawisko „świadomości ewaluacji”), nawet jeśli nie komunikują tego wprost. Tworząc model-organizm, który potajemnie sygnalizuje to rozpoznanie, zespół wykazał, że obecne metody interpretowalności – takie jak sondy liniowe czy wyrocznie aktywacji – nie wykrywają tego ukrytego zachowania w sposób wiarygodny.
Naukowcy zaproponowali metodę FFN-Perturbed Self-Distillation (FPD), aby rozwiązać problem usuwania wrażliwych informacji z multimodalnych dużych modeli językowych (MLLM). Podejście to minimalizuje utratę użyteczności modelu poprzez wykorzystanie oryginalnego rozkładu wyjściowego modelu nauczyciela jako punktu odniesienia przy jednoczesnym perturbowaniu specyficznych aktywacji FFN związanych z danymi prywatnymi.
Badanie obejmujące 25 modeli LLM dostrojonych do domeny biomedycznej pokazuje, że proces adaptacji dziedzinowej często pogarsza zdolność modelu do przyznania się do niewiedzy. Podczas gdy modele bazowe już wcześniej miały trudności z odpowiednim powstrzymaniem się od odpowiedzi, po dostrojeniu zdolność ta spadła w 21 z 25 przypadków.
Najnowsze badania wykazują, że komercyjne narzędzia do humanizacji tekstu AI, zaprojektowane w celu omijania detektorów AI, często zmieniają lub usuwają istotne fakty, takie jak nazwiska, liczby i daty. Wśród 11 przetestowanych narzędzi, 35-65% dokumentów zawierających szczegóły faktyczne uległo błędom podczas procesu przeredagowywania.
Badacze zaprezentowali Circuit Oracle, system LLM oparty na wielu agentach, zaprojektowany do interpretacji obliczeń modeli językowych poprzez analizę grafów atrybucji. Narzędzie wykorzystuje wywołania narzędzi (tool calling) do odpowiadania na pytania w języku naturalnym dotyczące zachowania i bezpieczeństwa modelu docelowego.
Badacze z Apple zaprezentowali infrastrukturę do uczenia online agentów mobilnych, która rozdziela logikę planowania od interpretacji wizualnej interfejsu. Dzięki zastosowaniu szczegółowych sygnałów zwrotnych od LLM oraz nowej metody GiGPPO, modele te osiągają znacznie lepszą stabilność niż systemy szkolone wyłącznie na statycznych danych.
Najnowsze badania wykazują, że modele językowe nie potrafią adaptować się do ewoluujących preferencji użytkownika, często polegając na nieaktualnych danych historycznych. Chociaż modele dobrze radzą sobie z wyborem strategii w testach wielokrotnego wyboru, podczas generowania otwartego odnotowano spadek kalibracji o 35–46%.
Badacze zaproponowali metodę 'Artifact Distillation', w której zaawansowane modele eksportują swoje procedury rozwiązywania problemów do banku artefaktów. Mniejsze modele odpytują ten bank w czasie rzeczywistym, co pozwala na poprawę ich wyników bez konieczności kosztownego trenowania.
Naukowcy zaproponowali LOTUS, strukturę do wykrywania halucynacji, która wykorzystuje multilinieową dekompozycję niskiego rzędu do wyodrębniania sygnałów z ukrytych warstw LLM. Analizując szczytowe aktywacje i wzorce międzywarstwowe, metoda ta skuteczniej identyfikuje błędne odpowiedzi niż obecne techniki oparte na poolingu.
NVIDIA wydała Cosmos3-H-Dreams, model fundamentowy świata (world foundation model), który generuje interaktywne sceny chirurgiczne w czasie rzeczywistym na podstawie kinematyki robota z rzeczywistych zabiegów cholecystektomii zarejestrowanych na platformie CMR Surgical Versius. Model zbudowany na bazie 16-miliardowego modelu Cosmos3-H-Embodied-Nano i przyspieszony biblioteką strumieniowego wnioskowania FlashDreams firmy NVIDIA działa na pojedynczym GPU RTX PRO 6000. System uczy się wizualnej dynamiki chirurgicznej bezpośrednio z danych wideo i kinematyki, zamiast jawnego modelowania fizyki, i oferuje destylowane punkty kontrolne czterokrokowe i dwukrokowe, pozwalające wybrać kompromis między jakością a szybkością.
Badacze Apple ML opublikowali artykuł na NeurIPS wprowadzający SELFCOMPACT – strukturę pozwalającą agentom opartym na modelach językowych samodzielnie decydować, kiedy i jak kompaktować zgromadzony kontekst, zamiast polegać na kompaktyzacji wyzwalanej w stałych odstępach na podstawie liczby tokenów. Metoda łączy narzędzie kompaktyzacji wywoływane przez model z lekkim zestawem reguł wskazujących, kiedy działać (gdy podzadanie zostało rozwiązane) i kiedy wstrzymać się (w trakcie wyprowadzania lub przy utknięciu). Testowana na sześciu benchmarkach i siedmiu modelach, dorównała lub przewyższyła kompaktyzację w stałych odstępach, zużywając znacznie mniej tokenów.
Nowy artykuł badawczy Apple przedstawia Minions – system łączący niewykorzystaną moc GPU w komputerach Mac z chipami Apple Silicon w jedną rozproszoną chmurę do uruchamiania wnioskowania modeli uczenia maszynowego. Zamiast kupować dodatkowy sprzęt GPU, zespoły mogłyby wykorzystać wolną moc obliczeniową już posiadanych urządzeń z macOS. Autorzy twierdzą, że system zapewnia planowanie zadań, odporność na awarie i efektywne wykorzystanie zasobów, oferując alternatywę, gdy dedykowanych zasobów GPU brakuje lub są drogie.
Naukowcy Apple, wraz ze współpracownikami z University of Pennsylvania i UIUC, przedstawili nową technikę modelowania generatywnego o nazwie Normalizing Trajectory Models (NTM) w artykule przyjętym na konferencję NeurIPS. W przeciwieństwie do typowych modeli dyfuzyjnych, które opierają się na wielu małych krokach odszumiania Gaussa, NTM traktuje każdy krok jako elastyczną, odwracalną transformację zachowującą dokładne obliczenia prawdopodobieństwa — coś, co większość szybkich metod kilkuetapowych traci, polegając na destylacji lub trenowaniu adwersarialnym. Według artykułu, NTM może dorównać lub przewyższyć mocne modele bazowe text-to-image, używając zaledwie czterech kroków próbkowania.
Badacze Apple, wspólnie z Narodowym Uniwersytetem Singapuru, opublikowali pracę o RISED – nowej metodzie trenowania agentów LLM, które muszą jednocześnie uczyć się w wielu różnych środowiskach interaktywnych. Zamiast polegać wyłącznie na skalarnych sygnałach nagrody, RISED wykorzystuje sędziego LLM, który oznacza każdy przebieg treningowy rubrykami opisującymi zachowanie, a następnie wykorzystuje te oznaczenia do wyboru danych treningowych i dostarczenia dodatkowego nadzoru. Autorzy podają, że RISED osiąga najwyższy średni wskaźnik sukcesu we wszystkich środowiskach w porównaniu z istniejącymi metodami, zajmując pierwsze lub drugie miejsce w każdym testowanym środowisku.
Google Research opublikował wyniki pięciu niezależnych ocen partnerskich modelu Population Dynamics Foundation Model (PDFM) — systemu Google Earth AI, który przekształca trendy wyszukiwania, mobilność ludzi, gęstość zabudowy oraz dane środowiskowe w comiesięczne osadzenia lokalizacyjne (embeddingi). Instytucje zdrowotne wdrożyły te wstępnie wytrenowane embeddingi bezpośrednio do swoich istniejących modeli statystycznych i ML, bez żadnego dostrajania pod konkretne zadanie, i przetestowały je w pięciu bardzo różnych problemach epidemiologicznych. Każdy partner zgłosił mierzalną poprawę względem konwencjonalnych źródeł danych, argumentując, że PDFM może być gotowym do użycia uzupełnieniem lub zamiennikiem wolnych, rozproszonych danych zdrowotnych.
Google Research opublikowało raport z warsztatów Contextual Agent Privacy and Security (CAPS), współtworzony przez ponad 50 naukowców i przedstawicieli branży. Raport argumentuje, że agenci AI muszą rozumieć kontekstowe normy społeczne, a nie tylko statyczne uprawnienia, aby działać właściwie przy obsłudze danych osobowych i wykonywaniu działań w imieniu użytkownika. Zaproponowano wielowarstwowe podejście obejmujące sandboxing na poziomie systemu, wnioskowanie na poziomie modelu, kontrolki zorientowane na użytkownika, zabezpieczenia wielu agentów i zarządzanie ekosystemem, oparte na teorii Integralności Kontekstowej (Contextual Integrity).
Microsoft Research zaprezentował Quine, system badawczy łączący multimodalny „model świata” biologii z interaktywnym środowiskiem (harness) łączącym modele AI, literaturę naukową, narzędzia laboratoryjne i badaczy. Zbudowany wspólnie na podstawie takich typów danych jak genomika, białka, chemia, RNA/stan komórki oraz bioobrazowanie, model ma na celu przewidywanie, jak systemy biologiczne reagują na interwencje, zanim przeprowadzone zostaną kosztowne eksperymenty laboratoryjne. Współpracując z Broad Institute of MIT and Harvard, Microsoft wykorzystał Quine do uszeregowania tysięcy związków pod kątem potencjału do zmiany stanu komórek raka trzustki między stanami terapeutycznymi, a najwyżej ocenione kandydaci zostali zweryfikowani w testach laboratoryjnych (wet-lab) w ciągu jednego weekendu. Microsoft otwiera teraz program „Quine Fellows”, dający wybranym naukowcom wczesny dostęp, zastrzegając jednocześnie, że system jest eksperymentalny, przeznaczony wyłącznie do badań i nie jest przeznaczony do zastosowań klinicznych.
Inżynierowie Google opisują, jak zaimplementowali rzadką uwagę przestrzenno-czasową (sparse spatio-temporal attention) dla modeli dyfuzji wideo na chipach TPU v6e, przekształcając teoretyczną rzadkość podejścia Sparse VideoGen (SVG) w realne przyspieszenia sprzętowe. Dzięki serii optymalizacji kernela (specjalizacja kafelków pełnych/brzegowych, strojenie rozmiaru kafelków oraz wyrównanie kafelków maski) zredukowali opóźnienie kernela uwagi z 96,37ms (naiwna wersja rzadka) do 32,76ms, co daje 2,40x przyspieszenie względem gęstej Splash Attention na pojedynczym chipie TPU v6e, przy 75,6K tokenów, 10 głowicach i wymiarze głowicy 128.
Google DeepMind zaprezentowało SynthID Bio, technologię znakowania wodnego, która osadza niewykrywalny, możliwy do zweryfikowania sygnaturowy znak w zaprojektowanych przez AI białkach i strukturach 3D bez naruszania ich funkcji biologicznej. System przetestowano na białkach wiążących (VEGF-A, SARS-CoV-2 spike RBD, PD-L1) z użyciem AlphaProteo oraz zmodyfikowanego ProteinMPNN, a także dostrojono do sieci dyfuzyjnej AlphaFold 3 w celu znakowania przewidywanych struktur 3D. DeepMind współpracuje również z laboratorium Hie na Stanfordzie oraz Arc Institute, aby zastosować to podejście do Evo 2, modelu genomowego, w celu znakowania zaprojektowanych genomów bakteriofagów. Celem jest wzmocnienie bezpieczeństwa biologicznego poprzez pomoc dostawcom usług przesiewowego badania syntezy DNA oraz publicznym bazom danych w weryfikacji pochodzenia projektów biologicznych generowanych przez AI.