Najnowsze badania wykazują, że modele językowe nie potrafią adaptować się do ewoluujących preferencji użytkownika, często polegając na nieaktualnych danych historycznych. Chociaż modele dobrze radzą sobie z wyborem strategii w testach wielokrotnego wyboru, podczas generowania otwartego odnotowano spadek kalibracji o 35–46%.
Badacze zaproponowali metodę 'Artifact Distillation', w której zaawansowane modele eksportują swoje procedury rozwiązywania problemów do banku artefaktów. Mniejsze modele odpytują ten bank w czasie rzeczywistym, co pozwala na poprawę ich wyników bez konieczności kosztownego trenowania.
Naukowcy zaproponowali LOTUS, strukturę do wykrywania halucynacji, która wykorzystuje multilinieową dekompozycję niskiego rzędu do wyodrębniania sygnałów z ukrytych warstw LLM. Analizując szczytowe aktywacje i wzorce międzywarstwowe, metoda ta skuteczniej identyfikuje błędne odpowiedzi niż obecne techniki oparte na poolingu.
Badacze opracowali metodę opartą na algorytmie k-center i wektorach (embeddings), która pozwala wybierać mniejsze, wysoce reprezentatywne podzbiory danych treningowych dla modelu Whisper. Podejście to przewyższa losowe próbkowanie dzięki lepszej reprezentacji różnorodności językowej, co jest szczególnie istotne przy ograniczonych zasobach.
Naukowcy wprowadzili Recursive Semantic Divergence (RSD) – nienadzorowaną metrykę, która mierzy i karze niespójność w trajektoriach działania agentów LLM. Stosując RSD jako sygnał nagrody podczas dostrajania (fine-tuning), modele wykazują znacznie bardziej stabilne zachowanie i wyższe wskaźniki sukcesu w zadaniach wykorzystujących narzędzia.
Najnowsze badania nad modelem Qwen3.5-27B dowodzą, że choć interwencje w aktywacje mogą wymusić na modelu konkretną odpowiedź, często nie prowadzą do poprawnego wnioskowania. Zauważono, że zyski w poprawności wyboru zanikają przy zmianie kontekstu, co sugeruje, że wymuszone odpowiedzi nie odzwierciedlają logicznego zrozumienia warunków korzystania z narzędzi.
Zespół NVIDIA BioNeMo wspólnie z Institute for Protein Design na Uniwersytecie Waszyngtońskim zaprezentował RFD4-Proteina – model, który w jednym kroku generuje zarówno sekwencję białka, jak i pełną strukturę atomową, eliminując oddzielny etap inverse-folding stosowany we wcześniejszych rozwiązaniach. Dzięki pracy na reprezentacji na poziomie reszt (residue-level) oraz uproszczonemu procesowi dyfuzji, model wymaga tylko około 60 kroków odszumiania zamiast wcześniejszych ok. 400, co przekłada się na wyraźnie szybsze generowanie i znacznie mniejsze zużycie pamięci niż poprzednik RFD3 przy generowaniu białka o 200 resztach. Podczas generowania model może także prowadzić wyszukiwanie sterowane nagrodą (reward-guided search), które ocenia i rozwija częściowe projekty za pomocą narzędzi przyspieszanych przez GPU, takich jak OpenFold3 i TMol. Model jest dostępny zarówno jako otwarty model na GitHub, jak i jako mikroserwis NIM z interfejsem HTTP, a dedykowane narzędzia pozwalają zautomatyzowanym agentom łączyć etapy generowania, wyszukiwania i oceny.
IBM Research wydał vLLM-Hook MIA, plugin dla open-source'owego silnika wnioskowania vLLM, który pozwala deweloperom obserwować i ingerować w wewnętrzne stany modelu w czasie działania — np. odrzucać złośliwe prompty, oznaczać zmyślone fakty czy korygować ton odpowiedzi — bez wyłączania szybkiego trybu wykonywania opartego na powtarzaniu grafu w vLLM. Według raportu technicznego IBM, MIA jest nawet 20 razy szybszy niż poprzedni vLLM-Hook i nawet 14 razy szybszy niż metody wstawiające kod bezpośrednio do modelu. W testach sterowanie modelem 8B Llama lub 1,5B Qwen dodawało tylko około 2% opóźnienia, a model 70B Llama - około 6%.