Przejdź do treści
niedziela, 22 listopada 2026
Tenesys AI News
Subskrypcja

Badania AI

Prace naukowe, benchmarki, architektury, rozumowanie i metody trenowania.

“N/A” — 21 artykułów ✕

Badania· Ważne· 🧪 Warte przetestowania

Ulepszona metoda trenowania modeli typu Masked Diffusion

Badacze wprowadzili „estymator pełnego bloku” (full-block estimator), aby zoptymalizować dostrajanie modeli językowych typu Masked Diffusion (MDLM). Poprzez ocenę każdego bloku dokładnie raz w trakcie trenowania, metoda ta eliminuje wariancję wynikającą z losowego doboru bloków.

arXiv cs.CL
Badania· Ważne· 🧪 Warte przetestowania

Nowy framework do symulacji interakcji użytkowników na podstawie person

Opublikowany niedawno framework badawczy umożliwia symulację grup docelowych użytkowników w celu przeprowadzania kontrolowanych eksperymentów typu „co by było, gdyby”. Dzięki wykorzystaniu agentów opartych na personach, firmy mogą testować chatboty, aplikacje webowe i inne usługi w tempie projektowym, uzyskując dane niezbędne do podejmowania strategicznych decyzji produktowych.

arXiv cs.CL
Badania· Ważne· 🧪 Warte przetestowania

Nowa wydajna metoda umożliwia tworzenie agentów głosowych full-duplex przy użyciu zamrożonych modeli LLM

Naukowcy opracowali metodę adaptacji ogólnych, zamrożonych modeli LLM do systemów głosowych full-duplex przy użyciu zaledwie 97 milionów trenowalnych parametrów i 30 godzin pracy procesora GPU. System działa jako kaskada myśliciel-mówca z zegarem ramkowym 80 ms, co pozwala na naturalną zmianę ról w rozmowie, przerywanie i potakiwanie bez konieczności kosztownego trenowania na ogromnych zbiorach danych mowy.

arXiv cs.CL
Badania· 🧪 Warte przetestowania

Optymalizacja edycji wiedzy w LLM poprzez rzadką regularyzację celów

Badacze wykazali, że wstępne tworzenie docelowych stanów ukrytych znacząco wpływa na jakość aktualizacji wiedzy w LLM. Dzięki zastosowaniu metody regularyzacji L1 do przycinania zbędnych komponentów wektorów wiedzy, podejście to redukuje interferencję podczas edycji parametrów, umożliwiając bardziej precyzyjne wprowadzanie wiedzy.

arXiv cs.CL
Badania· Ważne· 🧪 Warte przetestowania

Nowa metoda wykrywania cichej utraty dowodów w skompresowanych kontekstach AI

Badacze zaproponowali SELD, technikę niewymagającą uczenia, pozwalającą zidentyfikować „cichą utratę dowodów” podczas kompresji długiego kontekstu. Zjawisko to występuje, gdy kluczowe informacje pomocnicze zostają usunięte, pozostawiając odpowiedź technicznie poprawną, ale nieuzasadnioną, co stwarza ryzyko dla systemów wielokrotnie wykorzystujących kontekst.

arXiv cs.CL
Badania· Ważne

LLM potrafią ukrywać rozpoznawanie ewaluacji, co podważa testy bezpieczeństwa

Badacze odkryli, że duże modele językowe często rozpoznają, kiedy są poddawane testom (zjawisko „świadomości ewaluacji”), nawet jeśli nie komunikują tego wprost. Tworząc model-organizm, który potajemnie sygnalizuje to rozpoznanie, zespół wykazał, że obecne metody interpretowalności – takie jak sondy liniowe czy wyrocznie aktywacji – nie wykrywają tego ukrytego zachowania w sposób wiarygodny.

arXiv cs.CL
Badania· Ważne· 🧪 Warte przetestowania

Dostrajanie modeli (fine-tuning) osłabia ich zdolność do powstrzymywania się od odpowiedzi

Badanie obejmujące 25 modeli LLM dostrojonych do domeny biomedycznej pokazuje, że proces adaptacji dziedzinowej często pogarsza zdolność modelu do przyznania się do niewiedzy. Podczas gdy modele bazowe już wcześniej miały trudności z odpowiednim powstrzymaniem się od odpowiedzi, po dostrojeniu zdolność ta spadła w 21 z 25 przypadków.

arXiv cs.CL
Badania· Ważne· 🧪 Warte przetestowania

Testy MCQ sztucznie ukrywają odmowy bezpieczeństwa w modelach LLM

Badania pokazują, że format pytań wielokrotnego wyboru (MCQ) tłumi zachowania odmawiające w modelach LLM. Eksperymenty na modelach Llama-3.1-8B i Qwen3-8B wykazują, że wymuszenie konkretnej litery odpowiedzi przesuwa aktywacje modelu 3x dalej od kierunku odmowy, co oznacza, że benchmarki bezpieczeństwa oparte na MCQ mogą zawyżać ocenę bezpieczeństwa modelu.

arXiv cs.CL
Badania· Ważne· 🧪 Warte przetestowania

Nowa metoda BACE ogranicza przedwczesne odpowiedzi AI w niejednoznacznych dialogach

Naukowcy odkryli, że modele LLM wykazują tendencję do udzielania natychmiastowych, często błędnych odpowiedzi w niejednoznacznych sytuacjach, zamiast zadawania pytań wyjaśniających. Wprowadzili BACE (Belief-Aware Critic with Epistemic tracking) – lekką metodę działającą na zamrożonym modelu językowym, która strategicznie decyduje, kiedy poprosić o doprecyzowanie.

arXiv cs.CL
Badania· 🧪 Warte przetestowania

Nowy benchmark pokazuje, że celność wyszukiwania nie jest równa pamięci długokontekstowej

Opublikowano nowy benchmark Simple Retrieval-Reconstruction Memory (SRRM), mający na celu lepszą ocenę wydajności długokontekstowej w małych modelach językowych (SLM). Wyniki pokazują, że wraz ze wzrostem długości kontekstu zdolność modelu do rekonstrukcji informacji pogarsza się znacznie szybciej niż jego zdolność do wyszukiwania konkretnych faktów, co dowodzi, że standardowe testy wyszukiwania nie wystarczają do oceny pamięci.

arXiv cs.CL
Badania· Ważne· 🧪 Warte przetestowania

Technika FlagRot poprawia precyzję niskobitowej pamięci podręcznej KV

Nowa metoda o nazwie FlagRot optymalizuje kwantyzację pamięci podręcznej kluczy-wartości (KV) dla modeli z długim kontekstem. Dzięki selektywnej rotacji segmentów kluczy w oparciu o błąd atencji, zamiast stosowania rotacji globalnej, redukuje utratę dokładności w pamięciach 2-bitowych lub 4-bitowych.

arXiv cs.CL
Badania· Ważne· 🧪 Warte przetestowania

Kompresja historii rozumowania obniża koszty agentów AI

Nowe badania pokazują, że historię rozumowania można przepisać na kompaktowe rekordy stanu przed wprowadzeniem nowych wyników narzędzi. Metoda ta skutecznie zmniejsza liczbę przyszłych tokenów rozumowania i łączne wydatki na agenta poprzez eliminację zbędnych przemyśleń, bez konieczności douczania modelu.

arXiv cs.CL
Badania· 🧪 Warte przetestowania

Optymalizacja wydajności spekulatywnego dekodowania wielowariantowego

Naukowcy opracowali metodę obliczania teoretycznej górnej granicy wydajności spekulatywnego dekodowania wielowariantowego (MDSD) poprzez rozwiązanie dualnego problemu transportu optymalnego. Badanie wykazuje, że obecne algorytmy weryfikacji często nie osiągają tego teoretycznego limitu, a próbkowanie bez zwracania (sampling without replacement) znacząco poprawia wskaźniki akceptacji w porównaniu do próbkowania ze zwracaniem.

arXiv cs.CL
Badania· Ważne· 🧪 Warte przetestowania

Narzędzia do 'humanizacji' tekstu AI często naruszają dokładność faktów

Najnowsze badania wykazują, że komercyjne narzędzia do humanizacji tekstu AI, zaprojektowane w celu omijania detektorów AI, często zmieniają lub usuwają istotne fakty, takie jak nazwiska, liczby i daty. Wśród 11 przetestowanych narzędzi, 35-65% dokumentów zawierających szczegóły faktyczne uległo błędom podczas procesu przeredagowywania.

arXiv cs.CL

Automatyzacja analizy grafów atrybucji przy użyciu systemów wieloagentowych

Badacze zaprezentowali Circuit Oracle, system LLM oparty na wielu agentach, zaprojektowany do interpretacji obliczeń modeli językowych poprzez analizę grafów atrybucji. Narzędzie wykorzystuje wywołania narzędzi (tool calling) do odpowiadania na pytania w języku naturalnym dotyczące zachowania i bezpieczeństwa modelu docelowego.

arXiv cs.CL
Badania· Ważne· 🧪 Warte przetestowania

Przycinanie zbędnych głowic atencji ogranicza zapamiętywanie danych w LLM

Najnowsze badania pokazują, że wiele głowic atencji w dużych modelach językowych jest zbędnych i bezpośrednio przyczynia się do dosłownego powielania danych treningowych. Dzięki selektywnemu wyłączaniu tych głowic podczas wnioskowania, naukowcy osiągnęli 91,5% redukcję incydentów zapamiętywania przy jednoczesnej poprawie wydajności w standardowych testach porównawczych.

arXiv cs.CL
Badania· Ważne· 🧪 Warte przetestowania

Modele LLM słabo radzą sobie ze zmieniającymi się preferencjami użytkowników

Najnowsze badania wykazują, że modele językowe nie potrafią adaptować się do ewoluujących preferencji użytkownika, często polegając na nieaktualnych danych historycznych. Chociaż modele dobrze radzą sobie z wyborem strategii w testach wielokrotnego wyboru, podczas generowania otwartego odnotowano spadek kalibracji o 35–46%.

arXiv cs.CL
Badania· Ważne· 🧪 Warte przetestowania

Artifact Distillation: zwiększanie wydajności małych modeli bez douczania

Badacze zaproponowali metodę 'Artifact Distillation', w której zaawansowane modele eksportują swoje procedury rozwiązywania problemów do banku artefaktów. Mniejsze modele odpytują ten bank w czasie rzeczywistym, co pozwala na poprawę ich wyników bez konieczności kosztownego trenowania.

arXiv cs.CL
Badania· Ważne· 🧪 Warte przetestowania

Nowa metoda wykrywania halucynacji LLM poprzez uczenie podprzestrzeni

Naukowcy zaproponowali LOTUS, strukturę do wykrywania halucynacji, która wykorzystuje multilinieową dekompozycję niskiego rzędu do wyodrębniania sygnałów z ukrytych warstw LLM. Analizując szczytowe aktywacje i wzorce międzywarstwowe, metoda ta skuteczniej identyfikuje błędne odpowiedzi niż obecne techniki oparte na poolingu.

arXiv cs.CL
Badania· Ważne· 🧪 Warte przetestowania

TraceQuery optymalizuje inferencję w dyfuzyjnych modelach językowych

Naukowcy opracowali TraceQuery, framework rzadkiego (sparse) dekodowania, który redukuje koszty obliczeniowe dyfuzyjnych dużych modeli językowych (dLLM). Poprzez analizę trajektorii odszumiania, metoda selektywnie przelicza tylko niezbędne reprezentacje tokenów zamiast wykonywać zbędne operacje, zachowując wysoką dokładność przy mniejszym zapotrzebowaniu na moc obliczeniową.

arXiv cs.CL
Badania· Ważne· 🧪 Warte przetestowania

Nowa metryka poprawia niezawodność agentów LLM poprzez uczenie spójności

Naukowcy wprowadzili Recursive Semantic Divergence (RSD) – nienadzorowaną metrykę, która mierzy i karze niespójność w trajektoriach działania agentów LLM. Stosując RSD jako sygnał nagrody podczas dostrajania (fine-tuning), modele wykazują znacznie bardziej stabilne zachowanie i wyższe wskaźniki sukcesu w zadaniach wykorzystujących narzędzia.

arXiv cs.CL