Przejdź do treści
niedziela, 22 listopada 2026
Tenesys AI News
Subskrypcja

Badania AI

Prace naukowe, benchmarki, architektury, rozumowanie i metody trenowania.

“Agentai” — 12 artykułów ✕

Badania· Ważne· 🧪 Warte przetestowania

Testy MCQ sztucznie ukrywają odmowy bezpieczeństwa w modelach LLM

Badania pokazują, że format pytań wielokrotnego wyboru (MCQ) tłumi zachowania odmawiające w modelach LLM. Eksperymenty na modelach Llama-3.1-8B i Qwen3-8B wykazują, że wymuszenie konkretnej litery odpowiedzi przesuwa aktywacje modelu 3x dalej od kierunku odmowy, co oznacza, że benchmarki bezpieczeństwa oparte na MCQ mogą zawyżać ocenę bezpieczeństwa modelu.

arXiv cs.CL
Badania· Ważne· 🧪 Warte przetestowania

Minimalizacja rozproszenia agentów AI w dużych bazach kodu

Agenci AI często błędnie interpretują starsze komentarze w kodzie, takie jak TODO lub FIXME, traktując je jako aktualne wytyczne. Badania wykazały, że w 6% sesji programistycznych agenci podejmują niepotrzebne działania dotyczące zamkniętych lub przestarzałych błędów, co prowadzi do wzrostu kosztów i nieplanowanego rozszerzenia zakresu prac (scope creep).

Google Developers
Badania· Ważne· 🧪 Warte przetestowania

Nowa metoda BACE ogranicza przedwczesne odpowiedzi AI w niejednoznacznych dialogach

Naukowcy odkryli, że modele LLM wykazują tendencję do udzielania natychmiastowych, często błędnych odpowiedzi w niejednoznacznych sytuacjach, zamiast zadawania pytań wyjaśniających. Wprowadzili BACE (Belief-Aware Critic with Epistemic tracking) – lekką metodę działającą na zamrożonym modelu językowym, która strategicznie decyduje, kiedy poprosić o doprecyzowanie.

arXiv cs.CL
Badania· Ważne· 🧪 Warte przetestowania

Nowy benchmark SLATE testuje agenty AI w złożonych procesach API

Naukowcy przedstawili SLATE, narzędzie do oceny długoterminowego wyboru API na dużą skalę w środowiskach korporacyjnych. W odróżnieniu od obecnych testów, wymusza on na modelach nawigację wśród około 1000 narzędzi w celu wykonania złożonych zadań.

arXiv cs.CL
Badania· Ważne· 🧪 Warte przetestowania

Google prezentuje benchmark dla agentów AI w inżynierii

Google wprowadziło Physical-Engineering's Last Exam (PLE), nowy benchmark stworzony do oceny zdolności agentów AI w inżynierii mechanicznej, elektrycznej, cywilnej i strukturalnej. W przeciwieństwie do standardowych testów akademickich, PLE wymaga od agentów przetwarzania rozbudowanych projektów, obejmujących m.in. rysunki CAD i kody budowlane, w celu generowania bezpiecznych i zgodnych z normami wyników.

Google Cloud AI
Badania· Ważne· 🧪 Warte przetestowania

Skalowalne uczenie przez wzmacnianie dla mobilnych agentów interfejsu

Badacze z Apple zaprezentowali infrastrukturę do uczenia online agentów mobilnych, która rozdziela logikę planowania od interpretacji wizualnej interfejsu. Dzięki zastosowaniu szczegółowych sygnałów zwrotnych od LLM oraz nowej metody GiGPPO, modele te osiągają znacznie lepszą stabilność niż systemy szkolone wyłącznie na statycznych danych.

Apple Machine Learning
Badania· Ważne· 🧪 Warte przetestowania

Modele LLM słabo radzą sobie ze zmieniającymi się preferencjami użytkowników

Najnowsze badania wykazują, że modele językowe nie potrafią adaptować się do ewoluujących preferencji użytkownika, często polegając na nieaktualnych danych historycznych. Chociaż modele dobrze radzą sobie z wyborem strategii w testach wielokrotnego wyboru, podczas generowania otwartego odnotowano spadek kalibracji o 35–46%.

arXiv cs.CL
Badania· Ważne· 🧪 Warte przetestowania

Nowa metryka poprawia niezawodność agentów LLM poprzez uczenie spójności

Naukowcy wprowadzili Recursive Semantic Divergence (RSD) – nienadzorowaną metrykę, która mierzy i karze niespójność w trajektoriach działania agentów LLM. Stosując RSD jako sygnał nagrody podczas dostrajania (fine-tuning), modele wykazują znacznie bardziej stabilne zachowanie i wyższe wskaźniki sukcesu w zadaniach wykorzystujących narzędzia.

arXiv cs.CL
Badania· Ważne

Nowe badanie: agent AI nie decyduje się na posłuszeństwo wobec prompt injection od razu — decyzja kształtuje się w trakcie rozumowania

Nowe badanie podważa powszechne przekonanie, że los agenta AI wobec ataku prompt injection jest przesądzony w momencie przeczytania złośliwego tekstu. Badacze opracowali metodę rozgałęzionych przebiegów (branching rollouts) na zestawach testowych AgentDojo: powtarzali przebieg agenta do momentu, gdy natrafia na wstrzykniętą instrukcję, a następnie wielokrotnie symulowali dalszy ciąg epizodu, by zmierzyć, ile ostatecznego wyniku było już przesądzone, a ile pozostawało otwarte. Dla agenta Qwen3 bez rozszerzonego rozumowania ('thinking') 91% wyniku było już ustalone w tym momencie; po włączeniu rozumowania wskaźnik ten spadł do 62%, co pokazuje, że decyzja o posłuszeństwie często kształtuje się jeszcze długo po pierwszym kontakcie z atakiem. Włączenie rozumowania obniżyło też skuteczność ataków wobec Qwen3, ale zwiększyło ją dla dwóch innych testowanych modeli, a wyniki benchmarków dla rozumujących agentów różniły się po powtórzeniu testu nawet w 35% przypadków.

arXiv cs.CL
Badania· Ważne

Google Research buduje agentów AI, którzy samodzielnie przeprowadzają eksperymenty laboratoryjne

Google Research przedstawił badania nad osadzaniem agentów AI w fizycznej rzeczywistości laboratoryjnej za pomocą systemu cyfrowego bliźniaka o nazwie VERID, który pozwala agentom bezpiecznie planować i wykonywać protokoły robotów do obsługi cieczy. W połączeniu z zamkniętymi cyklami projektowania molekularnego dla aptamerów i białek, agenci uczyli się na podstawie wyników laboratoryjnych, poprawiając wskaźniki skuteczności w kolejnych rundach i ostatecznie odkrywając jednocyfrowe nanomolowe białka wiążące dla celu związanego z nowotworem.

Google Research
Badania· Ważne

IBM pokazuje, że agenci AI oparte na otwartych modelach mogą obniżyć koszty projektowania chipów ponad 11-krotnie

IBM Research wykorzystało skoordynowaną „fabrykę agentów” wieloagentowych do eksploracji optymalizacji sprzętowych dekodera korekcji błędów kwantowych, porównując modele własnościowe i otwarte modele wiodące przy tym samym budżecie 100 hipotez. Konfiguracja z otwartym modelem, uruchomiona lokalnie przez framework rozproszonego wnioskowania IBM llm-d, osiągnęła 52-krotne przyspieszenie względem bazowego projektu za około 26 USD kosztów wnioskowania, w porównaniu do 299 USD dla konfiguracji z modelem własnościowym, która osiągnęła wyższe, 204-krotne przyspieszenie. Badanie pokazuje, że routing uwzględniający pamięć podręczną i efektywne serwowanie (98% trafień w cache prefiksów, ~0,11 USD za milion tokenów) sprawiły, że podejście z otwartymi modelami było znacznie tańsze, przy wciąż znajdowaniu poprawnych, kompaktowych projektów sprzętowych.

IBM Research
Badania· Ważne· 🧪 Warte przetestowania

GitHub udostępnia ReviewBench — wspólny standard oceny agentów AI do przeglądu kodu

GitHub opublikował ReviewBench, benchmark w fazie podglądu badawczego (research preview), który ma umożliwić porównywanie agentów AI do przeglądu kodu według wspólnego, weryfikowalnego standardu. Zbiór danych obejmuje 219 rzeczywistych publicznych pull requestów w 19 językach i 187 repozytoriach, dobranych tak, by odzwierciedlały rozkład języków i rozmiarów wśród 103,9 mln rzeczywistych pull requestów na GitHubie. Dane referencyjne (ground truth) pochodzą z połączenia recenzentów-ludzi, narzędzi do analizy statycznej oraz kilku czołowych modeli LLM, a ich oceny zweryfikowali starsi inżynierowie, których osądy zgadzały się z etykietami benchmarku w 96,6% przypadków. GitHub twierdzi, że już wykorzystał ReviewBench wewnętrznie do śledzenia własnego produktu Copilot code review (CCR), a zmiany wyników offline wiarygodnie przewidywały kierunek późniejszych testów A/B na produkcji.

GitHub