Przejdź do treści
piątek, 20 listopada 2026
Tenesys AI News
Subskrypcja

Wszystkie wiadomości

TENESYS AI NEWS śledzi najważniejsze wiadomości o AI i wyjaśnia, co się zmieniło, dlaczego to ważne i czy technologię warto przetestować.

#Benchmark — 4 artykuły ✕

Badania· Ważne· 🧪 Warte przetestowania

Testy MCQ sztucznie ukrywają odmowy bezpieczeństwa w modelach LLM

Badania pokazują, że format pytań wielokrotnego wyboru (MCQ) tłumi zachowania odmawiające w modelach LLM. Eksperymenty na modelach Llama-3.1-8B i Qwen3-8B wykazują, że wymuszenie konkretnej litery odpowiedzi przesuwa aktywacje modelu 3x dalej od kierunku odmowy, co oznacza, że benchmarki bezpieczeństwa oparte na MCQ mogą zawyżać ocenę bezpieczeństwa modelu.

arXiv cs.CL
Badania· 🧪 Warte przetestowania

Nowy benchmark pokazuje, że celność wyszukiwania nie jest równa pamięci długokontekstowej

Opublikowano nowy benchmark Simple Retrieval-Reconstruction Memory (SRRM), mający na celu lepszą ocenę wydajności długokontekstowej w małych modelach językowych (SLM). Wyniki pokazują, że wraz ze wzrostem długości kontekstu zdolność modelu do rekonstrukcji informacji pogarsza się znacznie szybciej niż jego zdolność do wyszukiwania konkretnych faktów, co dowodzi, że standardowe testy wyszukiwania nie wystarczają do oceny pamięci.

arXiv cs.CL
Badania· Ważne· 🧪 Warte przetestowania

Nowy benchmark SLATE testuje agenty AI w złożonych procesach API

Naukowcy przedstawili SLATE, narzędzie do oceny długoterminowego wyboru API na dużą skalę w środowiskach korporacyjnych. W odróżnieniu od obecnych testów, wymusza on na modelach nawigację wśród około 1000 narzędzi w celu wykonania złożonych zadań.

arXiv cs.CL
Agenci· Ważne· 🧪 Warte przetestowania

ALTK-Evolve od IBM poprawia agentów obsługi klienta dzięki wyuczonym wskazówkom w promptach, bez douczania modelu

ALTK-Evolve od IBM Research wydobywa krótkie reguły zachowania z wcześniejszych prób agenta na zadaniach treningowych i dołącza je do system promptu podstawowego agenta ReAct działającego na GPT-4.1. W benchmarku obsługi klienta τ²-bench (domeny retail i airline) to podejście oparte na uczonej pamięci podniosło dokładność i niezawodność bez aktualizacji wag modelu i bez ludzkiej anotacji. Pełny zestaw wskazówek „lossless” podniósł wynik agenta GPT-4.1 do Pass^4 = 67,5% w retail — najwyższy wynik w migawce rankingu z 12 października 2026, przewyższając nawet model douczony specjalnie na syntetycznych danych retail. Technika poprawiła też agenta opartego na zaawansowanym GPT-5.5 w zadaniach airline, wynosząc go na szczyt tego rankingu.

Hugging Face