Badacze Microsoft odkryli 'Lazarus', technikę umożliwiającą przeprogramowanie uśpionych neuronów w modelach LLM w celu wstrzyknięcia złośliwych zachowań. Modyfikując mniej niż 10 neuronów, atakujący może wywołać wykonanie nieautoryzowanych poleceń bez wpływu na standardowe działanie modelu lub wyniki ewaluacji.
Badacze zaprezentowali „RL-ATTACK”, nową metodę wykorzystującą uczenie ze wzmocnieniem do generowania ataków typu adversarial na modele językowe, bez potrzeby posiadania dostępu do gradientów modelu. Metoda ta, ucząc się na podstawie reakcji celu, osiąga wysoką efektywność przy niewielkiej liczbie zapytań i skutecznie omija mechanizmy bezpieczeństwa.
Firma Collinear AI wprowadziła CWE-bench v2, zestaw testowy obejmujący 100 zadań dotyczących 91 powszechnych typów podatności. Narzędzie to umożliwia programistom programową ocenę skuteczności agentów AI w wykrywaniu i naprawianiu luk w zabezpieczeniach w repozytoriach open-source.
Naukowcy zaprezentowali CoFiBreak, mechanizm nagradzania podczas trenowania atakujących modeli LLM, który wymusza większą różnorodność strategii przełamywania zabezpieczeń. Dzięki zastosowaniu struktury nagród typu „coarse-to-fine” (od ogółu do szczegółu) w optymalizacji polityki grupowej (GRPO), metoda ta pozwala uniknąć typowej dla uczenia wzmacnianego zapaści, w której modele skupiają się na wąskim zestawie powtarzalnych promptów.
Google Project Zero przeanalizowało porównanie systemów opartych na LLM (BigSleep) z tradycyjnymi fuzzerami generatywnymi (Fuzzilli) w kontekście wykrywania luk w silniku JavaScript V8. W ciągu sześciu miesięcy obie metody niezależnie odkryły unikalne błędy, przy szacowanym pokryciu wynoszącym od 25% do 60%.
GitHub zastąpił swój oparty na LLM system wykrywania ogólnych sekretów (haseł, kluczy API) dostrojonym klasyfikatorem ModernBERT połączonym z generowaniem kandydatów przez regex. Nowy dwuetapowy system poprawił dokładność wykrywania, jednocześnie drastycznie skracając czas skanowania i obniżając koszty obsługi, a jest teraz wystarczająco szybki, by działać w ramach ochrony przed push (push protection), a nie tylko po commitowaniu kodu.
AWS opisuje nową dwuetapową architekturę kontroli dostępu dla Retrieval Augmented Generation (RAG) w Amazon Quick i Amazon Bedrock Knowledge Bases. Zamiast polegać wyłącznie na okresowo synchronizowanych listach kontroli dostępu (ACL), system teraz weryfikuje uprawnienia w czasie rzeczywistym bezpośrednio w systemie źródłowym (np. Google Drive, SharePoint, Confluence) w momencie zapytania, zanim treść trafi do LLM. AWS twierdzi, że eliminuje to luki bezpieczeństwa wynikające z nieaktualnych lub błędnie zmapowanych uprawnień między synchronizacjami. Jako klienta wymieniono Mondelēz International, zatrudniającą ponad 35 000 pracowników.