Przejdź do treści
czwartek, 19 listopada 2026
Tenesys AI News
Subskrypcja

Badania AI

Prace naukowe, benchmarki, architektury, rozumowanie i metody trenowania.

“Security” — 8 artykułów ✕

Amazon zleca niezależnej organizacji AVERI przegląd swoich wewnętrznych testów bezpieczeństwa AI

Amazon nawiązał współpracę z niezależną organizacją non-profit AVERI, która zbadała jakość wewnętrznych zestawów danych do oceny bezpieczeństwa modeli AI, a nie same odpowiedzi modeli. AVERI przeanalizowało losową, zanonimizowaną próbkę promptów testowych obejmujących szkodliwe treści, cyberbezpieczeństwo, prywatność i prawa autorskie. Przegląd potwierdził dobre pokrycie tematyczne, różnorodność metod testowania i niskie ryzyko zanieczyszczenia danych, ale wskazał braki w pokryciu wielojęzycznym i testach wieloetapowych ataków adwersarialnych. W odpowiedzi Amazon wprowadził cztery konkretne zmiany.

Amazon Science
Badania· Ważne

Google ukończył otwartą architekturę edge-AI Coral NPU i kompilator, pojawiły się pierwsze komercyjne chipy

Google Research ogłosił ukończenie ostatniego kamienia milowego otwartego standardu sprzętowego Coral NPU – 32-bitowej architektury RISC-V z nową jednostką Matrix Execution Unit (do 1 TOPS, ok. 10mW) oraz wydał kompilator open-source v1.0 oparty na IREE/MLIR, który przenosi modele z JAX, PyTorch i TensorFlow bezpośrednio na sprzęt. Synaptics wprowadza pierwsze komercyjne chipy oparte na tym standardzie, w tym serię mikrokontrolerów Astra SR200 (400 GOPS) oraz nowe zestawy deweloperskie Coralboard SR i SL, przy czym wersja SL jest już ogólnie dostępna przez DigiKey. Google współpracuje też z VeriSilicon i GlobalFoundries nad wdrożeniem otwartego RTL do produkcji chipów.

Google Developers
Badania· Ważne

Nowe badanie: agent AI nie decyduje się na posłuszeństwo wobec prompt injection od razu — decyzja kształtuje się w trakcie rozumowania

Nowe badanie podważa powszechne przekonanie, że los agenta AI wobec ataku prompt injection jest przesądzony w momencie przeczytania złośliwego tekstu. Badacze opracowali metodę rozgałęzionych przebiegów (branching rollouts) na zestawach testowych AgentDojo: powtarzali przebieg agenta do momentu, gdy natrafia na wstrzykniętą instrukcję, a następnie wielokrotnie symulowali dalszy ciąg epizodu, by zmierzyć, ile ostatecznego wyniku było już przesądzone, a ile pozostawało otwarte. Dla agenta Qwen3 bez rozszerzonego rozumowania ('thinking') 91% wyniku było już ustalone w tym momencie; po włączeniu rozumowania wskaźnik ten spadł do 62%, co pokazuje, że decyzja o posłuszeństwie często kształtuje się jeszcze długo po pierwszym kontakcie z atakiem. Włączenie rozumowania obniżyło też skuteczność ataków wobec Qwen3, ale zwiększyło ją dla dwóch innych testowanych modeli, a wyniki benchmarków dla rozumujących agentów różniły się po powtórzeniu testu nawet w 35% przypadków.

arXiv cs.CL
Badania· Ważne

Google Research buduje agentów AI, którzy samodzielnie przeprowadzają eksperymenty laboratoryjne

Google Research przedstawił badania nad osadzaniem agentów AI w fizycznej rzeczywistości laboratoryjnej za pomocą systemu cyfrowego bliźniaka o nazwie VERID, który pozwala agentom bezpiecznie planować i wykonywać protokoły robotów do obsługi cieczy. W połączeniu z zamkniętymi cyklami projektowania molekularnego dla aptamerów i białek, agenci uczyli się na podstawie wyników laboratoryjnych, poprawiając wskaźniki skuteczności w kolejnych rundach i ostatecznie odkrywając jednocyfrowe nanomolowe białka wiążące dla celu związanego z nowotworem.

Google Research
Badania· Ważne

Microsoft Research prezentuje Magnetar – system dowodów zero-knowledge dla zwykłego kodu

Microsoft Research opublikował Magnetar – zero-knowledge wirtualną maszynę (zkVM), która generuje kryptograficzne dowody poprawnego wykonania programu, bez konieczności ponownego uruchamiania go czy zaufania operatorowi. Zamiast zmuszać programistów do przepisywania aplikacji na niestandardowe obwody kryptograficzne, Magnetar dowodzi wykonania standardowego kodu maszynowego RISC-V, dzięki czemu programy napisane w Rust, Go lub C można skompilować normalnie i udowodnić w niezmienionej postaci. Testy na 15 programach pokazują przetwarzanie 7,2-8,7 miliona instrukcji na sekundę na laptopie, przy czym weryfikacja dowodu zajmuje około 12 milisekund, a bezpieczeństwo kryptograficzne opiera się wyłącznie na standardowych funkcjach skrótu, takich jak SHA-256 czy SHA-3, a nie na krzywych eliptycznych czy schematach opartych na kratach.

Microsoft Research

Google Research publikuje raport o wyzwaniach prywatności i bezpieczeństwa autonomicznych agentów AI

Google Research opublikowało raport z warsztatów Contextual Agent Privacy and Security (CAPS), współtworzony przez ponad 50 naukowców i przedstawicieli branży. Raport argumentuje, że agenci AI muszą rozumieć kontekstowe normy społeczne, a nie tylko statyczne uprawnienia, aby działać właściwie przy obsłudze danych osobowych i wykonywaniu działań w imieniu użytkownika. Zaproponowano wielowarstwowe podejście obejmujące sandboxing na poziomie systemu, wnioskowanie na poziomie modelu, kontrolki zorientowane na użytkownika, zabezpieczenia wielu agentów i zarządzanie ekosystemem, oparte na teorii Integralności Kontekstowej (Contextual Integrity).

Google Research
Badania· Ważne· 🧪 Warte przetestowania

GitHub udostępnia ReviewBench — wspólny standard oceny agentów AI do przeglądu kodu

GitHub opublikował ReviewBench, benchmark w fazie podglądu badawczego (research preview), który ma umożliwić porównywanie agentów AI do przeglądu kodu według wspólnego, weryfikowalnego standardu. Zbiór danych obejmuje 219 rzeczywistych publicznych pull requestów w 19 językach i 187 repozytoriach, dobranych tak, by odzwierciedlały rozkład języków i rozmiarów wśród 103,9 mln rzeczywistych pull requestów na GitHubie. Dane referencyjne (ground truth) pochodzą z połączenia recenzentów-ludzi, narzędzi do analizy statycznej oraz kilku czołowych modeli LLM, a ich oceny zweryfikowali starsi inżynierowie, których osądy zgadzały się z etykietami benchmarku w 96,6% przypadków. GitHub twierdzi, że już wykorzystał ReviewBench wewnętrznie do śledzenia własnego produktu Copilot code review (CCR), a zmiany wyników offline wiarygodnie przewidywały kierunek późniejszych testów A/B na produkcji.

GitHub

Google DeepMind wprowadza SynthID Bio do znakowania białek generowanych przez AI

Google DeepMind zaprezentowało SynthID Bio, technologię znakowania wodnego, która osadza niewykrywalny, możliwy do zweryfikowania sygnaturowy znak w zaprojektowanych przez AI białkach i strukturach 3D bez naruszania ich funkcji biologicznej. System przetestowano na białkach wiążących (VEGF-A, SARS-CoV-2 spike RBD, PD-L1) z użyciem AlphaProteo oraz zmodyfikowanego ProteinMPNN, a także dostrojono do sieci dyfuzyjnej AlphaFold 3 w celu znakowania przewidywanych struktur 3D. DeepMind współpracuje również z laboratorium Hie na Stanfordzie oraz Arc Institute, aby zastosować to podejście do Evo 2, modelu genomowego, w celu znakowania zaprojektowanych genomów bakteriofagów. Celem jest wzmocnienie bezpieczeństwa biologicznego poprzez pomoc dostawcom usług przesiewowego badania syntezy DNA oraz publicznym bazom danych w weryfikacji pochodzenia projektów biologicznych generowanych przez AI.

Google DeepMind