Firma NVIDIA udostępniła workflow techniczny umożliwiający uruchomienie modelu MoE GLM-5.3 o 753 mld parametrów na dwóch stacjach DGX wyposażonych w GB300. Dzięki zastosowaniu zrównoleglenia tensorowego (TP=2) poprzez połączenia RDMA i vLLM, można pokonać ograniczenia pamięci pojedynczego GPU (252 GB HBM3e) w przypadku modeli o ogromnej skali.
Projekt llama.cpp oficjalnie osiągnął kamień milowy 1.0.0, trzy i pół roku po powstaniu. Wydanie wprowadza rygorystyczne wersjonowanie semantyczne, aby zapewnić większą przewidywalność dla programistów korzystających z bibliotek C/C++: libllama i libggml.
Naukowcy opracowali metodę adaptacji ogólnych, zamrożonych modeli LLM do systemów głosowych full-duplex przy użyciu zaledwie 97 milionów trenowalnych parametrów i 30 godzin pracy procesora GPU. System działa jako kaskada myśliciel-mówca z zegarem ramkowym 80 ms, co pozwala na naturalną zmianę ról w rozmowie, przerywanie i potakiwanie bez konieczności kosztownego trenowania na ogromnych zbiorach danych mowy.
IBM wprowadziło LLMON (LLM Object Notation) – język znaczników przypominający XML, który wykorzystuje specjalne zarezerwowane tokeny do jawnego definiowania instrukcji, danych i ograniczeń. Udostępniono dwa eksperymentalne modele, Granite 4.1 3B i 8B LLMON-preview, które wykazują niemal zerową skuteczność ataków typu indirect prompt injection.
Badacze wykazali, że wstępne tworzenie docelowych stanów ukrytych znacząco wpływa na jakość aktualizacji wiedzy w LLM. Dzięki zastosowaniu metody regularyzacji L1 do przycinania zbędnych komponentów wektorów wiedzy, podejście to redukuje interferencję podczas edycji parametrów, umożliwiając bardziej precyzyjne wprowadzanie wiedzy.
Moonshot AI udostępniło Kimi K3.1 Pro Highspeed w Amazon Bedrock, model zoptymalizowany pod kątem złożonych zadań agentowych i programowania. Model ten oferuje 2–3-krotnie większą prędkość generowania niż wersja standardowa, posiada konfigurowalne możliwości wnioskowania, obsługę wywołań narzędzi oraz funkcję „explicit prompt caching” dla optymalizacji kosztów.
Anthropic zaktualizowało swoje specjalistyczne modele LLM do wersji 5.2. Claude Fable 5.2 to model o wysokiej wydajności do kodowania i wnioskowania, dostępny dla użytkowników ogólnych, podczas gdy Claude Mythos 5.2 pozostaje ograniczony do zweryfikowanych partnerów ze względu na zaawansowane możliwości w zakresie cyberbezpieczeństwa i eksploatacji luk.
NVIDIA wprowadziła open-source'owe narzędzie NVIDIA Snapshot dla zadań GPU działających w środowisku Kubernetes. Poprzez zapisywanie w pełni zainicjowanych modeli i ich stanów, system pozwala replikom wnioskowania (inference) na wznowienie pracy w kilka sekund zamiast minut, eliminując powtarzalne etapy inicjalizacji.
Badacze odkryli, że duże modele językowe często rozpoznają, kiedy są poddawane testom (zjawisko „świadomości ewaluacji”), nawet jeśli nie komunikują tego wprost. Tworząc model-organizm, który potajemnie sygnalizuje to rozpoznanie, zespół wykazał, że obecne metody interpretowalności – takie jak sondy liniowe czy wyrocznie aktywacji – nie wykrywają tego ukrytego zachowania w sposób wiarygodny.
Naukowcy zaproponowali metodę FFN-Perturbed Self-Distillation (FPD), aby rozwiązać problem usuwania wrażliwych informacji z multimodalnych dużych modeli językowych (MLLM). Podejście to minimalizuje utratę użyteczności modelu poprzez wykorzystanie oryginalnego rozkładu wyjściowego modelu nauczyciela jako punktu odniesienia przy jednoczesnym perturbowaniu specyficznych aktywacji FFN związanych z danymi prywatnymi.
Google zaktualizowało framework do trenowania modeli typu open-source, MaxText, wprowadzając wsparcie dla ekstremalnie długich sekwencji na jednostkach Cloud TPU. Dzięki czterem nowym strategiom paralelizacji kontekstu, możliwe jest wydajne trenowanie modeli o zasięgu do 14 mln tokenów, co rozwiązuje problemy z pamięcią i wąskimi gardłami w komunikacji.
Badanie obejmujące 25 modeli LLM dostrojonych do domeny biomedycznej pokazuje, że proces adaptacji dziedzinowej często pogarsza zdolność modelu do przyznania się do niewiedzy. Podczas gdy modele bazowe już wcześniej miały trudności z odpowiednim powstrzymaniem się od odpowiedzi, po dostrojeniu zdolność ta spadła w 21 z 25 przypadków.
Badania pokazują, że format pytań wielokrotnego wyboru (MCQ) tłumi zachowania odmawiające w modelach LLM. Eksperymenty na modelach Llama-3.1-8B i Qwen3-8B wykazują, że wymuszenie konkretnej litery odpowiedzi przesuwa aktywacje modelu 3x dalej od kierunku odmowy, co oznacza, że benchmarki bezpieczeństwa oparte na MCQ mogą zawyżać ocenę bezpieczeństwa modelu.
Badacze zaprezentowali „RL-ATTACK”, nową metodę wykorzystującą uczenie ze wzmocnieniem do generowania ataków typu adversarial na modele językowe, bez potrzeby posiadania dostępu do gradientów modelu. Metoda ta, ucząc się na podstawie reakcji celu, osiąga wysoką efektywność przy niewielkiej liczbie zapytań i skutecznie omija mechanizmy bezpieczeństwa.