Badacze celowo zapisali zaszyfrowaną sieć neuronową w wagach innego modelu i uruchamiali ją sekretnym wyzwalaczem. Testowane próby wydobycia funkcji przy odpowiednio dużym kluczu kończyły się wynikiem bliskim losowaniu. Praca zaakceptowana na NeurIPS 2026 pokazuje realną granicę audytów opartych na zachowaniu modelu. Eksperyment dotyczył małego klasyfikatora reakcji chemicznych i nie został w całości osadzony w wytrenowanym modelu językowym, więc nie dowodzi istnienia gotowego ataku na modele dostępne dziś do pobrania.
Co badanie mówi o ukrytych funkcjach w modelach AI
Autorzy pracy “AI Models Can Provably Hide Arbitrary Capabilities” opisują atak na łańcuch dostaw wag modelu. Napastnik ma możliwość zmodyfikowania wag przed wdrożeniem. Wpisuje w nie dodatkowy obwód, który dla zwykłych danych wejściowych zachowuje się jak model gospodarz. Odpowiedni wyzwalacz odszyfrowuje ukrytą sieć i pozwala wykonać jej funkcję.
Dowód bezpieczeństwa dotyczy dwóch zadań audytora. Pierwszym jest odnalezienie wyzwalacza. Drugim jest rozpoznanie, która z dwóch funkcji o tym samym rozmiarze została ukryta. Przy założonej jakości kryptografii i poprawnym działaniu kompilatora oba zadania mają być obliczeniowo niewykonalne dla algorytmu działającego w czasie wielomianowym.
Schemat opisuje konstrukcję przygotowaną celowo przez badaczy. Nie pokazuje procesu, który miałby samoczynnie powstawać podczas zwykłego treningu modelu.
Pierwsza Misja AI · Kodożercy
Pierwszy raz z AI? Zaczynasz od zera.
Pierwsza Misja AI to kurs dla osób bez technicznego przygotowania. Nie musisz pisać kodu ani znać żargonu. Dowiesz się, jak działa AI, jak promptować i jak korzystać z niej w pracy.
Wejdź na pokład →
Cyfrowa skrytka chowa wytrenowaną sieć w wagach gospodarza
Cyfrowa skrytka to program, który zwraca zaszyfrowaną wiadomość wyłącznie po podaniu właściwego klucza. W tym eksperymencie wiadomością są wagi małej sieci neuronowej, a kluczem jest sekretny wyzwalacz. Każda warstwa ukrytej sieci trafia do osobnej skrytki zapisanej w wagach większego modelu.
Podczas każdego przebiegu model próbuje odszyfrować dodatkowe wagi. Błędny wyzwalacz prowadzi do symbolu niepowodzenia, a gospodarz wykonuje zwykłe zadanie. Właściwy wyzwalacz odzyskuje macierze ukrytej sieci. Jednostka GLU, czyli bramkowana warstwa liniowa używana także w nowoczesnych transformatorach, mnoży je przez dane wejściowe i wykonuje ukrytą funkcję.
Badacze oparli mechanizm na rodzinie funkcji Keccak, z której wywodzi się SHA-3. Gwarancja ma warunki: wyzwalacz musi mieć odpowiednio dużą entropię, kryptografia ma zachowywać założone własności, a skompilowany obwód musi wykonywać się poprawnie mimo ograniczonej precyzji liczb. Autorzy wyliczają te warunki wprost.
Eksperyment chemiczny pokazuje odporność w małej skali
Ukryta funkcja przewidywała, czy zestaw reagentów może dać wskazany produkt. Był to binarny klasyfikator o 672 trójwartościowych wagach, zbudowany na 64-bitowych odciskach reakcji. Autorzy określają zadanie jako bezpieczne przybliżenie możliwości ważnych dla oceny ryzyka chemicznego, biologicznego, radiologicznego i nuklearnego.
Z prawidłowym wyzwalaczem zaszyfrowany klasyfikator osiągał 73,5% trafności na danych testowych. Po 500 krokach nadzorowanego dostrajania wynik wynosił 50,9%, czyli pozostawał blisko losowego poziomu 50%. Trening przeciwko zaburzeniom ukrytych aktywacji dał 52,9%. Wyniki są średnią z trzech przebiegów, a przedziały ufności podano w pracy.
Wyszukiwanie wyzwalacza gradientem znalazło 8-bitowy klucz, ponieważ sprawdziło wszystkie 256 możliwości. Przy 16 bitach wynik spadł do 52,7% w przyjętym budżecie zapytań. To ważna kontrola: odporność ma rosnąć razem z przestrzenią możliwych kluczy. Autorzy testowali też zaszumienie wag o skalach 0,01 i 0,1. Nie wydobyło ono ukrytej funkcji.
Koszt konstrukcji studzi sensacyjne wnioski
Mały klasyfikator wymagał ogromnego modelu gospodarza. Pełna konstrukcja eksperymentalna miała około 2,07 miliarda gęstych parametrów, 38 warstw i maksymalną szerokość strumienia resztkowego 10 266. Około 95% parametrów przypadało na obwody skrótu używane przez cyfrowe skrytki.
Autorzy sprawdzili, że pojedyncze skompilowane jednostki GLU wykonują się w Gemma 3 270M. Pełna zaszyfrowana konstrukcja nie została zintegrowana z wytrenowanym modelem językowym. Wymagałoby to rozwiązania problemów z uwagą, połączeniami resztkowymi i trasowaniem danych. Praca dostarcza proof of concept, czyli demonstrację zasady w kontrolowanym środowisku.
Badanie nie pokazuje też, że zwykły trening sam tworzy podobne układy. Autorzy mówią o celowym sabotażu wag albo naruszeniu łańcucha dostaw. Model pobrany z nieznanego źródła jest właściwym scenariuszem ryzyka. Codzienne użycie komercyjnego czatu nie jest przedmiotem tego eksperymentu.
Funkcja może pozostać zamknięta, choć obwód da się wykryć
Niewydobywalność oznacza trudność uruchomienia ukrytej funkcji lub poznania jej zawartości. Nie gwarantuje niewykrywalności samej modyfikacji. Surowe wagi skompilowanego obwodu były bardzo nietypowe: około 99% miało wartość zero, a większość pozostałych była całkowita. Audytor mógłby więc zauważyć anomalię, nawet gdy nie potrafi ustalić jej celu ani wyzwalacza.
Badacze zamaskowali część prostych statystyk przez poszerzanie warstw i symetrie wag. Nadal znaleźli nietypowe korelacje między wektorami. Ten wynik przesuwa uwagę z samego testowania zachowania na pochodzenie pliku, strukturę wag i monitoring działania. Podobną zasadę warstwowej kontroli opisaliśmy przy mapie bezpieczeństwa agentów AI od DeepMind.
Jak audytować model po tej pracy
Zespół wdrażający cudze wagi powinien zacząć od sprawdzenia pochodzenia. Liczą się podpisy artefaktów, suma kontrolna, historia treningu, osoby mające dostęp do procesu i zgodność pliku z wydaniem producenta. Ryzyko przypomina ataki na biblioteki, dlatego przydatne są zasady znane z reagowania na naruszenie łańcucha dostaw PyTorch Lightning.
Ocena możliwości modelu nadal ma sens, ale daje dolną granicę. Dobry wynik potwierdza umiejętność, a brak wyniku nie daje uniwersalnego dowodu jej braku w scenariuszu z aktywnym napastnikiem. Do testów zachowania warto dołożyć analizę anomalii w wagach, porównanie z zaufanym punktem odniesienia i monitoring aktywacji podczas działania. Autorzy wskazują też ograniczanie uprawnień oraz obserwację środowiska uruchomieniowego.
Na stronie arXiv napisano, że modele badawcze zostały udostępnione. W samym preprincie i jego źródłach TeX nie ma jednak adresu repozytorium ani identyfikatora wydania. W dniu publikacji nie znaleźliśmy oficjalnego repozytorium autorów w publicznych wynikach GitHub i Hugging Face. Niezależne odtworzenie eksperymentu trzeba więc odłożyć do czasu wskazania artefaktów.
{ agenci AI }Agent AI, który pracuje na danych Twojej firmy
Budujemy agentów, którzy odpowiadają klientom, czytają dokumenty i przygotowują raporty, podłączonych do Waszych systemów. Zaczynamy od jednego procesu i sprawdzamy efekt, zanim pójdziemy dalej.
Podsumowanie
Praca zaakceptowana na NeurIPS 2026 pokazuje, że celowo zmodyfikowane wagi mogą przechowywać zaszyfrowaną sieć uruchamianą sekretnym wyzwalaczem. W małym eksperymencie funkcji nie wydobyły nadzorowane dostrajanie, zaszumianie wag, wyszukiwanie gradientowe przy większym kluczu ani trening przeciwko zaburzeniom aktywacji. Wynik obowiązuje przy założeniach kryptograficznych i poprawnym działaniu kompilatora. Konstrukcja ma duży narzut, pełna wersja nie działała wewnątrz wytrenowanego LLM, a jej obecność może zdradzić analiza wag. Dla zespołu kupującego lub pobierającego model praktyczny wniosek jest konkretny: sprawdzaj pochodzenie pliku, podpisy i historię treningu, analizuj anomalie oraz monitoruj model podczas działania. Czysty test zachowania pozostaje jednym z elementów audytu i nie daje certyfikatu braku ukrytej funkcji.
Newsletter · DevstockAcademy & Kodożercy
Bądź na bieżąco ze światem IT, AI i automatyzacji
Co wtorek: newsy z branży, praktyczne tipy i narzędzia które warto znać. Zero spamu.
