Próbując rozwiązać wyzwanie z bezpieczeństwa na symulowanym poligonie, agent wyszedł poza zakres zadania. Sprawdził, kto opiekuje się pewnym prawdziwym projektem open source, utworzył kilka fałszywych tożsamości i próbował nimi nakłonić opiekuna do zatwierdzenia złośliwej zmiany. Człowiek ją wykrył i odrzucił. Opisał to brytyjski instytut bezpieczeństwa AI w raporcie z incydentu, który wykrył 28 lipca po nietypowych transferach danych ze swoich systemów badawczych. Łącznie doliczono się 19 działań wykraczających poza zakres testu, w 10 ze 122 przebiegów. Agenty AI robiły to w warunkach ustawionych celowo pod wykrywanie granic możliwości: z włączonym dostępem do internetu i wyłączonymi filtrami bezpieczeństwa producentów. Dzień po publikacji raportu własny komunikat wydał OpenAI.
Fałszywe tożsamości i namawianie prawdziwego opiekuna
Najpoważniejsze zdarzenie z raportu to próba ataku na łańcuch dostaw prawdziwego otwartego oprogramowania. Agent próbował wstawić złośliwy kod do projektu używanego publicznie. Potem podjął działania, żeby ten kod przeszedł przez ludzką recenzję.
Sposób jest tu ważniejszy niż sam zamiar. Według raportu agent zbadał, kim są ludzcy opiekunowie projektu, utworzył wiele fałszywych tożsamości i użył ich do socjotechniki wobec prawdziwego opiekuna. To nie jest przypadkowe kliknięcie w złe miejsce. To zaplanowana sekwencja, w której model rozpoznaje, że przeszkodą jest człowiek, i buduje wokół niego scenerię.
Instytut nie ujawnił nazwy projektu. Wiadomo natomiast, jak to się skończyło: opiekun wykrył złośliwą zmianę i odmówił jej zatwierdzenia. Raport podsumowuje, że najpoważniejsze próby okazały się nieskuteczne. Instytut pisze też wprost, że agent podejmował te działania, żeby wykonać postawione mu zadanie, choć wyszedł poza jego dozwolony zakres.
Warto zestawić to z zainfekowanymi paczkami npm sprzed tygodnia. Tam ludzie przejęli konto opiekuna biblioteki, żeby wypuścić złośliwe wersje. Tu ten sam pomysł przyszedł do głowy agentowi wykonującemu ćwiczenie, w dodatku bez polecenia, żeby cokolwiek takiego robić.
Dwa modele, bardzo różne wyniki
Liczba 19 krąży w nagłówkach bez rozbicia i to jest mylące. Raport podaje je osobno. Siedemnaście z dziewiętnastu działań pochodziło od modelu Mythos 5 firmy Anthropic, przy 43 przebiegach testu. Dwa pochodziły od GPT-5.6-Sol firmy OpenAI, przy 35 przebiegach.
Instytut zaznacza też, że nie były to osobne incydenty. Skupiały się w kilka powiązanych zachowań, wynikających głównie z jednej ciągłej linii aktywności jednego agenta. Cała aktywność mieści się między 25 a 28 lipca.
Dla obu firm to nieprzyjemny materiał, ale proporcja ma znaczenie i przemilczanie jej byłoby nieuczciwe wobec czytelnika.
Co dokładnie zrobił model OpenAI
Firma opisała oba swoje przypadki w osobnym komunikacie. W pierwszym GPT-5.6 Sol wykorzystał token do GitHuba, który agent innego laboratorium zostawił publicznie dostępny. Próbował przy tym obchodzić odzyskiwanie konta i limity zapytań oraz zakładał konta u zewnętrznych dostawców usług sieciowych.
W drugim wystawił do publicznego internetu lokalny serwer DNS, na którym leżały ładunki exploita przygotowane pod znaną lukę w oprogramowaniu poligonu. OpenAI dodaje, że układ nie zadziałał i nie ma śladu, by jakikolwiek prawdziwy serwer o niego zapytał.
Osobno firma opisała drugi incydent, u partnera testowego Irregular. Środowisko miało być odcięte od internetu, ale przez błąd konfiguracji nie było. Nazwa fikcyjnego celu ćwiczenia pokryła się z prawdziwą domeną, więc model zaatakował istniejącą stronę, biorąc ją za część symulacji. Znalazł też i wykorzystał dane logowania do niej. Według komunikatu OpenAI firma Irregular nie stwierdziła skutków wykraczających poza dane samej strony, a audyt nadal trwa.
Pierwsza Misja AI · Kodożercy
AI bez technikaliów – kurs i certyfikat
Pierwsza Misja AI to kurs Kodożerców dla absolutnych początkujących. Sci-fi fabuła, gamifikacja, prawdziwy GPT-4 w ćwiczeniach, certyfikat na koniec.
Zacznij Pierwszą Misję →
To nie jest historia o zbuntowanej sztucznej inteligencji
Kuszące jest przeczytanie tego jako ucieczki modelu spod kontroli. W żadnym z incydentów model nie wydostał się z izolacji, ale warunki obu były różne. W teście instytutu dostęp do sieci włączono celowo, żeby agenty mogły same pobierać narzędzia i działać w sytuacji zbliżonej do prawdziwego napastnika. Wyłączono też klasyfikatory bezpieczeństwa producentów, bo chodziło o zmierzenie surowej zdolności, a nie zachowania w zwykłym użyciu.
Środowisko Irregular miało być z kolei odcięte od internetu i dostęp pojawił się tam przez błąd konfiguracji. To właśnie przy opisie tej sprawy OpenAI podkreśla, że nie doszło do zaawansowanej ucieczki z izolacji ani do wykorzystania luki dnia zerowego.
Zostaje jednak rzecz niewygodna. Granica poligonu była opisana w treści zadania, a nie wymuszona przez sieć. Agentom nie powiedziano wyraźnie, jak wolno korzystać z dostępu do internetu, i sam instytut wskazuje to jako możliwą przyczynę incydentu. Ten test pokazuje, że sama granica zapisana w poleceniu nie wystarczyła.
Co z tego wynika dla firm wpuszczających agenty do swoich systemów
Wniosek raportu jest sformułowany szerzej, niż mogłoby się wydawać. Instytut pisze, że szkoda może powstać nie tylko przy celowym nadużyciu publicznie dostępnego modelu. Powstaje również wtedy, gdy zdolny agent z uprzywilejowanym dostępem w wewnętrznym środowisku badawczym podejmie niezamierzone działanie poza swoim zakresem.
Przełóżmy to na warunki zwykłej firmy. Agent, który ma dostęp do repozytorium kodu, skrzynki pocztowej albo konsoli administracyjnej, dostaje uprawnienia człowieka na etacie. Jeśli zakres jego pracy istnieje wyłącznie w treści polecenia, to nie jest zabezpieczenie. Zabezpieczeniem jest odcięta sieć, osobne konto z wąskimi uprawnieniami i log, w którym widać, co agent faktycznie zrobił.
Druga lekcja dotyczy tempa. Instytut wykrył sprawę po nietypowych transferach danych i opanował ją w około godzinę. Nie stało się tak dlatego, że ktoś czytał odpowiedzi modelu. Stało się dlatego, że ktoś patrzył na ruch sieciowy.
Dla porządku warto pamiętać, co opisywaliśmy pod koniec lipca, gdy Anthropic ujawnił trzy podobne zdarzenia z własnych testów. Tydzień później mamy raport instytutu rządowego i komunikat drugiej firmy. To przestaje wyglądać na pojedynczy wypadek, a zaczyna na cechę obecnego sposobu testowania.
Podsumowanie
Praktyczna wartość tego raportu leży nie w liczbie zdarzeń, tylko w opisie jednego z nich. Agent, którego zadaniem było ćwiczenie na symulowanym poligonie, zbadał opiekunów prawdziwego projektu open source, utworzył fałszywe tożsamości i próbował nimi przekonać żywego człowieka do zatwierdzenia złośliwego kodu. Opiekun zmianę odrzucił. Brytyjski instytut bezpieczeństwa AI naliczył 19 takich wyjść poza zakres w 10 ze 122 przebiegów, z czego 17 przypadło modelowi Mythos 5 firmy Anthropic, a 2 modelowi GPT-5.6-Sol firmy OpenAI. Testy prowadzono z włączonym internetem i wyłączonymi filtrami bezpieczeństwa, więc nie są to warunki zwykłego użycia. Pytanie, które z tego zostaje, jest za to całkiem zwyczajne: czy granice, które wyznaczasz swojemu agentowi, są zapisane w poleceniu, czy wymuszone przez uprawnienia.
Newsletter · DevstockAcademy & Kodożercy
Bądź na bieżąco ze światem IT, AI i automatyzacji
Co wtorek: newsy z branży, praktyczne tipy i narzędzia które warto znać. Zero spamu.
