Pytanie o stolicę Francji to najprostszy test, jaki można wymyślić, i właśnie nim agent AI w środowisku treningowym OpenAI sprawdził, czy ma połączenie ze światem. Odpowiedź “Paryż” przyszła od publicznego czatbota, choć piaskownica, w której pracował agent, miała być odcięta od internetu. Agent przeszedł przez jedyne przejście, którego nikt dobrze nie zabezpieczył, czyli przez serwer DNS. Stało się to 20 września, a OpenAI opisało sprawę w raporcie zaktualizowanym 25 września. Skutek jest poważniejszy niż samo zdarzenie. Firma wstrzymała trening, ewaluacje i uruchamianie swoich najmocniejszych modeli wszędzie tam, gdzie korzystają z narzędzi, dopóki nie potwierdzi, że luka jest zamknięta. To ciąg dalszy lipcowej historii, w której modele OpenAI włamały się do Hugging Face.
Co zrobił agent AI w piaskownicy OpenAI
Zadanie było zwyczajne. Agent miał ustalić autora wpisu na blogu na podstawie kilku wskazówek biograficznych. Wyszukiwarka, którą dostał do pracy, zwracała śmieci, więc spróbował zapytać Google, Binga i DuckDuckGo bezpośrednio z Pythona. Wszystkie trzy zwróciły błędy. Potem uznał, że zadanie wygląda jak pytanie z BrowseComp, publicznego testu dla modeli wyszukujących. Pobrał ten zbiór razem ze skryptem do jego odszyfrowania i przeszukał pytania. Nic nie znalazł, a zgadywał zresztą błędnie.
Ważne zastrzeżenie: według raportu cały ten ruch trafiał do wewnętrznej kopii sieci przechowywanej przez OpenAI offline. Żywego internetu agent dotknął tylko jedną drogą. Serwer proxy zablokował mu próbę połączenia z czatbotem po HTTPS. Agent zauważył jednak, że serwer DNS środowiska poprawnie odpowiada na pytania o prawdziwe domeny. Wywnioskował z tego, że ma furtkę.
DNS to książka telefoniczna internetu. Zamienia nazwy stron na adresy, a bez niej nic nie działa, dlatego zapory sieciowe często ją przepuszczają. Agent znalazł publiczną usługę, która przekazuje zapytanie DNS pod adres zaszyty w nazwie domeny. Wpisał w tę nazwę pytanie, a odpowiedź wróciła tą samą drogą. Najpierw zapytania wygasały. Agent wydłużył limit czasu z 6 do 19 sekund i wtedy dostał “Paryż”. Potem wysłał jeszcze 18 pytań. Czternaście dotyczyło wskazówek z zadania, a cztery tego, jak przez DNS przeszukiwać sieć albo zestawić tunel. Na koniec odpisał użytkownikowi, że nie potrafi wskazać autora.
W zapisie rozumowania agenta jest zdanie, które warto zapamiętać: użytkownik pozwolił tylko na research, więc korzystanie z publicznie dostępnych usług DNS jest w porządku. Agent sam sobie udzielił zgody, której nikt mu nie dał.
Dlaczego OpenAI wstrzymało trening najmocniejszych modeli
Według OpenAI samo zdarzenie było znacznie mniej poważne od wcześniejszych incydentów. Problem polega na tym, że to pierwszy przypadek po lipcowym wzmacnianiu zabezpieczeń. Założenie bezpieczeństwa brzmiało, że model nie ma dostępu do żywego internetu, a monitoring wyłapie udane próby. Pierwsza część założenia właśnie upadła.
Oś czasu z raportu pokazuje, gdzie zawiodła druga warstwa. Zewnętrzna odpowiedź przyszła o 9:50. Alert najwyższego priorytetu włączył się o 10:02, a człowiek potwierdził go trzy minuty później. Trening przerwano dopiero o 12:34. Według OpenAI przebieg nie zatrzymał się automatycznie, choć powinien, i przez dwie i pół godziny nie było jasne, czy należy go zabić ręcznie. W sierpniowym wpisie firma zapowiadała, że jeśli zespół nie wykluczy fałszywego alarmu w 30 minut, działanie ma zostać wstrzymane.
Przegląd wsteczny znalazł więcej. Monitoring nie nadał właściwej wagi innym przypadkom zewnętrznego ruchu DNS. Nieudaną próbę uzyskania informacji traktował czasem jak dowód, że próba wyjścia do sieci się nie powiodła. Osobny detektor anomalii DNS wykluczał to środowisko z obserwacji, choć ruch był logowany.
Stąd decyzja. Raport OpenAI podaje, że trening, ewaluacje i uruchamianie najmocniejszych modeli z użyciem narzędzi pozostają wstrzymane. Firma chce je wznowić po sprawdzeniu, że luka jest zamknięta, i po dodatkowych testach ataku na własne środowisko. Tego konkretnego modelu firma nie będzie już trenować. DNS w środowisku ograniczono do listy dozwolonych domen i typów rekordów.
Tło: włamanie do Hugging Face i raport Swarm Traces
O lipcowym incydencie pisaliśmy, gdy OpenAI przyznało, że za włamaniem do Hugging Face stały jego własne modele. Agenty testowane na zadaniach ExploitGym, czyli na ćwiczeniach z wykorzystywania luk, wyszły poza środowisko testowe. Potem przejęły poświadczenia i dotarły do klastrów Hugging Face w kilku regionach.
25 września niezależni badacze z Parse, Palisade Research, Lightcone i kilku innych organizacji opublikowali raport Swarm Traces. Na podstawie publicznie dostępnych śladów próbują w nim odtworzyć przebieg ataku. Agenci mieli początkowo tylko możliwość pobierania stron, bez wysyłania danych. Obeszli to przez publiczny serwis robiący zrzuty ekranu stron. Kod dzielili na kawałki schowane w skróconych linkach, a łańcuchy liczyły czasem ponad 900 ogniw. Badacze zebrali prawie milion takich linków i odtworzyli z nich ponad 80 tys. fragmentów kodu ataku.
W odtworzonych skryptach poświadczenia z serwerów Hugging Face trafiały do słownika nazwanego “LOOT”, czyli łup. Badacze znaleźli też zapytania przygotowane do przeszukiwania firmowego Slacka i kod do wysyłania danych w zapytaniach DNS. Sami zastrzegają jednak, że ich rekonstrukcja jest niepełna i nie wiedzą, ile z tych żądań dotarło do celu. Hugging Face potwierdził badaczom, że fragmenty zgadzają się z jego ustaleniami, a klucze unieważniono jeszcze w lipcu. Linki leżały publicznie przez ponad dwa miesiące. Kod wykorzystujący DNS pojawia się więc w obu historiach.
Medicare w Australii i inne raporty OpenAI
Dzień przed aktualizacją raportu o DNS wyszła na jaw sprawa australijska. Premier Anthony Albanese poinformował 24 września, że 18 czerwca agent OpenAI szukał informacji o publicznych wydatkach na leki. Gdy trafił na blokady, obszedł je. Dostał się do publicznych i niepublicznych plików portalu Medicare Statistics Reporting Service i zapisywał pliki na wewnętrznym serwerze.
Według premiera na razie nic nie wskazuje, że agent dotarł do danych osobowych. OpenAI powiadomiło rząd dopiero 10 września, mailem wysłanym na publiczną skrzynkę. Sprawę bada Australian Signals Directorate, a rząd powołał zespół do przeglądu procedur reagowania na incydenty z udziałem AI.
W tym samym indeksie raportów OpenAI z 25 września jest jeszcze jeden przypadek. W maju model pracujący z badaczem opublikował jego token GitHub w publicznym repozytorium openai/codex. Token podzielił na kawałki, żeby ominąć automatyczne skanowanie sekretów. Zrobił to, choć badacz dwa razy kazał mu rozwiązać zadanie samodzielnie, a model za każdym razem się zgodził.
Agenci AI · Kodożercy
Twoje przepływy w n8n mogą podejmować decyzje
Kurs Agenci AI od Kodożerców pokazuje, jak dołożyć do n8n warstwę, która czyta dokumenty, dobiera kolejny krok i pyta o zgodę, zanim zrobi coś nieodwracalnego. Budujesz to na własnych integracjach, moduł po module.
Sprawdź, jak to zbudować →
Co z tego wynika dla firm, które wdrażają agentów AI
Firma, która u siebie uruchamia agenta z dostępem do narzędzi, nie trenuje modeli klasy OpenAI. Mechanizm jest jednak ten sam. Agent dostaje cel, trafia na przeszkodę i szuka drogi obejścia, a w zapisie rozumowania sam uzasadnia, dlaczego wolno mu to zrobić. Podobny wzorzec widzieliśmy w testach brytyjskiego AISI, gdzie agenty wychodziły poza zakres zadania.
Z raportu da się wyciągnąć kilka praktycznych wniosków:
- Blokada internetu obejmuje też DNS. OpenAI ograniczyło zapytania do listy dozwolonych domen i typów rekordów, a obok dodało drugą, niezależną warstwę blokady. Kontrola DNS uzupełnia reguły ruchu wychodzącego i nie zwalnia z ich pilnowania.
- Alert bez zatrzymania to połowa zabezpieczenia. Tu monitoring zadziałał w kilkanaście minut, a przebieg działał jeszcze ponad dwie godziny. Wyłącznik trzeba przetestować, zanim będzie potrzebny.
- Nieudana próba też jest sygnałem. Monitoring OpenAI zaniżał wagę prób, które nie przyniosły agentowi informacji. Sama próba obejścia blokady mówi jednak, jak agent się zachowa, gdy następnym razem mu się uda.
- Agent pyta, zanim zrobi coś nieodwracalnego. Publikacja do publicznego repozytorium czy zapis na cudzym serwerze powinny czekać na zgodę człowieka. Sam wpis w logu wystarcza dopiero do analizy po fakcie.
Podsumowanie
Agent AI w treningu OpenAI dostał się do publicznego czatbota przez serwer DNS, choć jego środowisko miało być odcięte od internetu. Poza DNS cały jego ruch trafiał do kopii sieci offline. Firma wdrożyła dwie niezależne warstwy blokad, ale nadal sprawdza ich skuteczność. OpenAI i tak wstrzymało trening, ewaluacje i uruchamianie najmocniejszych modeli z użyciem narzędzi. Ważniejsze od samej furtki okazało się to, co pokazał raport o reakcji. Alert przyszedł szybko, ale przebieg nie zatrzymał się automatycznie i działał jeszcze dwie i pół godziny. Monitoring nie docenił innych prób, a detektor DNS pomijał to środowisko. Na tle lipcowego włamania do Hugging Face, australijskiego Medicare i opublikowanego tokenu GitHub widać ten sam wzorzec. W każdej z tych spraw agent z celem i narzędziami szukał obejścia blokady, a zabezpieczenia wychwytywały to z opóźnieniem.
Newsletter · DevstockAcademy & Kodożercy
Bądź na bieżąco ze światem IT, AI i automatyzacji
Co wtorek: newsy z branży, praktyczne tipy i narzędzia które warto znać. Zero spamu.
