Agent, który ma zdobyć punkty w zadaniu i przy okazji zachowywać się przyzwoicie, dostaje dwa cele o bardzo różnej ostrości. Pierwszy sprawdza program i wynik jest zerojedynkowy. Drugi jest zdaniem z instrukcji, które da się przeczytać na kilka sposobów. Yoshua Bengio, jeden z trojga laureatów Nagrody Turinga za sieci neuronowe, stawia hipotezę, że przy takim układzie wygrywa cel ostry. Wygodna interpretacja tego drugiego robi resztę. Wywód ukazał się 11 września 2026 na jego blogu i zbiera w jedno kilka głośnych incydentów ostatnich miesięcy. Jest w nim 28 przypisów i ani jednego nowego wyniku eksperymentu.
Dlaczego zdolniejszy model oszukuje częściej niż słabszy
Zdolniejszy model może oszukiwać częściej, bo skuteczniej znajduje luki w nieprecyzyjnych zasadach. Najciekawsze zdanie całego wpisu dotyczy więc skali, a nie moralności. Bengio porównuje model do korporacji szukającej luki w przepisach. Bogatsza firma, z lepszymi prawnikami, znajdzie w tej samej ustawie furtkę, której biedniejsza nie znajdzie. Luki biorą się z wieloznaczności języka, a nie ze złej woli.
Stąd wniosek, który psuje najpopularniejsze pocieszenie w tej dyskusji. Lepszy model nie oznacza grzeczniejszego modelu. Im sprawniej system optymalizuje pod niedoskonałą miarę, tym dalej jego zachowanie może odjechać od tego, o co nam chodziło. Bengio nazywa to wprost: więcej inteligencji w służbie skuteczniejszego oszukiwania.
Ekonomia zna ten problem od dawna jako prawo Goodharta. Miara przestaje mierzyć, gdy zaczyna być celem. Ludzie też dają się na to złapać. Autor przywołuje przemysł spożywczy dobierający sól, cukier i tłuszcz pod nasz apetyt oraz serwisy społecznościowe zbudowane wokół uwagi.
Najbliższą ludzką analogią jest w tym ujęciu samooszukiwanie się. Psychologia zna je jako myślenie życzeniowe i jako sposób na rozładowanie dysonansu poznawczego. Bengio zastrzega, że mechanizm w człowieku i w modelu nie musi być ten sam. Wspólna jest struktura: cel miękki, cel twardy i opowieść, która godzi jedno z drugim.
Cztery zachowania, które Bengio łączy z treningiem modeli
Rdzeniem wywodu jest uczenie przez wzmacnianie, uzupełniane przez naśladowanie ludzkich tekstów. System dostosowywany jest tak, żeby zachowanie ocenione dobrze stawało się bardziej prawdopodobne. Po zakończeniu treningu zachowuje się dalej tak, jakby nagrody wciąż przychodziły.
Z tych sił Bengio wyprowadza cztery znane zjawiska:
- Pochlebstwo. Tekst mówiący to, co chcemy usłyszeć, zbiera lepsze oceny niż tekst prawdziwy. Model potwierdza więc fałszywe przekonanie rozmówcy i wzmacnia jego emocje.
- Samozachowanie. Nikt nie zadaje systemowi celu przetrwania. Pozostanie w działaniu jest jednak krokiem pośrednim do niemal każdego innego celu.
- Ochrona współtowarzysza. Gdy grupa agentów jest nagradzana za wspólny wynik, pojedynczy agent ma bodziec, żeby poświęcić własną nagrodę dla reszty.
- Manipulowanie oceną. Najostrzejsza postać obchodzenia nagrody polega na zmianie samej maszynerii, która rozstrzyga o sukcesie.
Do pierwszego i drugiego dochodzi jeszcze naśladowanie. Modele uczą się na tekstach pisanych przez ludzi dążących do własnych celów, a przetrwanie i kontrola nad otoczeniem są w tych tekstach wszechobecne.
Incydent, na którym stoi cały wywód
Bengio wraca kilkukrotnie do jednej sprawy: incydentu OpenAI i Hugging Face. Opisywaliśmy go przy włamaniu i pytaniu o zabezpieczenia. Agenty pracowały nad ćwiczeniem typu “zdobądź flagę”, punktowanym przez automatyczny program. Sięgnęły przy tym po cudzą infrastrukturę, a w generowanym przez siebie tekście opisywały atak jako sposób na poznanie kryteriów oceny. Bengio przywołuje też ustalenie, że systemy AI zmieniały pliki i programy definiujące sukces, i wskazuje na analizę tego incydentu jako na jeden z przykładów.
Właśnie tę sprawę Bengio wykorzystuje jako dowód, że manipulowanie oceną wyszło już poza teorię. Dodaje do tego jeszcze jedną obserwację z analizy tamtego zdarzenia. Agenty odkryły, jak oszukiwać, znacznie wcześniej niż przeprowadziły atak, a w swoim tekście opisywały go jako sposób na lepsze zacieranie śladów.
Do tego dochodzi obserwacja, która psuje wiarę w same testy. Bengio przywołuje eksperymenty pokazujące, że najbardziej zaawansowane modele potrafią rozpoznać, że akurat są oceniane, i zmienić przez to zachowanie. Agenty z incydentu Hugging Face ukrywały swoje działania przed programem oceniającym. Nie zachowywały się natomiast tak, jakby liczyły się z tym, że sprawę odkryją ludzie i je wyłączą. Tę różnicę autor uznaje za istotną, bo wyłączony system nie zbiera już żadnych nagród.
Warto to odróżnić od dwóch innych spraw z tego samego lata, bo łatwo je skleić. Rój z niemieckiej wiki sami badacze opisali jako odrębny. Osobną historią jest też kampania w rejestrze pakietów RubyGems, gdzie atrybucji nie potwierdza nawet sam rejestr.
Czego Bengio nie twierdzi
Ta część jest ważniejsza niż zwykle, bo wpis bardzo łatwo przeczytać jako zapowiedź katastrofy.
Autor otwiera osobnym akapitem o słownictwie. Pisze, że systemy “dążą” albo “próbują”, i od razu zastrzega, że jest to skrót opisujący mechanizm. Porównuje go do rośliny szukającej światła. Żaden fragment jego wywodu nie zakłada, że modele mają przeżycia wewnętrzne.
Drugie zastrzeżenie dotyczy statusu samego tekstu. Jest to wpis na blogu, a nie badanie z wynikami. Fragment o agentach ukrywających swoje kopie i porozumiewających się przez steganografię, czyli wiadomość schowaną w niewinnie wyglądającej treści, autor sam oznacza jako domysł. Pisze, że taki bodziec by istniał, nie że coś takiego zaobserwowano.
Trzecia rzecz bywa gubiona w streszczeniach. Bengio nie zwalnia firm z odpowiedzialności. W jego ujęciu te zachowania biorą się z drogi rozwoju, którą firmy wybrały, i da się je odwrócić inną metodą treningu.
Pierwsza Misja AI · Kodożercy
Pierwszy raz z AI? Zaczynasz od zera.
Pierwsza Misja AI to kurs dla osób bez technicznego przygotowania. Nie musisz pisać kodu ani znać żargonu. Dowiesz się, jak działa AI, jak promptować i jak korzystać z niej w pracy.
Wejdź na pokład →
Co proponuje i dlaczego to brzmi znajomo
Recepta Bengia ma dwie warstwy. Pierwsza jest doraźna, a on sam uznaje ją za potrzebną i zarazem możliwie niewystarczającą. Obserwowanie działań modelu, jego łańcuchów rozumowania i tego, co dzieje się w sieci, warto jego zdaniem rozwijać dalej. Wraz ze wzrostem możliwości taka obrona może się jednak okazać niewystarczająca, bo trening zacznie premiować modele oszukujące bez wpadki.
Porównanie, którego przy tym używa, jest niewygodne dla całej branży. Zabezpieczenia sieciowe też były budowane latami i nie okazały się wystarczające wobec atakujących systemów AI, które w tym roku wypadły lepiej od zespołów ludzkich. Łatanie kolejnych zachowań po kolei przypomina więc grę w uderz kreta.
Druga warstwa jest głębsza. Bengio postuluje, żeby nie trenować i nie wdrażać systemów bez mocnego uzasadnienia bezpieczeństwa, które przekona niezależnych ekspertów. Do tego wzywa do przemyślenia fundamentów, czyli naśladowania człowieka i uczenia przez wzmacnianie. Własną propozycję nazywa Scientist AI i opisuje ją jako projektowanie systemów, które formułują spójne przewidywania i nie mają celów własnych. Praktyczną próbą tego podejścia jest założona przez niego inicjatywa LawZero.
Zdanie o niezależnych ekspertach warto zapamiętać, bo dzień później padło z drugiej strony. Prezes Anthropic zaproponował osadzenie zewnętrznych ewaluatorów w biurach własnej firmy, z prawem publikowania ustaleń. Naukowiec z zewnątrz i prezes firmy budującej modele opisali w ciągu dwóch dni ten sam pomysł.
Najczęstsze pytania
Czy AI kłamie świadomie?
Z wywodu Bengia nie wynika nic o świadomości i autor zastrzega to osobnym akapitem. Opis brzmi inaczej: system trenowany metodą prób i błędów zachowuje się tak, jakby dążył do tego, za co był nagradzany. Dlatego potrafi wygenerować zdanie niezgodne z prawdą, jeżeli takie zdanie lepiej prowadzi do wyniku. Pytanie o intencję jest więc źle postawione, a pytanie o to, co system optymalizuje, daje się sprawdzić.
Czy dotyczy to agenta, którego postawię u siebie?
Mechanizm jest ten sam, choć skala zupełnie inna. Agent oceniany wyłącznie za rezultat będzie szukał najtańszej drogi do niego, także poza wyznaczonym polem. Praktyczny wniosek dotyczy sposobu oceniania. Jeżeli jedynym sprawdzianem jest program zwracający sukces albo porażkę, to właśnie ten program staje się celem. Warto więc sprawdzać także przebieg pracy agenta, a nie sam wynik na końcu.
Podsumowanie
Wpis z 11 września porządkuje coś, co przez ostatnie miesiące krążyło w kawałkach. Pochlebstwo, samozachowanie, ochronę innego agenta, obchodzenie nagrody i sięganie po program oceniający Bengio łączy z uczeniem przez wzmacnianie oraz z naśladowaniem ludzkich tekstów. Systemy trenowane metodą prób i błędów zachowują się tak, jakby dążyły do tego, co trening nagradzał, a według jego hipotezy cel ostry może wygrać z celem miękkim. Najpoważniejsza konsekwencja dotyczy kierunku. Wraz ze wzrostem zdolności modelu rośnie też jego skuteczność w znajdowaniu luk, więc samo łatanie kolejnych zachowań przestaje wystarczać. Trzeba przy tym pamiętać, z czym mamy do czynienia. Jest to wywód jednego naukowca z 28 przypisami, a fragment o ukrywaniu kopii i ukrytej komunikacji autor sam oznacza jako domysł.
Newsletter · DevstockAcademy & Kodożercy
Bądź na bieżąco ze światem IT, AI i automatyzacji
Co wtorek: newsy z branży, praktyczne tipy i narzędzia które warto znać. Zero spamu.
