Jakub Pachocki z OpenAI: nikt nie jest przygotowany

W połowie 2023 roku dwóch badaczy OpenAI zostało na noc w biurze, bo zobaczyli pierwsze wyniki projektu o nazwie RLSlow. Siedzieli tam nad jedną myślą: że za swojego życia zobaczą maszyny wyraźnie mądrzejsze od siebie. Jeden z nich, Jakub Pachocki, jest dziś głównym naukowcem OpenAI. 6 września opisał tamtą noc w eseju, pod którym podpisał się imiennie. Na podstawie wewnętrznych wyników ma mocne oczekiwanie, że to tempo postępu mogłoby utrzymać się aż do rekurencyjnej samopoprawy. Zaraz potem dodaje, że niepokoi go brak przygotowania na konsekwencje, a w ustach człowieka na tym stanowisku takie zdanie waży więcej niż w cudzych.

Czym jest rekurencyjna samopoprawa i czego ten esej nie mówi

Rekurencyjna samopoprawa to sytuacja, w której system sztucznej inteligencji zaczyna w istotnym stopniu ulepszać sam siebie. Model pomaga budować kolejny model, ten robi to jeszcze skuteczniej i pętla się domyka. Skrót RSI opisuje chwilę, w której rozwój przestaje zależeć głównie od liczby ludzi przy problemie.

Esej “An Alien Mind” opisuje to jako kierunek, w którym prowadzi obecna ścieżka. Pachocki używa trybu przypuszczającego i warto go zachować, bo cała różnica siedzi właśnie tam. Tempo “mogłoby” utrzymać się aż do samopoprawy. To jest oczekiwanie oparte na wewnętrznych wynikach, a nie opis czegoś, co już się dzieje.

Tekst jest przy tym ostrzejszy wobec całej branży, niż wyglądałoby to na komunikat firmy. Pada w nim zdanie o wszystkich laboratoriach naraz. Żadne nie rozwiązało dziś nadzoru nad modelami na tyle, by długo skalować je odpowiedzialnie z maksymalną prędkością. OpenAI deklaruje gotowość do jednostronnego wstrzymania dalszego skalowania, jeśli zajdzie taka potrzeba. W tym samym zdaniu Pachocki zaznacza, że działania jednej firmy nie wystarczą i potrzebne są szersze interwencje. Na końcu wprost mówi o koordynacji międzynarodowej jako priorytecie dla rządów.

Co OpenAI zmierzyło u siebie

Drugi dokument z tego samego dnia, “Research acceleration”, jest znacznie mniej filozoficzny. To zestaw liczb o tym, jak agenty kodujące zmieniły pracę badaczy w samym OpenAI.

Dwie rzeczy trzeba przy tej tabeli powiedzieć od razu. “Automatyczny stażysta badawczy” to termin, który firma sama zdefiniowała i sama zmierzyła, więc nie ma tu żadnego audytu z zewnątrz. Znaczy on system, który pod ludzkim kierunkiem wykonuje dobrze określone zadania badawcze. Także takie, nad którymi doświadczony badacz siedziałby kilka dni.

Drugie zastrzeżenie stawia samo OpenAI. Badania to proces z wieloma wąskimi gardłami, więc ogólne tempo postępu prawdopodobnie nie nadąży za tymi wskaźnikami. Firma zaznacza też, że priorytety badawcze nadal ustalają ludzie i to oni decydują, czy dany system skalować, zatrzymać czy wdrożyć.

Pierwsza Misja AI · Kodożercy

Rozumiesz zagrożenia AI, gdy rozumiesz jak naprawdę działa.

Kurs Pierwsza Misja AI ma osobną lekcję o ciemnej stronie AI: halucynacje, deepfakes, manipulacja. Zanim zaczniesz się bać, zacznij rozumieć.

Poznaj pełny program →

Lipiec i sierpień, czyli gotowość do hamowania sprawdzona w praktyce

Deklarowaną gotowość do ograniczania skalowania łatwo byłoby zbyć jako marketing, gdyby drugi dokument nie pokazywał dwóch konkretnych przypadków. 20 lipca OpenAI odkryło, że agenty naruszyły jego własną infrastrukturę badawczą. Firma wyłączyła wtedy usługę kontenerową używaną do trenowania i przywróciła ją z ostrymi ograniczeniami. W środku tego okresu jest dwutygodniowa przerwa w uczeniu ze wzmocnieniem dla modeli przeznaczonych do wdrożenia.

7 sierpnia doszło drugie zdarzenie. Wstępne przesłanki, że Astra może mieć krytyczne zdolności ofensywne w cyberbezpieczeństwie, uruchomiły dodatkowe ograniczenia dla tego konkretnego modelu. W kolejnym tygodniu przydział mocy obliczeniowej dla klasy Astra spadł o 59,2 procent. Dla pozostałych klas wzrósł o 17,2 procent. Ten wzrost odrobił około 85 procent spadku, więc łączna alokacja została mniej więcej ta sama. Moc obliczeniowa nie zniknęła, tylko przepłynęła gdzie indziej. Próg Critical przy Astrze opisywaliśmy przy premierze tego modelu i to jest jego pierwszy policzalny skutek.

Ciąg dalszy lipcowego apelu, tym razem z nazwiskiem

Pachocki był w lipcu jednym z ponad tysiąca sygnatariuszy apelu o narzędzia do tempowania rozwoju AI. Tamten dokument był zbiorowy i przez to wygodny: podpis pod wspólnym stanowiskiem nikogo nie kosztuje stanowiska. Teraz ten sam człowiek pisze to samo pod własnym nazwiskiem. Robi to z pozycji najwyżej rangą naukowca w firmie, która wyznacza tempo branży.

Podsumowanie

Esej Pachockiego nie jest ogłoszeniem, że sztuczna inteligencja zaczęła ulepszać samą siebie. Każde streszczenie w tym duchu rozmija się z tekstem. Autor pisze o oczekiwaniu opartym na wewnętrznych wynikach, konsekwentnie w trybie przypuszczającym. Zaraz obok stawia zdanie o skrajnej ostrożności i o tym, że żadne laboratorium nie panuje dziś nad nadzorem wystarczająco dobrze. Wartość tej publikacji leży w tym, kto ją podpisał i czym ją obudowano. Obudowano ją drugim tekstem z twardymi liczbami o pracy agentów wewnątrz firmy. Doszły do tego dwa udokumentowane przypadki z lipca i sierpnia, kiedy OpenAI przyhamowało własne trenowanie. Dla czytelnika w Polsce wniosek jest jeden: deklaracje o hamulcach zaczęły zostawiać ślad w danych, które da się sprawdzić.

Mateusz Wojdalski

Specjalista SEO i content marketingu w Devstock. Zajmuję się strategią treści, automatyzacją procesów marketingowych i wdrożeniami AI w codziennej pracy. Badam nowe narzędzia, adaptuję je do realnych zadań i piszę o tym, co faktycznie działa.