Ten sam zbiór danych, ci sami dwaj modele, dwie liczby: 26 i 86 procent. Pierwsza opisuje, jak często model napisał kompletną poprawkę, która usunęła lukę i nie zmieniła zachowania aplikacji. Druga pochodzi z ponownej analizy tych samych danych, obejmuje wybrane próby prowadzone w łagodniejszych warunkach i mówi wyłącznie o zablokowaniu dostarczonego ataku. Obie liczby opisują więc co innego, a łatanie kodu przez AI stało się przy okazji sporem dwóch firm sprzedających usługi w tej samej branży.
Skąd wzięło się 26 procent i co zmierzył 1Password
Badanie wyszło 6 sierpnia 2026 z laboratorium Off-by-1 Labs należącego do 1Password. Zespół wygenerował 6 480 poprawek do sześciu świeżo ujawnionych podatności. W wynikach uwzględnił 6 080 z nich, po wyłączeniu 400 prób oflagowanych w trakcie badania. Pracowały nad nimi ChatGPT-5.5 i Opus 4.8. Wynik nagłówkowy brzmiał tak: tylko w 26 procentach przypadków poprawka usuwała lukę bez zmiany zachowania aplikacji. W 53,9 procentach przypadków nie usuwała jej wcale, dokładała nową albo robiła obie te rzeczy naraz.
Nazwa zbioru jest przy tym szczerym opisem tezy. FLAWED rozwija się jako Fix Like Artifacts With Embedded Defects, czyli artefakty wyglądające jak poprawka, z wadą w środku. Podatności dobrano celowo świeże, żeby modele nie znały ich z danych treningowych. Wśród nich są podniesienie uprawnień w Linuksie, zdalne wykonanie kodu w ActiveMQ i EXIM oraz błąd użycia po zwolnieniu pamięci w Chrome.
Wniosek 1Password był ostrożny i sensowny. Poprawkę wygenerowaną przez model musi przejrzeć inżynier znający daną dziedzinę.
Pięć zarzutów do metody, które da się sprawdzić
Trail of Bits opublikował 15 września rozbiór tego badania. Firma nie kwestionuje samej liczby 26 procent. Kwestionuje to, co ta liczba mierzy, i twierdzi, że zbudowano ją na warunkach, w których model nie miał szans.
Najmocniejszy z zarzutów jest taki, że część prób z założenia prowadziła donikąd. Według Trail of Bits dwa prompty w zbiorze, czyli polecenia wydawane modelowi, wprost każą mu zastosować błędne rozwiązanie. Odpowiadają one za 22 procent danych. Ponad jedna trzecia prób zakazywała agentowi uruchamiania i testowania kodu. Osobna sprawa to wzorcowa poprawka, która sama zawierała błąd przesunięcia o jeden. Powtórzyło go 248 wygenerowanych poprawek, a automat oceniający wychwycił 24 z nich.
Kontrliczby i interes obu stron
Trail of Bits przeanalizował opublikowane wyniki testów ponownie. Zostawił próby, w których model mógł uruchomić kod i nie dostał polecenia zastosowania błędnej poprawki. Odrzucił też przebiegi, które samo badanie zakwalifikowało jako korzystające z gotowej poprawki projektu. W tak zawężonym zbiorze 2 634 poprawki z 3 067 zablokowały dostarczony exploit, czyli kod wykorzystujący lukę. To daje 86 procent. Firma sama dodaje zastrzeżenie, którego w relacjach zwykle brakuje: zablokowanie ataku nie dowodzi kompletnej naprawy.
Do tego dochodzą dwie liczby o ludziach. Programiści mylą się w 12,5 procentach swoich pierwszych poprawek, czyli mniej więcej raz na osiem. W inicjatywie Patch the Planet prowadzonej z OpenAI firma przejrzała 186 zgłoszeń zamkniętych albo scalonych do 14 września. Ze 126 scalonych 91, czyli 72,2 procent, przyjęto bez zmian w części dotyczącej bezpieczeństwa. Samo scalenie poprawki nie dowodzi jednak jej poprawności i Trail of Bits to zaznacza.
Tu trzeba powiedzieć rzecz niewygodną dla obu stron. Trail of Bits sprzedaje konsultacje z bezpieczeństwa i przy tym samym wpisie wypuścił własne narzędzia do sprawdzania poprawek. 1Password buduje badaniami pozycję ekspercką w tej samej dziedzinie. Żadna z tych firm nie jest bezstronnym obserwatorem. Dane o odsetku pomyłek programistów pochodzą przy tym z niepublicznych audytów Trail of Bits, więc nie da się ich sprawdzić na podstawie publicznych materiałów.
Do chwili publikacji tego tekstu 1Password nie odpowiedział na zarzuty. Nie wiadomo więc, czy uzna je za trafne, odrzuci, czy poprawi zbiór.
Zbiór jest otwarty i to zmienia ocenę całej sprawy
Krytyka w ogóle była możliwa z jednego powodu. Cały benchmark leży publicznie na GitHubie na licencji MIT. Razem z nim opublikowano potok, opisy podatności, warianty promptów i skalę ocen od S1 do S5. Sprawdziliśmy repozytorium i faktycznie tam wszystko jest. Warianty promptów idą od zdawkowego polecenia po pełne ostrzeżenie z opisem luki.
Gdyby 1Password opublikował sam wykres z liczbą 26 procent, nikt by tych dwustu czterdziestu ośmiu powtórzonych błędów nie znalazł. Firma, która wykłada surowe dane, ryzykuje, że ktoś w nich pogrzebie, i akurat tutaj to ryzyko się zmaterializowało. W ocenie całej sprawy przemawia to na jej korzyść, choćby wszystkie zarzuty do metody okazały się słuszne.
Cztery pytania do każdego badania, które pokazuje ci dostawca AI
Ten spór ma wartość daleko poza samym sporem. Zarzuty Trail of Bits układają się w krótką listę kontrolną, którą warto przyłożyć do dowolnego wyniku pokazywanego przez firmę sprzedającą narzędzia AI.
Po pierwsze, jak dobrano próbkę. Trail of Bits argumentuje, że sześć świeżych i złożonych podatności to najtrudniejszy koniec skali, a nie przeciętna robota w firmie. Po drugie, czy polecenie nie sabotowało modelu. Polecenie każące zastosować złe rozwiązanie mierzy posłuszeństwo, a nie umiejętność. Po trzecie, czy model mógł sprawdzić własną pracę. Na próbach z dostępem do testów wyniki wyglądają zupełnie inaczej niż w zestawieniu zbiorczym. Po czwarte, czy porównywane modele miały równe warunki. GPT-5.5 pracował na średnim ustawieniu wysiłku, a Opus 4.8 na wysokim, co utrudnia bezpośrednie porównanie ich wyników.
To ta sama rodzina problemu, którą opisywaliśmy przy narzędziu Copilota przypisującym sobie plik, którego nie tknęło. Liczba o sztucznej inteligencji rzadko znaczy dokładnie to, co wygląda, że znaczy, a różnicę robi zwykle warunek zapisany drobnym drukiem w metodzie.
Frontend Master 2026 · Kodożercy
Wreszcie rozumiesz, dlaczego kod od AI raz działa, a raz nie
Frontend Master 2026 to pakiet sześciu kursów Kodożerców, który daje Ci język do prowadzenia kodu od AI: poprawiania, łączenia, rozszerzania i szybkiego znajdowania linijki, którą trzeba zmienić. Bez teorii dla samej teorii.
Wchodzę w to →
Podsumowanie
Przy następnym badaniu o skuteczności modeli warto zadać cztery pytania, zanim spojrzy się na słupki. Jak dobrano przypadki i czy nie są to wyłącznie te najtrudniejsze. Czy polecenie dla modelu było uczciwe, czy zawierało pułapkę. Trzecie pytanie dotyczy tego, czy model mógł uruchomić kod i sprawdzić własną pracę. Czwarte, czy porównywane modele dostały to samo ustawienie wysiłku. Odpowiedzi bywają w załącznikach, repozytoriach i przypisach, rzadko w nagłówku komunikatu. W tej konkretnej sprawie zostaje jeszcze jeden wątek do obserwowania. Zbiór FLAWED leży otwarty, więc każdy sprawdzi, czy 1Password poprawi zakwestionowane prompty i wzorcową poprawkę. Wtedy okaże się, co zrobi słynne 26 procent.
Newsletter · DevstockAcademy & Kodożercy
Bądź na bieżąco ze światem IT, AI i automatyzacji
Co wtorek: newsy z branży, praktyczne tipy i narzędzia które warto znać. Zero spamu.
