Ten sam model, który napisze esej o Kancie i podpowie dowód matematyczny, potrafi się pomylić przy czymś, co pierwszoklasista robi bez zająknięcia: dokładnym przepisaniu długiego ciągu znaków. Nowa praca czterech badaczy, udostępniona 17 lipca w repozytorium arXiv, pokazuje, że to nie przypadek ani chwilowy błąd. Zdaniem autorów to systemowa słabość tego, jak dzisiejsze czołowe modele językowe rozpoznają, gdzie w tekście się znajdują.
Na czym właściwie potyka się model
Zadanie brzmi banalnie: przepisz podany tekst słowo w słowo. Dla człowieka z kartką to nuda, dla modelu językowego okazuje się zaskakująco trudne, gdy tekst jest długi. Im dłuższy ciąg do skopiowania, tym większa szansa, że model coś przekręci, powtórzy fragment albo zgubi kawałek w środku.
Badacze nazywają to paradoksem, bo kopiowanie jest przecież łatwiejsze niż rozumowanie. Nie trzeba niczego rozumieć, wystarczy odwzorować. A jednak to właśnie tu, na najprostszym z możliwych zadań, widać, że model nie działa tak, jak intuicyjnie zakładamy. Nie ma w głowie dokładnego licznika pozycji, który mówi “teraz jestem przy znaku numer 428”.
Dlaczego kopiowanie bywa trudniejsze niż myślenie
Powód siedzi głęboko w architekturze. Model musi jakoś wiedzieć, w którym miejscu tekstu jest każdy fragment, w żargonie zwany tokenem, więc każdemu przypisuje informację o pozycji. Popularna metoda, w skrócie RoPE, koduje tę pozycję względnie: mówi modelowi nie “to jest znak 428”, tylko “to jest jakiś kawałek dalej od tamtego”. Do rozumienia zdań to wystarcza aż nadto.
Problem w tym, że przy kopiowaniu model idzie na skróty. Zamiast trzymać się dokładnej pozycji, dopasowuje się do tego, co widział przed chwilą w pobliżu. To trochę jak przepisywanie długiego numeru konta z pamięci. Dopóki jest krótki, wszystko gra, ale przy dwudziestu cyfrach w pewnym momencie myślisz “zaraz, gdzie ja właściwie byłem?”. Model gubi się dokładnie w ten sam sposób, tylko na skalę setek czy tysięcy znaków.
Pomysł badaczy: ułóż tekst w kratkę
Rozwiązanie, które proponują autorzy, jest zaskakująco proste w idei. Zamiast traktować tekst jak jedną długą linię, układają go w dwuwymiarową siatkę, jak arkusz kalkulacyjny albo kartkę w kratkę. Każdy znak dostaje wtedy dwie współrzędne: numer wiersza i numer kolumny. Metodę nazwali 2D-RoPE, czyli kodowanie pozycji w dwóch wymiarach.
Efekt tej zmiany dobrze widać na tej samej analogii. Przepisanie długiego numeru z pamięci jest ryzykowne. Przepisanie go z kratkowanej kartki, gdzie widzisz “trzeci wiersz, piąta kolumna”, jest już banalne, bo nigdy nie tracisz miejsca. Dla modelu kopiowanie zamienia się w prostą regułę: pobierz znak spod pozycji odsuniętej zawsze o to samo, stałe przesunięcie.
Liczby robią wrażenie. W testach płytkie, czyli bardzo proste modele z tym rozwiązaniem, przepisywały bezbłędnie teksty setki razy dłuższe niż te, na których się uczyły. Przewaga utrzymała się też przy sprawdzeniu na dużym zbiorze danych i modelach sięgających 1,4 miliarda parametrów. To wciąż propozycja badawcza, a nie gotowa łatka w ChatGPT czy Claude, ale kierunek jest wyraźny.
Co to znaczy w codziennej pracy z AI
Dla zwykłego użytkownika płynie z tego jeden praktyczny wniosek: nie ufaj modelowi ślepo tam, gdzie liczy się dokładność znak w znak. Wklejasz do czatu długi numer faktury, fragment kodu, tabelę z danymi albo listę identyfikatorów i prosisz o drobną zmianę? Istnieje realne ryzyko, że gdzieś po drodze coś się przekręci. Nie dlatego, że model jest głupi, tylko dlatego, że akurat ta czynność leży w jego najsłabszym punkcie.
To samo dotyczy automatyzacji. Jeśli budujesz przepływ, w którym AI przepisuje dane między systemami, kluczowe pola warto sprawdzać osobno. Nie zakładaj, że skoro model zdał trudniejsze testy, to prostego przepisania na pewno nie zepsuje. Podobny mechanizm cichego błędu, gdzie wszystko wygląda na wykonane, a wynik jest jednak zły, opisywaliśmy przy okazji cichych błędów w automatyzacji. Świadomość, gdzie model jest mocny, a gdzie zawodzi, jest dziś ważniejsza niż wiara, że skoro brzmi pewnie, to się nie myli.
Pierwsza Misja AI · Kodożercy
Pierwszy raz z AI? Zaczynasz od zera
Pierwsza Misja AI to kurs dla osób bez technicznego zaplecza. Zero kodu, zero żargonu. Dowiesz się, jak naprawdę działa AI, gdzie jest mocna, a gdzie się myli, i jak z niej korzystać w pracy.
Wejdź na pokład →
Podsumowanie
Najciekawsze w tej pracy jest to, że pokazuje AI od podszewki. Model nie ma w środku dokładnego licznika pozycji, więc przy długim, mechanicznym przepisywaniu gubi się tam, gdzie człowiek z kartką w kratkę nie miałby najmniejszego problemu. Badacze pokazali, że wystarczy zmienić sposób, w jaki tekst jest ułożony, z linii na siatkę, żeby w testach ten konkretny błąd niemal zniknął. Dla nas, którzy używamy tych narzędzi na co dzień, praktyczna lekcja jest prosta: model świetnie radzi sobie z sensem, gorzej z dosłownością. Wszędzie tam, gdzie liczy się każdy znak, ostatnie słowo powinno wciąż należeć do człowieka.
Newsletter · DevstockAcademy & Kodożercy
Bądź na bieżąco ze światem IT, AI i automatyzacji
Co wtorek: newsy z branży, praktyczne tipy i narzędzia które warto znać. Zero spamu.
