Anthropic ulepsza swoje modele mniej więcej dwa razy szybciej niż przed październikiem 2025 roku i robi to głównie dzięki temu, że sam używa AI w badaniach. Tak ocenia niezależna organizacja METR po jedenastu tygodniach pracy na wewnętrznych danych firmy. To zewnętrzna próba zmierzenia zjawiska, które branża nazywa samonapędzaniem się AI, a jednocześnie wynik, którego publiczność nie może sama sprawdzić. Anthropic utajnił większość dowodów, które METR uznał za najważniejsze. Oba raporty ukazały się 5 listopada 2026 roku: ocena przyspieszenia badań w Anthropic i recenzja rozdziału o automatyzacji badań w raporcie ryzyka firmy. Stan na 8 listopada 2026 roku, godz. 18:00.
Czym jest audyt METR i skąd wziął się w Anthropic
METR to organizacja non-profit z Berkeley, która od lat testuje modele AI dla Anthropic, OpenAI i innych laboratoriów. Tym razem nie badała samego modelu, tylko to, jak szybko firma robi postęp. Pracowała u Anthropic od 12 sierpnia do 29 października 2026 roku, w wymiarze dwóch i pół etatu, na sprzęcie firmy.
Zespół dostał wewnętrzne wyniki testów, dane o mocy obliczeniowej, liczbę pracowników, liczbę zmian w kodzie, ankiety i około 15 wywiadów z kluczowymi badaczami. METR nie brał pieniędzy, dostał za to darmowe tokeny do analizy danych. Pełny raport ma około 100 stron i trafił tylko do Anthropic. Publiczna wersja przeszła przez redakcję firmy, która miała prawo usuwać informacje niejawne.
To jest inny projekt niż ten, który Anthropic ogłosił 15 października. Wtedy firma napisała, że daje zespołowi METR dostęp “jak pracownikowi” i że nie może zawetować publikacji. Badanie opisane w raportach zaczęło się wcześniej i miało węższy dostęp. METR nie mógł na przykład sam odpytywać niepublicznych modeli.
Ile szybciej Anthropic ulepsza modele według METR
Wyniki modeli Anthropic w zestawie testów rosną od października 2025 roku około 1,9 raza szybciej niż wcześniej. Przedział ufności 95% wynosi od 1,5 do 2,8 raza. Według METR oznacza to mniej więcej dwa lata dawnego postępu w ciągu jednego roku. To jakby przejść drogę od Claude 2.1 do Sonnet 4.5 w dwanaście miesięcy zamiast dwudziestu czterech.
Miarą jest AECI, czyli wersja indeksu Epoch Capabilities Index liczona przez Anthropic. Indeks skleja wyniki wielu testów w jedną liczbę opisującą ogólną sprawność modelu. Do obliczeń weszły też trzy modele wewnętrzne, nazwane w raporcie Model 2, 3 i 4. Ich trening zakończył się między lipcem a październikiem 2026 roku. Raport nie łączy tych nazw z publicznymi wersjami Claude.
Ta liczba ma dużo zastrzeżeń i METR wymienia je sam. W testach odporności, przy innych założeniach o trudności zadań, wynik waha się od 1,1 do 2,9 raza. Gdy do wykresu dołożyć modele innych firm, przyspieszenie spada do około 1,4 raza. Powodem może być to, że w 2025 roku Anthropic był za czołówką i jego wcześniejsze tempo było nietypowo niskie. Najnowszy Model 4 ma ponad 50% punktów we wszystkich 15 testach, na których go sprawdzono. METR przyznaje, że kończą mu się zadania, które mierzą coś na granicy możliwości.
Ostateczna ocena zespołu brzmi ostrożniej niż sama liczba. W październiku 2026 roku Anthropic poprawia modele na dobrze zdefiniowanych zadaniach mniej więcej dwa razy szybciej niż między marcem 2024 a październikiem 2025 roku. METR pisze, że nie zdziwiłby się wynikiem bliższym 1,3 albo 3. Nie wiadomo też, jak to przekłada się na zadania nieuporządkowane, których nie da się automatycznie ocenić.
Dlaczego METR uważa, że przyspieszenie robi sama AI
METR szacuje, że około 80% obecnego przyspieszenia wynika z używania AI w pracy badawczej Anthropic. Zespół zaznacza, że to ocena obarczona dużą niepewnością, a sami pracownicy Anthropic nie byli w tej sprawie zgodni. Pewny jest tylko jeden wniosek negatywny: przyspieszenie nie bierze się z szybszego dokładania mocy obliczeniowej do treningu.
Najmocniej brzmi samoocena pracowników. W ankietach na firmowym Slacku średnia deklarowana poprawa własnej wydajności z najnowszym wewnętrznym modelem doszła w październiku do około 12 razy. METR nazywa to “bardzo luźnym dowodem”, bo odpowiedzi to szybkie kliknięcia, a nie pomiar. Zaznacza też, że wydajność pojedynczej osoby to nie to samo, co tempo rozwoju modeli. Wywiady dają spokojniejszy obraz. Na 11 badaczy dwóch wprost potwierdziło ponad dwukrotne przyspieszenie, trzech raczej tak, czterech odpowiedziało niejednoznacznie, a dwóch zaprzeczyło. Jeden z nich przypisał AI tylko 15-20% zmiany, a drugi uznał za najważniejszy czynnik nowe zatrudnienia.
Według rozmówców METR AI pomaga głównie jako asystent, który pisze kod i szybko uruchamia eksperymenty. Jeden z badaczy opisał to jako skrócenie czasu od pomysłu do eksperymentu o 80%. Według METR AI nie wnosi jeszcze samodzielnie bardzo istotnego wkładu do najważniejszych etapów treningu. Badacze opisali jednak wyraźne “oznaki życia”, które sugerują, że to może się wkrótce zmienić. Z tego wynika praktyczny wniosek: obraz “AI rozwija się sama” jest dziś przesadą, a obraz “ludzie z AI pracują dwa razy szybciej” ma podstawę w danych.
Co Anthropic utajnił, a co METR mógł opisać
Anthropic zgodził się na publikację najogólniejszych wniosków, ale wyciął większość szczegółów, na których METR je oparł. Firma tłumaczy, że chodziło o usunięcie poufnych informacji, które mogłyby przyspieszyć konkurencję. METR pisze wprost, że przez to publiczność musi polegać na jego ocenie znacznie bardziej, niż byłoby to wskazane.
| Rodzaj danych | Czy METR je dostał | Czy opisano je publicznie |
|---|---|---|
| Wyniki testów modeli wewnętrznych | tak | tak |
| Pośrednie miary postępu w treningu | tak | nie |
| Szacunki postępu algorytmicznego | tak | nie |
| Dowody wkładu AI w badania | tak | częściowo |
| Pomiary kluczowych nakładów (ludzie, moc, dane) | w większości | nie |
| Wąskie gardła i prognozy dla przyszłych modeli | częściowo | nie |
| Wywiady z pracownikami | tak | częściowo |
Źródło: tabela w raporcie METR z 5 listopada 2026 roku.
Umowa obejmowała pierwotnie sprawdzenie, ile mocy obliczeniowej Anthropic przeznacza na rozwój możliwości modeli, a ile na bezpieczeństwo. W połowie projektu firma wyłączyła tę część z zakresu, zanim METR doszedł do jakichkolwiek wniosków. Anthropic zapowiedział, że wróci do tego później.
Czy Anthropic przekroczył próg ze swojej polityki bezpieczeństwa
Nie wiadomo, a METR uważa, że to możliwe. Polityka odpowiedzialnego skalowania (Responsible Scaling Policy, RSP) to zestaw progów, po których Anthropic zobowiązuje się wzmocnić zabezpieczenia. Jeden z nich, opisany w wersji 3.4, dotyczy automatyzacji badań. Uruchamia go podwojenie tempa postępu, które da się w dużej mierze przypisać automatyzacji pracy badaczy. Firma traktuje go jako sygnał wczesnego ostrzegania, a nie dowód, że zagrożenie już jest.
W drugim raporcie METR zgadza się z Anthropic, że modele dostępne 15 lipca 2026 roku niosły niskie ryzyko katastrofy. Uważa jednak za możliwe (ang. plausible), że już wtedy przekroczyły próg podwojenia. Badacze obu stron skłaniają się raczej ku temu, że go nie przekroczyły. METR zarzuca natomiast publicznemu raportowi Anthropic zbyt pewny ton. Publiczna wersja mówiła o przyspieszeniu “mniejszym niż dwukrotne”. Z danych w niejawnej wersji wynika według METR 1,97. Niejawny raport sam nazywał przekroczenie progu możliwym, a publiczny tego nie powtórzył.
METR nie wyklucza dalszego znacznego przyspieszenia w ciągu sześciu miesięcy, co mogłoby szybko podnieść ryzyko do “wysokiego”. Sam Anthropic w poprawce prospektu giełdowego z 2 listopada napisał, że przyszłe modele mogą wkrótce spełnić ten próg. Opisaliśmy to przy prospekcie emisyjnym Anthropic.
Co z tego wynika dla użytkowników Claude i firm
Dla osób, które pracują z Claude na co dzień, raport ma jeden praktyczny skutek: kolejne wersje modeli mogą przychodzić częściej, a różnice między nimi będą trudniejsze do zmierzenia benchmarkami. METR sam pisze, że test, w którym nowy model zdobywa ponad połowę punktów wszędzie, przestaje mówić, czym różnią się kolejne wersje. Przy wyborze modelu do pracy więcej sensu ma więc własny test na własnych zadaniach niż tabela wyników z premiery.
Drugi wniosek dotyczy zaufania. Raport jest uczciwy w opisie swoich ograniczeń, ale jego najważniejsze liczby trzeba przyjąć na słowo. METR pisze też, że Claude brał udział w większości analiz, zarówno po stronie Anthropic, jak i po stronie samego METR. Zespół nie znalazł śladów systematycznego zniekształcenia. Według METR celowe wprowadzenie audytorów w błąd przez Anthropic jest “skrajnie mało prawdopodobne”, ale większy dostęp dałby mocniejszą pewność.
Kontekst polityczny jest taki, że Dario Amodei, szef Anthropic, we wrześniowym eseju wzywał branżę do spowolnienia tempa ulepszania modeli. Przypomniała o tym agencja AP przy omówieniu raportu. Zewnętrzne kontrole w laboratoriach AI to też jedno ze zobowiązań z porozumienia firm AI z Białym Domem. Jak wyglądają testy zachowania modeli w praktyce, pokazał raport AISI o Claude Mythos 5.
FAQ
Czy Anthropic przekroczył próg RSP?
Tego nie ustalono. METR uważa za możliwe, że modele z 15 lipca 2026 roku przekroczyły próg podwojenia tempa z polityki RSP, ale badacze METR i Anthropic skłaniają się raczej ku temu, że nie. Obie strony zgadzają się, że ryzyko katastrofy było wtedy niskie.
Czy AI sama tworzy kolejne wersje Claude?
Nie. Według METR AI przyspiesza pracę badaczy głównie jako asystent przy kodzie i eksperymentach. Nie wnosi jeszcze w pełni samodzielnych, bardzo istotnych wkładów do najważniejszych etapów treningu. Badacze widzą jednak pierwsze oznaki, że to może się zmienić.
Podsumowanie
METR po jedenastu tygodniach pracy na danych Anthropic ocenia, że firma od października 2025 roku poprawia modele mniej więcej dwa razy szybciej niż wcześniej. Główny wskaźnik to 1,9 raza, z przedziałem od 1,5 do 2,8. Około 80% tego przyspieszenia METR przypisuje używaniu AI w badaniach, przy dużej niepewności. Pewne jest tylko to, że nie odpowiada za nie szybszy wzrost mocy obliczeniowej. AI działa dziś głównie jako asystent badaczy, nie jako samodzielny badacz. W drugim raporcie METR uznaje za możliwe, że modele z lipca przekroczyły próg wczesnego ostrzegania z polityki RSP, choć obie strony skłaniają się ku temu, że nie. Ryzyko katastrofy ocenia jako niskie. Najważniejsze dowody Anthropic utajnił, więc ten wynik trzeba dziś przyjąć na zaufanie do audytora.
