Jeszcze kilka miesięcy temu lokalne modele AI były przez wielu traktowane jako ciekawostka dla entuzjastów. Dziś coraz częściej trafiają jednak do codziennego warsztatu programistów. Wystarczy narzędzie takie jak LM Studio, lokalny serwer inferencji i model pobrany z ekosystemu Hugging Face, aby pracować bez kluczy API, limitów tokenów i wysyłania każdej linijki kodu do zewnętrznych usług. Inżynier uczenia maszynowego Vicki Boykis opublikowała 15 czerwca 2026 roku wpis o lokalnych modelach AI, w którym opisała bardzo podobny zestaw narzędzi. Przy okazji przyznała coś, czego jeszcze pół roku wcześniej sama nie była gotowa powiedzieć – lokalne modele AI przestały być zabawką. W jej ocenie pętle agentowe do pracy z kodem osiągają dziś około 75 procent skuteczności i szybkości najlepszych modeli dostępnych w chmurze. Co więcej, lokalny model stał się dla niej czymś w rodzaju szybkiego, spersonalizowanego Google’a dla pytań deweloperskich.
Dlaczego lokalne modele AI dopiero w 2026 roku zaczynają mieć sens
Granica nie jest abstrakcyjna. Boykis wskazuje konkretny punkt zwrotny – premierę modelu GPT-OSS od OpenAI. Po nim po raz pierwszy odechciało jej się odruchowo sięgać po komercyjne API. Dla pętli kodowych odpowiednio dobrana Gemma 4 osiąga dziś, według jej własnego pomiaru, “około 75 procent dokładności i szybkości modeli z czołówki” (tłumaczenie własne). To wynik, którego pół roku temu lokalne modele po prostu nie miały. Dlatego rozmowa o nich kończyła się zwykle na słowie “demo”. Dziś natomiast schodzi z tego poziomu na codzienny warsztat. W czerwcu 2026 sytuacja się zmieniła, ponieważ jednocześnie poprawił się sprzęt domowy, jakość modeli z otwartymi wagami i dojrzałość narzędzi inferencyjnych.
Jaki sprzęt jest potrzebny, by uruchomić lokalne modele AI
Boykis pracuje na MacBooku M2 z 2022 roku z 64 gigabajtami zunifikowanej pamięci i dyskiem 1 terabajta. To sprzęt, który spokojnie wynegocjuje dziś polski senior na firmowy laptop. Sama autorka opisuje, że pamięć podręczna modelu w trakcie pracy potrafi rozrosnąć się do pełnych 64 gigabajtów. Dlatego to nie jest scena dla tańszej konfiguracji z 16 GB RAM. Z drugiej strony nie potrzebujesz dedykowanej, droższej karty graficznej ani osobnej stacji obliczeniowej. Boykis nie analizuje wprost architektury Apple Silicon. Z naszej perspektywy warto natomiast zauważyć, że zunifikowana pamięć Apple Silicon – dzielona między procesor i GPU – sprzyja takim scenariuszom obciążeniowym, choć Boykis tego nie potwierdza.
Najpopularniejsze narzędzia do uruchamiania lokalnych modeli AI
Boykis przewinęła się przez większość znanych dziś warstw inferencji. Zaczynała od surowego llama.cpp z Open WebUI. Następnie próbowała llama-cpp-python, Ollamy i llamafiles. Ostatecznie osiadła na LM Studio i to ono jest dziś jej domyślnym wyborem. Powód jest banalny i przemawia do każdego, kto kiedyś walczył z własną instalacją Pythona. LM Studio integruje się bezpośrednio z Hugging Face, więc model pobiera się jednym kliknięciem przycisku “Use This Model”. Zamiast godzin spędzonych na kompilowaniu masz okno, w którym po chwili widzisz strumień tokenów lecący na ekranie.
Gemma 4, GPT-OSS i Qwen – lokalne modele AI, które dziś realnie działają
Boykis nie przechodzi przez wszystko po kolei, lecz wskazuje punkty zwrotne. Pierwsza fala, której faktycznie używała, to Mistral 7B. Dobry do prostych zadań tekstowych, ale daleki od kodowania. Następnie pojawiły się Gemma 3, GPT-OSS-20B, Qwen 3 MOE 30B i Qwen 2.5 Coder. Z kolei każdy kolejny podnosił poprzeczkę. Dziś jej domyślnym wyborem jest Gemma-4-26b-a4b z rodziny Google’a. To architektura typu MoE (mixture of experts), czyli model z rozproszoną pamięcią ekspercką – duży w sumie, ale szybki w trakcie pojedynczego zapytania. Dla zadań, w których 26 miliardów parametrów to za dużo, czeka lżejsza Gemma-4-12b z kwantyzacją QAT.
Warto natomiast przeczytać tę listę z ostrożnością. Nie każdy model lokalny tego samego rzędu daje porównywalny efekt – architektura, kwantyzacja i dobór benchmarków potrafią różnić się o rząd wielkości. Boykis testuje za to wprost na własnych zadaniach i to jest jedyna naprawdę wiarygodna miara. Każde inne porównanie liczbowe wymaga sprawdzenia, czy konkretny model na konkretnym sprzęcie radzi sobie z konkretnym przepływem pracy. Inaczej zostajemy z tabelką benchmarków, która do laptopa polskiego dewelopera ma się jak crash test do realnego wypadku.
Do czego warto wykorzystać lokalne modele AI w codziennej pracy
Lista zastosowań, które autorka opisuje, wygląda jak streszczenie zwykłego dnia praktyka.
Lokalne modele AI w pracy z kodem – refaktoryzacja, testy i lintowanie
Boykis przepisuje skrypt z Jupytera do regularnego repo z pięcioma-sześcioma modułami. Następnie odpala lintowanie pod kątem typów generycznych i generuje szkielety testów jednostkowych. Na koniec stawia nowy projekt, w którym buduje “two-tower model” dla rekomendacji. Każde z tych zadań ma jasne wejście i wyjście, dlatego model lokalny radzi sobie z nim, jeśli tylko dostanie sensowny kontekst. Sama autorka nie udaje natomiast, że to wszystko wystarcza w dużym projekcie produkcyjnym. W rezultacie pisze wprost, że “nie jestem pewna, czy to jest gotowe na development produkcyjny już teraz” (tłumaczenie własne).
Lokalne modele AI do pracy z tekstem i prywatnymi archiwami
Drugi nurt zastosowań to teksty i własne archiwa. Boykis korzysta z lokalnego modelu do korekty wpisów na blog, sprawdzania błędów językowych, dopasowania tonu. Następnie przeszukuje własne logi badawcze z ArXiv, żeby znaleźć trendy w tym, co sama czytała. Pisze, że lokalny model stał się dla niej “szybkim, spersonalizowanym Google’em dla pytań dewelopera” (tłumaczenie własne). To dobra definicja. Lokalny model nie wygrywa w tym, że wie najwięcej, lecz w tym, że wie najbliżej i nie wymaga połączenia z chmurą.
Dlaczego polski deweloper powinien sprawdzić lokalne modele AI już teraz
W tej samej kropce kalendarza dzieje się druga rzecz, która waży więcej niż abstrakcyjne wykresy benchmarków. Rząd USA 12 czerwca 2026 pisemną dyrektywą odciął Claude Fable 5 i Mythos 5 od każdego, kto nie jest obywatelem Stanów. Anthropic nie potrafił filtrować użytkowników po obywatelstwie. Dlatego wyłączył oba modele dla całego świata, łącznie z własnymi pracownikami. Polski deweloper, który w poniedziałek planował migrację swojego pipeline’u do Fable 5, w piątek miał już tylko model poprzedniej generacji. Ten epizod uświadomił branży nieprzyjemną prawdę. Decyzja, czy jutro nadal będziesz miał dostęp do flagowego modelu w swoim pipeline, zapada poza Polską, poza Europą i poza twoim kontraktem z dostawcą.
Lokalny model nie jest odpowiedzią na całą tę sprawę, ale jest częścią odpowiedzi. Po pierwsze, daje punkt podparcia w sytuacji, w której dostawca z dnia na dzień znika z rynku albo zmienia warunki. Po drugie, pozwala trzymać wrażliwe dane na swoim dysku. To istotne nie tylko z perspektywy RODO, lecz także codziennego kontraktu klienckiego. Wreszcie zdejmuje z bilansu jeden z szybciej rosnących kosztów ostatniego roku – rachunki za tokeny. Bruksela, jak pisaliśmy w weekendowym numerze, wraca dziś do rozmowy o suwerenności cyfrowej. W jej cieniu naturalnie pojawia się też temat lokalnej inferencji jako jednego z narzędzi.
Czego lokalne modele AI nadal nie umieją robić tak dobrze jak chmura
Wpis Boykis nie jest ewangelią. Autorka kilka razy zaznacza, że dla zadań długohoryzontalnych z dużym kontekstem lokalne modele ciągle przegrywają z komercyjnymi gigantami. Dotyczy to też planowania architektonicznego oraz pracy z wielką bazą kodu. Nawet Gemma-4-26b w wersji a4b ma okno kontekstu i jakość rozumienia kilka pięter niżej niż Opus 4.8 czy Fable 5 sprzed dyrektywy. Praca w trybie agenta, gdzie model przechodzi kilkanaście kroków bez nadzoru, nadal lepiej idzie w chmurze. Dlatego praktyczne podejście to raczej hybryda. Modele lokalne biorą rutynę – lintowanie, drobne refaktoringi, korekta tekstu, szybkie pytanie do dokumentacji. Modele komercyjne dostają natomiast to, co naprawdę wymaga ich klasy – długie sesje agentowe, planowanie architektury, najtrudniejsze problemy.
Druga rzecz, której nie warto pomijać, dotyczy obciążenia sprzętu. Sama Boykis pisze, że jej M2 dostaje pod inferencją “trening dla GPU i RAM”, a pamięć podręczna modelu rozrasta się do pełnych 64 gigabajtów. W efekcie dla dewelopera pracującego z biurkiem i zasilaczem to drobiazg. Dla osoby w kawiarni może być natomiast sygnał, że tym razem lepiej zapłacić za chmurowe API.
Pierwsza Misja AI · Kodożercy
Używasz AI codziennie – ale czy robisz to dobrze?
Kurs Pierwsza Misja AI pokaże Ci techniki promptowania, które naprawdę działają. Praktyczne ćwiczenia z prawdziwym GPT-4, gamifikacja i certyfikat.
Sprawdź program kursu →
Podsumowanie
Wpis Vicki Boykis pokazuje, że lokalnych modeli AI nie można już sprowadzać do argumentu o niskiej jakości i eksperymentów dla hobbystów. Czteroletni MacBook z 64 GB pamięci, jedna wygodna aplikacja i model pokroju Gemma 4 wystarczają dziś do obsługi sporej części codziennych zadań programistycznych. Sama autorka podkreśla jednak, że pełne zastąpienie modeli chmurowych w środowisku produkcyjnym jest jeszcze przed nami. Dla wielu programistów oznacza to raczej pojawienie się dodatkowej opcji niż zmianę całego sposobu pracy. Po wydarzeniach takich jak czasowe ograniczenia dostępu do niektórych modeli łatwiej też dostrzec wartość niezależności. Chmura pozostaje głównym narzędziem, ale lokalne modele AI stają się coraz bardziej realnym uzupełnieniem codziennego warsztatu. A posiadanie dwóch sprawdzonych opcji zwykle daje większy komfort niż poleganie wyłącznie na jednej.
Newsletter · DevstockAcademy & Kodożercy
Bądź na bieżąco ze światem IT, AI i automatyzacji
Co wtorek: newsy z branży, praktyczne tipy i narzędzia które warto znać. Zero spamu.
