Karta graficzna, która od dwóch lat stoi w obudowie domowego komputera, nagle stała się sprzętem zdolnym uruchomić model językowy klasy produkcyjnej. Qwen 3.6 w wariancie z dwudziestoma siedmioma miliardami parametrów zdobył w społeczności programistów pozycję, która do tej pory była zarezerwowana głównie dla modeli działających w chmurze. Oferuje przyzwoitą jakość kodowania i rozumowania, a przy tym nie wymaga płacenia za każdy milion wykorzystanych tokenów. Najważniejszy nie jest jednak sam model, lecz rzadko spotykany kompromis między jego rozmiarem, kosztem utrzymania go na własnym sprzęcie a jakością odpowiedzi w codziennej pracy. Wyjaśniamy, dlaczego lokalne uruchomienie Qwen 3.6 stało się kolejnym ważnym etapem rozwoju otwartych modeli językowych. Pokazujemy również, co konkretnie zmienia to w kosztach narzędzi polskiego dewelopera lub zespołu IT w średniej firmie.
Dlaczego akurat 27B, a nie 7B i nie 70B
Rynek otwartych modeli od dłuższego czasu można podzielić na trzy półki. Na najniższej znajdują się warianty mające od 7 do 14 miliardów parametrów. Wystarczają do autouzupełniania kodu, klasyfikowania danych i tworzenia prostych podsumowań. Górna półka to modele klasy 70-100 miliardów parametrów. To już świat serwerowni i klastrów wyposażonych w karty A100. Środkowa półka, obejmująca modele w okolicach 27-32 miliardów parametrów, przez ostatnie dwa lata pozostawała niemal niezagospodarowana. Modele były zbyt duże dla przeciętnego laptopa, ale jednocześnie zbyt małe, by miało sens uruchamianie ich w chmurze, gdzie dostępne były ich większe odpowiedniki.
W ostatnich kwartałach zmieniły się dwie rzeczy. Po pierwsze, jakość treningu i destylacji modeli klasy 27B wyraźnie wzrosła. Ten rozmiar przestaje oznaczać wybór między modelem zbyt słabym a takim, którego nie da się uruchomić na własnym sprzęcie. Po drugie, czterobitowa kwantyzacja dojrzała do poziomu, przy którym spadek jakości nadal można zmierzyć, ale w codziennych zadaniach jest on niemal niezauważalny. W rezultacie model 27B w kwantyzacji INT4 zajmuje od szesnastu do siedemnastu i pół gigabajta pamięci karty. Na karcie z 24 GB VRAM pozostaje więc realny, choć niezbyt duży zapas na kontekst oraz pamięć podręczną klucz-wartość.
Dense kontra sparse MoE – przewidywalność czy elastyczność
Warto porównać model 27B dense z alternatywnym podejściem. Architektura sparse MoE, którą Alibaba zastosowała we wcześniejszym wariancie Qwen3.6-35B-A3B, aktywuje przy jednym pytaniu jedynie trzy miliardy parametrów z dostępnych trzydziestu pięciu. Obrazowo można powiedzieć, że otrzymujesz możliwości dużego biura, ale do każdego zadania wstają tylko trzy osoby, które najlepiej się na nim znają. Model dense 27B działa inaczej. Za każdym razem pracuje cały zespół, tyle że jest on po prostu mniejszy.
Praktyczna różnica jest dość wyraźna. Dense 27B zapewnia bardziej przewidywalną jakość podczas rozumowania wieloetapowego. MoE radzi sobie natomiast lepiej wtedy, gdy zadania mocno się od siebie różnią, a model musi szybko przełączać się między różnymi specjalizacjami.
Cena tokenów i regulacje sektorowe
Trzeci aspekt to sytuacja rynkowa. W firmach, które wykorzystują bardzo dużo tokenów albo nie mogą wysyłać danych poza własną infrastrukturę, lokalny model zmienia zarówno rachunek kosztów, jak i poziom ryzyka. Polski sektor finansowy oraz ochrona zdrowia coraz częściej zwracają uwagę na możliwość kontrolowania miejsca, w którym przetwarzane są dane firmowe. Dzieje się tak niezależnie od tego, jak atrakcyjne stają się ceny usług chmurowych. Lokalnie uruchomiony Qwen 3.6 odpowiada na oba te problemy. Oferuje jakość zbliżoną do rozwiązań dostępnych przez API, a jednocześnie pozwala znacząco obniżyć koszt pojedynczego zadania.
Karta konsumencka 24 GB jako nowy punkt startu
Pamięć karty graficznej jest tutaj najważniejszą walutą. Dwadzieścia cztery gigabajty VRAM oferują dziś RTX 3090, RTX 4090 oraz konkurencyjny AMD Radeon RX 7900 XTX. RTX 5090 z najnowszej generacji idzie jeszcze dalej i oferuje trzydzieści dwa gigabajty, ale jego cena ma już niewiele wspólnego z typowym sprzętem domowym. Podobna ilość pamięci nie oznacza więc podobnej ceny. Używanego RTX-a 3090 można znaleźć w Polsce w okolicach trzech tysięcy złotych. RTX 4090 nadal kosztuje ponad osiem tysięcy, a ceny RTX-a 5090 zaczynają się od kilkunastu tysięcy. Radeon RX 7900 XTX jest wyceniany na około cztery i pół tysiąca złotych.
Ten sam układ jeszcze dwa lata temu służył głównie do trenowania mniejszych modeli albo renderowania scen w Blenderze. Dziś uruchamia model językowy klasy, która do niedawna wymagała wynajmowania infrastruktury w chmurze. To rzadki moment w historii sprzętu komputerowego, gdy praktyczna wartość karty graficznej po kilku latach rośnie, zamiast spadać wraz z jej zużyciem i pojawianiem się kolejnych generacji.
Liczy się jednak nie tylko całkowita ilość VRAM, ale przede wszystkim to, ile pamięci pozostaje po załadowaniu modelu. Qwen 3.6 w kwantyzacji Q4_K_M albo AWQ-INT4 zajmuje od szesnastu do siedemnastu i pół gigabajta. Pozostawia więc od sześciu do siedmiu gigabajtów na kontekst i dodatkowe bufory. W praktyce wystarcza to do obsługi kilkudziesięciu tysięcy tokenów kontekstu, czyli mniej więcej repozytorium niewielkiej lub średniej aplikacji. Dla porównania model dense 70B w tej samej kwantyzacji zająłby około trzydziestu ośmiu gigabajtów, więc na pojedynczej konsumenckiej karcie nie zmieściłby się wcale. Jeśli interesuje cię, jak wygląda to na słabszym sprzęcie, opisaliśmy również TurboQuant z Qwen3.5-27B na karcie z 16 GB pamięci. Agresywniejsza kwantyzacja pozwala zejść jeszcze niżej, ale odbywa się to kosztem wyraźniejszego spadku jakości.
Kwantyzacja – który format wybrać i co dokładnie tracisz
Kwantyzacja brzmi bardzo technicznie, ale opiera się na dość prostym pomyśle. W swojej pierwotnej postaci model zapisuje każdy parametr z dokładnością szesnastu lub trzydziestu dwóch bitów. To dużo, zwłaszcza że większość wartości i tak mieści się w stosunkowo wąskim zakresie liczbowym. Kwantyzacja zmniejsza tę dokładność do czterech albo ośmiu bitów. Model godzi się więc na niewielkie zaokrąglenia, ale w zamian jego rozmiar może spaść nawet kilkukrotnie. Z punktu widzenia użytkownika jakość odpowiedzi pozostaje zbliżona do pełnej precyzji, podczas gdy zapotrzebowanie na pamięć jest nawet czterokrotnie mniejsze.
W przypadku lokalnego uruchamiania Qwen 3.6 najczęściej spotkasz trzy formaty kwantyzacji. GGUF, w tym warianty Q4_K_M i Q5_K_M, jest natywnym formatem silnika llama.cpp, który dominuje w zastosowaniach domowych. Działa zarówno na procesorze, jak i karcie graficznej, łatwo uruchomić go na laptopach z Apple Silicon i dobrze radzi sobie z łączeniem pamięci karty z pamięcią systemową. AWQ i GPTQ są natomiast formatami częściej wykorzystywanymi na serwerach. Zostały zoptymalizowane pod kątem kart Nvidii oraz silników takich jak vLLM, SGLang i TensorRT-LLM. Oferują większą liczbę generowanych tokenów na sekundę, ale wymagają sprzętu obsługującego CUDA i nieco bardziej złożonej konfiguracji. Trzecią ścieżką jest MLX, przeznaczony przede wszystkim dla użytkowników MacBooków Pro z procesorami M2, M3 i M4. Model korzysta wtedy z pamięci ujednoliconej, którą współdzieli z systemem operacyjnym.
Co dokładnie tracisz na Q4_K_M
Spadek jakości po kwantyzacji można zmierzyć, ale w codziennym użyciu nie zawsze łatwo go zauważyć. Q4_K_M zwykle powoduje niewielką, choć widoczną w testach stratę względem pełnej precyzji. Przed wdrożeniem produkcyjnym warto jednak samodzielnie sprawdzić jej skalę na zadaniach wykonywanych w danej firmie. W praktyce odpowiedzi nadal są spójne, wygenerowane fragmenty kodu zwykle się kompilują, a model nie zaczyna nagle gubić toku rozumowania. Wyraźniejszy spadek pojawia się dopiero po zejściu do Q3 lub Q2. Model częściej myli wtedy mniej oczywiste przypadki brzegowe, gubi wartości liczbowe, a jakość polszczyzny w dłuższych odpowiedziach zauważalnie się pogarsza. Dlatego w zastosowaniach produkcyjnych standardem pozostaje Q4_K_M.
Stos developerski dla Qwen 3.6 lokalnie
Najprostszą drogą do wysłania pierwszego promptu do lokalnego Qwen 3.6 jest zazwyczaj Ollama. To wygodna nakładka na llama.cpp, która pozwala użyć prostego polecenia ollama run qwen3.6:27b. Narzędzie samo pobiera wagi, dobiera kwantyzację i uruchamia lokalny endpoint zgodny z API OpenAI. Cały proces od zera zajmuje zwykle kilka minut. Dla osoby, która chce po prostu porozmawiać z modelem albo podłączyć go do edytora kodu, jest to najbardziej naturalna ścieżka startowa.
Bardziej dojrzałą konfiguracją dla zespołów jest bezpośrednie uruchomienie llama.cpp przez llama-server albo wykorzystanie vLLM do obsługi obciążeń serwerowych. vLLM sprawdza się lepiej, gdy z jednego endpointu korzysta jednocześnie kilka osób albo gdy model jest podłączony do automatyzacji przetwarzającej dane w większych partiach. W n8n, Make lub Zapierze lokalny model może pełnić funkcję silnika zastępującego płatne API komercyjnego dostawcy. Podłączenie go do węzła HTTP Request w n8n praktycznie nie różni się od integracji z OpenAI. W większości przypadków wystarczy zmienić adres endpointu. Dla wielu małych firm w Polsce taki układ rozwiązuje również problem przekazywania danych klientów zewnętrznemu dostawcy i konieczności uzyskiwania dodatkowych zgód na ich przetwarzanie.
Przyspieszenie generowania i alternatywa po stronie AMD
Osobnym tematem jest przyspieszenie generowania odpowiedzi. W analizie Luce DFlash z Qwen 3.6 27B na RTX 3090 opisaliśmy technikę dekodowania spekulatywnego, która na tym samym sprzęcie potrafi podwoić szybkość generowania tokenów bez zauważalnej utraty jakości. Dla osób, które od początku oczekują szybkości zbliżonej do usług dostępnych przez API, taka konfiguracja może znacząco zmniejszyć różnicę. Do zwykłej pracy, w której model generuje tekst mniej więcej w tempie jego czytania przez człowieka, standardowa konfiguracja w Ollamie będzie jednak wystarczająca.
Polskie firmy, które mają już infrastrukturę opartą na kartach AMD, mogą natomiast skorzystać z coraz bardziej sensownej alternatywy w postaci ROCm. W wybranych zastosowaniach AMD nadal ustępuje Nvidii pod względem szybkości, ale w ostatnich miesiącach różnica wyraźnie się zmniejszyła. Dokładniejsze zestawienie przygotowaliśmy w materiale porównującym ROCm AMD i CUDA Nvidia w zastosowaniach związanych z lokalnymi modelami językowymi.
Gdzie Qwen 3.6 lokalnie błyszczy, a gdzie sięga sufitu
Praktyka pokazuje, że lokalny Qwen 3.6 bardzo dobrze sprawdza się w trzech głównych rolach. Pierwszą jest praca z kodem w popularnych językach, od Pythona i TypeScriptu po Rusta oraz Go. Model rozumie kontekst całych plików, potrafi generować testy, poprawiać błędy składniowe i wspierać refaktoryzację. Drugim zastosowaniem jest analiza tekstu, obejmująca podsumowywanie umów, klasyfikowanie zgłoszeń klientów oraz wyciąganie konkretnych informacji z dokumentów. W przypadku polskiego języka biznesowego każdy zespół powinien jednak przeprowadzić własne testy na materiałach, z którymi rzeczywiście pracuje. Trzecią mocną stroną jest rozumowanie wieloetapowe w trybie thinking. Model potrafi najpierw przygotować plan działania, a dopiero później na jego podstawie wygenerować właściwą odpowiedź.
Ograniczenia pojawiają się jednak w kilku dość przewidywalnych miejscach. Zadania wymagające pamięci większej niż kontekst dostępny na karcie przekraczają jego możliwości bez dodatkowej infrastruktury. Dotyczy to na przykład analizy całego repozytorium o kilkuset tysiącach tokenów. W takim przypadku potrzebna jest między innymi baza wektorowa oraz mechanizm wyszukiwania i dostarczania odpowiednich fragmentów danych. Największe modele klasy frontier dostępne w chmurze nadal mają też przewagę w najbardziej skomplikowanych zadaniach matematycznych i naukowych, ponieważ dysponują znacznie większą liczbą parametrów. Generowanie obrazów, dźwięku oraz wideo wciąż pozostaje natomiast domeną osobnych, wyspecjalizowanych modeli.
W przypadku typowej polskiej firmy ten sufit pojawia się jednak stosunkowo rzadko. Większość codziennych zadań biurowych, analitycznych i programistycznych mieści się w możliwościach modelu liczącego dwadzieścia siedem miliardów parametrów, uruchomionego na własnym sprzęcie. Sama decyzja o przejściu z chmury na lokalne wdrożenie wymaga jednak osobnej kalkulacji. Dokładniej opisaliśmy ją w materiale lokalne LLM kontra Claude Code – kiedy rezygnować z chmury.
Co to oznacza w praktyce
Lokalnie uruchomiony Qwen 3.6 nie jest jeszcze pełnoprawnym zamiennikiem Claude’a lub GPT w każdym możliwym zastosowaniu. W codziennej pracy programisty, analityka czy zespołu automatyzującego procesy biurowe wygląda to jednak inaczej. Qwen 3.6 27B działający na karcie konsumenckiej jest dziś jednym z najtańszych sposobów na uniezależnienie się od rachunków za tokeny bez wyraźnego pogorszenia jakości. Sprzęt potrzebny do jego uruchomienia często już znajduje się w firmowej serwerowni albo w komputerze jednej z osób należących do zespołu. W podjęciu decyzji pomagają trzy pytania. Ile firma wydaje obecnie na tokeny? Jak wrażliwe są dane wysyłane do chmury? Czy w zespole znajduje się osoba, która może poświęcić kilka dni na przygotowanie konfiguracji? Jeśli odpowiedź na pierwsze pytanie brzmi “więcej, niż byśmy chcieli”, a na dwa kolejne “tak”, lokalny model staje się bardzo rozsądnym punktem startu.
Pierwsza Misja AI · Kodożercy
Używasz AI codziennie, ale czy robisz to dobrze?
Kurs Pierwsza Misja AI pokaże Ci techniki promptowania, które naprawdę działają. Czekają na Ciebie praktyczne ćwiczenia z prawdziwym GPT-4, elementy grywalizacji oraz certyfikat ukończenia.
Sprawdź program kursu →
Podsumowanie
Przeniesienie części pracy z chmury do własnego komputera nie jest już dziś wyłącznie eksperymentem technologicznym. Staje się realnym wyborem narzędziowym, który w polskich warunkach coraz częściej może mieć uzasadnienie. Lokalnie uruchomiony Qwen 3.6 łączy możliwości domowego sprzętu z jakością odpowiedzi zbliżoną do tego, co otrzymujesz przez płatne API. A przy tym nie generuje stałych opłat zależnych od liczby tokenów. Warunkiem wejścia jest konsumencka karta graficzna z 24 GB pamięci, rozsądnie dobrana kwantyzacja oraz jeden wieczór przeznaczony na konfigurację. Później pozostaje już tylko wykonywanie pracy, którą i tak każdego dnia zlecasz modelom językowym.
Newsletter · DevstockAcademy & Kodożercy
Bądź na bieżąco ze światem IT, AI i automatyzacji
Co wtorek: newsy z branży, praktyczne tipy i narzędzia które warto znać. Zero spamu.
