Model 7B czy 13B – ile pamięci naprawdę potrzebujesz

Model z klasy siedmiu miliardów parametrów w czterobitowej kompresji zajmuje około 4,4 gigabajta, a jego odpowiednik z klasy trzynastu miliardów od 1,8 do 2,1 raza więcej, i w tej różnicy mieści się całe pytanie o model 7b czy 13b. Nie rozstrzyga go to, który jest mądrzejszy, bo obie klasy mają modele dobre i słabe. Rozstrzyga to, czy większy zmieści się w pamięci twojej karty graficznej razem z kontekstem, którego potrzebujesz. Jeśli się nie zmieści, część obliczeń przejmie procesor i model zwolni. Poniżej są konkretne rozmiary plików, rzeczy, których na liście plików nie widać, i sposób na dobranie wielkości do sprzętu, który już masz.

Ile miejsca zajmuje model 7B, a ile 13B

Zacznijmy od plików, bo to jedyna część rachunku, którą widać przed pobraniem. Oznaczenia Q4, Q5, Q6 i Q8 opisują kolejne poziomy kompresji wag: wyższa liczba to większy plik i mniejsza utrata jakości. Poniższe rozmiary pochodzą z kart modeli w serwisie Hugging Face, sprawdzonych 16 września 2026.

W pokazanych przykładach przejście z klasy 7B do większej daje plik od 1,8 do 2,1 raza większy przy tym samym poziomie kompresji. Widać też coś mniej oczywistego. Model 7B w wariancie ośmiobitowym zajmuje prawie tyle samo, co model 13B w czterobitowym.

Jedna uwaga o jednostkach, bo dalej będą potrzebne. Rozmiary plików podajemy w gigabajtach, tak jak robią to karty modeli, a progi narzędzi w gibibajtach, tak jak robi to ich dokumentacja. Jeden gibibajt to około 1,074 gigabajta, więc przy ciasnym marginesie nie są to wartości wymienne.

Czego nie widać na liście plików

Rozmiar pliku nie jest całym rachunkiem i to zaskakuje najczęściej. Model musi zmieścić także pamięć podręczną kontekstu, czyli miejsce na rozmowę. Im dłuższa rozmowa albo im większy plik z kodem, tym więcej tej pamięci potrzeba.

Karta modelu Llamy 2 13B podaje przy tym konkretną liczbę dla samego narzutu. Przy liczeniu wyłącznie na procesorze zapotrzebowanie na pamięć jest tam o 2,50 GB wyższe od rozmiaru pliku. Wartość dotyczy tych konkretnych plików, więc nie należy jej przenosić na dowolny inny model.

Skalę samego kontekstu widać po tym, jak narzędzia dobierają ustawienia. Ollama robi to na podstawie pamięci karty: poniżej 24 GiB ustawia 4 tysiące znaczników, między 24 a 48 GiB 32 tysiące, a od 48 GiB aż 256 tysięcy. Do pracy z kodem i narzędziami agentowymi producent zaleca co najmniej 64 tysiące.

Wniosek jest praktyczny. Podniesienie kontekstu zabiera pamięć, którą model zajmował na wagi, a ile dokładnie, zależy od budowy modelu i ustawień. Sprawdza się to na własnej maszynie, a nie w tabeli.

Ile pamięci naprawdę masz do dyspozycji

Tu zaczyna się część, którą trzeba sprawdzić na własnym sprzęcie. Pamięć kart NVIDIA z serii 50 wygląda następująco, według oficjalnego porównania producenta.

Na Macu rachunek wygląda inaczej, bo pamięć jest wspólna dla procesora i układu graficznego. Nie cała trafia jednak do modelu. Z dyskusji w projekcie llama.cpp wynika, że system rezerwuje dla siebie około jednej trzeciej przy pamięci poniżej 32 GB i około jednej czwartej powyżej tego progu. Egzemplarz z 16 GB odda więc modelowi mniej więcej 10,5 GB, z 24 GB około 16 GB, a ze 128 GB około 96 GB.

Praktyczna zasada doboru pochodzi wprost z kart modeli. Wybieraj plik o rozmiarze mniejszym o 1 do 2 gigabajtów od pamięci dostępnej dla modelu. Ten margines jest orientacyjnym minimum przy krótkim kontekście. Przy 64 tysiącach znaczników zapas musi być większy i warto go zmierzyć.

Co się dzieje, gdy model nie mieści się w pamięci karty

Nie dostajesz komunikatu o błędzie i to jest najbardziej mylące. Program przenosi część warstw do pamięci systemowej i liczy je na procesorze. Model działa, tylko wolniej, bo część obliczeń idzie wolniejszą ścieżką.

Sprawdzisz to jednym poleceniem. ollama ps przy uruchomionym modelu pokazuje podział, na przykład 48%/52% CPU/GPU. Wpis 100% GPU oznacza, że wszystko siedzi na karcie.

Skali spowolnienia nie podajemy liczbowo i jest to świadoma decyzja. Zależy ona od modelu, procesora, przepustowości pamięci i tego, ile warstw zeszło z karty. Zmierz ją u siebie, zanim uznasz, że większy model się opłaca.

Kiedy 13B daje więcej niż 7B, a kiedy to złudzenie

Warto powiedzieć wprost rzecz, którą zestawienia rozmiarów przemilczają. Liczba parametrów mówi o klasie modelu, nie o jego jakości. Modele z różnych pokoleń i różnych rodzin trenowano na innych danych i innym przepisem, więc sama klasa nie wystarcza do porównania.

Nowych wydań z dokładnie trzynastoma miliardami parametrów praktycznie się dziś nie spotyka. Szukając odpowiednika tej półki, trafisz raczej na modele w rodzaju Qwen3 14B. Liczba 13B została w obiegu po jednym pokoleniu modeli i po poradnikach z tamtego okresu.

Większy model bywa lepszy tam, gdzie trzeba utrzymać wiele wątków naraz: przy zadaniach wielokrokowych i przy dłuższych tekstach wymagających spójności. Nie mamy własnego testu, który pokazywałby skalę tej przewagi, i nie mamy go również dla języka polskiego. Traktuj to jako hipotezę do sprawdzenia na swoim zadaniu, a nie jako regułę.

Jedno da się powiedzieć pewnie. Porównanie ma sens tylko wewnątrz jednej rodziny i jednego pokolenia. Poza nią rozstrzyga wyłącznie test na własnych danych.

Co zrobić, gdy w nazwie modelu są dwie liczby

Coraz częściej trafisz na nazwy w rodzaju Qwen3-30B-A3B i warto wiedzieć, co z nich odczytać. Pierwsza liczba mówi o wszystkich parametrach modelu. Druga o tych, które biorą udział w pojedynczej odpowiedzi.

Karta tego konkretnego modelu podaje 30,5 miliarda parametrów łącznie i 3,3 miliarda aktywnych. Model ma 128 wyspecjalizowanych części, a przy każdym zapytaniu używa ośmiu z nich.

Dla rachunku pamięci ma to niewygodny skutek. W pamięci musi zmieścić się cały model, więc liczy się pierwsza liczba. Prędkość odpowiada raczej drugiej, bo tylko taka część wag jest faktycznie mnożona. Model tego typu bywa więc szybki jak mały, ale miejsca potrzebuje jak duży.

Dlaczego trzymanie dwóch modeli naraz kosztuje więcej, niż wygląda

Częsty pomysł brzmi: wezmę mniejszy model do rozmowy i większy do trudniejszych zadań. Sam pomysł jest dobry, ale ma ukryty koszt. Karta graficzna mieści ten, który akurat pracuje, a przełączenie oznacza wczytanie wag od nowa.

Ollama zwalnia model po pięciu minutach od ostatniego zapytania. Jeśli przeskakujesz między dwoma modelami co kilkanaście minut, płacisz za każde przełączenie czasem wczytywania z dysku.

Wniosek jest praktyczny. Dwa modele mają sens, gdy dzielisz je zadaniami w czasie, a nie przeplatasz w jednej sesji. Rano pisanie, popołudniu kod. Przeskakiwanie co drugie zapytanie zjada więcej czasu, niż daje jakość.

Pierwsza Misja AI · Kodożercy

Pierwszy raz z AI? Zaczynasz od zera.

Pierwsza Misja AI to kurs dla osób bez technicznego przygotowania. Nie musisz pisać kodu ani znać żargonu. Dowiesz się, jak działa AI, jak promptować i jak korzystać z niej w pracy.

Wejdź na pokład →

Jak dobrać wielkość modelu w czterech krokach

Ta procedura zajmuje kwadrans i oszczędza kilka wieczorów. Nie wymaga niczego poza tym, co już masz zainstalowane.

1. Sprawdź, ile pamięci ma twoja karta graficzna albo ile zostaje na Macu po odliczeniu rezerwy systemu.
2. Odejmij od tego 1 do 2 gigabajtów zapasu, a przy długim kontekście więcej.
3. Wybierz największy model, którego plik mieści się w pozostałej liczbie.
4. Uruchom go z docelową długością kontekstu i sprawdź ollama ps.

Krok czwarty jest tym, który zwykle się pomija, a to on rozstrzyga sprawę. Dopiero przy docelowym kontekście widać, czy model faktycznie siedzi w całości na karcie.

Jeśli w trzecim kroku nie mieści się nic sensownego, masz dwa wyjścia. Możesz zejść z poziomem kompresji, co opisujemy w tekście o wyborze między Q4 a Q8. Możesz też zmienić sprzęt, a wtedy warto najpierw przeczytać porównanie Maca z komputerem klasy PC.

{ agenci AI }

Agent AI, który pracuje na danych Twojej firmy

Budujemy agentów, którzy odpowiadają klientom, czytają dokumenty i przygotowują raporty, podłączonych do Waszych systemów. Zaczynamy od jednego procesu i sprawdzamy efekt, zanim pójdziemy dalej.

Sprawdź, jak wdrażamy agentów → Software house, który prowadzi ten blog

Najczęstsze pytania

Czy model 13B zawsze odpowiada lepiej niż 7B?

Nie. Porównanie ma sens tylko wewnątrz tej samej rodziny i tego samego pokolenia modeli, a i tam nie mamy testu pozwalającego z góry wskazać zwycięzcę. Między pokoleniami zasada przestaje działać całkiem, bo o jakości decydują też dane i przepis treningowy. Rozstrzyga test na własnym zadaniu, nie liczba w nazwie.

Ile pamięci potrzebuje model 7B na laptopie bez karty graficznej?

Do rozmiaru pliku trzeba doliczyć narzut, którego nie widać na liście. Karta Llamy 2 13B podaje dla swoich plików 2,50 GB różnicy między rozmiarem a zapotrzebowaniem, ale ta wartość dotyczy tamtych plików. Dla modelu 7B w kompresji czterobitowej przyjmij rozmiar pliku jako minimum, dołóż zapas i sprawdź realne zużycie po uruchomieniu.

Czy da się uruchomić model 13B na karcie 8-gigabajtowej?

Da się, ale część warstw wyląduje w pamięci systemowej i policzy je procesor. Model będzie działał wolniej, a o ile, zależy od sprzętu. Przy pracy interaktywnej warto najpierw sprawdzić mniejszy model mieszczący się w całości i porównać oba na własnym zadaniu.

Co wybrać do kodu, a co do pisania po polsku?

Do kodu porównaj model wyspecjalizowany z ogólnym na własnym repozytorium, bo nie mamy testu pozwalającego z góry wskazać zwycięzcę. Do pisania po polsku również nie mamy porównania obu klas i nie chcemy zgadywać. Uruchom oba na swoim tekście i oceń wynik sam, bo taki test zajmuje kwadrans.

Podsumowanie

Decyzja o wielkości modelu jest decyzją o pamięci, nie o inteligencji. Zacznij od liczby, którą masz: pojemności karty graficznej albo pamięci, jaką Mac oddaje modelowi po odliczeniu rezerwy systemu. Odejmij zapas na kontekst, wybierz największy plik, który się w tym mieści, i dopiero wtedy sprawdź poleceniem ollama ps, czy model faktycznie siedzi w całości na karcie. Jeśli tak nie jest, wróć o poziom niżej zamiast szukać lepszego narzędzia. Rozmiary plików z tego tekstu dają punkt wyjścia, a przejście z klasy 7B do większej kosztuje od 1,8 do 2,1 raza więcej miejsca. Reszta jest kwestią jednego testu na twoim własnym zadaniu, bo klasa modelu nie mówi o jego jakości.