Mac czy PC do AI – kto da modelowi więcej pamięci

Wybór mac czy pc do ai jest dziś wyborem sposobu liczenia pamięci: na Macu model sięga do jednej wspólnej puli, a w komputerze z kartą graficzną liczy się to, co zmieści się na samej karcie. Konsekwencja jest policzalna. Najmocniejsza karta NVIDII dla zwykłego użytkownika ma 32 GB pamięci, a MacBooka Pro konfiguruje się do 128 GB pamięci zunifikowanej. Przewaga pamięciowa nie oznacza jednak przewagi w prędkości i właśnie ta różnica rozstrzyga większość realnych zakupów. Poniżej rozkładamy oba rachunki na części, a na końcu wskazujemy, komu który sprzęt się opłaca.

Jedna pula pamięci kontra dwie

Zacznijmy od tego, co naprawdę się dzieje po uruchomieniu modelu. Wagi muszą trafić do pamięci układu, który je liczy. W komputerze z kartą graficzną tym układem jest procesor karty, a pamięcią jest jej własna pamięć. Wszystko, co się tam nie zmieści, ląduje w pamięci operacyjnej i liczy je główny procesor, znacznie wolniej.

Na Macu podział nie istnieje. Procesor i układ graficzny korzystają z tej samej pamięci, wlutowanej razem z nimi. Model nie musi być przez nikogo przenoszony między dwoma zbiornikami.

Wynika stąd różnica, którą widać dopiero przy dużych modelach. Dodatkowa pamięć operacyjna w komputerze klasy PC nie powiększa pamięci karty. Może za to pozwolić uruchomić większy model, bo silniki potrafią przenieść część warstw do pamięci systemowej, a ceną jest wyraźny spadek prędkości. Na Macu dokupienie pamięci przy zamówieniu podnosi sufit dla modelu wprost, bez tego kompromisu.

Ile pamięci Mac naprawdę odda modelowi

Tu pojawia się liczba, o której nie mówią materiały sprzedażowe. System nie oddaje modelowi całej pamięci, bo część rezerwuje dla siebie. Z dyskusji w projekcie llama.cpp wynika, że rezerwa wynosi około jednej trzeciej przy pamięci poniżej 32 GB i około jednej czwartej powyżej tego progu.

Przełóżmy to na konfiguracje, które Apple faktycznie sprzedaje. Egzemplarz z 24 GB odda modelowi mniej więcej 16 GB, a z 48 GB około 36 GB. Wersja z 64 GB daje modelowi około 48 GB, a ze 128 GB mniej więcej 96 GB. To są liczby wyznaczające twój budżet pamięci, a nie pojemności z materiałów sprzedażowych.

Do rozmiaru pliku modelu trzeba przy tym podejść ostrożnie. Jest on tylko pierwszym przybliżeniem, bo poza wagami w pamięci muszą się zmieścić jeszcze miejsce na rozmowę, bufory obliczeniowe i narzut samego programu. Porównanie budżetu z rozmiarem pliku pokazuje więc granicę możliwości, a nie realne zużycie.

Warto zapamiętać jedno zastrzeżenie. Cytowane źródło jest dyskusją w projekcie llama.cpp, a nie dokumentem Apple, i opisuje zachowanie systemu, które producent może zmienić. Traktuj te wartości jako punkt wyjścia i sprawdź je na swojej maszynie, zanim wydasz pieniądze na większą konfigurację.

Limit da się podnieść poleceniem sudo sysctl iogpu.wired_limit_mb z wartością w megabajtach. Ustawienie nie przeżywa ponownego uruchomienia, chyba że wpiszesz je do pliku konfiguracyjnego systemu. Warto przy tym zostawić systemowi zapas, bo przy zbyt agresywnej wartości zaczyna brakować pamięci na resztę pracy.

Ile pamięci dostaniesz w komputerze z kartą graficzną

Po stronie kart sytuacja jest prostsza do sprawdzenia, bo pojemność jest wypisana w specyfikacji. W obecnej serii NVIDII wygląda to następująco.

Zestawienie z Makiem robi się ciekawe dopiero po podstawieniu obu rachunków. Karta ze środka stawki daje modelowi 16 GB. Mac z 48 GB pamięci zunifikowanej daje mu około 36 GB, czyli ponad dwa razy więcej, choć nikt nie nazwie go maszyną do grania.

Zapasu pamięci nie da się jednak kupić bez konsekwencji. Model liczony częściowo poza kartą zwalnia, bo część obliczeń idzie wolniejszą ścieżką, a skala spadku zależy od sprzętu i od tego, ile warstw zeszło z karty. To dlatego dobieranie modelu do pamięci ma większe znaczenie niż wybór marki, co rozkładamy w tekście o wielkości modelu 7B i 13B.

Gdzie komputer z kartą graficzną wygrywa bez dyskusji

Pierwsza przewaga dotyczy modeli, które mieszczą się w pamięci karty. Apple podaje dla najmocniejszej wersji procesora M5 Max przepustowość pamięci do 614 GB/s. NVIDIA przy RTX 5090 wymienia pamięć GDDR7 na szynie 512-bitowej, ale samej przepustowości na stronie produktu nie podaje. Przepustowość i tak nie przesądza o prędkości generowania. Konkretne maszyny porównuje się na tym samym modelu i tych samych ustawieniach.

Druga przewaga to oprogramowanie do trenowania modeli. Ekosystem wokół kart NVIDII jest starszy, szerszy i lepiej udokumentowany. Jeżeli planujesz dostrajanie modelu na własnych danych, a nie tylko jego uruchamianie, ta różnica jest odczuwalna od pierwszego dnia.

Trzecia przewaga jest finansowa i rozłożona w czasie. Kartę można wymienić za trzy lata, zostawiając resztę komputera. Pamięci w Macu nie da się dołożyć po zakupie, więc decyzję o jej ilości podejmujesz raz, w sklepie, i żyjesz z nią do wymiany całego sprzętu.

Gdzie Mac wygrywa i to również bez dyskusji

Pierwsza przewaga wynika wprost z pamięci zunifikowanej. Konfiguracja ze 128 GB daje modelowi około 96 GB, czyli trzykrotnie więcej niż najmocniejsza konsumencka karta graficzna. Przy modelach, które w kartę się nie mieszczą, nie ma tu porównania.

Druga przewaga to laptop. Apple sprzedaje te ilości pamięci w obudowie, którą da się zabrać z domu, i robi to przy zasilaniu z baterii. Komputer stacjonarny z kartą 32-gigabajtową stoi tam, gdzie stoi.

Trzecia przewaga jest cicha, dosłownie. Mac bywa cichszy i oszczędniejszy od komputera z mocną kartą, choć wynik zależy od konkretnego modelu, obciążenia i ustawień chłodzenia. Własnych pomiarów głośności i poboru energii nie mamy, więc traktuj to jako rzecz do sprawdzenia w sklepie, a nie jako obietnicę. Przy pracy całodziennej potrafi to jednak ważyć więcej niż tabela wydajności.

Czego nie policzysz w tabelce ze specyfikacją

Zostaje kilka rzeczy, które decydują po zakupie, a przed nim są niewidoczne. Pierwsza to obsługa przez oprogramowanie. Popularne narzędzia do modeli lokalnych działają dziś po obu stronach, a na Macach dokładają silnik przygotowany przez Apple. Wybór narzędzia rozkładamy osobno w zestawieniu Ollamy z LM Studio.

Druga rzecz to hałas i temperatura przy dłuższej pracy. Komputer liczący model przez godzinę zachowuje się inaczej niż ten sam komputer w arkuszu kalkulacyjnym. Jeżeli pracujesz w jednym pomieszczeniu z domownikami, sprawdź to przed zakupem.

Trzecia rzecz dotyczy odsprzedaży. Karta graficzna ma płynny rynek wtórny i konkretną cenę. Mac też, tylko że w jego wypadku sprzedajesz całe urządzenie, a nie sam podzespół.

Pierwsza Misja AI · Kodożercy

AI zmienia rynek pracy. Zacznij rozumieć, o co chodzi.

Kurs Pierwsza Misja AI to najkrótszy kurs, po którym naprawdę rozumiesz AI, a na koniec możesz to pokazać certyfikatem. Fabuła w konwencji science fiction i gamifikacja sprawiają, że nie nudzisz się ani minuty.

Dołącz do kursantów →

Cztery pytania zamiast porównywania specyfikacji

Ta lista rozstrzyga szybciej niż zestawienie parametrów, bo pyta o twoją pracę, a nie o sprzęt.

1. Jaki konkretnie plik modelu chcesz uruchamiać? Sprawdź jego rozmiar na karcie modelu i porównaj z budżetem pamięci wyliczonym wyżej, a nie z pojemnością z reklamy.
2. Potrzebujesz przenośności? Jeśli tak, Mac odpada z konkurencji rzadziej, niż się wydaje, bo laptopy z mocną kartą są ciężkie i głośne.
3. Będziesz dostrajać modele czy tylko je uruchamiać? Dostrajanie przechyla szalę w stronę karty NVIDII.
4. Jak długo ma wystarczyć? Komputer z kartą można rozbudować etapami, Mac trzeba kupić od razu w docelowej konfiguracji.

Jeżeli szukasz porównania najmocniejszych maszyn w tej kategorii, opisywaliśmy je osobno w tekście o wyborze między NVIDIĄ, Makiem Studio a układem Strix Halo.

Najczęstsze pytania

Ile pamięci powinien mieć Mac do pracy z modelami lokalnymi?

Odpowiedź daje rachunek, a nie gotowa liczba. Przy 24 GB model dostaje około 16 GB, a przy 48 GB około 36 GB, więc druga konfiguracja otwiera pliki, które w żadną kartę dla zwykłego użytkownika nie wejdą. Weź rozmiar pliku modelu, którego naprawdę chcesz używać, dolicz zapas na rozmowę i bufory, i dopiero to porównaj z budżetem swojej konfiguracji.

Czy komputer z kartą 8-gigabajtową ma sens do modeli lokalnych?

Ma, jeśli wybierzesz odpowiednio mały i skompresowany model. Karty modeli w serwisie Hugging Face radzą brać plik o 1 do 2 gigabajtów mniejszy od pamięci karty. Przy dłuższym kontekście rezerwa musi być większa. Dobór poziomu kompresji opisujemy w tekście o wyborze między Q4 a Q8.

Czy da się liczyć model częściowo na karcie i częściowo na procesorze?

Da się i tak właśnie działa większość narzędzi, gdy model nie mieści się w całości. Silnik llama.cpp opisuje tę możliwość wprost jako sposób na uruchamianie modeli większych niż dostępna pamięć karty. Cena jest jednak realna: prędkość spada, a o ile, zależy od sprzętu i od tego, ile warstw trafiło na procesor.

Czy Mac nadaje się do trenowania własnych modeli?

Do uruchamiania i lekkiego dostrajania tak, do poważnego trenowania raczej nie. Oprogramowanie w tej dziedzinie powstawało wokół kart NVIDII i to tam jest najbardziej dojrzałe. Przy trenowaniu na własnych danych bezpieczniejszym wyborem pozostaje komputer z kartą albo wynajęta maszyna w chmurze.

Podsumowanie

Rachunek wygląda inaczej po obu stronach, więc porównywanie samych cen niczego nie rozstrzyga. W komputerze z kartą graficzną modelowi służy przede wszystkim pamięć karty. Kończy się ona na 32 GB w najmocniejszej wersji dla zwykłego użytkownika i na 8 do 16 GB w modelach popularnych. Na Macu model korzysta z pamięci wspólnej, ale nie z całej, bo system rezerwuje dla siebie około jednej trzeciej poniżej progu 32 GB i około jednej czwartej powyżej. Wersja z 48 GB oddaje więc modelowi mniej więcej 36 GB, a ze 128 GB około 96 GB, czyli trzykrotnie więcej niż najmocniejsza karta. Odwrotnie jest z prędkością i z oprogramowaniem do trenowania, gdzie karta NVIDII pozostaje bezpieczniejszym wyborem. Zdecyduj więc najpierw, jak duży model chcesz uruchamiać, a dopiero potem porównuj sprzęt.