Model sztucznej inteligencji wielkości 26 miliardów parametrów, uruchomiony na serwerze wyprodukowanym 13 lat temu. Karta graficzna w tym komputerze? Żadna. A mimo to model generuje tekst w tempie około pięciu tokenów, czyli fragmentów słów, na sekundę, mniej więcej tak szybko, jak się to czyta. Ten eksperyment obiegł branżę, bo wywraca jedno z najczęstszych przekonań o sztucznej inteligencji: że żeby uruchomić AI lokalnie, trzeba mieć kartę graficzną za kilkanaście tysięcy złotych. Nie trzeba. Poniżej po ludzku tłumaczymy, jak to możliwe i co z tego realnie odpalisz na własnym, całkiem zwykłym komputerze.
Jak to możliwe bez karty graficznej?
Odpowiedź jest prostsza, niż się wydaje: karta graficzna nie jest do AI konieczna, tylko wygodna. Model to gigantyczna tabela liczb, a żeby wygenerować choćby jedno słowo odpowiedzi, komputer musi przez tę tabelę przejść i wykonać mnóstwo mnożeń. Karta graficzna robi to szybko, bo liczy tysiące rzeczy naraz. Ale zwykły procesor też to potrafi, tylko po kolei, więc wolniej.
Najważniejsza w tej układance jest jednak pamięć, nie sam procesor. Model musi się zmieścić w pamięci RAM komputera, a tempo pisania zależy głównie od tego, jak szybko dane płyną z tej pamięci do procesora. To trochę jak z kucharzem i lodówką. Nieważne, jak sprawnie kroi, jeśli musi biegać po każdy składnik do piwnicy. Dlatego stary serwer z dużą ilością pamięci potrafi zaskoczyć, mimo że jego procesor pamięta zupełnie inną epokę.
Sekret pierwszy: kwantyzacja, czyli odchudzanie modelu
Gdyby większe modele trzymać w pełnej dokładności, szybko przestałyby się mieścić w zwykłym domowym komputerze. Tu wchodzi kwantyzacja, czyli zapisanie liczb tworzących model w sposób zgrubny zamiast bardzo dokładnego.
Działa to jak zapisanie zdjęcia w formacie JPG. Trochę szczegółów znika, ale plik robi się kilka razy mniejszy i nagle mieści się wszędzie, a oko i tak prawie nie widzi różnicy. Z modelami jest podobnie. Kwantyzacja potrafi zmniejszyć ich rozmiar cztery do ośmiu razy, a jakość odpowiedzi spada tylko odrobinę. Liczby robią wrażenie. Model z siedmioma miliardami parametrów w pełnej precyzji zajmuje ponad 28 gigabajtów pamięci. Ten sam model po odchudzeniu do czterech bitów mieści się w jakichś czterech, pięciu gigabajtach. To różnica między “potrzebuję serwera” a “odpalę na laptopie”.
Sekret drugi: modele, które nie budzą wszystkich naraz
Drugi trik dotyczy budowy samego modelu. Ten głośny Gemma 4 to tak zwana mieszanka ekspertów, po angielsku mixture of experts. Choć w całości ma 26 miliardów parametrów, do jednej odpowiedzi używa tylko ich ułamka, mniej więcej 3,8 miliarda.
Wyobraź sobie dużą firmę. Nie wołasz wszystkich pracowników na każde jedno pytanie. Idziesz do właściwego specjalisty, a reszta w tym czasie robi swoje. Model działa tak samo. Do każdego słowa “budzi” tylko tę część, która akurat jest potrzebna. Efekt jest najlepszy z obu światów: prędkość jak u małego modelu, a jakość zbliżona do dużego. Właśnie dlatego akurat taki model dało się rozruszać na trzynastoletnim sprzęcie. Gdyby za każdym razem aktywował wszystkie 26 miliardów, na takim sprzęcie działałby dużo wolniej i znacznie mniej praktycznie.
Co realnie odpalisz na swoim komputerze
Teoria teorią, ale liczy się to, co zadziała u ciebie. Dobra wiadomość jest taka, że próg wejścia jest znacznie niżej, niż myśli większość ludzi.
Ile pamięci potrzebujesz
Wszystko rozbija się o ilość pamięci RAM, a nie o kartę graficzną. Przy odpowiednio odchudzonych, skwantyzowanych modelach wygląda to orientacyjnie tak. Osiem gigabajtów pamięci wystarczy na sprawne, mniejsze modele rzędu trzech, czterech miliardów parametrów. Szesnaście gigabajtów pozwala odpalić modele kilkunastomiliardowe. Dwadzieścia cztery gigabajty i więcej otwierają drzwi do naprawdę dużych modeli, rzędu trzydziestu miliardów. Do tego wszystkiego karta graficzna nie jest potrzebna, choć jeśli ją masz, przyspieszy pracę.
Od czego zacząć
Najprostsza droga to program Ollama. Instalujesz go, wpisujesz jedną komendę z nazwą modelu i po chwili rozmawiasz z AI działającą wyłącznie na twoim komputerze. Na start, gdy pamięci masz mało, dobrze sprawdzają się niewielkie, a zaskakująco zdolne modele, jak Phi, Llama w małych wersjach, Qwen czy Gemma. Na wielu współczesnych laptopach, przy małych lub mocniej odchudzonych modelach, odpowiedzi pojawiają się orientacyjnie w tempie od kilku do kilkunastu tokenów na sekundę, zależnie od modelu i ilości pamięci. To wolniej niż w chmurze, ale w zupełności wystarczy, żeby wygodnie czytać na bieżąco.
Najczęstsze błędy, gdy zaczynasz z lokalnym AI
Pierwsze podejście często kończy się rozczarowaniem, ale zwykle nie z winy sprzętu, tylko przez kilka prostych pomyłek. Warto znać je wcześniej, bo oszczędzają sporo nerwów.
Najczęstsza to sięganie od razu po największy model. Widok liczby “70 miliardów parametrów” kusi, ale taki kolos na słabszym komputerze albo w ogóle się nie załaduje, albo będzie wypluwał jedno słowo na kilka sekund. Rozsądniej zacząć od małego, upewnić się, że wszystko działa, i dopiero rosnąć.
Druga pułapka to mylenie liczby parametrów z jakością. Większy nie zawsze znaczy mądrzejszy do twojego zadania. Dobrze dobrany mały model potrafi odpowiadać lepiej od dużego, jeśli tylko pasuje do tego, czego od niego chcesz. Do przepisywania notatek czy porządkowania tekstu naprawdę nie potrzebujesz giganta.
Trzecia to oczekiwanie prędkości rodem z chmury. Odpowiedź, która w znanych czatach pojawia się natychmiast, lokalnie będzie się “pisała” na twoich oczach. To nie awaria, tylko naturalne tempo procesora. Jeśli przeszkadza, wybierz mniejszy albo mocniej odchudzony model.
Czwarta to zapominanie, że kwantyzacja jest kompromisem. Im mocniej odchudzisz model, tym mniej pamięci zajmie i tym szybciej ruszy, ale w pewnym momencie widać to w jakości odpowiedzi. Zwykle najlepszy balans leży gdzieś w okolicy czterech, pięciu bitów i od tego warto zaczynać eksperymenty.
Po co w ogóle uruchamiać AI u siebie?
Skoro w chmurze jest szybciej i lepiej, po co ten cały zachód? Powodów jest kilka i nie wszystkie są dla majsterkowiczów.
Pierwszy to prywatność. Model uruchomiony u ciebie nie musi wysyłać twoich zapytań na zewnątrz, o ile korzystasz z lokalnego narzędzia bez funkcji chmurowych, więc twoje dane nie zasilają cudzych serwerów. To ten sam problem, przed którym niedawno ostrzegał szef Microsoftu, mówiąc, że AI uczy się na twoich danych. Drugi to koszt, bo lokalny model nie ma abonamentu, płacisz raz za prąd i sprzęt, który już masz. Trzeci to niezależność, bo działa bez internetu i nikt ci go z dnia na dzień nie wyłączy ani nie podniesie ceny.
Uczciwie trzeba dodać drugą stronę. Lokalne AI jest wolniejsze i zwykle słabsze od najlepszych modeli w chmurze. Do prostych zadań, nauki i pracy z wrażliwymi danymi sprawdza się świetnie. Do najtrudniejszych rzeczy wciąż lepszy bywa duży model online. Zresztą producenci sprzętu już to widzą i projektują układy pod AI liczoną lokalnie, o czym pisaliśmy przy okazji nowego chipu Samsunga do AI na laptopie.
Pierwsza Misja AI · Kodożercy
Pierwszy raz z AI? Zacznij od zrozumienia podstaw
Pierwsza Misja AI to kurs dla osób bez technicznego zaplecza. Prostym językiem pokazujemy, jak działa AI, jak ją promptować i jak używać jej w codziennej pracy. Sci-fi fabuła, gamifikacja i prawdziwy GPT-4 w ćwiczeniach.
Wejdź na pokład →
Najczęstsze pytania – AI lokalnie
Czy naprawdę nie potrzebuję karty graficznej, żeby uruchomić AI lokalnie?
Nie potrzebujesz. Model może liczyć się wyłącznie na procesorze i w pamięci RAM, a karta graficzna jedynie przyspiesza pracę. Bez niej działa wolniej, ale działa. Warunek jest jeden: model musi zmieścić się w pamięci komputera. Dlatego przy słabszym sprzęcie wybiera się mniejsze albo mocniej odchudzone modele.
Od którego modelu zacząć na słabszym komputerze?
Zacznij od małych, ale zaskakująco zdolnych modeli, takich jak Phi, mniejsze wersje Llamy, Qwen czy Gemma. Najprościej odpalić je przez program Ollama, który instaluje się w kilka minut i pobiera model jedną komendą. Gdy zobaczysz, że sprzęt daje radę, sięgniesz po większy model.
Podsumowanie
Historia trzynastoletniego serwera, który generuje tekst bez żadnej karty graficznej, nie jest ciekawostką dla pasjonatów. To dowód, że uruchomienie AI lokalnie jest dziś na wyciągnięcie ręki dużo szerszej grupy ludzi, niż się wydaje. Dwie sztuczki robią różnicę. Kwantyzacja odchudza model kilka razy, prawie nie tracąc na jakości. Część nowoczesnych modeli, zwłaszcza typu mieszanka ekspertów, budzi do każdej odpowiedzi tylko potrzebną część, więc łączy przyzwoitą prędkość z jakością większego modelu. W praktyce liczy się głównie pamięć: osiem gigabajtów wystarczy na start, a program Ollama załatwia całą resztę jedną komendą. Zyskujesz prywatność, brak abonamentu i niezależność od chmury. Płacisz za to nieco niższą prędkością i jakością. Dla wielu zastosowań to bardzo dobry układ.
Newsletter · DevstockAcademy & Kodożercy
Bądź na bieżąco ze światem IT, AI i automatyzacji
Co wtorek: newsy z branży, praktyczne tipy i narzędzia które warto znać. Zero spamu.
