DeepInfer od DeepSeek: co otwarto i czego brakuje

DeepSeek otworzył na licencji Apache 2.0 DeepInfer, silnik inferencji, który według firmy napędza jej usługi produkcyjne. Jego kod może teraz przejrzeć i rozwijać każdy zespół infrastrukturalny. Obecne repozytorium obsługuje inferencję offline dla jednego modelu, DeepSeek-V4.1-Flash, na NVIDIA SM100 albo Huawei Ascend 950. Do pełnej usługi przyjmującej ruch użytkowników trzeba dołożyć między innymi pamięć podręczną KV, rozdzielenie etapów obliczeń i równoważenie obciążenia.

Co DeepSeek otworzył w DeepInfer

DeepInfer jest frameworkiem inferencji, czyli warstwą uruchamiającą wytrenowany model i obliczającą jego odpowiedzi. Repozytorium zawiera kod odpowiedzialny za wykonanie modelu, planowanie partii zapytań oraz rozdzielanie obliczeń między akceleratory.

README wymienia osiem funkcji:

• zoptymalizowane jądra obliczeniowe, wykonanie modelu i próbkowanie;
• równoległość dla mechanizmu uwagi i warstw eksperckich, z równoważeniem obciążenia ekspertów;
• DSpark oraz weryfikację tokenów sterowaną poziomem pewności;
• ograniczone odtwarzanie przy przesuwnym oknie uwagi (SWA bounded replay), które zmniejsza pracę w fazie prefill;
• asynchroniczne szeregowanie partii;
• wynik niezależny od składu partii;
• deterministyczne próbkowanie;
• wyjścia strukturalne zgodne z wyrażeniem regularnym, schematem JSON albo gramatyką EBNF.

Cztery ostatnie pozycje mają znaczenie w środowisku produkcyjnym. Serwer może nakładać planowanie następnej partii na obliczenia bieżącej, odtwarzać ten sam wynik przy tych samych danych i wymuszać odpowiedź w formacie wymaganym przez aplikację. Niezależność od składu partii i deterministyczne próbkowanie działają według dokumentacji tylko na platformie NVIDIA.

Pierwsza Misja AI · Kodożercy

AI bez technikaliów – kurs i certyfikat

Pierwsza Misja AI to kurs Kodożerców dla absolutnych początkujących. Fabuła w konwencji science fiction, gamifikacja, ćwiczenia na żywym modelu, certyfikat na koniec.

Zacznij Pierwszą Misję →

DeepInfer a pełny serwer modelu

Udostępniona wersja uruchamia model offline. Oznacza to przetwarzanie przygotowanej partii danych bez publicznego punktu dostępowego, kolejek wielu klientów i rozdzielania ich ruchu między repliki.

DeepSeek sam wymienia trzy brakujące elementy pełnej usługi:

1. system pamięci podręcznej KV, który przechowuje obliczenia wykonane dla wcześniejszych tokenów;
2. rozdzielenie etapów VE (kodowanie obrazu przez Vision Encoder), prefill (przetwarzanie wejścia) i decode (generowanie kolejnych tokenów);
3. równoważenie obciążenia między replikami obsługującymi prefill i decode.

Repozytorium zawiera większość funkcji silnika potrzebnych do rozdzielonej pracy, lecz integracja i warstwa obsługi ruchu pozostają po stronie wdrażającego. Zespół musi też zapewnić monitoring, limity użytkowników, uwierzytelnianie, kolejki i reakcję na awarie.

Powód braków wyjaśnia dokument z pytaniami i odpowiedziami o wdrożeniu dołączony do repozytorium. Zarządzanie pamięcią KV i równoważenie obciążenia są ściśle związane z wewnętrzną infrastrukturą DeepSeeka, dlatego ich kod nie został jeszcze w pełni otwarty. Firma opisuje tam za to, jak sama je zbudowała, na przykład blokową część pamięci podręcznej KV trzyma na osobnym klastrze pamięci masowej 3FS.

Wymagania DeepInfer wykluczają typowy komputer

Lista wspieranego sprzętu jest dziś krótka. Dla platformy NVIDIA projekt wymaga układów zgodnych z architekturą SM100, a dla Huawei wymienia Ascend 950. Karty konsumenckie, starsze generacje układów do centrów danych i sam procesor nie są na tej liście.

Przykład offline pobiera domyślnie punkt kontrolny deepseek-ai/DeepSeek-V4.1-Flash-1017 z Hugging Face. Można też wskazać lokalną kopię modelu. Na liście modeli jest tylko DeepSeek-V4.1-Flash, więc uruchomienie V3, R1 albo modelu innej firmy wymagałoby własnej pracy i testów. DeepSeek zapowiada, że kod inferencji kolejnych swoich modeli będzie trafiał do tego samego repozytorium.

Jeśli szukasz narzędzia do uruchomienia modelu na domowym komputerze, przydatniejszy będzie przewodnik po lokalnych modelach DeepSeek, Llama, Qwen i Gemma. DeepInfer celuje w zespoły budujące infrastrukturę dużej skali.

Co pokazuje benchmark DeepInfer na 4 i 64 GPU

README pokazuje wyniki jako dwa wykresy kompromisu między przepustowością a szybkością odpowiedzi. Fazę prefill, czyli przetwarzanie wejściowego promptu, mierzono na czterech układach SM100. Fazę decode, czyli generowanie odpowiedzi token po tokenie, mierzono na 64 układach. Obie konfiguracje działały w obrębie jednej domeny szybkich połączeń między akceleratorami.

W README nie ma tabeli z liczbami, ale rząd wielkości da się odczytać z osi. Przy największych partiach prefill dochodzi do blisko 90 tys. tokenów wejściowych na sekundę na jeden GPU. W fazie decode przy pełnym obciążeniu wykres pokazuje około 26 tys. tokenów wyjściowych na sekundę na GPU, a pojedynczy użytkownik dostaje wtedy około 100 tokenów na sekundę. Mniejsze obciążenie daje użytkownikowi ponad 300 tokenów na sekundę kosztem łącznej przepustowości. Pomiar decode zakłada stały, 75-procentowy poziom akceptacji tokenów szkicu przy dekodowaniu spekulatywnym.

Na obu wykresach jest tylko jedna seria, czyli DeepInfer, bez zestawienia z vLLM, SGLang ani TensorRT-LLM. Liczby 4 i 64 opisują środowisko pomiaru, a nie minimalną konfigurację. Pomiary można odtworzyć skryptem run_sweep.sh. Osobny katalog eval podaje wyniki referencyjne modelu w testach AIME 2026, GPQA Diamond i HLE. Służą one do sprawdzenia, czy wdrożenie działa poprawnie, a nie do porównywania silników.

DeepInfer, vLLM i SGLang: zakres porównania

DeepSeek podaje, że DeepInfer został zbudowany głównie na bazie vLLM, a dodatkowo czerpie z SGLang i TensorRT-LLM. To informacja o pochodzeniu kodu oraz pomysłów. Asynchroniczne szeregowanie partii firma wprost opisuje jako rozwiązanie wzorowane na SGLang i NanoFlow.

Różnica w zakresie jest zasadnicza. vLLM i SGLang to narzędzia ogólnego przeznaczenia, a DeepInfer opisuje jeden model, dwie platformy sprzętowe i funkcje potrzebne DeepSeekowi przy dużej skali. Specjalizacja może być cenna dla zespołu z właściwym sprzętem. Dla pozostałych oznacza próg wejścia.

Licencja Apache 2.0 pozwala używać, modyfikować i rozpowszechniać kod zgodnie z jej warunkami. Nie otwiera jednak wag każdego modelu, danych treningowych ani zewnętrznych warstw produkcyjnych DeepSeeka. Model DeepSeek-V4.1-Flash ma osobne repozytorium i własną dokumentację.

Kto może dziś skorzystać z DeepInfer

Najbliżej gotowego zastosowania są operatorzy dużych klastrów, producenci akceleratorów i zespoły rozwijające silniki inferencji. Mogą przeanalizować implementację równoległości, jądra obliczeniowe, planowanie partii oraz deterministyczne generowanie. Projekt może też służyć jako punkt odniesienia przy dostosowywaniu środowiska do DeepSeek-V4.1-Flash.

Dla firmy, która chce po prostu wystawić model przez API, repozytorium jest składnikiem większego systemu. Trzeba doliczyć brakujące warstwy, specjalistyczny sprzęt, testy stabilności oraz utrzymanie. Dla użytkownika Ollamy DeepInfer nie daje prostszej drogi: inny jest sprzęt, zakres modeli i sposób obsługi.

Projekt jest bardzo świeży, a jego dokumentacja zmieniała się jeszcze 20 października, więc przed decyzją o wdrożeniu warto sprawdzić jej aktualną wersję.

Podsumowanie

DeepInfer udostępnia na Apache 2.0 silnik inferencji, który według DeepSeeka zasila produkcyjne usługi firmy. Obecne wydanie uruchamia offline DeepSeek-V4.1-Flash na NVIDIA SM100 albo Huawei Ascend 950. Zawiera zoptymalizowane jądra, mechanizmy równoległości, asynchroniczne planowanie, deterministyczne próbkowanie i wyjścia strukturalne. Pełna usługa wymaga osobnego systemu pamięci KV, rozdzielenia etapów prefill i decode oraz równoważenia ruchu. To części, które DeepSeek na razie trzyma przy własnej infrastrukturze. Wykresy w README pokazują przepustowość DeepInfer na 4 i 64 układach SM100, ale bez zestawienia z vLLM ani SGLang, więc o przewadze nad nimi nie da się jeszcze nic powiedzieć. Dziś projekt służy przede wszystkim zespołom infrastrukturalnym, które mają wyspecjalizowany sprzęt i potrafią dobudować warstwę usługową.

Mateusz Wojdalski

Specjalista SEO i content marketingu w Devstock. Zajmuję się strategią treści, automatyzacją procesów marketingowych i wdrożeniami AI w codziennej pracy. Badam nowe narzędzia, adaptuję je do realnych zadań i piszę o tym, co faktycznie działa.