Sieci neuronowe to programy złożone z wielu prostych jednostek obliczeniowych, które same dobierają swoje ustawienia na podstawie przykładów, zamiast wykonywać reguły wpisane ręcznie przez programistę. Na nich działają dziś między innymi tłumacz Google i modele językowe, takie jak ChatGPT i Claude.
Co to jest sieć neuronowa
Sztuczna sieć neuronowa to model uczenia maszynowego zbudowany z warstw połączonych ze sobą jednostek, nazywanych neuronami. Każde połączenie ma swoją wagę, czyli liczbę mówiącą, jak mocno sygnał z jednego neuronu wpływa na następny. Uczenie sieci polega na dobieraniu tych wag tak, żeby dla znanych przykładów sieć dawała poprawne odpowiedzi.
Nazwa pochodzi od biologii, ale to inspiracja, a nie wierne odwzorowanie mózgu. Sztuczny neuron to zwykłe działanie matematyczne: mnożenie, dodawanie i jedna prosta funkcja. Sieć niczego nie “rozumie” tak jak człowiek, tylko bardzo dobrze dopasowuje odpowiedzi do wzorców w danych.
Sieci neuronowe są jedną z rodzin metod uczenia maszynowego. Mapę pojęć, w której mieszczą się też metody bez sieci, opisujemy w tekście o uczeniu maszynowym, a szerszy obraz w przewodniku czym jest sztuczna inteligencja.
Sieć ma zwykle trzy rodzaje warstw. Warstwa wejściowa przyjmuje dane, na przykład jasność pikseli zdjęcia. Warstwy ukryte przetwarzają je krok po kroku. Warstwa wyjściowa podaje wynik, na przykład “kot” albo “pies”. Gdy warstw ukrytych jest wiele, mówimy o uczeniu głębokim (ang. deep learning).
Jak działa sztuczny neuron: przykład na liczbach
Sztuczny neuron mnoży każde wejście przez jego wagę, dodaje wyniki i stały składnik zwany przesunięciem albo wyrazem wolnym (ang. bias), a potem przepuszcza sumę przez funkcję aktywacji. Najprostsza funkcja aktywacji działa jak przełącznik: suma większa od zera daje 1, w przeciwnym razie wynik to 0.
Weźmy neuron, który ma zdecydować, czy wziąć parasol. Ma trzy wejścia, każde to 0 albo 1:
| Wejście | Wartość | Waga | Iloczyn |
|---|---|---|---|
| niebo zachmurzone | 1 | 0,6 | 0,6 |
| prognoza mówi o deszczu | 1 | 0,8 | 0,8 |
| silny wiatr | 0 | -0,2 | 0 |
| przesunięcie (bias) | stałe | -1,0 | -1,0 |
Suma to 0,6 + 0,8 + 0 – 1,0 = 0,4. Jest większa od zera, więc neuron odpowiada 1, czyli “weź parasol”. Gdyby niebo było tylko zachmurzone, bez prognozy deszczu, suma wyniosłaby 0,6 – 1,0 = -0,4 i odpowiedź brzmiałaby 0.
Wagi decydują o wszystkim. Duża dodatnia waga oznacza “to wejście mocno przemawia za odpowiedzią 1”, ujemna działa przeciw. W prawdziwych sieciach zamiast przełącznika stosuje się łagodniejsze funkcje aktywacji, na przykład sigmoidalną albo ReLU, która zeruje wartości ujemne, a dodatnie przepuszcza bez zmian. Dzięki temu sieć z wielu warstw potrafi opisać zależności znacznie bardziej skomplikowane niż prosta reguła.
Pierwsza Misja AI · Kodożercy
Pierwszy raz z AI? Zaczynasz od zera.
Pierwsza Misja AI to kurs dla osób bez technicznego przygotowania. Nie musisz pisać kodu ani znać żargonu. Dowiesz się, jak działa AI, jak promptować i jak korzystać z niej w pracy.
Wejdź na pokład →
Jak uczy się sieć neuronowa
W typowym uczeniu nadzorowanym sieć neuronowa porównuje swoją odpowiedź z poprawną i poprawia wagi tak, żeby następnym razem pomylić się mniej. Cykl wygląda zawsze tak samo:
- Sieć dostaje przykład, na przykład zdjęcie, i oblicza odpowiedź.
- Program porównuje odpowiedź z poprawną etykietą i liczy błąd.
- Wagi przesuwają się odrobinę w kierunku, który ten błąd zmniejsza.
- Krok powtarza się dla tysięcy albo milionów przykładów, wiele razy.
Na naszym neuronie od parasola wygląda to tak. Przyjmijmy, że pewnego dnia niebo było zachmurzone, prognoza nie mówiła o deszczu, a jednak padało. Neuron odpowiedział 0, a powinien 1. Reguła uczenia perceptronu każe wtedy dodać do wag aktywnych wejść i do przesunięcia małą poprawkę, na przykład 0,1. Waga zachmurzenia rośnie z 0,6 do 0,7, a przesunięcie z -1,0 do -0,9. Po trzech takich poprawkach suma dla samego zachmurzenia wynosi 0,9 – 0,7 = 0,2 i neuron zaczyna odpowiadać “weź parasol”.
Propagacja wsteczna, czyli jak poprawić wagi w wielu warstwach
W sieci z wieloma warstwami trudność polega na tym, że nie wiadomo, który z tysięcy neuronów ukrytych odpowiada za błąd. Rozwiązaniem jest propagacja wsteczna błędu (ang. backpropagation). Algorytm liczy, jak bardzo każda waga przyczyniła się do błędu na wyjściu, i przesuwa ją proporcjonalnie, od ostatniej warstwy do pierwszej.
Opisali ją David Rumelhart, Geoffrey Hinton i Ronald Williams w pracy opublikowanej w “Nature” 9 października 1986 roku. W streszczeniu piszą, że procedura wielokrotnie zmienia wagi połączeń, żeby zmniejszyć różnicę między wynikiem sieci a oczekiwanym. Ważny jest drugi wniosek: neurony ukryte same uczą się reprezentować cechy przydatne do zadania, choć nikt im tego nie wskazał.
Propagacja wsteczna liczy, w którą stronę i jak mocno przesunąć każdą wagę. Same wagi zmienia potem metoda optymalizacji, najczęściej spadek gradientu. To, jak bardzo wagi zmieniają się w jednym kroku, określa współczynnik uczenia. Za duży sprawia, że sieć przeskakuje dobre ustawienia, a za mały, że uczy się bardzo długo. Spadek gradientu można sobie wyobrazić jako schodzenie we mgle z góry małymi krokami, zawsze tam, gdzie teren opada najbardziej.
Rodzaje sieci neuronowych
Rodzaje sieci różnią się tym, jak połączone są neurony, a to zależy od danych, z którymi sieć ma pracować:
| Rodzaj | Do czego służy | Jak działa w skrócie |
|---|---|---|
| sieć gęsta (MLP, perceptron wielowarstwowy) | dane w tabelach, proste klasyfikacje | każdy neuron łączy się ze wszystkimi neuronami następnej warstwy |
| sieć konwolucyjna (CNN) | zdjęcia, wideo, skany | małe filtry przesuwają się po obrazie i wyłapują krawędzie, kształty, a w głębszych warstwach całe obiekty |
| sieć rekurencyjna (RNN, LSTM) | tekst, mowa, szeregi czasowe | przetwarza dane po kolei i przekazuje sobie “pamięć” o poprzednich elementach |
| transformer | modele językowe, tłumaczenie, coraz częściej obrazy | mechanizm uwagi pozwala każdemu słowu “spojrzeć” na wszystkie pozostałe naraz |
Sieci konwolucyjne zdominowały rozpoznawanie obrazów, a transformery przetwarzanie języka. Na transformerach opiera się większość popularnych dużych modeli językowych. Jak z sieci powstaje chatbot, opisujemy w tekście czym jest duży model językowy.
Sieci rekurencyjne były przez lata standardem w tekście i mowie. Ich ulepszoną wersję, LSTM, opisali Sepp Hochreiter i Jürgen Schmidhuber w 1997 roku w czasopiśmie “Neural Computation”. Transformer zastąpił je w wielu zastosowaniach językowych, bo przetwarza całe zdanie równolegle, a nie słowo po słowie, więc lepiej wykorzystuje karty graficzne.
Gdzie spotykasz sieci neuronowe na co dzień
Z sieci neuronowych korzystasz zwykle bez wiedzy o tym. Kilka przykładów z dokumentacji firm:
- Tłumacz Google. 27 września 2016 roku Google ogłosiło system tłumaczenia oparty na sieci neuronowej (Google Neural Machine Translation) i wdrożenie go w Tłumaczu.
- Filtr spamu w Gmailu. Google opisało na blogu Workspace, że nowe zabezpieczenia oparte na uczeniu maszynowym i bibliotece TensorFlow blokowały około 100 milionów dodatkowych wiadomości ze spamem dziennie.
- Czatboty i asystenci. ChatGPT, Gemini, Claude i polski Bielik to duże modele językowe, czyli sieci neuronowe typu transformer z miliardami wag.
Wspólny mianownik jest prosty. Wszędzie tam, gdzie reguł nie da się spisać ręcznie, bo jest ich za dużo albo są nieostre, sieć uczy się ich z przykładów.
Krótka historia sieci neuronowych
Sieci neuronowe mają ponad 80 lat, choć popularne stały się dopiero w ostatniej dekadzie. Najważniejsze daty potwierdziliśmy w oryginalnych publikacjach:
| Rok | Wydarzenie | Źródło |
|---|---|---|
| 1943 | Warren McCulloch i Walter Pitts opisują matematyczny model neuronu | “Bulletin of Mathematical Biophysics”, tom 5 |
| 1958 | Frank Rosenblatt przedstawia perceptron, model, który uczy się na przykładach | “Psychological Review”, tom 65 |
| 1986 | Rumelhart, Hinton i Williams publikują propagację wsteczną | “Nature”, tom 323 |
| 1997 | Hochreiter i Schmidhuber opisują sieć LSTM | “Neural Computation” |
| 1998 | Zespół Yanna LeCuna publikuje pracę o uczeniu sieci do rozpoznawania dokumentów | “Proceedings of the IEEE”, tom 86 |
| 2012 | AlexNet: sieć konwolucyjna z 60 milionami parametrów, trenowana na kartach graficznych | konferencja NIPS 2012 |
| 2017 | Zespół badaczy, w większości z Google, przedstawia architekturę transformer | arXiv, praca “Attention Is All You Need” |
Na zdjęciu wyróżniającym: Mark I Perceptron, elektromechaniczna maszyna z zespołu Franka Rosenblatta w Cornell Aeronautical Laboratory, którą uczono rozpoznawania liter pokazywanych jej fotokomórkom. Fot. National Museum of the U.S. Navy, Wikimedia Commons, domena publiczna.
Przełom z 2012 roku miał trzy składniki: dużo danych, karty graficzne i głębszą sieć. Alex Krizhevsky, Ilya Sutskever i Geoffrey Hinton napisali w streszczeniu, że ich sieć trenowana na 1,3 miliona zdjęć z 1000 kategorii dała wyniki “znacznie lepsze” od dotychczasowych. Od tego momentu uczenie głębokie stało się główną metodą rozpoznawania obrazów.
Praca o transformerze, zgłoszona do arXiv 12 czerwca 2017 roku przez Ashisha Vaswaniego i siedmioro współautorów, zaproponowała sieć opartą wyłącznie na mechanizmie uwagi, bez rekurencji i konwolucji. Na tej architekturze zbudowano później modele językowe, takie jak te w ChatGPT.
Jak zacząć naukę sieci neuronowych
Najłatwiej zacząć od zabawy w przeglądarce, a dopiero potem sięgnąć po kod. TensorFlow Playground pozwala bez instalacji zbudować małą sieć, dodawać warstwy i neurony i patrzeć, jak w trakcie uczenia zmieniają się wagi (grubość linii między neuronami) i wynik sieci.
Kolejny krok to Python i jedna z bibliotek do uczenia głębokiego, na przykład PyTorch albo Keras. Pierwszym projektem jest zwykle rozpoznawanie ręcznie pisanych cyfr, bo dane są gotowe, a wynik widać od razu. Jeśli nie chcesz programować, a chcesz zrozumieć, jak działa AI i jak z niej korzystać, zacznij od kursu AI dla początkujących albo przeglądu najlepszych narzędzi AI.
FAQ
Czym różni się sieć neuronowa od sztucznej inteligencji?
Sztuczna inteligencja to cała dziedzina zajmująca się programami, które wykonują zadania wymagające “myślenia”. Sieci neuronowe to jedna z metod w jej obrębie, dziś najpopularniejsza. Istnieją też systemy AI bez sieci, na przykład oparte na regułach albo drzewach decyzyjnych.
Co to jest uczenie głębokie (deep learning)?
Uczenie głębokie to uczenie sieci neuronowych z wieloma warstwami ukrytymi. Im więcej warstw, tym bardziej złożone cechy sieć może sama wyodrębnić z danych, na przykład od krawędzi na zdjęciu, przez kształty, po całe obiekty.
Czy sieć neuronowa działa jak ludzki mózg?
Tylko w ogólnym zarysie. Pomysł połączonych neuronów pochodzi z biologii, ale sztuczny neuron to proste działanie matematyczne. Sieć uczy się też inaczej niż człowiek: potrzebuje zwykle ogromnej liczby przykładów i nie rozumie znaczenia tego, co przetwarza.
Ile danych potrzeba do nauczenia sieci neuronowej?
To zależy od zadania i wielkości sieci. Mała sieć z TensorFlow Playground uczy się na kilkuset punktach, a AlexNet z 2012 roku potrzebowała 1,3 miliona opisanych zdjęć. Modele językowe uczy się na ogromnych zbiorach tekstu.
Podsumowanie
Sieć neuronowa to zbiór prostych neuronów ułożonych w warstwy, w których każde połączenie ma wagę. Pojedynczy neuron mnoży wejścia przez wagi, dodaje je i podaje wynik przez funkcję aktywacji. W typowym uczeniu nadzorowanym sieć porównuje swoje odpowiedzi z poprawnymi i przesuwa wagi tak, żeby błąd malał. W sieciach wielowarstwowych umożliwia to propagacja wsteczna opisana w 1986 roku. Sieci konwolucyjne specjalizują się w obrazach, rekurencyjne w ciągach danych, a transformery, przedstawione w 2017 roku, napędzają dzisiejsze modele językowe. Najprościej zobaczyć to w praktyce w TensorFlow Playground, a potem przejść do Pythona.
Newsletter · DevstockAcademy & Kodożercy
Bądź na bieżąco ze światem IT, AI i automatyzacji
Co wtorek: newsy z branży, praktyczne tipy i narzędzia które warto znać. Zero spamu.
