Backpropagacja wykorzystuje regułę łańcuchową do aktualizacji wag opartych na gradientach

Backpropagacja wykorzystuje regułę łańcuchową do aktualizacji wag opartych na gradientach

  • ◉ AI Geek Programmer
  • ◷ 22 listopada 2026

Backpropagacja wykorzystuje regułę łańcuchową do aktualizacji wag opartych na gradientach

Sieć neuronowa może dokonać predykcji, zmierzyć swój błąd i nadal nie mieć pojęcia, jak go poprawić. Problemem, na który odpowiada ta lekcja, jest prosty: jak sieć znajduje te wagi, które spowodowały błąd, oraz jak je zmienia?

Odpowiedzią jest backpropagacja. Wykorzystuje ona regułę łańcuchową z rachunku różniczkowego do obliczania gradientów. Optymalizator używa następnie tych gradientów do aktualizacji wag sieci.

Od predykcji do aktualizacji wagi

Sieć neuronowa zawiera wagi. Wagi te kontrolują to, jak mocno jedno wejście wpływa na kolejną warstwę. Podczas treningu sieć je dostosowuje, aby jej predykcje były bliższe poprawnym odpowiedziom.

Pętla treningowa ma cztery główne kroki:

  1. Przepuszczenie danych wejściowych przez sieć.
  2. Zmierzenie błędu predykcji.
  3. Obliczenie, jak każda waga wpłynęła na ten błąd.
  4. Zmiana wag w kierunku, który zmniejsza błąd.

Pierwszy krok nazywa się przebiegiem w przód (forward pass). Dane przemieszczają się od warstwy wejściowej do wyjściowej. Każda warstwa wykonuje obliczenia, stosuje aktywację, taką jak ReLU, i przekazuje swój wynik dalej.

Sieka następnie porównuje swoje wyjście z poprawną etykietą. Klasyfikacja często wykorzystuje tutaj stratę krzyżowej entropii (cross-entropy loss). Strata to liczba opisująca, jak bardzo predykcja była błędna.

Mała strata oznacza, że predykcja była bliska. Duża strata oznacza, że sieka potrzebuje większej korekty.

Backpropagacja zajmuje się trzecim krokiem. Rozpoczyna się od straty i cofa się wstecz przez sieć. W każdej operacji oblicza, jaki udział ta operacja miała w ostatecznym błędzie.

Właśnie tu liczy się reguła łańcuchowa. Sieć neuronowa to długa sekwencja połączonych funkcji. Wynik jednej warstwy staje się wejściem dla następnej. Reguła łańcuchowa łączy drobne zmiany w każdej części ze zmianą końcowej straty.

Dla prostej kompozycji reguła wygląda następująco:

[ \frac{dL}{dx} = \frac{dL}{dy} \times \frac{dy}{dx} ]

Tutaj (L) to strata, (y) to wartość pośrednia, a (x) to wcześniejsza wartość. Pełny gradient pochodzi z mnożenia lokalnych pochodnych razem.

Backpropagacja powtarza ten proces na każdej warstwie. Ponownie wykorzystuje wyniki pośrednie zamiast ponownie obliczać te same efekty. Dzięki temu obliczanie gradientów jest praktyczne dla dużych sieci.

Mały przykład

Rozważmy mikroskopijny model z jednym wejściem:

[ z = wx ]

Model przewiduje (z). Załóżmy, że wejście wynosi (x = 2), waga to (w = 3), a wartość docelowa to (10). Predykcja wynosi:

[ z = 3 \times 2 = 6 ]

Użyjmy straty błędu kwadratowego:

[ L = \frac{1}{2}(z - 10)^2 ]

Predykcja jest zbyt niska, więc strata jest dodatnia. Pytanie brzmi: czy waga powinna stać się większa, czy mniejsza?

Zastosujmy regułę łańcuchową:

[ \frac{dL}{dw} = \frac{dL}{dz} \times \frac{dz}{dw} ]

Pierwsza część to:

[ \frac{dL}{dz} = z - 10 = -4 ]

Druga część to:

[ \frac{dz}{dw} = x = 2 ]

Zatem gradient wynosi:

[ \frac{dL}{dw} = -4 \times 2 = -8 ]

Minus niesie przydatną informację. W tym przykładzie zwiększenie wagi powinno zmniejszyć stratę.

Gradient descent aktualizuje wagę według tej zasady:

[ w_{\text{new}} = w - \eta \frac{dL}{dw} ]

Symbol (\eta) to tempo nauki (learning rate). Kontroluje ono wielkość każdej aktualizacji.

Jeśli tempo nauki wynosi (0.1), nowa waga wyniesie:

[ w_{\text{new}} = 3 - 0.1(-8) = 3.8 ]

Waga wzrasta z (3) do (3.8). Następna predykcja wynosi (7.6), co jest bliżej wartości docelowej (10).

Ten przykład jest na tyle mały, by można go było policzyć ręcznie. Prawdziwe sieci zawierają miliony lub miliardy parametrów. Ta sama zasada wciąż działa. Systemy automatycznej różniczkowania obliczają gradienty dla każdej wagi w grafie obliczeń.

Backpropagacja oblicza kierunek. Gradient descent wykonuje krok.

Co to oznacza dla CNN-ów

Splotowa sieć neuronowa, czyli CNN, stosuje tę samą metodę treningu do danych obrazowych.

Obraz zaczyna się jako liczby. Obraz w skali szarości przechowuje wartości pikseli od 0 do 255. Obraz kolorowy zwykle ma kanały czerwony, zielony i niebieski. Te liczby nie mają wbudowanej koncepcji twarzy, drogi czy kota.

Warstwa splotowa skanuje obraz małymi filtrami zwanymi jądrami (kernels). Powszechne rozmiary filtrów to (3 \times 3) i (5 \times 5). W każdej pozycji filtr oblicza iloczyn skalarny z lokalnym regionem obrazu. Wyniki tworzą mapę cech (feature map).

Wczesne filtry mogą nauczyć się wzorców takich jak krawędzie i rogi. Późniejsze warstwy łączą te wzorce w tekstury, kształty i części obiektów. Końcowe warstwy produkują oceny klasowe lub prawdopodobieństwa.

Kilka filtrów może skanować ten sam obraz jednocześnie. Każdy filtr może nauczyć się innego wzorca. Ten sam filtr jest ponownie wykorzystywany na całym obrazie, co stanowi projekt zwany udostępnianiem parametrów (parameter sharing). Utrzymuje to liczbę wag niższą niż w całkowicie połączonej sieci, która traktuje każdy piksel jako niezwiązany z innymi.

Krok (stride) kontroluje to, jak daleko filtr przesuwa się w każdym kroku. Krok równy jeden sprawdza każdą pobliską pozycję. Większy krok pomija pozycje i zmniejsza rozmiar wyjścia.

Padding dodaje wartości wokół krawędzi obrazu. Pomaga zachować rozmiar przestrzenny i daje pikselom krawędzi uczciwą szansę na wpływ na wynik.

Warstwy pulujące (pooling) zmniejszają rozmiar mapy cech. Max pooling zachowuje najwyższą wartość w małym regionie. Average pooling oblicza średnią wartość regionu. Pulowanie zmniejsza późniejsze obliczenia i może sprawić, że predykcje będą mniej wrażliwe na drobne przesunięcia na obrazie. Usuwa również pewne szczegóły, więc nie jest darmowe.

Typowa struktura CNN powtarza splot, ReLU i pulowanie. Późniejsze warstwy spłaszczają mapy cech i przekazują je do warstw całkowicie połączonych. Backpropagacja przenosi się następnie od straty klasyfikacji przez te warstwy, przez operacje splotu i do wag filtrów.

Filtry uczą się, ponieważ ich gradienty pokazują, jak każdy filtr wpłynął na ostateczną predykcję.

Sprawianie, by optymalizacja działała

Poprawny gradient nie gwarantuje użytecznego treningu. Optymalizator wciąż potrzebuje rozsądnych warunków.

Tempo nauki jest jednym z głównych kontrolek. Jeśli jest zbyt duże, aktualizacje mogą zawrócić i sprawić, że strata stanie się niestabilna. Jeśli jest zbyt małe, trening może posuwać się z męcząco wolnym tempem.

Harmonogram tempa nauki zmienia tę wartość podczas treningu. Niektóre harmonogramy zmniejszają ją z czasem. Ciepłe restarty (warm restarts) podnoszą ją ponownie w zaplanowanych momentach, co może pomóc optymalizatorowi eksplorować nowe obszary.

Normalizacja wsadowa (batch normalization) może pomóc utrzymać aktywacje w bardziej stabilnym zakresie podczas treningu. Stabilne aktywacje mogą ułatwić optymalizację, choć normalizacja wsadowa dodaje też zachowanie zależne od trybów treningu i ewaluacji.

Przycinanie gradientów (gradient clipping) ogranicza bardzo duże gradienty. Pomaga to, gdy jedna aktualizacja mogłaby spowodować dużą i szkodliwą zmianę wagi. Przycinanie nie naprawia każdego problemu treningowego, ale może zapobiec przejęciu kontroli przez wybuchające aktualizacje.

Strata walidacyjna daje pogląd na wydajność na danych, których model nie używał do obecnych aktualizacji wag. Jeśli strata treningowa ciągle spada, ale strata walidacyjna zaczyna rosnąć, model może nadmiernie dopasowywać się do danych (overfitting). Wczesne zatrzymanie (early stopping) może zakończyć trening przed tym, gdy ta luka urośnie za bardzo.

Te techniki są narzędziami kontrolnymi, a nie magicznymi ustawieniami. Ich wartość ujawnia się poprzez pomiary. Strata treningowa, strata walidacyjna, tempo nauki i zachowanie gradientów ujawniają, czy model się uczy, czy jedynie przesuwa liczby wokoło.

Backpropagacja to silnik, który zamienia błąd w gradienty. Reguła łańcuchowa łączy każde lokalne obliczenie z końcową stratą. Optymalizacja oparta na gradientach wykorzystuje następnie te gradienty do zmiany wag.

Daje to praktyczne podstawy do zrozumienia treningu CNN-ów. CNN uczy się cech wizualnych z wartości pikseli, ponieważ jego filtry otrzymują informacje zwrotne przez ten sam proces wsteczny. Następnym krokiem jest zbadanie, jak te filtry zamieniają surowe siatki obrazów w użyteczne reprezentacje wizualne.

The Model Log utrzymuje tę ścieżkę nauki osadzoną w jednym praktycznym pojęciu AI, jednym działającym przykładzie i jednym szczerym spojrzeniu na to, co naprawdę działa.

Tagi:
    Udostępnij:

    Powiązane artykuły

    Chmura obliczeniowa działa na rozproszonych sieciach serwerów

    Chmura obliczeniowa działa na rozproszonych sieciach serwerów

    • AI Geek Programmer
    • 22 listopada 2026

    Cloud computing runs on distributed server networks.

    Czytaj artykuł
    Architektura AI wymaga modeli bezpieczeństwa Zero Trust

    Architektura AI wymaga modeli bezpieczeństwa Zero Trust

    • AI Geek Programmer
    • 21 listopada 2026

    I keep coming back to one plain fact: AI systems do not live behind one clean wall anymore.

    Czytaj artykuł
    AI obniża koszty agencji deweloperskich

    AI obniża koszty agencji deweloperskich

    • AI Geek Programmer
    • 20 listopada 2026

    AI systems reduce software development agency costs. That is the plain answer, but the real story is narrower than the hype.

    Czytaj artykuł