Sieci neuronowe uczą się, zmieniając liczby, a nie znajdując wcześniej zapisane reguły. Istotne pytanie jest proste: jak ważone wejścia pozwalają modelowi przekształcić surowe dane w wzorzec, którego może użyć?
Krótka odpowiedź brzmi, że każde wejście ma przypisany swój ciężar (wagę). Ciężar mówi sieci, jak bardzo powinna dbać o to konkretne wejście. Podczas treningu sieć dostosowuje te ciężary, aż jej wynik zbliży się do poprawnej odpowiedzi.
To brzmi abstrakcyjnie, więc trzymam się konkretów. Wyobraź sobie małą sieć, która analizuje jedną wartość piksela, jeden sygnał krawędzi i jedną wskazówkę koloru. Na początku ciężary są losowe. Sieć nie ma pojęcia, co jest ważne. Po prostu miesza wejścia i zgaduje.
Oto podstawowy przepływ.
Wejście wpada do sieci.
Każde wejście jest mnożone przez ciężar.
Sieć dodaje wyniki razem.
Ta suma przechodzi przez funkcję aktywacji.
Sieć produkuje wynik.
Jeśli wynik jest błędny, sieć mierzy, jak bardzo pomyliła się, za pomocą funkcji straty. Ta strata to pojedyncza liczba, która w prostych słowach mówi, jak zła była ta zgoda. Mała strata to dobrze. Duża strata to źle.
Następnie przychodzi część, która nadaje sieciom neuronowym ich moc. Propagacja wsteczna wysyła błąd do tyłu przez sieć. Pokazuje ona, które ciężary najbardziej przyczyniły się do błędnej odpowiedzi. Krok trenowania następnie lekko koryguje te ciężary. Nie dużo. Tylko tyle, aby następna zgoda była nieco lepsza.
Tak wygląda nauka od zera. Nie ma wbudowanej wiedzy o kotach, samochodach czy twarzach. Są tylko ciężary. Przez wiele przykładów sieć zaczyna kształtować te ciężary w przydatne detektory wzorców. Jedna warstwa może nauczyć się prostych krawędzi. Inna może łączyć krawędzie w rogi. Późniejsza warstwa może łączyć je w bardziej przydatne struktury.
Mały przykład ułatwia to zrozumienie.
Załóżmy, że sieć widzi dwa wejścia: jasność i siłę krawędzi. Dla ciemnego obrazu z silną krawędzią może zacząć od ciężarów takich jak 0,2 i 0,8. Sygnał krawędzi jest ważniejszy, więc iloczyn z tego wejścia wnosi większy wkład do sumy. Jeśli sieć nadal myląc klasyfikuje obraz, trening może podnieść ciężar krawędzi i obniżyć ciężar jasności. Po wystarczającej liczbie aktualizacji sieć uczy się, że siła krawędzi jest lepszą wskazówką do wykonania zadania.
To jest ten fragment, który wielu początkujących pomija. Sieć neuronowa nie „rozumie” w ludzkim sensie. Ona przypisuje wagę znaczenia. Testuje to znaczenie na danych treningowych. Następnie ponownie aktualizuje liczby.
To również wyjaśnia, dlaczego jakość danych ma tak duże znaczenie. Jeśli przykłady są szumne, obciążone biasem lub zbyt nieliczne, ciężary mogą uczyć się tylko z tego bałaganu. Sieć nadal uczy się wzorców, ale niektóre z tych wzorców są złe. Może skupić się na kolorze tła, artefakcie aparatu lub innym skrócie, który wydaje się przydatny podczas treningu, ale zawodzi później. Sieci neuronowe są elastyczne. Ta elastyczność działa w dwie strony.
Ważone wejścia są pierwszym krokiem, ale nie całością historii. Kształt sieci też ma znaczenie. Więcej warstw pozwala modelowi budować bardziej złożone cechy. Funkcje aktywacji pozwalają mu uczyć się nieliniowych wzorców. Metody optymalizacji kontrolują ruch ciężarów. Regularyzacja pomaga zapobiec temu, by model zbyt ściśle pamiętał zbiór treningowy. Każda część pełni swoją rolę, ale ciężary są centrum maszyny.
Dlatego „trening od zera” jest tak użytecznym zwrotem. Oznacza on, że model zaczyna bez przydatnej wiedzy o wzorcach. Zaczyna od losowych ciężarów. Następnie uczy się poprzez wielokrotne narażenie na przykłady, pomiar straty i aktualizację ciężarów. Wynik nie jest magią. To długa sekwencja małych korekt numerycznych.
Dla systemów wizyjnych ten proces ma ogromne znaczenie. Obraz dla modelu to po prostu siatka liczb. Połączenia ważone pomagają przekształcić tę siatkę w coś użytecznego, najpierw jako krawędzie i tekstury, potem jako kształty i części, a na końcu jako wyższego poziomu bodźce wizualne. Sieci konwolucyjne sprawiają, że ten proces jest bardziej wydajny dla obrazów, ale podstawowa idea pozostaje taka sama. Model uczy się, dostosowując siłę, z jaką nasłuchuje każdego sygnału.
Istnieje tu praktyczna granica, i ma ona znaczenie. Sieć może uczyć się tylko tego, co wspiera sygnał treningowy. Jeśli zadanie jest słabo zdefiniowane, etykiety są błędne, a przykłady rzadkie, ciężary nadal się zmieniają. Zmieniają się tylko w złym kierunku. To jeden z powodów, praca nad uczeniem maszynowym często sprowadza się do czyszczenia danych i sprawdzania zachowań, a nie tylko do wybierania architektury. Matematyka nie jest trudną częścią, gdy system zaczyna oszukiwać samego siebie.
Więc czysty model mentalny jest następujący: sieć neuronowa to stos ważonych decyzji. Każdy ciężar kontroluje, jak bardzo jedna informacja ma znaczenie. Trening stroi te ciężary, aż sieć znajdzie wzorce, które pomagają w zadaniu. To cały trik, i jest to bardzo przydatny trik.
Po tej lekcji możesz wyjaśnić, jak sieć neuronowa zaczyna od losowych ciężarów, jak te ciężary zamieniają wejścia w przewidywania i jak trening zmienia je w detektory wzorców. Możesz też zobaczyć, dlaczego złe dane prowadzą do złej nauki, co jest częścią, którą ludzie pomijają, gdy mówią za szybko.
To jest rodzaj jasnej, praktycznej prawdy, którą staram się utrzymywać w The Model Log: jedno praktyczne pojęcie sztucznej inteligencji, jeden działający przykład i jeden szczery spojrzenie na to, co naprawdę działa.
