Czego musi nauczyć się sieć neuronowa, zanim będzie dobrze radziła sobie z obrazami?
Za każdym razem potrzebuje tych samych kilku kluczowych elementów. Przyjmuje dane wejściowe, dokonuje predykcji, mierzy błąd i aktualizuje wagi. Brzmi to prosto. Jest proste w swojej strukturze. Nie jest proste w działaniu.
Lubię tłumaczyć to „od dołu do góry”, ponieważ skróty myślowe zasłaniają prawdziwe mechanizmy. Gdy mechanizm jest jasny, sieci CNN, detekcja obiektów i segmentacja zyskują sens. Gdy pozostaje niejasny, cała reszta zamienia się w stertę pustych nazw.
Dzień 1: Patrz na sieć jak na funkcję
Sieć neuronowa to funkcja z regulowanymi parametrami. Przyjmuje na wejście liczby, a zwraca na wyjście liczby. Te regulowane części to wagi i przesunięcia (biases).
Najprostszym do wyobrażenia modelem dla początkującego jest po prostu łańcuch. Dane trafiają do pierwszej warstwy, potem do drugiej, następnie do trzeciej. Każda z nich nieco przekształca wartości. Na końcu ostatnia warstwa wypisuje wynik lub przypisanie do klasy.
Pomaga prosty przykład. Załóżmy, że obraz na razie opisują tylko dwie cechy, np. jasność i wyraźność krawędzi. Sieć może wykorzystać te dwie wartości, by zgadnąć, czy mamy do czynienia z kotem. Początkowo zgadywanie będzie kiepskie. To całkowicie normalne. Model startuje z losowymi wagami i nie zna żadnych wzorców.
Kluczowa myśl nie polega na samym zgadywaniu. Chodzi o to, że sieć potrafi modyfikować swoją własną „matematykę”. Ta zdolność do zmiany to właśnie proces uczenia.
Dzień 2: Zrozum stratę jako sygnał korygujący
Sieć nie uczy się na podstawie pochwał. Uczy się dzięki błędowi. Funkcja straty mierzy odległość między przewidywanym wynikiem a rzeczywistością.
Gdy model przewiduje „kot”, a prawdziwa etykieta brzmi „pies”, wartość straty rośnie. Gdy trafienie się poprawia, strata maleje. Ta liczba nie musi mieć w sobie nic nadprzyrodzonego. Wystarczy, że w praktyczny sposób pokazuje, gdzie popełniono błąd.
W tym miejscu wielu początkujących utyka. Skupiają się wyłącznie na wyniku i ignorują stratę. Tymczasem przegapiają istotę rzeczy. To właśnie strata działa jak sygnał zwrotny, który mówi: „zmień ten parametr i zmień go w tym kierunku”.
W zadaniach związanych z obrazem strata może kierować klasyfikacją, położeniem ramki lub mapą pikseli. Sposób zapisu się zmienia, ale zasada pozostaje bez zmian. Mierzysz błąd, a potem wykorzystujesz go do aktualizacji modelu.
Dzień 3: Podążaj za gradientem wstecz przez sieć
Propagacja wstecz brzmi imponująco, a w rzeczywistości to po prostu rachunek różniczkowy zastosowany do śledzenia parametrów. Sieć pyta: „która waga przyczyniła się do powstania tego błędu?”, a następnie przenosi tę informację wstecz, przez kolejne warstwy.
Gradient wskazuje każdej wadze, w którą stronę powinna się przesunąć. Dodatni gradient oznacza ruch w jedną stronę, ujemny – w drugą. Jego wielkość określa siłę tego przesunięcia.
Przydatne jest wyobrażenie sobie nachylenia terenu. Jeśli staniesz na zboczu, gradient wskaże ci w górę. Podczas trenowania model zazwyczaj schodzi w dół po powierzchni funkcji straty. Matematyka pozostaje ta sama, a dramat znika.
Mały przykład sprawia, że to nabiera realnego kształtu. Wyobraź sobie, że jedna waga zawyża wynik zbyt mocno. Propagacja wstecz nakazuje jej, by się nieco zmniejszyła. Inna waga może mieć mniejszy wpływ i otrzyma mniejszą korektę. Dzięki temu model dostosowuje się bez ślepego zgadywania.
Jeśli samodzielnie prześledzisz jedno przejście naprzód i jedno wstecz, zrozumiesz znacznie więcej niż większość osób, które ograniczają się do gotowych bibliotek. Po takim doświadczeniu kod przestaje być czarną magią.
Dzień 4: Trenuj w pętli, a nie jednorazowym zgadywaniem
Pętla trenowania powtarza te same operacje. Przepuszczasz dane przez sieć. Obliczasz stratę. Wykonujesz propagację wstecz. Aktualizujesz wagi. I tak w kółko.
Ta powtarzalność ma sens, ponieważ pojedyncza aktualizacja nigdy nie wystarczy. Uczenie trwa długo i to zupełnie OK. Dobre trenowanie to systematyczna korekta, a nie nagły, spektakularny skok.
Współczynnik uczenia decyduje o wielkości każdego kroku. Jest za duży, a model przeskakuje optymalne wartości. Jest za mały, a postępy ledwie raczkują. Stąd w trakcie trenowania raz wszystko wygląda na spokojne, a raz na chaotyczne. Sieć jest wrażliwa, a matematyka nie zna pojęcia delikatności.
Algorytmy optymalizacji wpływają na to, jak zachowują się te aktualizacje. Klasyczne zejście gradientowe podąża za surowym kierunkiem gradientu. Mechanizm momentum wygładza tor ruchu, przenosząc pewną ilość wcześniejszej dynamiki. Adam i RMSProp dostosowują wielkość kroku na podstawie niedawnych gradientów. Żadna z tych metod nie zastępuje samego procesu uczenia. One jedynie kształtują trasę.
Stabilna pętla trenowania wymaga także obserwacji wykresu straty. Gdy strata na danych treningowych maleje, a na walidacyjnych rośnie, model prawdopodobnie zapamiętuje zbiór uczący. To częsty błąd. Sieć to posłuszny, mały zbieracz, który zostawiony samemu sobie skrupulatnie zapamiętuje wszystko.
Dzień 5: Przejdź od warstw gęstych do wizji komputerowej
Obrazy to w istocie tensory. Oznacza to uporządkowane tablice danych. Obraz w skali szarości można przedstawić jako dwuwymiarową siatkę. Zdjęcie kolorowe zazwyczaj składa się z wymiarów wysokości, szerokości oraz kanałów.
Warstwy gęste technicznie mogą przetwarzać dane obrazowe, ale kompletnie ignorują ich strukturę przestrzenną. Traktują piksel z lewego górnego rogu niemal tak samo jak ten z prawego dolnego. To marnotrawstwo potencjału. Do analizy wizyjnej potrzebujemy wykrywania lokalnych wzorców.
Sieci konwolucyjne (CNN) rozwiązują ten problem dzięki filtrom. Mały filtr przesuwa się po obrazie, szukając lokalnych wzorców. Jeden filtr może reagować na krawędzie, inny – na narożniki. Kolejne warstwy łączą te elementy w coraz bardziej złożone i użyteczne cechy.
Weźmy konkretny, drobny przykład. Wyobraź sobie obraz 5x5 pikseli z wyraźną granicą ciemno-jasną pośrodku. Prostym filtrem wykrywającym krawędzie można silnie zareagować dokładnie w tym miejscu. Rezultatem jest mapa cech, która wyróżnia lokalizację tej granicy. Sieć nie „zrozumiała” obrazu w ludzkim rozumieniu. Po prostu wykryła wzorzec, który przydał się do rozwiązania zadania.
To jest rzeczywista siła sieci CNN. Działają, bo obrazy mają wbudowaną strukturę. Mają jednak swoje ograniczenia. Ich skuteczność zależy od odpowiednich danych, dostatecznego czasu trenowania i rozsądnych wyborów architektonicznych. Nie uratują źle oznakowanego zbioru danych ani popracowanej pętli trenowania.
Gdy opanujesz podstawy, kolejne zagadnienia zaczynają logicznie do siebie pasować. Regularyzacja ogranicza przeuczenie. Normalizacja stabilizuje proces trenowania. Detekcja obiektów przewidywuje ramki. Segmentacja generuje mapy pikseli. Uczenie oparte na podobieństwie sprawdza, czy dwa obrazy należą do tej samej grupy w przestrzeni cech. To różne zadania, ale wszystkie korzystają z tych samych fundamentalnych mechanizmów.
Jeśli ta pięciodniowa podróż spełni swój cel, kluczowe elementy przestaną wyglądać na osobne sztuczki. Przejście naprzód, funkcja straty, gradient, algorytm optymalizacji i konwolucja złączą się w jeden spójny system. O to właśnie chodzi. Będziesz mógł spojrzeć na schemat modelu i dostrzec jego ruchome części, zamiast walić czołem w ścianę specjalistycznego żargonu.
„The Model Log” zazwyczaj świetnie radzi sobie z łączeniem jednej praktycznej koncepcji AI z jednym działającym przykładem i jednym szczerym ograniczeniem – taki sam standard stosuję tutaj.
