Sieć neuronowa działa poprzez pobranie surowych danych i przepuszczenie ich przez warstwy, z których każda wykonuje jedną małą funkcję. W przypadku obrazów oznacza to przekształcenie siatki pikseli w przydatną prognozę. Trudnym elementem nie jest matematyka. Trudnym elementem jest nauczenie maszyny, które wzorce są istotne.
Kiedy ludzie mówią, że sieć neuronowa ma warstwy, mają na myśli to, że nie próbuje rozwiązać całego problemu naraz. Każda warstwa czyta wynik z poprzedniej warstwy i go przekształca. Jedna warstwa może wykryć proste sygnały. Następna warstwa może je połączyć. Późniejsza warstwa może przekształcić je w etykietę klasy, taką jak kot, pies lub samochód.
To podejście jest ważne, ponieważ obrazy są chaotyczne. Komputer nie widzi kota. Widzi liczby. Każdy piksel ma wartość jasności lub koloru. Zdjęcie to po prostu siatka tych wartości. Sieć musi nauczyć się odczytywać tę siatkę w sposób, który zachowuje użyteczną strukturę nienaruszoną.
Dlaczego zwykłe reguły zawodzą
Ręcznie napisany program do obróbki obrazu brzmi prosto, dopóki nie pojawi się rzeczywistość. Ten sam obiekt może pojawić się w jasnym słońcu, słabym świetle, cieniu lub blasku. Może również zbliżać się lub oddalać od kamery. Tła się zmieniają. Części zostają zasłonięte. Krawędzie się rozmywają. Maszyna nadal musi podjąć decyzję.
W tym miejscu pomaga uczenie warstwowe. Zamiast pisać regułę dla każdego możliwego przypadku, model uczy się wzorców z danych. Zaczyna od małych wskazówek wizualnych i przechodzi do większych. Myślę, że to jest prawdziwa siła sieci neuronowych w przetwarzaniu obrazu. Nie zapamiętują jednej sceny. Uczą się, jak sceny są tworzone.
Splotowe sieci neuronowe, czyli CNN, są standardowym narzędziem do tego zadania. Są zaprojektowane dla siatek obrazowych. Zachowują przestrzenny układ obrazu, dzięki czemu pobliskie piksele pozostają blisko siebie, gdy dane przepływają przez sieć. Jest to użyteczne, ponieważ położenie ma znaczenie w wizji komputerowej.
Jak splot skanuje obraz
Głównym trikiem w CNN jest filtr, zwany również jądrem (kernel). Filtr to mały zestaw liczb. Przesuwa się on po obrazie krok po kroku. W każdym punkcie porównuje swoje własne wartości z pikselami pod nim i produkuje jedną wyjściową liczbę.
Ten wynik mówi, jak silnie filtr widzi swój wzorzec w danym punkcie. Gdy filtr przesuwa się po całym obrazie, te wyniki tworzą mapę cech. Mapa cech to nowa siatka, która pokazuje, gdzie pojawia się wzorzec i jak silny jest on.
Mały przykład pomoże. Wyobraź sobie mały obraz z ciemną linią biegnącą po jaśniejszym tle. Jeden filtr może nauczyć się reagować na pionową krawędź. Inny może reagować na poziomą. Jeśli linia dobrze pasuje do filtra, wyjście staje się większe w tym obszarze. Jeśli nie, wyjście pozostaje małe. Nic mistycznego się nie dzieje. Sieć po prostu mierzy dopasowanie wzorca po wzorcu.
To jest pierwsza użyteczna lekcja dotycząca CNN. Nie patrzą one na każdy piksel w ten sam sposób. Szukają lokalnych wzorców. Dzięki temu są znacznie lepsze niż zwykła gęsta sieć w przypadku danych obrazowych.
Warstwy budują od prostych do złożonych
Wczesne warstwy w CNN zwykle uczą się prostych cech. Obejmuje to krawędzie, linie i zmiany koloru. Są to sygnały niskiego poziomu. Łatwo je zauważyć i są bardzo powszechne.
Środkowe warstwy łączą te małe elementy w bardziej użyteczne kształty. Grupa krawędzi może stać się rogiem. Róg plus krzywizna mogą stać się teksturą. Tekstura może sugerować część obiektu. Późniejsze warstwy mogą uczyć się tych części bezpośrednio. Oczy, koła, okna, nosy i uchwyty to wszystkie przykłady rodzajów części, które głębsze warstwy mogą wyłapać.
Jeszcze głębiej sieć zaczyna rozpoznawać całe obiekty. To moment, w którym warstwy przestają przypominać surową matematykę i zaczynają działać jak wizualny potok przetwarzania. Wczesne warstwy znajdują fragmenty. Późniejsze warstwy składają znaczenie.
Dlatego też CNN wydają się naturalne dla zadań wizyjnych. Struktura pasuje do zadania. Model, który uczy się najpierw z małych regionów lokalnych, a następnie je łączy, robi coś bliskiego temu, jak człowiek rozkłada złożoną scenę. Nie tego samego, oczywiście. Maszyny nie widzą. Przetwarzają liczby. Ale podejście warstwowe zbliża je do użytecznego zachowania wizualnego.
Pule redukują rozmiar bez tracenia wszystkiego
Po warstwie splotowej CNN często używają operacji poolingu (próbkowania z nadpróbkowaniem). Pooling zmniejsza mapę cech. Zachowuje ważne sygnały i odrzuca dodatkowe szczegóły.
Max pooling (pulsacja maksymalna) jest powszechną wersją. Zachowuje największą wartość w każdym małym regionie. Average pooling (pulsacja średnia) bierze średnią wartości w tym regionie. Obie redukują rozmiar danych. Max pooling jest używany częściej, ponieważ ma tendencję do zachowywania najsilniejszej wizualnej wskazówki.
Służy to trzem celom. Przyspiesza obliczenia. Ogranicza liczbę parametrów dalej w modelu. Sprawia również, że sieć jest nieco mniej wrażliwa na małe przesunięcia w pozycji. Jeśli obiekt przesunie się o kilka pikseli w lewo lub prawo, wyjście z puli może pozostać podobne.
Użyteczną analogią jest streszczenie długiego akapitu kilkoma kluczowymi zdaniami. Streszczenie jest mniejsze, ale główny punkt nadal przetrwa. Pooling robi to samo z mapami cech.
Od map cech do etykiety klasy
CNN jest zazwyczaj ułożona w prostym porządku. Najpierw pojawiają się warstwy splotowe. Potem warstwy puli. Następnie sieć spłaszcza 2D mapy cech do wektora 1D. Ten wektor trafia do warstw w pełni połączonych, które podejmują ostateczną decyzję.
Spłaszczanie brzmi nudno, ale ma znaczenie. Część splotowa służy do znajdowania wzorców. Część w pełni połączona służy do używania tych wzorców do wyboru wyniku. W klasyfikacji obrazów tym wynikiem jest często nazwa klasy lub prawdopodobieństwo dla każdej klasy.
Ten podział jest praktyczny. Ekstrakcja cech odbywa się najpierw. Klasyfikacja odbywa się na końcu. Model nie próbuje zgadywać, zanim nie zbuduje użytecznej reprezentacji. To jeden z powodów, dla których CNN działają tak dobrze.
Starsze i dobrze znane architektury podążały za tym wzorem w różny sposób. LeNet pomógł pokazać, że CNN mogą działać dla cyfr. AlexNet pokazał, że głębsze modele mogą bardzo dobrze radzić sobie w zadaniach obrazowych. VGGNet przedstawił argument, że głębokość pomaga. ResNet dodał połączenia pomijające (skip connections), dzięki czemu bardzo głębokie sieci mogły trenować się bardziej niezawodnie. Każda z nich posunęła ten sam podstawowy ideał do przodu: warstwy mogą budować zrozumienie wizualne krok po kroku.
Transfer learning (uczenie transferowe) pasuje tutaj również. W praktyce ludzie często zaczynają od CNN, która już nauczyła się ogólnych cech wizualnych. Następnie dostosowują ją do nowego zadania. Oszczędza to czas i dane. To praktyczny ruch, nie magiczny. Model nadal potrzebuje, aby nowe zadanie było istotne dla cech, które już zna.
Najważniejsze jest to, co dotyczy struktury. CNN używają warstw, aby przejść od pikseli do krawędzi, od krawędzi do części, a od części do obiektów. To jest czysty pomysł stojący za całą metodą.
Jeśli ta lekcja ma jedno wyraźne przesłanie, to jest nim to: sieć neuronowa nie jest jedną wielką maszyną do zgadywania. To stos prostszych etapów, z których każdy przekształca dane trochę bardziej. Kiedy to kliknie, modele obrazowe przestają wyglądać na czarne skrzynki i zaczynają wyglądać na systemy z konkretnym zadaniem do wykonania.
To jest rodzaj praktycznej klarowności, którą chcę, by The Model Log ciągle wyznaczało: jedna użyteczna koncepcja, jeden konkretny przykład i jeden szczery rzut oka na to, co naprawdę działa.



