Sieci neuronowe uczą się, dostosowując wagi połączeń. To jest główna idea, a łatwo ją przeoczyć, ponieważ pętla trenowania ukrywa ją za mnóstwem matematyki i oprogramowania.
Wciąż wracam do tego prostego faktu, bo wyjaśnia on prawie wszystko inne. Sieć neuronowa nie „myśli” w ludzkim sensie. Zmienia liczby wewnątrz modelu, aby jej wyjście było bliższe wymaganemu wynikowi.
Mówiąc o wagach, mam na myśli liczby przypisane do linków między neuronami. Neuron pobiera wejścia, mnoży je przez wagi, sumuje je, a następnie przekazuje wynik dalej. Jeśli waga jest duża, to dane wejściowe mają większe znaczenie. Jeśli jest mała, to dane wejściowe mają mniejsze znaczenie.
Dlatego trening ma znaczenie. Przed treningiem te wagi są zwykle ustawiane na losowe wartości. Sieć może generować wyjście, ale jeszcze nie jest użyteczna. Podczas treningu widzi przykłady, porównuje swoją odpowiedź z poprawną odpowiedzią, a następnie zmienia wagi nieco, aby błąd maleje.
Główna pętla jest prosta, gdy usuniemy żargon. Model dokonuje predykcji. Funkcja strat mierzy, jak bardzo się pomylił. Następnie backpropagation ustala, jak każda waga przyczyniła się do tego błędu. Optymalizator, często gradient descent, wykorzystuje tę informację do aktualizacji wag.
Lubię ten fragment, bo to uczciwe inżynierowanie. Sieć nie uczy się dzięki magii. Uczy się poprzez powtarzane drobne edycje. Jedna aktualizacja rzadko wystarcza. Trening zwykle zajmuje wiele przejść przez dane, przy każdym przejściu lekko przesuwając wagi ponownie.
Obecności (bias) są też częścią tego procesu. Są to dodatkowe uczone liczby, które przesuwają wyjście neuronu. Ludzie często mówzą najpierw o wagach, ale obecności są również dostosowywane podczas treningu. Razem, wagi i obecności kształtują to, co sieć może reprezentować.
Jest tu użyteczny praktyczny punkt. Sieć neuronowa nie przechowuje reguł w sposób, w jaki robi to program napisany ręcznie. Przechowuje zachowanie w swoich parametrach. Wzór żyje w wartościach wag. Dlatego wytrenowane modele mogą uogólniać na nowe dane wejściowe, jeśli dane treningowe były wystarczająco dobre.
Jednak fraza „uczy się, dostosowując wagi” ma swoje ograniczenia. Jest prawdą, ale nie opowiada całej historii. Nauka zależy również od funkcji strat, optymalizatora, szybkości nauki, kształtu sieci i samych danych. Jeśli którakolwiek z tych rzeczy jest słaba, aktualizacje wag mogą nadal prowadzić model w złym kierunku.
To jest część, którą ludzie często pomijają. Zmienianie wag nie gwarantuje zrozumienia. Oznacza tylko, że model zmierza w stronę niższego błędu na zadaniu treningowym. Czasami to wystarczy. Czasami nie. Sieć może dobrze dopasować się do danych treningowych, a mimo to zawieść na nowych danych. To jest prawdziwy limit, a nie dodatek.
Kolejnym uczciwym punktem jest to, że proces jest pośredni. Zazwyczaj nie wiemy, co pojedyncza waga oznacza w ludzkich terminach. Model rozprasza użyteczną informację po wielu wagach. Tak więc, choć trening jest prosty w zasadzie, interpretacja jest trudna w praktyce. To jest jeden z powodów, dla których sieci neuronowe mogą wydawać się jasne w kodzie, a mętne w realnym świecie.
Myślę, że to właściwy sposób wyjaśnienia tego. Sieci neuronowe uczą się, dostosowując wagi połączeń, ale te wagi są użyteczne tylko w ramach pełnego systemu treningowego. Sieć potrzebuje danych, sygnału straty i metody aktualizacji parametrów. Usuń którąkolwiek z nich, a nauka przestaje być nauką.
Więc krótka odpowiedź utrzymuje się. Długa odpowiedź brzmi tak, że nauka to naprawdę kontrolowana zmiana wag, powtórzona wielokrotnie, z błędem jako przewodnikiem. Dlatego cały system działa, a także dlatego może zawieść w sposobach, które wyglądają na proste z zewnątrz, a bałaganiarskie od środka.
Użytecznym wnioskiem nie jest to, że sieci neuronowe są tajemnicze. To, że są bardzo dosłowne. Uczą się, przesuwając liczby, aż błąd spadnie. The Model Log trzyma ten sam standard: jedna praktyczna koncepcja AI, jeden działający przykład i jeden szczery spojrzenie na to, co faktycznie działa.



