Głębokie sieci neuronowe napędzają współczesne przełomy w sztucznej inteligencji. To jest krótka odpowiedź i to właściwa odpowiedź na pytanie ukryte w frazie „głęboka sieć neuronowa w uczeniu maszynowym”. Głęboka sieć neuronowa to sieć neuronowa z wieloma warstwami ukrytymi, a te warstwy pozwalają modelowi nauczyć się bardziej złożonych wzorców niż sieć płytsza.
Nadal uważam, że najczystszy sposób to powiedzieć brzmi tak: głębokie sieci neuron uczą się cech z danych, zamiast polegać w tak dużym stopniu na ręcznie tworzone reguły. Ma to znaczenie, ponieważ wiele realnych problemów nie dostarcza swojej struktury w przejrzysty sposób. Obrazy, mowa, tekst i chaotyczne dane z czujników mają wzorce, które trudno zapisać na papierze.
W uczeniu maszynowym jest to główna zmiana. Starsze systemy często zależały od cech tworzonych przez ludzi. Sieci głębokie mogą przyjąć surowe lub lekko przygotowane wejście i budować wewnętrzne reprezentacje samodzielnie. Nie sprawia to, że są one magiczne. Sprawia tylko, że działają lepiej w skali, gdy mamy wystarczająco dużo danych, wystarczająco mocy obliczeniowych i zadanie, które pasuje do kształtu modelu.
Ciągle wracam do tego samego praktycznego punktu: głębia pomaga, ponieważ każda warstwa może przekształcić jeden użyteczny wzorzec w wyższego rzędu. Niższa warstwa może wychwytywać krawędzie na obrazie. Późniejsza warstwa może wychwytywać kształty. Kolejna warstwa może wychwytywać obiekty lub części obiektów. W języku ten sam pomysł objawia się jako nauczone reprezentacje słów i zdań.
Dlatego nauka głęboka napędzała tyle nowoczesnych zwycięstw AI. Okazała się szczególnie silna w widzeniu komputerowym, rozpoznawaniu mowy, przetwarzaniu języka naturalnego i systemach rekomendacyjnych. Najważniejszą częścią nie jest hasło marketingowe. To fakt inżynierski, że te systemy potrafią uczyć się użytecznej struktury z dużych, zaoszumionych zbiorów danych, kiedy starsze metody sobie radzą słabo.
Istnieje też rzeczywisty powód, dla którego głębokie sieci neuronowe stawały się coraz bardziej użyteczne z biegiem czasu. Ich trenowanie było wcześniej trudne. Dziedzina ulepszyła się, gdy backpropagation stała się praktyczna dla głębszych modeli, a później, gdy lepszy sprzęt i większe zbiory danych uczyniły trenowanie dużych sieci znacznie bardziej wykonalnym. Bez tej mieszanki algorytmu i mocy obliczeniowej wiele z nowoczesnych osiągnięć pozostałoby tylko na papierze.
Chcę być jasny co do ograniczeń, ponieważ hype często je pomija. Sieci głębokie potrzebują danych, mocy obliczeniowej i ostrożnego dobierania parametrów. Mogą też być trudne do interpretacji. Model może dobrze działać, a nadal pozostawać niejasny co do tego, dlaczego podjął daną decyzję. To realny problem w systemach, gdzie wyjaśnienie ma znaczenie.
Kolejnym limitem jest to, że nauka głęboka nie jest odpowiedzią na każdy problem uczenia maszynowego. Małe zbiory danych, ścisłe limity opóźnień czy proste problemy typu tabelarycznego mogą wcale nie potrzebować głębokiego modelu. W tych przypadkach mniejszy model może być łatwiejszy do trenowania, łatwiejszy do debugowania i łatwiejszy do zaufania. Największy model nie zawsze jest najmądrzejszym. To nudna prawda, która zwykle jest dobrym znakiem.
Inny szczery punkt jest taki, że „głęboki” nie oznacza „zrozumiany”. Wiemy dużo o tym, jak te sieci się uczą i co potrafią. Nadal nie wiemy w pełni, jak każda wewnętrzna reprezentacja mapuje się na ludzkie znaczenie w każdym kontekście. Ta niepewność nie zatrzymała postępu, ale ogranicza to, jak pewnie możemy tłumaczyć zachowanie modelu w niektórych przypadkach.
Więc kiedy ktoś pyta, czym jest głęboka sieć neuronowa w uczeniu maszynowym, odpowiadam jednym zdaniem: to model wielowarstwowy, który uczy się użytecznych cech z danych i stał się silnikiem stojącym za wieloma z dzisiejszych najsilniejszych systemów AI. To praktyczna prawda leżąca u podstaw nagłówka.
Użyteczna część jest prosta. Głębokie sieci neuronowe działają, ponieważ potrafią budować warstwowe reprezentacje z danych w skali. Szczera część jest równie prosta. Są potężne, ale nie są łatwe, nie są zawsze potrzebne i nie są w pełni transparentne.
Ten balans to rodzaj rzeczy, które The Model Log stara się utrzymywać w polu widzenia: jeden praktyczny koncept AI, jeden działający przykład i jeden szczery spojrzenie na to, co naprawdę działa.
