Odpowiedź jest prosta: generatory obrazów AI wykorzystują sieci neuronowe do tworzenia wizualizacji. W większości współczesnych systemów oznacza to, że model pobiera tekst, wskazówki w formie obrazu lub oba te elementy, a następnie przekształca je w nowe piksele na podstawie naukowo poznanych wzorców, a nie poprzez wyciągnięcie gotowego obrazu z biblioteki.
Ta szczegółowa różnica ma znaczenie. Generator nie wyszukuje zapisanego zdjęcia i nie skleja go razem. Korzysta z wytrenowanego modelu, który nauczył się, jak zazwyczaj wyglądają obrazy, jak dopasowują się do siebie kształty oraz jak słowa często odpowiadają cechom wizualnym. Po zakończeniu trenowania może on stworzyć nowy obraz pasujący do podanego polecenia.
Sednem sprawy jest sieć neuronowa. Sieć neuronowa to model matematyczny składający się z wielu połączonych ze sobą elementów. Podczas procesu trenowania przegląda ogromne ilości obrazów i uczy się występujących w nich wzorców. Uczy się takich rzeczy jak krawędzie, bloki kolorów, tekstury, twarze i kształty obiektów. Ucząc się również powiązań między tekstem a zawartością obrazu, gdy tekst jest częścią danych treningowych.
Dla generowania obrazów to właśnie trening stanowi prawdziwą pracę. Model nie „rozumie” kota w sposób ludzki. Uczysz się, że pewne wzorce wizualne często pojawiają się, gdy polecenie lub dane wejściowe wskazują na kota. To wystarczy do wygenerowania obrazu. Następnie model wykorzystuje te poznane wzorce, aby stworzyć świeży obraz zgodny z żądaniem.
Większość obecnych generatorów obrazów używa modeli dyfuzyjnych. Jest to najczęstsza współczesna ścieżka dla systemów zamieniających tekst na obraz. Model dyfuzyjny zaczyna od losowego szumu, a następnie usuwa ten szub krok po kroku, aż pojawi się obraz. Kroki te są kierowane przez sieć neuronową i polecenie. Dlatego proces wydaje się wolny w porównaniu do starych narzędzi graficznych. Model wykonuje wiele drobnych korekt zamiast jednego szybkiego szkicu.
Uważam, że to najczystszy sposób wyjaśnienia tego pola programiście. Polecenie nie jest obrazem. Jest to przewodnik. Sieć neuronowa jest silnikiem. Wygenerowany obraz jest wynikiem wielu uczonych domysłów, które zostały ukształtowane przez trening.
Istnieje również przydatny podział na trening i generowanie. Trening to moment, w którym model uczy się na danych. Generowanie to moment, w którym wykorzystuje tę naukę do stworzenia nowego obrazu. Ludzie często mylą te dwa etapy. Są to bardzo różne fazy.
Tekstowe polecenie takie jak „czerwony rower w deszczu” zostaje przekształcone w liczby, których model może użyć. Te liczby kierują siecią ku wzorcom wizualnym związanym z rowerami, deszczem i czerwonymi obiektami. Sieć następnie tworzy obraz krok po kroku, sprawdzając i udoskonalając wynik w miarę postępu pracy. Końcowy obraz jest nowy, ale zbudowany z poznanej struktury, a nie z ustalonych reguł.
To jest główny fakt, który warto zapamiętać. Generatory obrazów AI to nie magia i nie są prostymi filtrami. To wytrenowane sieci neuronowe, zwykle duże, które generują wizualizacje, ucząc się statystycznych wzorców z danych. Dlatego mogą tworzyć zaskakujące obrazy, ale też dlatego mogą zawodzić w dziwny sposób.
Rzeczywistym ograniczeniem jest to, że wynik jest tak dobry, jak trening i projekt samego modelu. Systemy te mogą pomijać szczegóły, zniekształcać dłonie, mylić liczbę obiektów lub mieszać style w niezwykły sposób. Nie rozumieją również sceny w sposób, w jaki robi to ludzki artysta. Przewidują, jaka zawartość obrazu prawdopodobnie będzie pasować do danych wejściowych, co jest użyteczne, ale nie równoznaczne z głębokim zrozumieniem sceny.
Kolejnym ograniczeniem jest kontrola. Polecenie może kierować wynikiem, ale nie kontroluje go w pełni. Małe zmiany w poleceniu mogą prowadzić do dużych zmian na obrazie. Jest to normalne dla modeli generatywnych. Jest to także jeden z powodów, dla których systemy te nadal wymagają weryfikacji przez człowieka, gdy obraz musi być dokładny.
Zatem krótka odpowiedź pozostaje bez zmian. Generatory obrazów AI wykorzystują sieci neuronowe do tworzenia wizualizacji, a nowoczesne modele najczęściej robią to za pomocą modeli dyfuzyjnych, które zamieniają szum w obraz krok po kroku. To jest idea działania tych narzędzi i wystarcza to do wyjaśnienia większości tego, co ludzie widzą, korzystając z ich pomocy.
Podoba mi się, że temat ten ma prostą istotę i realne ograniczenie. Istotą jest generowanie oparte na nauce. Ograniczeniem jest to, że model wciąż popełnia błędy, ponieważ przewiduje wzorce, a nie naprawdę widzi świat. Ten balans to rodzaj tematu, który The Model Log stara się utrzymać jasnym: jedna praktyczna koncepcja sztucznej inteligencji, jeden działający przykład i jeden szczery rzut oka na to, co naprawdę działa.
