Generatory obrazów AI wykorzystują modele dyfuzyjne do tworzenia zdjęć. Model zaczyna od losowego szumu, a następnie usuwa go małymi krokami. W każdym kroku używa on podpowiedzi tekstowej (promptu), aby kierować wynikiem.
To jest główna idea. System nie szuka zapisanego zdjęcia i nie wkleja go do odpowiedzi. Uczy się wzorców z wielu obrazów podczas treningu. Następnie buduje nowy obraz z szumu.
Myślę, że ten proces jest łatwiejszy do zrozumienia, gdy podzielimy go na dwie części: uczenie się dodawania szumu oraz uczenie się jego usuwania.
Podczas treningu obraz jest zmieniany przez dodanie szumu. Proces trwa, aż oryginalna treść stanie się trudna do zauważenia. System treningowy zna zarówno czysty obraz, jak i jego wersję zaszumioną.
Model uczy się następnie przewidywać szum. Widzi uszkodzony obraz i oszacowuje, co należy usunąć. Na podstawie wielu przykładów uczy się, jak kształty, kolory, tekstury, obiekty i sceny często ze sobą współgrają.
Nie oznacza to, że model przechowuje idealny obraz każdego obiektu. Uczy się ogólnego wzorca danych wizualnych. Ten wzorzec pozwala mu na generowanie obrazów, które nie występowały jako kompletne fotografie w zbiorze treningowym.
Proces generowania przebiega w odwrotnym kierunku. System zaczyna od losowego szumu. Przewiduje szum, usuwa jego część i powtarza proces.
Po wielu krokach pojawia się gruba struktura. Wynik może zacząć ukazywać twarz, pokój lub drogę. Późniejsze kroki dodają detale, takie jak tekstura skóry, cienie, tkaniny i drobne krawędzie.
Podpowiedź tekstowa pomaga kierować tymi krokami. Kodownik tekstu zamienia słowa na liczby zwane wektorami wbudowanymi (embeddings). Liczby te niosą informacje o podpowiedzi.
Model obrazu wykorzystuje tę informację podczas usuwania szumu. Podpowiedź taka jak „czerwony rower obok kamiennej ściany” daje modelowi kilka warunków. Musi stworzyć rower, użyć czerwonego koloru i umieścić obiekt w pobliżu ściany.
Słowa nie działają jak rygorystyczny program. Dostarczają wskazówek. Model nadal musi przekształcić język w wizualną kompozycję.
Wiele systemów korzysta z dyfuzji latentnej. Latentna oznacza mniejszą, wewnętrzną formę obrazu. System najpierw kompresuje obraz do tej mniejszej formy. Dyfuzja działa następnie w tej przestrzeni, zamiast pracować bezpośrednio na każdym pikselu.
Oszczędza to moc obliczeniową. Ostatni etap zamniejsza reprezentację z powrotem na piksele. Etap ten produkuje obraz wyświetlany użytkownikowi.
Prosta architektura często obejmuje trzy główne części. Kodownik tekstu odczytuje podpowiedź. Sieć dyfuzyjna usuwa szum. Dekoder obrazu przekształca wewnętrzny wynik w widoczny obraz.
Dokładne składniki różnią się między systemami. Niektóre modele korzystają z sieci w stylu U-Net. Inne używają innych projektów. Wspólną ideą jest proces odwrotnego usuwania szumu.
Wyjaśnia to również, dlaczego generator zdjęć AI może tworzyć obrazy w wielu stylach. Model uczy się powiązań między słowami a wzorcami wizualnymi. Terminy takie jak „portret studyjny”, „obiektyw szerokokątny” czy „miękkie światło dzienne” wpływają na kierunek generowania.
Wynik nadal jest przewidywaniem. Nie jest bezpośrednim zapisem rzeczywistego zdarzenia fotograficznego. Wygenerowana osoba może wyglądać realistycznie, ale żadna osoba nie musiała stać przed kamerą.
Ta różnica ma znaczenie. Zdjęcie rejestruje światło ze sceny. Wygenerowany obraz tworzy prawdopodobny wynik wizualny na podstawie naukowych wzorców i początkowego losowego szumu.
Początkowy losowy szum również wpływa na wynik. Ta sama podpowiedź może dać różne obrazy, gdy zmienia się początkowy szum. Dlatego generatory obrazów mogą oferować kilka wyników z jednego żądania.
Małe zmiany w podpowiedzi mogą również zmienić obraz. Dodanie obiektu, zmiana kąta kamery lub nazwanie stylu oświetlenia zmienia warunki przekazane modelowi.
Jednak podpowiedź nie jest pełnym planem sceny. Systemy tekst-obraz często mają trudności z dokładnym układem. Mogą umieścić obiekty w niewłaściwej pozycji lub nadać obiektowi niewłaściwą liczbę części.
Ręce stały się dobrze znanym przykładem tego problemu. Detale takie jak palce, drobny tekst i powtarzające się obiekty mogą być trudne do poprawnego sformułowania. Obraz może wyglądać przekonująco rzutem oka, podczas gdy przy bliższej inspekcji okazuje się błędny.
Tekst wewnątrz obrazów to kolejny obszar słabości dla wielu systemów. Model może utworzyć znak, który wygląda jak pismo, ale zawiera litery nie tworzące użytecznych słów. Nowoczesne systemy ulepszyły tę kwestię, ale problem nie został rozwiązany we wszystkich przypadkach.
Istnieje też głębsza granica. Model nie rozumie sceny w taki sam sposób, jak człowiek. Mapuje nauczone wzorce wizualne na nowy wynik. Może śledzić wiele relacji, ale może pomijać dokładne fakty dotyczące przestrzeni, liczenia lub przyczyny i skutku.
Sprawia to, że wygenerowane obrazy są przydatne do niektórych zadań, a niezawodne do innych. Mogą wspierać pracę koncepcyjną, szkice, eksplorację wizualną i badania projektowe. Wymagają bliższego przeglądu, gdy zależy nam na dokładności.
Dane treningowe wprowadzają kolejne źródło niepewności. Modele uczą się z dużych kolekcji obrazów i powiązanego z nimi tekstu. Jakość, zakres i prawa do tych danych wpływają na model.
Szczegóły dotyczące danych treningowych nie zawsze są kompletne lub łatwe do sprawdzenia. Trudno więc wiedzieć, dlaczego model produkuje określony wynik. Utrudnia to również udowodnienie szerokich twierdzeń dotyczących sprawiedliwości, oryginalności lub wpływu źródeł wyłącznie na podstawie wyniku.
Słowo „zdjęcie” może tu powodować zamieszanie. Wygenerowany obraz może mieć realistyczne oświetlenie, głębię i teksturę. Te cechy sprawiają, że wygląda on fotograficznie. Nie dowodzą one jednak, że obraz przedstawia prawdziwe wydarzenie.
Dla pracy w zakresie computer vision ta różnica jest podstawowa. Realizm obrazu to właściwość wizualna. Prawda to twierdzenie o świecie. Model dyfuzyjny jest zbudowany tak, aby tworzyć pierwsze, a nie gwarantować drugie.
Proces wyjaśnia również, dlaczego generowanie zajmuje kilka kroków. Każdy krok wnosi niewielką zmianę. Model stopniowo przechodzi od niesformatowanego szumu ku obrazowi, który pasuje do podpowiedzi.
Więcej kroków nie zawsze oznacza lepszy wynik. Jakość zależy od modelu, podpowiedzi, sampler’a, rozdzielczości i innych ustawień. Szczegóły te różnią się w różnych narzędziach, więc wynik z jednego systemu nie opisuje każdego generatora obrazów AI.
Praktyczny pogląd jest prosty. Modele dyfuzyjne działają, ponieważ uczą się, jak obrazy mogą zostać uszkodzone i przywrócone. W czasie generowania odwracają ten nauczony proces, używając tekstu jako wskazówki.
Dlatego generator zdjęć AI może stworzyć nowy obraz bez robienia zwykłego zdjęcia. Zaczyna od szumu, przewiduje strukturę i dopracowuje wynik, aż obraz będzie wystarczająco dobrze pasował do podpowiedzi.
Ważna granica jest równie prosta. Realistyczny obraz nie jest dowodem na prawdziwą scenę. Model może wyprodukować silne detale wizualne, wciąż popełniając błędy w obiektach, tekście, układzie lub faktach.
The Model Log utrzymuje skupienie na jednym praktycznym pojęciu AI, jednym działającym przykładzie i jednej szczerej ocenie tego, co naprawdę działa. Modele dyfuzyjne są użyteczne, ponieważ proces jest na tyle przejrzysty, by można go badać, i na tyle ograniczony, by wymagał ludzkiej oceny.
