Jaki problem rozwiązuje system, gdy produkt posiada zarówno tekst, jak i obrazy, a silnik wyszukiwania traktuje je jak oddzielne światy?
To jest sedno problemu wielu systemów katalogowych. Koszula może być opisana jako „granatowy slim fit z bawełny”, podczas gdy obraz pokój krój, fakturę i kolor znacznie wyraźniej niż słowa. Jeśli system czyta tylko tekst, przegapia znaczenie wizualne. Jeśli czyta tylko obrazy, przegapia język, którego ludzie używają do wyszukiwania.
Multimodalny transformer naprawia to, dając obu sygnałom wspólne miejsce spotkań. Lubię to podejście, ponieważ traktuje produkt tak, jak robią to ludzie. Czytamy tytuł, rzucamy okiem na zdjęcie, a następnie decydujemy, czy pasuje.
Dlaczego stare systemy wyszukiwania nie rozumieją istoty sprawy
Tradycyjne wyszukiwanie słów kluczowych działa na zasadzie nakładania się słów. Jest to przydatne dla dokładnych terminów, ale słabe w przypadku znaczenia. Klient, który wpisze „drewniane biurko z szufladami”, może nigdy nie znaleźć oferty oznaczonej jako „dębowa stolica biurowa”, nawet jeśli zdjęcie jest niemal identyczne.
Klasyczne potoki przetwarzania obrazów mają inny problem. Potrafią wykrywać kształty i faktury, ale nie rozumieją słów przypisanych do przedmiotu. Również trudności sprawia im łączenie „czerwonych butów do biegania” ze zdjęciem, na którym wyraźnie widać jasnobordoowe trampki.
Właśnie tutaj multimodalne systemy odgrywają ważną rolę. Pozwalają tekstowi i obrazom dzielić tę samą przestrzeń matematyczną. Gdy już do tego dojdzie, podobne produkty mogą być porównywane między formatami, a nie w ramach jednego izolowanego silosu.
Jak elementy się do siebie dopasowują
Praktyczny multimodalny transformer składa się z czterech głównych części.
Enkoder tekstu odczytuje tytuł, opis i specyfikację. Dzieli tekst na tokeny, a następnie wykorzystuje mechanizm self-attention (uwagi własnej), aby zobaczyć, które słowa mają znaczenie razem. Ma to istotne znaczenie, ponieważ język produktów pełen jest drobnych wskazówek. „Slim fit” zmienia znaczenie słowa „koszula” w rzeczywisty sposób.
Enkoder wizji odczytuje obraz w kawałkach. Vision Transformer nie patrzy na cały obraz naraz. Dzieli go na małe bloki, przekształca każdy blok wektor, a następnie wykorzystuje uwagę do ich połączenia. Pozwala to modelowi uczyć się relacji, takich jak rękaw, kołnierz czy kształt pięty.
Warstwa выравнивания (alignment) mapuje oba wyniki do jednej wspólnej przestrzeni osadzania (embedding). Osadzenie to po prostu zwarty wektor reprezentujący znaczenie. Jeśli tekst i obraz opisują ten sam produkt, ich wektory powinny znaleźć się blisko siebie.
Silnik podobieństwa wykorzystuje te wektory do wyszukiwania. W praktyce indeks wektorowy, taki jak FAISS, może szybko zwracać najbliższe produkty. Umożliwia to cross-modal retrieval bez ręcznego porównywania każdego elementu z każdym innym.
Mały przykład czyni sprawo konkretną
Weźmy jeden produkt: „biaka ceramiczna filiżanka z niebieską obrączką”. Enkoder tekstu widzi słowa takie jak ceramiczny, kubek, biały i niebieska obrączka. Enkoder wizji widzi kształt kubka, jasne ciało i kolorową krawędź.
Podczas treningu modelowi pokazuje się, że ten tekst i ten obraz należą do siebie. Contrastive loss (strata kontrastowa) popycha ich osadzenia bliżej siebie. Popycha niespokrewnione pary dalej. Po wystarczającej liczbie treningów zapytanie takie jak „biały kubek z niebieską obrączką” znajdzie się blisko właściwego obrazu, nawet jeśli dokładne słowa nigdy nie zostały skopiowane do tytułu oferty.
Ta sama sztuczka działa w odwrotną stronę. Kupujący przesyła zdjęcie krzesła. System może szukać pobliskich osadzeń i zwracać podobne krzesła, nawet jeśli nazwy produktów różnią się znacznie.
Dlaczego transformatory pomagają w tym miejscu
Transformatory są dobre w kontekście. Nie czytają tokenów ani fragmentów po kolei, jak prosty stary model rekurencyjny. Porównują wiele części naraz poprzez mechanizm uwagi.
Ma to znaczenie dla tekstu, ponieważ opisy produktów często ukrywają znaczenie w długich frazach. Ma to znaczenie dla obrazów, ponieważ użyteczne szczegóły mogą znajdować się daleko od siebie w kadrze. Noga krzesła i oparcie to osobne fragmenty, ale nadal należą do jednego obiektu.
Zwykła sieć CNN może dobrze przeprowadzać ekstrakcję cech obrazu. Zwykły model słów kluczowych może dobrze dopasowywać tekst. Problem zaczyna się wtedy, gdy system musi zsynchronizować te dwa elementy. Transformatory zapewniają czystszą ścieżkę do tej alignacji.
Czego zwykle wymaga prawdziwy projekt
Działający system podobieństwa multimodalnego to nie tylko kwestia projektu modelu. Potrzebuje też nudnych, ale niezbędnych elementów.
Projekt enkodera powinien pozostawać modularny. Modele tekstu i obrazu ewoluują z różną prędkością, więc potrzebują oddzielnych komponentów. Wersja osadzeń powinna być śledzona, ponieważ stare i nowe wektory nie zawsze mieszają się bezpiecznie.
Trening wymaga dbałości o pamięć. Flash attention pomaga zmniejszyć koszt uwagi. Gradient checkpointing zamienia dodatkową moc obliczeniową na niższe zużycie pamięci. Mieszana precyzja (mixed precision) również pomaga. Widziałem, że taka konfiguracja ma większe znaczenie, niż ludzie oczekują, gdy katalog rośnie.
Retrieval (pobieranie wyników) potrzebuje szybkości. Indeks wektorowy jest znacznie szybszy niż wyszukiwanie metodą brute force. Zakotwiczone osadzenia (cached embeddings) również pomagają, ponieważ dane produktów zmieniają się rzadziej niż zapytania użytkowników.
Obserwowalność (observability) również ma znaczenie. Entropia uwagi i normy gradientów są warte logowania. Jeśli uwaga załamie się lub gradienty eksplodują, model zwykle mówi coś jeszcze zanim zrobi to krzywa straty.
Gdzie znajdują się ograniczenia
Tego typu systemy są potężne, ale nie są magią. Jeśli pary treningowe są hałaśliwe, wspólna przestrzeń osadzeń staje się nieuporządkowana. Jeśli katalog jest niewielki, model może bardzo szybko nadmiernie dopasować się do danych (overfit). Jeśli obrazy są słabe, rozmyte lub niespójne, strona wizualna uczy się złych nawyków i przenosi je do wspólnej przestrzeni.
Skalowanie to kolejna trudna część. Miliony produktów oznaczają miliony osadzeń. Jest to normalne w e-commerce i właśnie tam niedbały projekt staje się drogi. Efektywne indeksowanie, checkpointing i rozproszony trening nie są kosmetykiem. Są częścią systemu.
Innym limitem jest samo znaczenie. Podobny wygląd nie zawsze oznacza podobne intencje. Dwie czarne trampki mogą wyglądać podobnie i służyć bardzo różnym potrzebom. Multimodalny transformer może skutecznie prezentować kandydatów, ale ostateczne rangowanie nadal wymaga ostrożnego dostrojenia.
Praktyczna lekcja tutaj jest prosta. Tekst i obrazy niosą różne wskazówki, a multimodalny transformer działa, ponieważ uczy się, jak porównywać te wskazówki w jednej przestrzeni. Gdy tylko ta idea zacznie działać, wyszukiwanie cross-modalne, wykrywanie duplikatów i pobieranie z obrazu do tekstu przestają wyglądać na osobne sztuczki i zaczynają wyglądać na jeden system.
O to rodzaj jasnego, działającego pomysłu chodzi mi w The Model Log: jeden praktyczny koncept AI, jeden działający przykład i jeden szczery spojrzenie na to, co naprawdę działa.
