Google Lens wykorzystuje sieci neuronowe do identyfikacji obiektów w czasie rzeczywistym. To jest sedno sprawy. System pobiera obraz z kamery, przetwarza go za pomocą uczenia maszynowego i stara się etykietować rzeczy na tyle szybko, by wydawało się to dziejącym się na żywo.
Brzmi to prosto, ale użyteczna część kryje się w potoku przetwarzania danych. Klatka z kamery nie jest „zrozumiana” jako cała scena w jednym czystym kroku. System musi wykryć kształty, tekst i wzory wizualne, a następnie powiązać je z rzeczami, które zna. W praktyce oznacza to, że ciężką pracę wykonują sieci neuronowe. Są one skuteczne w odnajdywaniu wzorców w pikselach, które pasują do obiektów, znaków, słów i miejsc.
Google stwierdziło, że Lens działa w czasie rzeczywistym i wykorzystuje najnowocześniejsze uczenie maszynowe, łącząc inteligencję urządzenia z mocą obliczeniową chmury, aby w ułamku sekundy identyfikować wiele słów, fraz, miejsc i rzeczy. Ma to znaczenie, ponieważ pokazuje, że Lens to nie tylko pole wyszukiwania zdjęć. Jest zaprojektowany tak, aby analizować live’owy strumień z kamery i reagować, podczas gdy scena wciąż się porusza.
Z punktu widzenia inżynierii to właśnie ten aspekt sprawia, że Lens jest użyteczny. Zwykły model obrazu może odczekać chwilę. Narzędzie pracujące z kamerą na żywo nie może. Musi utrzymywać niskie opóźnienia, zapewniać przydatne wyniki i nadążać za ruchem telefonu. Dlatego systemy tego typu często dzielą pracę między urządzeniem a chmurą. Niektóre części wymagają prędkości. Inne potrzebują większej mocy obliczeniowej. Google opisało Lens właśnie w takim układzie.
To również miejsce, gdzie ujawniają się ograniczenia sieci neuronowych. Model może etykietować tylko to, czego nauczył się rozpoznawać. Jeśli obiekt jest dziwny, rozmyty, częściowo zasłonięty lub niepasujący do otoczenia, wynik może być błędny lub niejasny. Tekst w słabym oświetleniu też stanowi trudność. Drobnoustroje, odbicia, rozmycie ruchu i chaos wizualny mogą zmniejszyć dokładność. Tryb czasu rzeczywistego nie usuwa tych ograniczeń. Tylko sprawia, że błąd pojawia się szybciej.
Jest jeszcze jeden ważny punkt. Google Lens to nie jeden pojedynczy model wykonujący jedną jedyną pracę. Lepiej myśleć o nim jako o systemie. Jeden model może pomagać w detekcji obiektów. Inny może wspierać odczyt tekstu. Inna część może łączyć wynik wizualny z wyszukiwaniem lub innymi źródłami wiedzy. Jest to standard dla produkcyjnych rozwiązań AI. Rzeczywiste produkty to zwykle stos technologii, a nie schludna demonstracja.
Sądzę, że ta różnica ma znaczenie, ponieważ ludzie często słysząc „sieci neuronowe”, wyobrażają sobie magiczną maszynę dającą odpowiedzi. Tak nie jest. To dopasowywanie wzorców w skali, owinięte kodem produktowym, dostrojone pod kątem prędkości i wspierane przez systemy wyszukiwania oraz inne usługi. Dlatego potrafi zidentyfikować roślinę, pozycję z menu, znak czy koszulkę, a jednocześnie przeoczyć rzeczy wyglądające zbyt nietypowo.
Czysta prawda brzmi tak: Google nie publikuje każdego szczegółu dotyczącego wewnętrznej struktury Lensa. Ogólny obraz jest jasny. Wykorzystuje ono uczenie maszynowe i metody wizyjne oparte na sieciach neuronowych oraz działa w czasie rzeczywistym. Dokładny skład modeli, dane treningowe oraz routing między urządzeniem a chmurą nie są jednak w pełni jawne. Bezpieczną odpowiedzią więc jest bezpośredniość, bez przesadnych roszczeń.
Dla mnie to właściwy sposób mówienia o Google Lens. To praktyczny system computer vision, a nie czarodziejska skrzynka. Sieci neuronowe dają mu zdolność zamiany pikseli na prawdopodobne etykiety. Praca w czasie rzeczywistym nadaje jej poczucie zrozumienia na żywo. Przepaść między tymi dwoma elementami jest właśnie tam, gdzie mieszka inżynieria.
Dlatego też ten temat idealnie wpisuje się w koncept The Model Log. Jeden praktyczny koncept sztucznej inteligencji, jeden działający przykład i jedno szczere spojrzenie na to, co naprawdę działa.
