Systemy AI opierają się na infrastrukturze usług chmurowych. To jest prosta odpowiedź i to właśnie ten aspekt często pomijany jest w dyskusjach o modelach, które przedstawia się tak, jakby istniały wyłącznie dzięki oprogramowaniu.
Ciągle wracam do prostego faktu. Współczesny system AI to nie tylko plik z modelem. Potrzebuje mocy obliczeniowej, pamięci masowej, sieci oraz warstwy serwisowej wokół niego. W praktyce oznacza to zazwyczaj infrastrukturę chmurową lub coś zbudowanego na jej podobieństwo.
Model może być widoczną częścią. Serwisem jest ta część, która czyni go użytecznym. Przyjmuje żądania, wykonuje wnioskowanie (inference), wysyła dane do modelu i zwraca wynik. Obsługuje również skalowanie, logowanie, uwierzytelnianie, wersjonowanie i obsługę awarii. Bez tych elementów model to tylko kod stojący w miejscu.
Dlatego usługi chmurowe mają takie znaczenie. Dostarczają maszyny uruchamiające model, często wyposażone w karty GPU lub inne akceleratory. Dostarczają również łączności między usługami, magazynu dla wag modeli i danych oraz narzędzi utrzymujących system przy życiu, gdy rośnie zapotrzebowanie. Dla wielu zespołów infrastruktura usług chmurowych jest najszybszą drogą od wytrenowanego modelu do działającego produktu.
Jest to szczególnie widoczne we wnioskowaniu (inference). Wnioskowanie to krok, w którym wytrenowany model generuje wyjście na podstawie nowych danych wejściowych. Ten krok wymaga przewidywalnego zachowania czasu działania. Potrzebuje wystarczającej ilości pamięci, przepustowości i kontroli nad opóźnieniami. Platformy chmurowe pakują teraz tę pracę jako zarządzane usługi wnioskowania, gdzie dostawca zajmuje się serwowaniem, automatycznym skalowaniem i dużą częścią konfiguracji systemu. Oznacza to usunięcie dużej części „przewodów” z odpowiedzialności zespołu aplikacji, nawet jeśli nie usuwa to trudnych problemów.
Myślę, że to właśnie ten aspekt ginie w potocznych rozmowach o AI. Ludzie koncentrują się na architekturze modelu, a następnie zachowują zdumienie, gdy zaczyna się prawdziwa praca po zakończeniu trenowania. Trenowanie jest kosztowne, ale to właśnie w fazie serwowania system spotyka się z użytkownikami. Model, którego nie można załadować, skalować, monitorować ani zabezpieczyć, nie jest systemem produkcyjnym. To artefakt laboratoryjny.
Infrastruktura usług chmurowych pomaga również w dostępie do danych. Wiele systemów AI potrzebuje mechanizmów pobierania, buforowania oraz połączeń z magazynem obiektowym lub bazami danych. Model jest często tylko jednym elementem większego łańcucha. Żądanie może przejść przez bramkę API, sklep funkcji (feature store), indeks wektorowy, konstruktor promptów, a następnie do usługi modelu. Każdy z tych elementów zależy od usług chmurowych, aby pozostać połączony i dostępny.
Istnieje praktyczny powód, dla którego ten wzór zwyciężył. Obciążenia pracujące w AI zmieniają swoją wielkość szybko. Pewnego dnia system obsługuje niewielki ruch. Następnego dnia potrzebuje znacznie większej pojemności. Infrastruktura chmurowa daje zespołom elastyczne skalowanie, zarządzaną sieć i szybszą ścieżkę do wdrożenia. To nie magia. To po prostu czystszy sposób wynajmowania części zużywanych w dużych ilościach przez systemy AI.
Nadal jednak istnieje tu pewna granica. Zależność od chmury nie jest równoznaczna z pewnością chmury. Im większy system, tym bardziej zależy on od zachowania dostawcy, limitów usług i zdrowia regionu. Koszty mogą gwałtownie wzrosnąć. Opóźnienia mogą również rosnąć, gdy model znajduje się daleko od danych lub użytkownika. Niektóre zespoły przenoszą część stosu technologicznego na krawędź sieci (edge) lub do systemów lokalnych (on-prem) z tego powodu, ale zwiększa to pracę operacyjną, a nie zmniejsza ją.
Rzetelny obraz rzeczy pokazuje, że infrastruktura usług chmurowych stała się obecnie domyślnym kręgosłupem większości systemów AI, ale nie jest darmowa. Ułatwia ona wypuszczenie AI na rynek, skalowanie i utrzymanie. Zamienia też infrastrukturę w część produktu, co jest miejscem, gdzie wiele projektów uczy się swojej pierwszej trudnej lekcji. Model ma znaczenie. Serwis wokół niego ma dokładnie takie samo znaczenie.
To jest praktyczny punkt, który chcę przekazać. Systemy AI opierają się na infrastrukturze usług chmurowych, ponieważ sam model nie stanowi systemu. Warstwa serwisowa jest miejscem, w którym AI staje się niezawodnym oprogramowaniem, a The Model Log utrzymuje ten sam nacisk: jeden praktyczny koncept AI, jeden działający przykład i jeden szczery spojrzenie na to, co naprawdę działa.
