Systemy AI korzystają z chmury obliczeniowej, aby oferować skalowalne usługi. To jest prosta odpowiedź i ta, która ma tutaj największe znaczenie. Systemy chmurowe dają zadaniom AI przestrzeń do wzrostu i do kurczenia się, co jest prawdziwym kluczem sukcesu.
Wciąż wracam do tego samego punktu: AI to rzadko jedna, sztywno zdefiniowana praca. To trening, dostarczanie modeli (inference), przesyłanie danych i ponawianie prób. Te części nie wymagają tej samej mocy obliczeniowej w tym samym czasie. Platformy chmurowe ułatwiają dopasowanie zasobów do zapotrzebowania, zamiast kupować moc na najgorszy przypadek i liczyć na to, że nie będzie ona stać bezczynnie.
Dla treningu usługi chmurowe pozwalają zespołom żądać dużej pojemności GPU lub TPU, gdy jest to potrzebne. Dla inferencji mogą one serwować modele za pośrednictwem zarządzanych punktów końcowych, kontenerów lub usług serverless, które skalują się wraz z ruchem. Korzyścią nie jest tylko surowa moc. To zdolność do dodawania pojemności, gdy kolejka rośnie, a następnie jej usuwania, gdy zapotrzebowanie spada.
Ma to znaczenie, ponieważ ruch związany z AI jest nierównomierny. Model może przez godziny pozostawać spokojny, a następnie zostać zasypany falą żądań. Serwer lokalny też sobie z tym poradzi, ale chmura zazwyczaj lepiej radzi sobie z nudnymi częściami. Może zarządzać równoważeniem obciążenia, liczbą replik, magazynowaniem i rozmieszczeniem sieciowym, bez konieczności budowania wszystkiego od zera przez każdy zespół.
Praktyczny powód, dla którego chmura tak dobrze sprawdza się w AI, jest prosty. AI potrzebuje trzech rzeczy naraz: mocy obliczeniowej, pamięci masowej i szybkiego przemieszczania się między nimi. Platformy chmurowe pakują już te elementy razem. Dają też standardowe sposoby ich skalowania, takie jak automatycznie skalowane kontenery, zarządzane zadania treningowe i repliki punktów końcowych, które rosną i maleją wraz z zapotrzebowaniem.
Dlatego chmura obliczeniowa tak dobrze pasuje do systemów AI. Usługi AI to nie statyczne oprogramowanie. Działają pod zmieniającym się obciążeniem, zmieniającymi się rozmiarami modeli i zmieniającymi się potrzebami dotyczącymi danych. Mały model może działać na skromnym sprzęcie. Większy może wymagać wielu GPU, współdzielonej pamięci masowej i ściślejszej kontroli nad pamięcią i ruchem sieciowym. Usługi chmurowe ułatwiają zestawienie takiej mieszanki.
Niemniej jednak chmura nie usuwa trudnych problemów. Przesuwa je. Kontrola kosztów staje się ciągłym zadaniem. Opóźnienia sieciowe nadal mają znaczenie. Pojemność GPU może być ograniczona. A automatyczne skalowanie to nie magia. Pomaga przy wahaniach zapotrzebowania, ale nie naprawia wolnego modelu czy złej architektury dostarczania. Jeśli ścieżka żądań jest obciążona, skalowanie po prostu daje większą wersję tego samego problemu.
Istnieje też limit, który ludzie często pomijają. Skalowanie w chmurze działa najlepiej, gdy system jest do niego zaprojektowany. Jeśli model jest powiązany z jedną maszyną, jednym dyskiem lub jednym długotrwałym procesem, chmura nie uratuje tej architektury. Usługa musi wciąż być podzielona na wyraźne części, ze stanem przechowywanym we właściwym miejscu, a moc obliczeniowa musi pozostawać wymienna.
To jest szczera forma rzeczy. Systemy AI korzystają z chmury obliczeniowej dla skalowalnych usług, ponieważ chmura pozwala im rosnąć na żądanie, obsłużyć fale ruchu i zająć się infrastrukturą wokół mocy obliczeniowej. Chmura nie czyni AI prostym. Umożliwia jedynie skalowanie bez przebudowywania maszyny za każdym razem, gdy zmienia się obciążenie.
Dla mnie to najczystszy sposób myślenia o tym temacie. Chmura to nie model. To warstwa usługowa, która pomaga modelowi przetrwać prawdziwy ruch. O taki praktyczny detal chcę widzieć w systemach AI i o taką rzecz stara się dbać The Model Log: jeden praktyczny koncept AI, jeden działający przykład i jeden szczery rzut oka na to, co naprawdę działa.
