Sztuczna inteligencja w chmurze obniża koszty infrastruktury i zwiększa skalowalność.
To jest krótka odpowiedź i ta, która pasuje do większości zespołów, które nie chcą kupować i utrzymywać własnego stosu GPU. Chmura zapewnia obciążeniom AI sprzęt współdzielony, pojemność na żądanie oraz ceny, które zazwyczaj zależą od użytkowania, a nie od stałej własności.
Ciągle wracam do tego samego praktycznego punktu. Systemy AI nie są stabilne. Zadania trenowania mają szczyty. Ruch inferencyjny rośnie i spada. Przygotowywanie danych może być spokojne przez dni, a nagle stać się bardzo intensywnie. Chmurowa AI lepiej dopasowuje się do tego kształtu niż stała sala serwerowa.
Kwestia kosztów jest łatwo przeoczyć na początku. Na własnym sprzęcie płacisz za maszynę nawet wtedy, gdy stoi bezczynnie. Płacisz też za prąd, chłodzenie, przestrzeń, modernizacje i ludzi, którzy dbają o jej sprawność. W chmurze te koszty są wchłonięte przez model usługowy. Wynajmujesz moc obliczeniową, magazynowanie i przepustowość sieci, gdy ich potrzebujesz. Gdy zapotrzebowanie spada, możesz zmniejszyć ślad operacyjny.
Ma to największe znaczenie dla AI, ponieważ drogie elementy nie są małe. Maszyny z GPU są kosztowne, a obciążenia AI często potrzebują ich tylko przez krótkie okresy. Zespół, który trenuje modele raz w tygodniu, nie potrzebuje tego samego zestawienia co platforma obsługująca żądania przez cały dzień. Chmurowa AI sprawia, że te dwa przypadki wyglądają bardziej podobnie pod względem rozliczeń. To jest prawdziwa wygrana. Zamienia stały koszt w zmienny.
Skalowalność to druga strona historii. Prosząc rzecz, skalowalność oznacza, że system może obsłużyć więcej pracy bez awarii. W chmurowej AI wynika to zwykle z automatycznego skalowania i elastycznej mocy obliczeniowej. Elastyczność oznacza, że system może rosnąć i kurczyć się wraz ze zmianami popytu. Jeśli ruch wzrośnie, więcej instancji lub większa pojemność GPU mogą zostać uruchomione. Jeśli ruch spadnie, mogą one zostać ponownie usunięte. Aplikacja nie wymaga człowieka, który zamawia nowy sprzęk za każdym razem, gdy zmienia się obciążenie.
Dlatego chmurowa AI często lepiej sprawdza się w produktach o nierównym popycie. Czatu-bot, usługa wizyjna lub potok dokumentów mogą mieć powolne godziny i zatłoczone godziny. Platformy chmurowe są zbudowane na taki rodzaj wahania. Pozwalają zespołom zaczynać od małych zasobów, a następnie dodawać pojemność, gdy obciążenie potwierdzi swoją skuteczność. Zmniejsza to ryzyko przedwczesnego nadmiernego zakupu.
Myślę, że najmocniejszym argumentem tutaj nie jest sama chmura. To dopasowanie między rozliczeniami w chmurze a kształtem obciążenia AI. Praca AI jest często skokowa, niepewna i trudna do oszacowania z góry. Kupowanie serwerów z góry to zgadywanie. Chmurowa AI pozwala zespołom odroczyć tę zgadywkę. Mogą uczyć się na podstawie rzeczywistego ruchu, zanim zobowiązują się do dużej infrastruktury.
Istnieje nadal pewna granica i ma ona znaczenie. Chmurowa AI nie zawsze jest tańsza. Dla stałych, intensywnych obciążeń, własny sprzęt lub rezerwowana pojemność mogą być lepsze. Rachunki za chmurę mogą również szybko rosnąć, jeśli modele są duże, ruch jest wysoki lub magazynowanie i użycie sieci są intensywne. Wygoda jest realna, ale tak samo jak licznik. Widziałem wystarczająco dużo systemów, aby ufać licznikowi bardziej niż prezentacji slajdów.
Więc uczciwy widok jest prosty. Chmurowa AI obniża koszty infrastruktury, gdy unika bezczynnego sprzętu i przesuwa wydatki na rzeczywiste użycie. Zwiększa skalowalność, gdy platforma może dodawać i usuwać pojemność wraz ze zmianami popytu. Sprawia to, że jest przydatna dla wielu systemów AI, ale nie dla każdego. Najlepszym dopasowaniem jest zazwyczaj obciążenie o niepewnym obciążeniu, zmieniającym się rozmiarze lub potrzebie szybkiego działania bez budowania pełnego stosu sprzętowego najpierw.
To jest praktyczny kształt odpowiedzi i rodzaj rzeczy, do których stara się trzymać The Model Log: jeden praktyczny koncept AI, jeden działający przykład i jeden szczery spojrzenie na to, co naprawdę działa.
