Sztuczna inteligencja napędza usługi internetowe dzięki złożonym, rozproszonym architekturom. To jest krótka odpowiedź i warto ją mieć na uwadze. Model to tylko jedna część systemu. Usługa wokół niego wykonuje większość rzeczywistej pracy.
Nadal często słyszę, jak ludzie mówią o sztucznej inteligencji tak, jakby była to pojedyncza wywołana funkcja modelu. Tak nie jest. W przypadku aktywnej usługi internetowej żądanie zazwyczaj przechodzi przez routowanie, równoważenie obciążenia, kolejki, pamięć podręczną (cache) oraz kilka serwerów modeli. Każda z tych części ma swoje zadanie. Każda z nich może zawieść samodzielnie.
Pierwszą rzeczą, która ma znaczenie, jest routowanie. Żądanie nie ląduje po prostu w dowolnym miejscu. System wybiera replikę modelu, czyli jedną kopię usługi działającą na serwerze. Dobre routowanie stara się wysłać żądanie w najlepsze miejsce w danym momencie. Czasami oznacza to najmniej zajęty serwer. Czasami oznacza to serwer, który już ma fragment promptu w pamięci.
Ta kwestia pamięci jest łatwa do przeoczenia, ale ma ogromne znaczenie. Wiele nowoczesnych usług AI wykorzystuje routowanie świadome stanu pamięci podręcznej. Jeśli ten sam użytkownik ciągle prowadzi rozmowę lub wielu użytkowników wysyła podobne, długie prompty, usługa może zaoszczędzić pracę, ponownie używając danych z pamięci podręcznej. Pamięć podręczna jest często powiązana z dokładnie tym serwerem, który obsługiwał wcześniejsze żądanie. Jeśli kolejne żądanie trafi na inny serwer, ta pamięć podręczna może być bezużyteczna. Dlatego router stara się utrzymać pokrewne ruchy razem.
Dlatego proste równoważenie obciążenia metodą round-robin (kolejkową) może być słabe dla zadań AI. Round-robin po prostu rozdziela żądania po kolei. To jest w porządku dla wielu aplikacji webowych. Często jest jednak zbyt ślepe dla serwowania modeli. Serwer modelu może wyglądać na wolny, a mimo to być niewłaściwym wyborem, jeśli nie ma przydatnej pamięci podręcznej, ma długą kolejkę lub zajęty GPU.
Kolejnym elementem są kolejki. Gdy ruch rośnie, żądania czekają. Kolejka to nie błąd. To część systemu. Ale długa kolejka oznacza większe opóźnienie. Dlatego usługa obserwuje głębokość kolejki i stara się omijać gorące punkty. Niektóre konfiguracje nawet usuwają ruch lub opóźniają prace o niższym priorytecie, gdy system jest pod presją. To normalny znak poważnej usługi, a nie oznaka awarii. Prawdziwe systemy potrzebują hamulców.
Istnieje również sama warstwa serwowania. Model może działać na jednym GPU, rozłożony na kilka GPU lub na wielu replikach. Usługa może podzielić pracę między nimi. Może też oddzielać etapy, takie jak prefill (wstępne wypełnianie) i decode (dekodowanie) w przypadku dużych modeli językowych. Prefill buduje stan wewnętrzny na podstawie promptu. Decode produkuje następne tokeny. Te etapy nie są identyczne, więc jedno rozwiązanie nie pasuje do każdego przypadku.
To właśnie ta część sprawia, że internetowa sztuczna inteligencja wydaje się mniej przypominać model, a bardziej infrastrukturę. Model to mózg, ale usługa to układ nerwowy. Sieć, harmonogramowanie i obserwowalność (observability) otaczają go ze wszystkich stron. Obserwowalność oznacza, że system mierzy to, co się dzieje, takie jak długość kolejki, użycie pamięci podręcznej i obciążenie serwera. Bez tego routowanie zamienia się w zgadywanie.
Uważam, że szczery obraz jest prosty. Sztuczna inteligencja napędza usługi internetowe, gdy stos serwowania jest dobry w kierowaniu ruchu, ponownym wykorzystywaniu pracy i unikaniu przeciążenia. Sam model niczego takiego nie robi. Robi to architektura.
Jest jedna granica warta powiedzenia wprost. Te systemy nadal rozwijają się szybko, a najlepsza strategia routowania nie jest ustalone dla każdego typu obciążenia. To, co działa dla jednego modelu lub kształtu ruchu, może nie zadziałać dla innego. Routowanie świadome pamięci podręcznej, routowanie świadome obciążenia i kolejki priorytetowe są przydatnymi narzędziami, ale nie są magią. Trudną częścią jest zawsze dopasowanie architektury do rzeczywistego wzorca ruchu.
Więc kiedy ktoś pyta, co sztuczna inteligencja oznacza dla usług internetowych, ja najpierw nie myślę o wielkości modelu. Myślę o tym, jak usługa jest podzielona, jak przemieszczają się żądania i jak system utrzymuje ciepło swojej pamięci podręcznej pod obciążeniem. Tam mieszka większość prawdziwej inżynierii.
To również jest rodzaj jasnej, praktycznej prawdy, którą The Model Log stara się utrzymać na widoku: jeden praktyczny koncept AI, jeden działający przykład i jeden szczery spojrzenie na to, co naprawdę działa.
