Systemy sztucznej inteligencji polegają na rozproszonej architekturze w celu zapewnienia szybkiej obsługi. Jeden komputer może uruchomić mały model, ale obciążone usługi AI potrzebują wielu pracowników. Potrzebują również warstwy kontrolnej, która wysyła każde żądanie do odpowiedniego pracownika.
To jest podstawowa odpowiedź na pytanie o usługę komputerową. Model może być duży. Obciążenie żądaniami może zmieniać się z minuty na minutę. Jedna maszyna nie zawsze może pomieścić model, przetworzyć każde żądanie i zwrócić wyniki wystarczająco szybko.
Architektura rozproszona dzieli pracę między komputery, GPU lub procesy. Każda część ma jasno określone zadanie. Bramka (gateway) odbiera żądania. Harmonogramer wybiera, dokąd mają trafić. Serwery modeli wykonują wnioskowanie (inference). Systemy pamięci podręcznej i magazynu przechowują dane, które mogą być użyte ponownie.
Słowo wnioskowanie oznacza użycie wytrenowanego modelu do wyprodukowania odpowiedzi. W przypadku modelu wizyjnego może to oznaczać znajdowanie obiektów na obrazie. W przypadku modelu językowego może to oznaczać wyprodukowanie kolejnego tokenu w odpowiedzi.
Uważam, że najbardziej przydatnym punktem jest prostota: prędkość wynika z koordynacji, a nie z losowego dodawania maszyn. Słaba koordynacja może sprawić, że duży system będzie wolniejszy niż mniejszy.
Co dzieje się podczas żądania
Żądanie zazwyczaj wpada przez równoważnik obciążenia (load balancer). Ta usługa rozprowadza żądania między repliki modelu. Replika to osobna, działająca kopia modelu.
Jeśli jedna replika jest zajęta, żądanie może trafić do innej. Jeśli popyt rośnie, usługa może uruchomić więcej replik. Nazywa się to skalowaniem. Pomaga to systemowi obsłużyć więcej użytkowników bez umieszczania każdego żądania w jednej kolejce.
Serwer modelu ładuje następnie żądanie na procesor. Wiele nowoczesnych systemów AI używa GPU, ponieważ mogą one wykonywać wiele operacji matematycznych jednocześnie. Model produkuje wynik, a usługa zwraca go do wywołującego.
Brzmi to czysto. Rzeczywiste systemy mają więcej punktów krytycznych.
Model może nie mieścić się na jednym GPU. Wejście może być duże. Kilku użytkowników może zażądać odpowiedzi naraz. Ruch sieciowy może dodać opóźnienie. Pamięć może się wypełnić przed wyczerpaniem mocy obliczeniowej.
Systemy rozproszone radzą sobie z tymi ograniczeniami na różne sposoby. Model można skopiować na kilku pracowników. Można go również podzielić między urządzenia. W drugim przypadku każde urządzenie trzyma część modelu i przesyła dane do następnej części.
Kopiowanie pomaga przy wielu niezależnych żądaniach. Podział pomaga, gdy jeden model jest zbyt duży dla jednego urządzenia. To są różne cele, a projekt musi odpowiadać problemowi.
Drobiazgi, które kontrolują prędkość
Grupowanie (batching) to jedna z przydatnych metod. Łączy kilka żądań w jedną grupę, dzięki czemu procesor może je obsłużyć razem. Może to w pełni wykorzystać sprzęt.
Stałe partie są proste, ale mogą marnować czas. Jedno żądanie może się zakończyć, podczas gdy inne wciąż działają. Nowa praca może czekać na następną partię.
Ciągłe grupowanie obsługuje żądania w miarę ich przybywania i kończenia. Nowe żądanie może wejść, gdy inne żądanie wychodzi. To utrzymuje procesor zajęty, ale dodaje pracę harmonogramera i może sprawić, że przewidywanie czasu reakcji będzie trudniejsze.
Modele językowe dodają kolejny problem. Często najpierw przetwarzają prompt, a następnie tworzą wyjście po jednym tokenie. Pierwszą fazę nazywa się często prefilled (prefill). Drugą fazę nazywa się decode.
Prefill czyta wejście i przygotowuje wewnętrzne dane. Decode tworzy odpowiedź krok po kroku. Te faze wykorzystują sprzęt w różny sposób. System, który obsługuje obie na tym samym pracowniku, może wymusić kompromis między całkowitą wydajnością a szybką reakcją.
Niektóre projekty serwowania umieszczają prefill i decode w różnych grupach pracowników. Żądanie przemieszcza się między nimi. Może to dać każdej fazie zasoby dostosowane do jej pracy. Dodaje to również ruch sieciowy i złożoność systemu.
Buforowanie może zmniejszyć powtarzalną pracę. Serwery modeli językowych często utrzymują bufor klucz-wartość, znany jako KV cache. Przechowuje informacje z wcześniejszych tokenów w żądaniu.
Późniejsze żądanie z tym samym prefiksem promptu może częściowo wykorzystać ten bufor. Model unika wtedy ponownego przetwarzania tego samego tekstu. Może to zmniejszyć pracę, ale dane w buforze zużywają pamięć. Bufor, który rośnie bez kontroli, może zmniejszyć liczbę aktywnych żądań.
Właśnie tutaj harmonogramer staje się czymś więcej niż prostą kolejką. Harmonogramer może brać pod uwagę obciążenie pracownika, rozmiar kolejki, użycie pamięci i lokalizację bufora. Wysyłanie żądania do najmniej zajętego pracownika nie zawsze jest najlepsze. Nieco bardziej zajęty pracownik może już mieć potrzebny bufor.
Celem jest niskie opóźnienie dla każdego żądania i dobra całkowita wydajność dla usługi. Te cele mogą ze sobą konfliktować. Duża partia może poprawić całkowitą pracę na sekundę, jednocześnie sprawiając, że jeden użytkownik będzie dłużej czekać.
Dlaczego rozproszone nie oznacza nieograniczonego
Architektura rozproszona zwiększa pojemność, ale nie usuwa ograniczeń. Każde podziałanie generuje koszt.
Pracownicy muszą wymieniać dane. Dane muszą przepływać przez sieć lub łącze urządzeń. Jeśli części modelu często komunikują się ze sobą, ten ruch może stać się najwolniejszą częścią systemu.
Pamięć to kolejne ograniczenie. Duże modele potrzebują miejsca na wagi, wartości tymczasowe i bufory. Dodanie większej liczby pracowników może zwiększyć pojemność, ale może też stworzyć więcej przenoszenia danych.
Istnieje również koszt operacyjny. Więcej pracowników oznacza więcej awarii do obsłużenia. Usługa potrzebuje kontroli stanu, logowania, monitorowania, ponawiania prób i reguł skalowania. System może zwracać poprawne odpowiedzi, a nadal zawodzić jako usługa, jeśli jego kolejka stanie się zbyt długa.
Autoskalowanie również ma limity. Uruchomienie nowego pracownika zajmuje czas. Model musi załadować się do pamięci. System może potrzebować rozgrzać bufory. Nagły wzrost ruchu może pojawić się, zanim nowy pracownik będzie gotowy.
Dlatego twierdzenia o szybkiej obsłudze AI potrzebują kontekstu. Prędkość zależy od rozmiaru modelu, długości wejścia, długości wyjścia, sprzętu, projektu sieci, mieszanki żądań i celów usługi. Wynik z jednego ustawienia nie dowodzi tego samego wyniku gdzie indziej.
Nie traktowałbym również rozproszonego serwowania jako lekarstwa na słaby projekt modelu. Model, który wykonuje zbędną pracę, będzie nadal wykonywać zbędną pracę na wielu maszynach. Lepsze trasowanie i buforowanie mogą pomóc, ale nie naprawią każdego wąskiego gardła.
Praktyczna lekcja brzmi tak, że usługa AI to system połączonych części. Model to jedna z tych części. Ścieżka wokół niego często decyduje o tym, czy użytkownicy zobaczą szybką odpowiedź, czy długie oczekiwanie.
Szybka obsługa wynika z utrzymania równowagi między tymi częściami. Żądania muszą docierać do użytecznych pracowników. Dane muszą poruszać się z minimalnym opóźnieniem. Partie muszą być wystarczająco duże, aby wykorzystać sprzęt, ale nie tak duże, aby szkodziły czasowi reakcji. Bufory muszą oszczędzać pracę, nie zużywając całej dostępnej pamięci.
Architektura rozproszona umożliwia tę równowagę w skali. Nie sprawia, że ta równowaga jest łatwa.
To jest punkt, który chciałbym zapamiętać z tego tematu. Szybka obsługa AI jest budowana poprzez staranny podział pracy, świadome harmonogramowanie i uczciwe mierzenie pełnej ścieżki żądania. The Model Log stosuje ten sam standard: jeden praktyczny koncept AI, jeden działający przykład i jeden szczery rzut oka na to, co naprawdę działa.



