AI przesuwa się w stronę mniejszych, bardziej wyspecjalizowanych modeli, ponieważ koszty surowej skali ciągle rosną. Środek ciężkości przesuwa się od jednego gigantycznego modelu, który robi wszystko, do wielu modeli, które dobrze wykonują jedną pracę, zużywają mniej energii i lepiej pasują na zwykłe sprzęt.
Ta zmiana ma znaczenie z dwóch powodów. Po pierwsze, mniejsze modele mogą działać na laptopach, telefonach i urządzeniach brzegowych (edge), zamiast zawsze wołać zdalny serwis chmurowy. Po drugie, model dostosowany do jednego zadania często marnuje mniej mocy obliczeniowej niż model ogólny poproszony o rozwiązanie wszystkiego.
Stale widzę ten sam wzorzec w praktyce. Przydatnym pytaniem nie jest już „Jak duży może być ten model?”. Lepiej brzmi pytanie: „Ile modelu faktycznie potrzebujemy do tego zadania”? Brzmi to prosto, ale w realny sposób zmienia projektowanie systemów.
Co się zmieniło
Modele ogólne wciąż mają znaczenie. Są silne w szerokim rozumowaniu, pisaniu i elastycznym korzystaniu z narzędzi. Ale są drogie w obsłudze, a ten koszt objawia się w mocy obliczeniowej, pamięci, opóźnieniach i energii.
Modele wyspecjalizowane przecinają ten problem. Mniejszy model wytrenowany lub dostrojony do wąskiego zadania często może wykonać robotę z mniejszymi stratami. Może to oznaczać klasyfikator do routingu tekstu, mały model wizyjny do kontroli jakości, lub kompaktowy model językowy do podsumowywania, ekstrakcji lub lokalnego czatu.
To właśnie tutaj do gry wchodzi energia. Trenowanie i uruchamianie dużych modeli wymaga poważnej mocy. Gdy zadanie nie potrzebuje giganta, użycie takiego modelu jest jak używanie ciężarówki do dostarczenia listu. Działa, ale jest kiepskim dopasowaniem.
Dlaczego efektywność teraz ma większe znaczenie
Praktyczna presja jest oczywista. Zespoły chcą niższych kosztów wnioskowania (inference). Chcą szybszych odpowiedzi. Chcą modeli, które mogą działać tam, gdzie dane już istnieją.
Dlatego AI na urządzeniu końcowym (on-device) zyskuje tak dużo uwagi. Jeśli model działa na telefonie, laptopie lub małym pudełku brzegowym, system może uniknąć podróży tam i z powrotem do chmury dla każdego żądania. To redukuje opóźnienia i może również zmniejszyć zużycie energii wynikające z powtarzalnych połączeń sieciowych i nadmiernej pracy serwerów.
Kwantyzacja pomaga tu również. To prosty trik polegający na przechowywaniu i uruchamianiu wag modelu w mniejszej liczbie bitów, dzięki czemu model zużywa mniej pamięci i często mniej energii. To nie jest magia. Może obniżyć jakość, jeśli zostanie przesunięty za daleko. Ale w wielu rzeczywistych systemach jest teraz standardową częścią czynienia modelu praktycznym.
Myślę, że to jeden z najjaśniejszych znaków, że dziedzina dojrzewa. Na początku celem było udowodnienie skali. Teraz celem jest sprawienie, by AI wpasowało się w prawdziwe produkty i prawdziwe budżety.
Wyspecjalizowany nie oznacza słaby
Mniejszy model nie jest automatycznie gorszym modelem. To część, której wielu ludzi nadal nie pojmuję.
Do wąskiej pracy wyspecjalizowany model może być lepszym narzędziem. Może być łatwiejszy w wdrożeniu, łatwiejszy w monitorowaniu i tańszy w aktualizacji. Może być też bezpieczniejszy w sensie systemowym, ponieważ powierzchnia zachowań jest mniejsza. Mniej ruchomych części oznacza mniej niespodziewanych sytuacji, co najmniej teoretycznie.
Ten sam pomysł pojawia się w systemach agentów. Nie każdy krok potrzebuje giganta ogólnego. Niektóre kroki potrzebują tylko routingu, klasyfikacji, ekstrakcji lub prostej transformacji. W tych przypadkach kompaktowy model może wykonać robotę i zostawić ciężki model poza pętlą.
To ważna zmiana w projektowaniu. Przechodzimy od „jednego modelu do wszystkiego” do „odpowiedniego modelu dla każdego kroku”.
Czego deweloperzy prawdopodobnie będą budować dalej
Oczekuję więcej systemów hybrydowych. Mały lokalny model będzie obsługiwał proste prace. Większy zdalny model będzie używany tylko wtedy, gdy zadanie naprawdę tego potrzebuje. To bardziej uczciwe wykorzystanie mocy obliczeniowej.
Oczekuję też więcej dostrojenia specyficznego dla zadania. Zespoły nie muszą trenować ogromnych modeli bazowych od zera, aby uzyskać wartość. Często potrzebują mniejszego modelu z lepszym dostrojeniem instrukcji, danymi domenowymi lub lepszą kontrolą wyjścia.
Jest też strona sprzętowa tej kwestii. Nowoczesne urządzenia zyskują lepsze NPU i lepsze ścieżki pamięci dla wnioskowania lokalnego. To nie sprawia, że każdy model jest przenośny. Sprawia jednak, że więcej zadań jest praktycznych na brzegu niż wcześniej.
Kształt stosu technologicznego zmienia się wraz z tym sprzętem. Model nie jest już całą historią. Miejsce rozmieszczenia ma znaczenie. Tak samo jak pamięć, batchowanie i koszt przemieszczania danych.
Uczciwy limit
Ta zmiana ma limity. Modele ogólne są wciąż właściwym wyborem dla wielu trudnych zadań. Są lepsze, gdy żądanie jest otwarte, nieporządne lub potrzebuje szerokiego rozumowania w wielu domenach.
Nie ma też czystej linii między „wyspecjalizowanym” a „ogólnym”. Wiele małych modeli wciąż zależy od starannego dostrojenia, dobrych promptów i ograniczeń zadania. Kompaktowy model może wyglądać świetnie w demonstracji i rozpaść się na brudnych, rzeczywistych danych wejściowych. To normalne. To też jest powodem, dla którego ta dziedzina wciąż potrzebuje twardej inżynierii, a nie haseł.
Więc trend jest prawdziwy, ale nie jest to historia zastępcza. To historia dopasowania. Dziedzina uczy się, że najlepszym modelem jest często ten, który jest wystarczająco duży, wystarczająco inteligentny i tani w uruchomieniu tam, gdzie to ma znaczenie.
To wersja AI, którą uważam dziś za najbardziej wiarygodną. Jest mniej dramatyczna niż marketingowy hype, ale bardziej użyteczna. The Model Log utrzymuje tę samą ramę: jedno praktyczne pojęcie AI, jeden działający przykład i jeden uczciwy rzut oka na to, co faktycznie działa.
