Systemy AI wymagają specjalistycznych umiejętności w zakresie tworzenia oprogramowania. Model to tylko jeden element systemu. Ciężka praca obejmuje również przepływ danych, testowanie, wdrożenia, bezpieczeństwo, koszty i monitorowanie.
To właśnie ten aspekt często ginie w prostych demonstracjach sztucznej inteligencji. Skrypt może załadować model i wypisać wynik predykcji w kilku linijkach kodu. Prawdziwy system musi jednak działać niezawodnie, gdy brakuje danych wejściowych, użytkownicy przesyłają nieoczekiwane dane, ruch zmienia się, a model zaczyna dostarczać słabsze wyniki.
Myślę o tym jako o problemie inżynierii oprogramowania, wewnątrz którego znajduje się model.
Model to tylko jeden komponent
Model uczenia maszynowego przekształca dane wejściowe w wyjściowe. Model obrazowy może zwrócić etykietę. Model językowy może zwrócić tekst. Model wykrywający oszustwa może zwrócić wynik liczbowy.
To wyjście nadal wymaga oprogramowania, które obsłuży cały proces wokół niego. System musi zebrać dane wejściowe, sprawdzić ich strukturę, przygotować je, wysłać do modelu, obsłużyć błędy i zwrócić użyteczny wynik. Każda z tych części może ulec awarii, nawet jeśli sam model jest poprawny.
Dlatego zwykłe umiejętności programistyczne wciąż mają znaczenie. Programiści muszą rozumieć API, bazy danych, kolejki, kontenery, usługi chmurowe, reguły dostępu, dzienniki zdarzeń i testy. AI dodaje nowe problemy, ale nie usuwa starych.
Zmienia ono również znaczenie pojęcia „błąd”. Zwykły program może zawieść na podstawie znanej reguły. System AI może zwrócić poprawną odpowiedź, która mimo wszystko jest błędna. Usługa może być zdrowa (zdolna do obsługi żądań), podczas gdy jakość jej wyników spada.
Ta luka wymaga szczególnej troski.
Czym różni się oprogramowanie dla AI
Pierwsza różnica dotyczy danych. Tradycyjne oprogramowanie często opiera się na jasnych regułach i stałych danych wejściowych. Oprogramowanie dla AI zależy od przykładów, cech, promptów, etykiet lub innych danych, które mogą zmieniać się w czasie.
Potok danych (data pipeline) to oprogramowanie, które przenosi i przygotowuje te dane. Może ono usuwać błędne rekordy, zmieniać formaty, łączyć źródła i tworzyć dane wejściowe wykorzystywane przez model. Mała zmiana w tym procesie może zmienić zachowanie modelu.
Drugą różnicą jest testowanie. Test jednostkowy może sprawdzić, czy funkcja zwraca oczekiwaną wartość. Taki test nadal pomaga, ale nie może udowodnić, że system AI jest użyteczny w przypadku każdego typu danych wejściowych.
Systemy AI potrzebują kilku rodzajów testów. Mogą one obejmować sprawdzenia formatu danych wejściowych, struktury wyniku modelu, treści niebezpiecznych, szybkości działania usługi oraz znanych przypadków awarii. Dokładny zakres testów zależy od systemu. Nie istnieje jeden test, który potwierdziłby, że system AI jest gotowy do wdrożenia.
Trzecią różnicą jest zmiana. Kod oprogramowania może pozostawać bez zmian, podczas gdy dane wokół niego się zmieniają. Może to spowodować dryf danych (data drift). Dryf danych oznacza, że nowe dane wejściowe już nie przypominają tych, które były używane podczas rozwijania modelu.
W rezultacie jakość modelu może spaść bez żadnych zmian w kodzie. Monitorowanie musi śledzić zarówno stan usługi, jak i dane. Wytyczne produkcyjne Google opisują rejestrowanie zdarzeń, alerty, kontrolę wdrożeń i plany wycofywania (rollback) właśnie z tego powodu. System potrzebuje bezpiecznego sposobu na wykrywanie problemów i powrót do wcześniejszej wersji modelu, gdy jest to konieczne.
Czwartą różnicą jest eksploatacja. Zespoły zajmujące się uczeniem maszynowym często używają terminu MLOps na określenie narzędzi i prac łączących rozwój modelu z eksploatacją systemu. Obejmuje to zautomatyzowane testy, kroki wydawania modeli, zadania szkoleniowe, wdrożenia i monitorowanie.
MLOps nie jest magicznym produktem. To zbiór praktyk programistycznych. Nazwa ma mniejsze znaczenie niż praca, którą ta nazwa opisuje.
Mały, działający przykład
Rozważmy system obrazowy, który sprawdza, czy zdjęcie zawiera określony obiekt.
Model jest trenowany przed uruchomieniem usługi. W trakcie użytkowania aplikacja otrzymuje obraz od użytkownika. Sprawdza typ pliku i jego rozmiar, dekoduje obraz, konwertuje go na formę oczekiwaną przez model i wysyła do predykcji.
Wynikiem może być etykieta i wynik pewności. Aplikacja decyduje następnie, jak wykorzystać ten wynik. Może wyświetlić komunikat, przesłać obraz do przeglądu lub odrzucić żądanie.
Każdy krok wymaga jasnego kontraktu. Kontrakt określa, co jedna część wysyła, a co akceptuje następna część. Bez tych zasad aktualizacja modelu może zepsuć działanie usługi, nawet jeśli nowy model działa dobrze w izolacji.
System potrzebuje również dzienników zdarzeń (logów). Przydatne logi mogą zawierać czas żądania, wersję modelu, wyniki kontroli danych wejściowych, czas przetwarzania i typ błędu. Logi powinny unikać ujawniania danych prywatnych, chyba że istnieje ku temu wyraźna potrzeba.
Monitorowanie dodaje kolejną warstwę. Może pokazywać, czy żądania kończą się awarią częściej, czy przetwarzanie zwalnia, czy zmieniają się rozmiary danych wejściowych. Jeśli etykiety stają się dostępne później, system może również porównać predykcje z rzeczywistymi wynikami.
Ten przykład nie wymaga dużego zespołu, aby wyjaśnić lukę w kompetencjach. Model to komponent techniczny. System wokół niego to inżynieria oprogramowania.
Specjalistyczne umiejętności nie oznaczają innego rodzaju programisty
Fraza „specjalistyczne umiejętności” może brzmieć bardziej imponująco, niż jest w rzeczywistości. Nie oznacza to, że każdy programista musi stać się naukowcem badaczem.
Oznacza to, że programista musi zrozumieć kilka specyficznych dla AI problemów. Należą do nich jakość danych, dane wejściowe modelu, wyjścia modelu, ewaluacja, dryf danych, wersjonowanie i niepewność.
Programista potrzebuje również normalnej dyscypliny inżynierskiej. Przegląd kodu, testy, kontrola dostępu, obserwowalność i planowanie wydań mają nadal zastosowanie. W niektórych przypadkach mają one jeszcze większe znaczenie, ponieważ błąd AI może wyglądać na rozsądny.
Przydatny deweloper AI potrafi przeczytać dokumentację modelu i zrozumieć jego ograniczenia. Potrafi również prześledzić predykcję przez cały system. Obejmuje to źródłowe dane, preprocessing, wywołanie modelu, regułę biznesową i ostateczną odpowiedź dla użytkownika.
Ta praca przekracza granice między zespołami. Naukowcy danych mogą skupiać się na treningu i ewaluacji. Inżynierowie oprogramowania mogą skupiać się na usługach i infrastrukturze. Zespoły operacyjne mogą skupiać się na niezawodności i kosztach. W małych projektach wszystkie trzy role mogą być łączone.
Granica między tymi rolami ciągle się zmienia. Narzędzia ukrywają teraz część pracy konfiguracyjnej, ale nie usuwają potrzeby zrozumienia tego, co te narzędzia robią.
Uczciwe ograniczenia
Specjalistyczne umiejętności programistyczne zwiększają szanse na zbudowanie solidnego systemu AI. Nie gwarantują jednak poprawnych predykcji.
Niektóre ograniczenia wynikają z modelu lub danych. Model może zawieść na przypadkach, które były rzadkie lub nieobecne podczas treningu. System monitorujący może wykryć zmianę, ale nie wyjaśnić jej przyczyny. Ręczny krok przeglądu może zmniejszyć ryzyko, ale dodaje też czas i koszty.
Nie istnieje również uniwersalny wzorzec produkcji. Małe narzędzie wewnętrzne i usługa publiczna mają różne potrzeby. Model, który działa dla jednego zadania, może być nieodpowiedni dla innego. Udokumentowany framework może kierować pracą, ale nie może rozstrzygać wszystkich kompromisów.
Wytyczne NIST traktują testowanie, monitorowanie, bezpieczeństwo i reakcję jako ciągłe elementy pracy nad systemem AI. Jest to trafne spojrzenie. Wdrożenie nie jest ostatnim krokiem. Rozpoczyna nowy okres sprawdzania i zmiany.
Moja praktyczna ocena jest prosta: rozwój AI to rozwój oprogramowania z dodatkowymi trybami awarii. Specjalistycznym aspektem jest nauczenie się wczesnego wykrywania tych trybów awarii.
Dlatego użytecznym pytaniem nie jest to, czy programista potrafi wywołać API modelu. Lepszym pytaniem jest to, czy programista potrafi zbudować oprogramowanie obsługujące to wywołanie, zmierzyć jego zachowanie i obsłużyć awarię bez zgadywania.
„The Model Log” podąża za tym samym standardem: jeden praktyczny koncept AI, jeden działający przykład i jeden szczery rzut oka na to, co naprawdę działa.



