Systemy sztucznej inteligencji wymagają solidnej architektury bezpieczeństwa, aby się chronić. To jest prosta odpowiedź i dotyczy całego stosu technologicznego: danych, modelu, kodu aplikacji, usług w chmurze oraz narzędzi z nimi powiązanych.
Zawsze wracam do jednego prostego faktu. AI to nie jedna skrzynka. To system złożony z wielu części, a każda z nich może ulec awarii w inny sposób. Model można zwieść za pomocą złych danych wejściowych. Zestaw treningowy może zostać zatruty. Prompt (polecenie) może zostać wykorzystany do ujawnienia danych. Narzędzie może zostać nakłonione do wykonania błędnej czynności. Tradycyjne bezpieczeństwo aplikacji nadal ma znaczenie, ale AI dodaje nowe punkty słabe obok nich.
Dlatego właśnie słowo „architektura” ma tu duże znaczenie. Bezpieczeństwo nie może być późną łatą. Musi być częścią projektu. System musi mieć wyraźne granice zaufania. Musi kontrolować, jakie dane wpadają do środka, co widzi model, jakie narzędzia może wywołać i co może zwrócić. Jeśli te linie są niejasne, system staje się łatwy do manipulacji.
Pierwszym ryzykiem są dane. Systemy AI polegają na danych zarówno w czasie trenowania, jak i w czasie działania. Jeśli złe dane trafią do procesu trenowania, model może nauczyć się czegoś niewłaściwego. Jeśli złe dane wejściowe trafią do systemu w czasie działania, model może posłuchać ukrytych instrukcji lub ujawnić poufne treści. Dlatego tak duża uwaga skupia się na zatruwaniu danych i atakach typu prompt injection. Atakują one system z różnych stron, ale ich cel jest ten sam. Próbowają zmienić zachowanie bez zgody.
Drugim ryzykiem jest dostęp. Wiele systemów AI łączy się teraz z wyszukiwarkami, bazami danych, magazynami plików i wewnętrznymi interfejsami API. To jest użyteczne, ale podnosi też stawkę. Jeśli model lub agent mają zbyt wiele uprawnień, zły prompt lub skradziony token mogą przekształcić się w utratę danych lub niepożądane działanie. Zasada najmniejszych uprawnień pozostaje prostym regułą i wciąż działa. Daj systemowi tylko taki dostęp, jaki jest potrzebny, a wysokiego ryzyka działania trzymaj za dodatkowymi zabezpieczeniami.
Trzecim ryzykiem jest wynik działania (output). Wynik działania AI nie jest bezpieczny tylko dlatego, że jest tekstem. Może zasilić inną usługę, użytkownika lub automatyczny przepływ pracy. Jeśli wynikowi będzie się ufać zbyt mocno, system może przekazać niebezpieczną treść dalej. Właśnie tam liczy się bezpieczna obsługa wyniku działania. Warstwa AI nie może domyślnie być traktowana jako źródło zaufane. To komponent, który może się mylić, zostać oszukany lub nadużyty.
Myślę, że to jest część, której ludzie najczęściej nie dostrzegają. Bezpieczeństwo AI nie dotyczy tylko zatrzymywania osób zewnętrznych. Dotyczy również zatrzymywania systemu przed ufaniem złej rzeczy w złym momencie. Model może wydawać się mądry, ale nie rozumie intencji tak jak człowiek. Podąża za wzorcami. Atakujący wiedzą o tym.
Istnieje też kwestia kradzieży modelu i manipulowania nim. Sam model może stać się celem. Atakujący mogą próbować go skopiować, zmodyfikować lub wyciągnąć z niego poufne dane poprzez powtarzane zapytania. Oznacza to, że artefakty modelu, wagi, prompty i dane treningowe potrzebują ochrony. Jeśli te zasoby zostaną wyeksponowane, szkoda może być realna, nawet gdy aplikacja wygląda od zewnątrz dobrze.
Solidny projekt bezpieczeństwa zwykle dzieli system na warstwy. Jedna warstwa chroni dane. Jedna warstwa chroni model. Jedna warstwa chroni aplikację wokół niego. Jedna warstwa chroni narzędzia i usługi w chmurze. Ten widok warstwowy nie jest wyszukany, ale pomaga. Utrudnia jeden słaby punkt zamienienie się w całkowitą awarię.
Chcę też być szczery co do limitów w tej dziedzinie. Bezpieczeństwo AI wciąż szybko ewoluuje. Pojawiają się nowe style ataków, gdy systemy stają się bardziej zdolne i bardziej połączone. Nie ma więc ostatecznej listy kontrolnej, która zawsze byłaby idealna. Lepszym podejściem jest podejście żywe. Praca nad bezpieczeństwem musi nadążać za zmianami systemu.
To jest prawdziwa odpowiedź na pytanie o bezpieczeństwo systemów. Systemy AI wymagają solidnej architektury bezpieczeństwa, aby się chronić, ponieważ powierzchnia ataku jest większa, niż się wydaje na pierwszy rzut oka, a szkoda może rozprzestrzenić się na dane, modele, narzędzia i użytkowników. Trudnym elementem nie jest świadomość istnienia tych zagrożeń. Trudnym elementem jest zbudowanie systemu tak, by jedno złe dane wejściowe nie zamieniło się w zły wynik.
O taką prostą prawdę chodzi mi tutaj. Jeden praktyczny koncept AI, jeden działający przykład i jeden szczery spojrzenie na to, co naprawdę działa. To jest obietnica The Model Log i dobrze pasuje do tego tematu.
