Systemy sztucznej inteligencji mogą narażać prywatne dane na wiele sposobów. Jak dochodzi do wycieku danych i co sprawia, że system AI jest bezpieczniejszy?
Odpowiedź zaczyna się od prostego faktu. System AI to nie tylko model. To łańcuch danych, kodu, magazynowania, interfejsów API, narzędzi i ludzi. Każda z tych części może stanowić problem bezpieczeństwa.
Model może sklasyfikować obraz lub odpowiedzieć na pytanie. Jednak zależy on od danych treningowych, plików modelu, baz danych i usług programistycznych. Atakujący nie musi łamać samego modelu. Słaby interfejs API lub wystawiony zasób magazynowy (bucket) może być wystarczający.
Bezpieczeństwo musi obejmować cały system.
Gdzie systemy AI przechowują poufne dane
Systemy AI często przetwarzają informacje osobiste lub prywatne. Mogą to być obrazy medyczne, dane lokalizacyjne, dokumenty biznesowe, wiadomości klientów lub szczegóły kont. Dane treningowe mogą również zawierać informacje, których ludzie nie spodziewali się jako części modelu.
Pierwszym ryzykiem jest nieautoryzowany dostęp. Skradzione hasło, wyeksponowany klucz API lub słaba reguła dostępu mogą otworzyć drogę do prywatnych danych. Zakodowane na sztywno sekrety w kodzie źródłowym i notatnikach pogarszają ten problem.
Drugim ryzykiem jest przypadkowe ujawnienie. Dziennik debugowania może rejestrować polecenia użytkownika. Odpowiedź modelu może zawierać prywatny tekst wysłany wcześniej. Programista może skopiować dane produkcyjne do środowiska testowego. Małe oszczędności mogą prowadzić do dużych wycieków.
Trzecie ryzyko pochodzi od samego modelu. Niektóre ataki próbują ustalić, czy konkretny rekord pojawił się w danych treningowych. Inne ataki próbują odzyskać informacje z zachowania modelu. Model nie musi bezpośrednio wypisywać wiersza bazy danych, aby ujawnić, że jego proces treningowy był źle kontrolowany.
Dlatego prywatność nie może być dodana na końcu. Należy ją projektować od pierwszego szkicu systemu.
Jak atakujący celują w potok AI
Potok AI zwykle składa się z kilku etapów:
- Zbieranie danych
- Przechowywanie danych
- Czyszczenie danych
- Trenowanie modelu
- Pakowanie modelu
- Udostępnianie modelu
- Interakcja użytkownika
- Monitorowanie i aktualizacje
Każdy etap ma inny tryb awarii.
Podczas zbierania danych atakujący może przesłać fałszywe lub szkodliwe rekordy. Podczas trenowania zatrute dane mogą zmienić zachowanie modelu. Model wizji komputerowej mógłby nauczyć się niewłaściwego sygnału wizualnego. Model językowy mógłby wchłonąć instrukcje wpływające na późniejsze odpowiedzi.
Atak nie musi powodować awarii modelu za każdym razem. Mała zmiana zachowania może być wystarczająca. Klasyfikator bezpieczeństwa mógłby przeoczyć wybrane zagrożenia. System dokumentów mógłby ujawnić informacje po starannie przygotowanym poleceniu.
Systemy AI przyjmują również wejścia spoza zaufanego systemu. Te wejścia mogą być obrazami, tekstem, plikami lub żądaniami API. Wejście adversarialne zmienia dane w sposób, który myli model, nawet gdy zmiana wydaje się nieszkodliwa dla człowieka.
Modele językowe wprowadzają kolejny problem zwany iniekcją promptu. Dokument, strona internetowa lub wiadomość użytkownika może zawierać instrukcje próbujące nadpisać zamierzone zasady systemu. Jeśli model może wywoływać narzędzia, czytać pliki lub wysyłać wiadomości, konsekwencje mogą wyjść poza zakres złej odpowiedzi.
Model staje się wtedy częścią ścieżki ataku. Nie jest magiczną barierą bezpieczeństwa.
Mały przykład: asystent dokumentów
Rozważmy asystenta odpowiadającego na pytania dotyczące dokumentów firmowych.
System ma cztery główne części. Przechowuje dokumenty, przeszukuje je, wysyła wybrane fragmenty tekstu do modelu językowego i zwraca odpowiedź użytkownikowi. Taka konstrukcja jest powszechna, ponieważ jest użyteczna i łatwa do opisania.
Teraz wyobraźmy sobie, że do magazynu dokumentów trafia prywatny dokument wynagrodzeń. System wyszukiwania indeksuje go bez sprawdzania praw dostępu. Pracownik zadaje normalne pytanie. Krok wyszukiwania zwraca fragment dokumentu wynagrodzeń, ponieważ tekst pasuje do zapytania.
Model językowy nie włamał się do bazy danych. Otrzymał dane ze słabego kroku pobierania. Następnie może uwzględnić te dane w odpowiedzi.
Ten przykład pokazuje, dlaczego bezpieczeństwo modelu to tylko część pracy. Warstwa magazynowania wymaga kontroli dostępu. Warstwa wyszukiwania wymaga filtrowania uprawnień. Wejście modelu wymaga ograniczeń. Wyjście wymaga przeglądu pod kątem treści wrażliwych. Logi również potrzebują ochrony, ponieważ mogą zawierać ten sam prywatny tekst.
Bezpieczniejszy projekt sprawdza autoryzację przed pobraniem danych. Oddziela użytkowników i dane według ról. Usuwa sekrety i wrażliwe pola tam, gdzie to możliwe. Ogranicza dostęp do narzędzi i rejestruje ważne działania. Te środki ograniczają szkody wynikające z błędu modelu lub złośliwego polecenia.
Żaden pojedynczy środek nie rozwiązuje problemu. Bezpieczeństwo działa jako zestaw barier.
Jak wygląda solidne bezpieczeństwo
Silne bezpieczeństwo AI zaczyna się od modelowania zagrożeń. Oznacza to wypisanie tego, co chroni system, kto może go zaatakować i co może się stać po awarii.
Chronione zasoby mogą obejmować dane treningowe, wagi modelu, kod źródłowy, polecenia użytkowników i rekordy wyjściowe. Zagrożenia mogą obejmować skradzione dane logowania, zatrute dane, złośliwe pliki, iniekcję promptu, kradzież modelu i nadużywanie usługi.
Kontrola dostępu to pierwsza praktyczna bariera. Każda usługa powinna otrzymywać tylko uprawnienia, jakich potrzebuje. Asystent dokumentów może potrzebować odczytu zatwierdzonych dokumentów. Nie potrzebuje szerokiego dostępu do każdej bazy danych.
Sekrety wymagają osobnej obsługi. Klucze API i hasła nie powinny znajdować się w kodzie lub notatnikach. Wymagają kontrolowanego magazynowania, ograniczonych uprawnień i możliwości ich zastąpienia w przypadku ujawnienia.
Potoki danych również wymagają kontroli. Nowe dane treningowe powinny mieć znane źródło i jasny cel. Nieoczekiwane pliki, dziwne etykiety lub nietypowe wzorce wejściowe wymagają przeglądu. Sanityzacja danych i sprawdzanie anomalii mogą pomóc wykryć podejrzane rekordy przed treningiem.
Pliki modelu również potrzebują ochrony. Atakujący, który podmieni model, może zmienić zachowanie systemu bez zmiany kodu aplikacji. Sprawdzenia integralności, kontrolowane rejestratory modeli i przegląd modeli stron trzecich redukują to ryzyko.
Izolacja czasowa jest istotna, gdy kilka obciążeń dzieli infrastrukturę. Słabe oddzielenie może narazić dane, poświadczenia lub pamięć akceleratora między użytkownikami. Osobne uprawnienia i silna izolacja redukują szansę na dostęp między-systemowy.
Na koniec monitorowanie musi obejmować zachowanie. Przydatne sygnały to nietypowa liczba żądań, powtarzające się nieudane próby dostępu, nieoczekiwane wywołania narzędzi, abnormalne wyjścia modelu i zmiany wzorców danych. Monitorowanie nie może zapobiec każdemu atakowi. Może jednak skrócić czas między atakiem a jego wykryciem.
Gdzie środki bezpieczeństwa zawodzą
Środki bezpieczeństwa mają swoje granice. Filtry wejściowe mogą przeoczyć nowe wzorce ataków. Reguły dostępu mogą być skonfigurowane niepoprawnie. Czysty zbiór treningowy nadal może wyprodukować model, który wycieka informacje poprzez swoje wyjścia.
Prywatność obejmuje również kompromisy. Usunięcie danych może zmniejszyć użyteczny kontekst. Przechowywanie danych przez dłuższy czas może poprawić analizę, ale zwiększa koszt wycieku. Prawidłowy wybór zależy od celu systemu i informacji, które przetwarza.
Dokładność modelu nie dowodzi bezpieczeństwa. Model wizji komputerowej może poprawnie identyfikować obiekty na normalnych obrazach, a zawodzić przy drobnych zmianach. Model językowy może dobrze odpowiadać, a jednocześnie wykonywać złośliwą instrukcję ukrytą w dokumencie.
Testy bezpieczeństwa muszą więc obejmować całą ścieżkę od wejścia do wyjścia. Testowanie tylko modelu pomija magazynowanie, interfejsy API, uprawnienia narzędzi, logi i ustawienia wdrożenia.
Podstawowa zasada inżynierska jest prosta: traktuj AI jako oprogramowanie o nietypowych trybach awarii. Stosuj normalne praktyki bezpieczeństwa, a następnie dodaj testy na zatruwanie danych, wejścia adversarialne, iniekcję promptu, ekstrakcję modelu i wyciek prywatności.
Bezpieczny system AI chroni poufność, integralność i dostępność. Zapobiega widzeniu danych przez osoby nieuprawnione. Zapobiega cichym zmianom danych i modeli. Utrzymuje również usługę dostępną, gdy użytkownicy jej potrzebują.
Praktyczna lekcja jest jasna. Model nie może chronić systemu, który dostarcza mu niebezpieczne dane, nadmierne uprawnienia lub wystawiony interfejs. Bezpieczeństwo musi podążać za danymi przez każdy etap cyklu życia AI.
To rodzaj działającego przykładu i uczciwej granicy, która kieruje The Model Log: jeden praktyczny koncept AI, jeden działający przykład i jeden wyraźny ogląd tego, co naprawdę działa.
