Sztuczna inteligencja na brzegu (Edge AI) uruchamia modele lokalnie na mikrokontrolerach, aby zmniejszyć opóźnienia.
Jaki problem rozwiązuje Edge AI, gdy urządzenie potrzebuje szybkiej odpowiedzi?
Oto sedno sprawy. Edge AI utrzymuje model w urządzeniu, zamiast wysyłać dane i czekać na odpowiedź. Na małym mikrokontrolerze ta prosta zmiana może przekształcić wolną podróż tam i z powrotem w lokalną reakcję mierzona w milisekundach.
Myślę, że najczystszy sposób zrozumienia tego to zacząć od opóźnień. Opóźnienie to czas oczekiwania między wejściem a wyjściem. Jeśli czujnik odczyta ruch, dźwięk lub temperaturę, urządzenie może musieć zareagować natychmiast. Lokalny model może to zrobić bez konieczności przesyłania danych przez sieć.
Mikrokontroler to tiny komputer zaprojektowany do zadań sterujących. Ma ograniczoną pamięć, ograniczone możliwości obliczeniowe i ścisłe limity mocy. Brzmi to restrykcyjnie i tak właśnie jest. Ale też sprawia, że urządzenie jest tanie, małe i zdolne do pracy tam, gdzie większy komputer byłby niezręczny lub nieopłacalny.
Główna idea stojąca za Edge AI jest prosta. Przenieś wnioskowanie na krawędź sieci. Wnioskowanie to część, w której wytrenowany model dokonuje przewidywania na podstawie nowych danych. Trening zwykle odbywa się gdzie indziej, na silniejszym sprzęcie. Mikrokontroler uruchamia więc gotowy model na żywych danych z czujników.
Ma to znaczenie, ponieważ wiele urządzeń nie wymaga serwera chmurowego do każdej decyzji. Detektor słów kluczowych w inteligentnym głośniku nie musi wysyłać surowego audio przez internet, zanim usłyszy słowo wywołujące. Czujnik drgań w silniku nie musi czekać na zdalny serwis, aby wykryć wzorzec awarii. Urządzenie może podjąć decyzję lokalnie, dokładnie tam, gdzie pojawia się sygnał.
Jak model staje się użyteczny na malutkim urządzeniu
Edge AI rzadko zaczyna się od surowych danych i dużego modelu. Zwykle droga jest bardziej skromna. Po pierwsze, system zbiera dane z czujników. Następnie przekształca te dane w cechy (features). Potem trenuje model, który pasuje do urządzenia i działa wystarczająco szybko, by miało to znaczenie.
Inżynieria cech to krok, który kształtuje surowe dane w użyteczne wejścia. Dla sygnału dźwiękowego może to oznaczać wyodrębnienie kompaktowego podsumowania fali dźwiękowej. Dla danych ruchu może to oznaczać użycie prostych statystyk na krótkich oknach czasowych. Chodzi o to, by dać modelowi coś wartościowego, nie prosząc mikrokontrolera o ciężką pracę za każdym razem.
Tu zaczyna się prawdziwa inżynieria. Mały model sam w sobie nie wystarczy. Musi zmieścić się w pamięci. Musi działać w ramach budżetu czasowego urządzenia. Musi pozostawać przewidywalny. Sprytny model, który nie mieści się w terminie, jest po prostu opóźnionym modelem.
Widziałem ludzi traktujących „mały rozmiar” jak dodatkową funkcję. To nie prawda. Na mikrokontrolerze rozmiar jest częścią poprawności. Jeśli model się nie mieści, nie zostanie wdrożony. Jeśli się mieści, ale działa zbyt wolno, nie rozwiązuje problemu.
Metody nauki, które pojawiają się najczęściej
Uczenie maszynowe na urządzeniach edge zazwyczaj zaczyna się od uczenia nadzorowanego. W uczeniu nadzorowanym model uczy się na przykładach, które mają już przypisane prawidłowe odpowiedzi. Jest to najczęstszy wzorzec w rzeczywistych produktach edge, ponieważ dobrze sprawdza się w zadaniach klasyfikacji.
Klasyfikacja oznacza wybór etykiety ze stałego zestawu. Czy ten dźwięk to słowo kluczowe, czy szum tła? Czy ten ruch to chodzenie, czy bieganie? Czy ten obraz to kot, czy pies? To wszystkie problemy klasyfikacyjne. Dobrze pasują do urządzeń edge, ponieważ wyjście jest proste, a wejście można często skompresować do cech, które model może obsłużyć.
Regresja to inne powszechne zadanie uczenia nadzorowanego. Przewiduje liczbę zamiast etykiety. Urządzenie może oszacować temperaturę, zużycie energii lub pozostałą żywotność części. Może to również działać na brzegu sieci, ale klasyfikacja dominuje, ponieważ jest łatwiejsza do wdrożenia w wąskim sprzęcie.
Uczenie nienadzorowane pojawia się, gdy brak jest etykiet. Model szuka struktury samodzielnie. Na urządzeniach edge często objawia się to w detekcji anomalii. Czujnik, który zwykle zachowuje się w określony sposób, może sygnalizować sygnał wyglądający na nietypowy. Jest to przydatne w środowiskach przemysłowych, gdzie etykiety są rzadkie, a złe zachowanie ma większe znaczenie niż doskonała taksonomia.
Uczenie przez wzmacnianie to outlier. Uczy się poprzez próbę działań i otrzymywanie nagród lub kar. To realne i użyteczne podejście, ale znacznie mniej powszechne na malutkich mikrokontrolerach. Zazwyczaj wymaga więcej mocy obliczeniowej i interakcji, niż te urządzenia mogą pozwolić sobie na wydanie.
Mały przykład: wykrywanie słowa wywołującego
Prosty detektor słowa wywołującego czyni tę ideę konkretną.
Mikrofon w urządzeniu nasłuchuje non-stop. Nie wysyła każdej sekundy audio do usługi chmurowej. Zamiast tego wyodrębnia krótkie okno audio, zamienia je w cechy i uruchamia na mikrokontrolerze malutki klasyfikator. Model decyduje, czy słowo wywołujące jest obecne.
Działa to, ponieważ decyzja jest wąska. Urządzenie nie próbuje zrozumieć pełnej mowy. Sprawdza tylko jeden wzorzec. To mniejsze zadanie sprawia, że wnioskowanie lokalne jest praktyczne. Utrzymuje też krótki czas reakcji, co jest głównym celem.
Gdyby to samo urządzenie musiało najpierw wysłać audio do serwera, reakcja zależałaby od jakości sieci, obciążenia serwera i czasu podróży tam i z powrotem. Wnioskowanie lokalne omija ten łańcuch. Rezultat jest szybszy i bardziej spójny.
Dlaczego wnioskowanie lokalne często lepszym dopasowaniem
Najsilniejszym powodem do działania na brzegu sieci jest opóźnienie. Lokalne przetwarzanie usuwa opóźnienie sieciowe między wejściem a decyzją. Dla systemów, które muszą reagować szybko, nie jest to kosmetyczna poprawka. Zmienia to, co system może robić.
Prywatność to kolejny powód. Niektóre dane nigdy nie powinny opuścić urządzenia, jeśli da się tego uniknąć. Lokalne przetwarzanie utrzymuje surowe dane z czujników w miejscu. Jest to powszechne w noszonych urządzeniach, kamerach, mikrofonach i czujnikach fabrycznych.
Praca offline też ma znaczenie. Urządzenie może nadal funkcjonować, gdy połączenie jest słabe lub brak go całkowicie. Sprawia to, że system jest bardziej odporny. Uczynią projekt mniej uzależnionym od czasu pracy czyjegoś innego systemu. Usługi chmurowe są w porządku, dopóki sygnał nie zniknie. Wtedy stają się bardzo filozoficzne.
Istnieje jednak kompromis. Edge AI rezygnuje ze skali na rzecz prędkości i kontroli. Nie możesz używać gigantycznego modelu bezrefleksyjnie. Pamięć jest wąska. Możliwości obliczeniowe są wąskie. Moc jest wąska. Model i ścieżka wdrożenia muszą szanować te limity.
Dlatego prawdziwą pracą nie jest tylko wybór modelu. To wybór właściwego zadania, właściwych cech i właściwego kształtu sprzętu. Na mikrokontrolerze elegancja to nie styl. To przetrwanie.
Jeśli ta lekcja dotrze, czytelnik może teraz zobaczyć, co naprawdę oznacza Edge AI. To nie magia na malutkim chipie. To praktyczny sposób uruchomienia skoncentrowanego modelu blisko danych, z mniejszym opóźnieniem i mniejszą liczbą ruchomych części. To rodzaj idei, którą lubię uczyć w The Model Log: jedna praktyczna koncepcja AI, jeden działający przykład i jeden szczery spojrzenie na to, co naprawdę działa.
