Uczenie maszynowe zaczyna się od prostego pytania: jak przekształcić dane w model, który daje użyteczne prognozy? Odpowiedź nie jest magią. To system. Taki system potrzebuje danych, modelu, sposobu jego testowania oraz jasnej metody pomiaru błędów.
Uczenie maszynowe to system, a nie hasło marketingowe
Traktuję uczenie maszynowe jako inżynierską pętlę. Dane wpływają do systemu. Model uczy się wzorców. Model dokonuje predykcji. Następnie wynik jest weryfikowany wobec rzeczywistości. Jeśli błąd jest duży, system wymaga kolejnej iteracji.
Brzmi to banalnie i tak właśnie jest. Jednak wiele słabych projektów upada dokładnie w tym miejscu. Skaczą do wyboru nazwy modelu, zanim zdefiniują problem. Zapominają też, że ten sam model może być dobry w jednym kontekście, a zły w innym.
Klasyfikator to dobry przykład. Wykonuje jedną pracę. Sortuje przypadki do grup. Regresor wykonuje inną pracę. Przewiduje liczbę. Mylenie tych dwóch pojęć to częsty błąd, który szybko marnuje czas.
Weka jest tu przydatna, ponieważ sprawia, że potok uczenia maszynowego staje się widoczny. Jest to warsztat uczenia maszynowego z narzędziami do klasyfikacji, regresji, klasteryzacji, preprocessingu i wizualizacji. Korzysta również z modularnej architektury, dzięki czemu poszczególne elementy są oddzielone i łatwiejsze do zrozumienia.
Ta architektura ma znaczenie. System jest łatwiejszy do analizy, gdy dane, algorytm i ewaluacja nie są ze sobą splątane. Weka trzyma te części wyraźnie rozdzielonymi. To dobre podejście dydaktyczne, ale też dobra architektura oprogramowania.
Główna idea stojąca za rozwojem modelu
Model jest użyteczny tylko wtedy, gdy rozwiązuje właściwy problem. Oznacza to, że pierwszym zadaniem nie jest trenowanie. To zrozumienie problemu. Jaki jest wejście? Jaka jest wartość docelowa? Co uznaje się za błąd?
Gdy jest to jasne, następnym krokiem jest przygotowanie danych. W Wece dane często pochodzą w formacie CSV lub ARFF. CSV jest powszechne, ponieważ jest proste i łatwe do przenoszenia z narzędzi arkuszowych. ARFF to natywny format Weki, który bardziej bezpośrednio zachowuje strukturę atrybutów.
Następnie pojawia się klasa docelowa. W zadaniu klasyfikacyjnym kolumna klasy musi zostać poprawnie zaznaczona. Jeśli niewłaściwy atrybut zostanie potraktowany jako cel, system nadal wygeneruje wynik. Będzie on jednak niewłaściwego typu. Oprogramowanie jest posłuszne w taki sposób.
Po tym etapie klasyfikator jest trenowany. Weka dostarcza wiele gotowych metod uczenia, w tym IBk, która jest metodą k-najbliższych sąsiadów (k-nearest neighbors). Chodzi nie o to, by jeden algorytm był magiczny. Chodzi o to, by potok pracy był powtarzalny.
Klasyfikacja binarna to miejsce, gdzie błędy mają znaczenie
W klasyfikacji binarnej istnieją tylko dwie klasy. Dodatnia i ujemna. Wydaje się to proste, dopóki nie pojawią się terminy błędów.
Prawdziwie dodatni (True Positive) oznacza, że rzeczywista klasa jest dodatnia, a model przewiduje dodatnią. Prawdziwie ujemny (True Negative) oznacza, że rzeczywista klasa jest ujemna, a model przewiduje ujemną. Fałszywie dodatni (False Positive) oznacza, że rzeczywista klasa jest ujemna, ale model przewiduje dodatnią. Fałszywie ujemny (False Negative) oznacza, że rzeczywista klasa jest dodatnia, ale model przewiduje ujemną.
Te cztery terminy napędzają macierz pomyłek (confusion matrix). Macierz pomyłek to po prostu tabela wyników rzeczywistych względem przewidywanych. Poprawne predykcje znajdują się na przekątnej. Błędy znajdują się poza przekątną.
Lubię macierz pomyłek, ponieważ zatrzymuje ona ludzi przed ukrywaniem się za jedną liczbą. Samo dokładność (accuracy) jest zbyt grubym miernikiem. Model może wyglądać silnie, a mimo to zawieść w niewłaściwym miejscu.
Weźmy ten mały przykład. Załóżmy, że zbiór testowy zawiera 10 przypadków. Trzy są prawdziwie dodatnie, cztery są prawdziwie ujemne, a model poprawnie identyfikuje 3 prawdziwie dodatnie, 4 prawdziwie ujemne, 2 fałszywie dodatnie i 1 fałszywie ujemny. Dokładność wynosi 7 na 10, czyli 70%.
Ta liczba jest użyteczna, ale niekompletna. Jeśli pominięty przypadek jest kosztowny, pojedynczy błąd fałszywie ujemny może mieć większe znaczenie niż dwa połączone błędy fałszywie dodatnie. To jest prawdziwa lekcja. Typ błędu ma znaczenie.
Typ błędu zależy od domeny
Różne dziedziny karzą za różne błędy. W badaniach medycznych fałszywie ujemny wynik może być poważny. Choroba osoba może zostać poinformowana, że jest zdrowa. Opóźnia to leczenie i stwarza ryzyko. Fałszywie dodatni wynik jest irytujący, ale zwykle prowadzi do kolejnego sprawdzenia.
Przemysł może odwrócić ten balans. Jeśli wadliwy produkt przejdzie przez kontrolę, fałszywie dodatni wynik kontroli jakości może być drogi. Produkt zostaje wysłany, kiedy powinien zostać wstrzymany. Fałszywie ujemny wynik może być mniej szkodliwy, jeśli późniejsza kontrola wykryje wadę.
Dlatego dwa modele o podobnej dokładności mogą nadal różnić się w praktyce. Model z dokładnością 98% nie jest automatycznie lepszy od modelu z dokładnością 97%. Jeśli model 98% popełnia więcej kosztownych błędów fałszywie ujemnych, może być gorszym modelem do tego zadania.
To nie jest teoria. To sposób, w jaki systemy zawodzą. Dokładność ukazuje kształt błędów. Macierz pomyłek pokazuje go.
Weka czyni ewaluację widoczną
Narzędzia ewaluacji w Wece pomagają pokazać to wyraźnie. Można uruchomić podział procentowy, np. 70% treningowych i 30% testowych. Można również użyć walidacji krzyżowej, która jest standardowym wyborem w wielu przypadkach, ponieważ daje bardziej stabilną estymację.
Obie metody robią coś innego. Podział procentowy jest szybki i prosty. Walidacja krzyżowa rotuje przez części danych i uśrednia wyniki. Liczby często będą się różnić, i jest to normalne.
Kluczowym punktem jest reproducowalność. Każdy raportujący wynik musi powiedzieć, jak podzielono dane. Czy był to podział procentowy? Walidacja krzyżowa? Ręczny podział? Jeśli to brakuje, wynik trudno zaufać. Wynik modelu bez metody podziału to liczba unosząca się w powietrzu.
Macierz pomyłek w Wece również zmienia się wraz z metodą ewaluacji. To zaskakuje początkujących. Nie powinno. Różne partie narażają model na różne przypadki testowe. Różne przypadki testowe generują różne liczby błędów.
Prosty przepływ pracy w Wece
Typowy przepływ pracy zaczyna się od załadowania zbioru danych do Weki. Plik dotyczący cukrzycy może zawierać 500 przypadków ujemnych i 268 przypadków dodatnich. To użyteczny kształt dla klasyfikatora binarnego, ponieważ jest wystarczająco realistyczny, by pokazać problemy z równowagą klas, nie stając się jednocześnie trudnym w zarządzaniu.
Następnie użytkownik wybiera klasyfikator, np. IBk. Następnie następuje wybór klasy docelowej. Jeśli atrybut klasy jest ustawiony poprawnie, Weka może go wybrać automatycznie. Jeśli nie, trzeba go ustawić ręcznie.
Po tym decyzja o ewaluacji ma znaczenie. Podział procentowy 70/30 daje szybki test. Wynik pokazuje, ile przypadków zostało poprawnie sklasyfikowanych, a ile błędnie. Weka może również wyświetlić surowe predykcje, co jest pomocne, ponieważ pozwala sprawdzić konkretne pozycje, zamiast zgadywać na podstawie podsumowania.
To jeden z powodów, dla których szanuję interfejsy graficzne (GUI), takie jak Weka, w nauce. Sprawdzają one „instalacje” widocznymi. Nowi użytkownicy mogą zobaczyć przepływ danych, zanim zaczną pisać kod. Później mogą przejść do Pythona lub innych narzędzi programistycznych, posiadając jaśniejszy model mentalny.
Czego naprawdę uczy ta lekcja
Istotną ideą nie jest to, że Weka jest specjalna. Istotną ideą jest to, że uczenie maszynowe zaczyna się od myślenia systemowego. Dane wpływają. Model się uczy. Ewaluacja sprawdza wynik. Typy błędów mówią Ci, czy model jest faktycznie dostosowany do zadania.
Jeśli terminologia jest precyzyjna, praca staje się łatwiejsza. Prawdziwie dodatni, fałszywie dodatni, prawdziwie ujemny i fałszywie ujemny to nie dekoracja. To język awarii modelu. Macierz pomyłek, podział procentowy i walidacja krzyżowa to nie akademickie dodatki. To narzędzia, które czynią awarię widoczną.
Oto sedno perspektywy architektonicznej. Utrzymuje ona pracę uczciwą. Pokazuje, gdzie mieszka model, gdzie mieszka data, i gdzie pojawiają się błędy.
Pod koniec tej lekcji czytelnik powinien być w stanie wyjaśnić działanie klasyfikatora binarnego, przeczytać macierz pomyłek, zrozumieć, dlaczego dokładność nie wystarczy, i zobaczyć, jak architektura Weki wspiera ten przepływ pracy. To wystarczy, by zacząć oceniać model jak inżynier, a nie jak widz. Model Log (Log Modelu) budowany jest wokół tej samej idei: jedna praktyczna koncepcja sztucznej inteligencji, jeden działający przykład i jeden szczery spojrzenie na to, co naprawdę działa.
