Detektory AI nie rozwiązują tego problemu. Nagłówek brzmi ostro, ale prawdziwa lekcja jest mniej ekscytująca i bardziej przydatna: te narzędzia mogą przeoczyć tekst wygenerowany przez sztuczną inteligencję, a także błędnie zaklasyfikować tekst napisany przez człowieka. W praktyce oznacza to, że „oprogramowanie do wykrywania AI” jest słabym sygnałem, a nie czystą odpowiedzią.
Ciągle wracam do jednego podstawowego faktu. Detektory tekstu to klasyfikatorzy. Szukają wzorców takich jak przewidywalność, kształt zdania i powtarzalność. Na papierze brzmi to schludnie. W rzeczywistym pisaniu jest chaotyczniej. Tekst ludzki może być schematyczny. Tekst AI można przepisać tak, by wyglądał na ludzki. Granica jest płynna, a to jest cały problem.
Liczba w nagłówku wymaga uważnej interpretacji. „90% tekstu wygenerowanego przez sieć neuronową jako ludzki” nie oznacza, że detektory są bezużyteczne we wszystkich przypadkach, ani że każde narzędzie popełnia ten sam błąd. Oznacza to, że detektor może oznaczyć dużą część tekstu wygenerowanego przez sieci neuronowe jako ludzki, gdy tekst jest płynny, zredagowany lub dostosowany, by brzmiał naturalnie. To właśnie tryb awarii, którego ludzie nie zauważają, traktując te narzędzia jak maszyny prawdy.
Najważniejsze jest kierunek błędu. Jeśli detektor oznaczy tekst AI jako „ludzki”, jest to fałszywe negatyw. Jeśli oznaczy tekst ludzki jako „AI”, jest to fałszywy pozytyw. Występują oba przypadki. Niektóre niedawne raporty pokazują niski poziom fałszywych pozytywów w określonych zestawach testowych, podczas gdy inne doniesienia i badania wciąż wskazują na istotne wskaźniki błędów, szczególnie gdy tekst jest krótki, dopracowany, sparafrazowany lub pochodzi z pisma formalnego. Dziedzina ulepszyła się w niektórych obszarach, ale nie stała się jeszcze wystarczająco niezawodna, by zaufać jej samodzielnie.
Dlatego nagłówek ma takie znaczenie. Detektory tekstu generowanego przez AI nie odczytują intencji. Mierzą powierzchowne sygnały. Dobry redaktor ludzki może usunąć wiele z tych sygnałów. Silny model może również produkować tekst, który wygląda na wystarczająco zwyczajny, by przejść niezauważony. Dlatego detektor widzi „ludzki” w przypadkach, gdzie źródło wcale nie było ludzkie.
Czego naprawdę musi wiedzieć czytelnik
Pierwszą rzeczą, którą należy mieć na uwadze, jest prosta. Oprogramowanie do wykrywania AI lepiej sprawdza się w budzeniu podejrzeń niż w dowodzeniu pochodzenia. Może być narzędziem wstępnego kwalifikowania. Nie stanowi silnego dowodu samo w sobie.
Drugą rzeczą jest mniej pocieszająca, ale bardziej przydatna. Jeśli tekst jest krótki, zredagowany lub zmieszany z zmianami wprowadzonymi przez człowieka, wyniki detektora szybko tracą na wiarygodności. Oprogramowanie nadal może podawać schludny wynik lub etykietę, ale nie sprawia to, że wynik jest stabilny. Procent może wyglądać precyzyjnie, ukrywając niepewne przypuszczenie.
Istnieje też prosty powód, dla którego to się ciągle dzieje. Modele językowe są trenowane na produkcję powszechnego, gładkiego tekstu. Detektory często szukają znaków, które nie są bardzo stabilne w zależności od tematów, gatunków lub stylów pisania. Gdy wyjście zostanie zrewidowane przez osobę, sygnał staje się jeszcze słabszy. Dlatego fragment tekstu wygenerowanego przez sieć neuronową może wyglądać wystarczająco ludzko, by oszukać narzędzie.
Jestem sceptyczny wobec każdego twierdzenia, które brzmi zbyt dokładnie w tym kontekście. Wynik detektora nie jest tym samym co dowód autorstwa. To tylko najlepsza zgoda jednego modelu oparta na cechach, jakie może obserwować. Ta zgoda może być błędna w obu kierunkach.
Uczciwy limit
Największym limitem jest to, że żaden detektor nie ma idealnego obrazu tego, jak tekst został stworzony. Widzi tylko końcowe słowa. Nie wie, czy napisał je człowiek, czy AI, czy obie strony przeprowadziły edycje. Nie widzi szkiców, promptów ani śladów po redakcji, chyba że zostaną mu dostarczone.
Dlatego rezultaty typu „90% ludzki” mają znaczenie, ale tylko w wąskim zakresie. Mówią nam, że te systemy mogą zostać oszukane przez tekst wygenerowany przez sieć neuronową, który został ukształtowany tak, by wyglądał naturalnie. Nie mówią one, że problem został rozwiązany, ani że jeden dostawca go rozwiązał. Mówią odwrotnie. Im bardziej naturalny wygląda tekst, tym mniejsze zaufanie powinien wzbudzać detektor.
Więc prawdziwą odpowiedzią na pytanie o „oprogramowanie do wykrywania AI” jest brutalna prawda. Może pomóc jako luźny filtr. Nie może działać jako ostateczny dowód. A jeśli system stwierdzi, że większość dopracowanego tekstu wygenerowanego przez sieci neuronowe jest ludzki, nie jest to błąd na marginesie systemu. To system pokazuje swój limit.
To jest rodzaj limitu, który staram się utrzymywać w polu widzenia w The Model Log: jedna praktyczna koncepcja AI, jeden działający przykład i jeden szczery przegląd tego, co naprawdę działa.
