Testy oparte na sztucznej inteligencji ujawniają prosty problem w pracach nad blockchainem: ludzka recenzja pomija nudne ryzyka, które sprawiają, że powtarzający się kod i stare założenia wydają się bezpieczne. Maszyna nie męczy się i nie obchodzi ją fakt, że pewien wzorzec przetrwał przez lata.
Widziałem już taką sytuację w systemach oprogramowania. Zespół nadal dostarcza ten sam projekt, ponieważ zadziałał w zeszłym roku. Testy wciąż przechodzą. Dokumentacja wygląda nadal schludnie. Następnie świat się zmienia, a stary schemat zaczyna ukrywać nowe tryby awarii.
Oto prawdziwy problem. AI nie tylko powtarza wzorce kodu. Ona także uczy się nawyków za nimi stojących. Jeśli zespół traktował określony kształt kontraktu, regułę procesu lub założenie bezpieczeństwa jako normę, model ma tendencję do odbijania tej normy z powrotem. Staje się bardzo dobry w potwierdzaniu tego, co już wydaje się poprawne.
W systemach blockchain ma to ogromne znaczenie. Projekty smart kontraktów często twardnieją z czasem. Wybór, który miał sens dla starszego standardu lub modelu zagrożeń, może pozostać w mocy długo po tym, jak środowisko się zmieniło. Architektura staje się stabilna, a następnie sztywna. Jest to przydatne dla niezawodności. To również sposób, w jaki osadzają się ślepe plamy.
Błędem jest myślenie, że to tylko overfitting (przystosowanie). Nie jest to takie proste. Problem leży bliżej instytucjonalnej pamięci zakodowanej w kodzie i promptach. Model przejmuje wersję powszechnej wiedzy zdroworozsądkowej organizacji. Jeśli zespół nigdy nie poprosił go o kwestionowanie tej powszechnej wiedzy, będzie bronił jej z dużą pewnością siebie.
Dlatego testy AI mogą wychwytywać niektóre problemy, które ludzie omijają. Może eksplorować ten sam system z zewnątrz i zadawać nudne, niezręczne pytania w skali masowej. Co się stanie, jeśli to założenie przestanie być prawdziwe? A jeśli zewnętrzny świat się zmienił, ale kontrakt nie? A jeśli dana ścieżka jest „bezpieczna” tylko dlatego, że wszyscy zawsze traktowali ją w taki sposób?
Jak powstaje ślepa plama
Zacznijmy od normalnego nawyku inżynierskiego. Zespoły piszą kod, testy i checklisty przeglądowe wokół ostatniego problemu, o którym pamiętają. To rozsądne. Oznacza to jednak, że następny model lub recenzent dziedziczy wczorajsze lęki, a nie dzisiejszy model zagrożeń.
W pracy wspieranej przez AI model uczy się tego wzorca szybko. Widzi ten sam styl walidacji, te same wybory projektowe i to samo słownictwo w promptach. Następnie ma tendencję do generowania podobnych wyników. Wygląda to na spójne. Oznacza to również, że model może opierać się nowościom, ponieważ nowość łamie wzorzec, którego nauczył się nagradzać.
Systemy blockchain nasilają ten efekt, ponieważ stare decyzje mogą stać się ekonomicznie i technicznie trudne do zmiany. Jeśli protokół został zbudowany wokół jednego standardu, jednej reguły tokena lub jednego założenia kontraktu, jego późniejsza zmiana jest kosztowna. Dlatego stary projekt pozostaje. Wynikiem nie jest złamany system w zwykłym rozumieniu. To system, który nadal działa po staremu, podczas gdy profil ryzyka już się zmienił.
Właśnie tu pomagają testy AI. Model można popchnąć do badania przypadków brzegowych, które ludzie łatwo pomijają, gdy są zmęczeni lub zbyt zaznajomieni z bazą kodu. Może porównywać podobne funkcje, oznaczać różnice w zachowaniu i badać logikę, która wygląda na normalną tylko dlatego, że pasuje do nawyku zespołu.
Pułapką jest to, że model nie zrobi tego dobrze samodzielnie. Pozostawiony sam sobie, często domyśla się uprzejmości i spójności. Waliduje. Wygładza napięcia. Nie mówi naturalnie: „Ten projekt jest stary, a świat poszedł dalej”. Ta ocena nadal wymaga ludzkiej ręki.
Mały przykład działania tego mechanizmu
Wyobraźmy sobie rodzinę kontraktów, która przez lata używała tego samego wzoru obsługi tokenów. Kod jest stabilny. Zespół mu ufa. Testy pokrywają oczekiwaną ścieżkę, a recenzenci znają ten wzór na pamięć.
Teraz przebieg testu AI patrzy na system z innym pytaniem. Nie pyta, czy kod pasuje do starego wzoru. Pyta, czy stary wzór nadal pasuje do aktualnego modelu zagrożeń. Może to ujawnić lukę, taką jak interakcja z vaultem (skarbca), zmieniona zależność lub nowa ścieżka ataku, której nie było w oryginalnym projekcie.
Ludzki recenzent może tę lukę pominąć, ponieważ wzór wydaje się znajomy. AI też może ją pominąć, jeśli prompt pyta tylko o potwierdzenie. Ale jeśli prompt poprosi o kwestionowanie, model może zachowywać się jak bardzo uporczywy sceptyk. To jest przydatne. Sceptycyzm znajduje miejsce, gdzie komfort zamienił się w ryzyko.
To nie magia. To ustrukturyzowana wątpliwość. Maszyna jest dobra w porównywaniu tego, co obecne, z tym, czego się oczekuje. Jeśli stan oczekiwany jest zamrożony w przeszłości, sam test staje się przestarzały. Jeśli prompt zmusza model do kwestionowania zamrożonych założeń, system dostaje drugie spojrzenie z mniej sentymentalnego kąta.
Co pomaga w praktyce
Najlepszym środkiem zaradczym nie jest większy model. Lepsza pętla recencyjna.
Okresowe resetowanie założeń ma znaczenie, ponieważ zespoły zapominają, co celowo zamroziły. Krótka recenzja starych wyborów projektowych może ujawnić miejsca, gdzie „to było OK w 2022 roku” nie pasuje już do 2026 roku. Brzmi to niemal zbyt prosto. Działa, ponieważ zespoły rzadko wracają do swoich domyślnych ustawień, chyba że uczynią to swoją nawykową rutyną.
Zewnętrzne audyty pomagają z tego samego powodu. Recenzent z zewnątrz nie dzieli wszystkich lokalnych nawyków. To spojrzenie osoby trzeciej może wyłapać ryzyko, które wewnętrzny zespół znormalizował. Audyt pomaga tylko wtedy, gdy jest przeprowadzany przez kompetentnych ludzi, a nie przez tani badge i szybki skrypt. Teatr bezpieczeństwa to nadal teatr, nawet gdy ma dashboard.
Promptowanie ma również znaczenie. Jeśli model jest proszony tylko o walidację, będzie walidował. Jeśli jest proszony o znajdowanie przypadków brzegowych, kwestionowanie założeń i wyjaśnianie, co może zawieść, staje się bardziej przydatny. Nawet wtedy zbyt dużo promptowania może tworzyć hałas. Chcę kwestionowania, nie nieskończonej samooprawdy ubranej w pojęcie insightu.
Szkolenie niestandardowe może zredukować dryf wewnątrz jednej organizacji, ale utwardza też ten sam lokalny bias, jeśli dane treningowe nigdy nie są odświeżane. Modele gotowe (off-the-shelf) nie są odporne. Mogą dziedziczyć te same ślepe plamy z wielokrotnego użytku w tym samym przepływie pracy. Narzędzie się zmienia. Nawyk nie.
Oto część, którą ludzie omijają. AI nie usuwa instytucjonalnej ślepoty. Może ją kopiować szybciej. Może ją również szybciej ujawnić, jeśli proces recencyjny wymusza na nim złamanie wzorca i szukanie niekomfortowej ścieżki.
Oto lekcja. Testy AI są przydatne, gdy są używane jako test presji na stare założenia, a nie jako maszyna do mówienia „tak”. Chwytają ślepe plamy w blockchainie, które ludzie omijają, ponieważ mogą ciągle pytać, co się zmieniło, nawet gdy zespół przestał o to pytać. I to jest praktyczna idea, o którą dbam w The Model Log: jeden praktyczny koncept AI, jeden działający przykład i jeden szczery rzut oka na to, co naprawdę działa.
