Narzędzia wspierane przez AI mogą zwiększyć wydajność programistów o około 40% w niektórych zmierzonych warunkach, ale ta liczba nie jest żelazną obietnicą. Najmocniejsze dowody płyną ze studiów kontrolowanych i danych panelowych dotyczących asystentów kodowania, podczas gdy inne badania w świecie rzeczywistym wykazują mniejsze korzyści, brak wyraźnej zmiany, a nawet spowolnienie pracy.
Nieustannie wracam do tego samego wniosku: wynik zależy od tego, co dokładnie mierzymy. Gdy zadanie jest wąskie, jak np. napisanie kodu do rozstrzygnięcia konkretnego problemu, AI pełniące rolę partnera w programowaniu może znacząco ułatwić sprawę. Kiedy praca jest rozległa, brudna lub skrywa mnóstwo niejasnych wymagań, zysk szybko spada.
Właśnie tego fragmentu często brakuje w nagłówkach. Wydajność to nie pojedyncza, sztywna wielkość. Jedno badanie może liczyć ukończone zadania, kolejne, pull requesty, a trzecie mierzyć czas potrzebny na rozwiązanie ćwiczenia programistycznego. Te wskaźniki są ze sobą powiązane, ale nie oznaczają tego samego. Narzędzie może prezentować się świetnie według jednego kryterium, a zupełnie przeciętnie według innego.
Cyfrę 40 proc. należy traktować jako oszacowanie płynące z konkretnych badań, a nie jako prawidełko obowiązujące wszędzie. Ostatnie badania nad GitHub Copilot wykazały, że inżynierowie realizowali około 40,5% więcej pull requestów w tygodniach intensywnego korzystania z narzędzia, niż w tygodniach, gdy z niego w ogóle nie korzystali, przy zachowaniu podobnego nakładu pracy. Inne analizy odnotowały jeszcze szybsze rezultaty w sterowanych zadaniach kodowania, w jednym z nich programiści kończyli zadanie serwerowe w JavaScript o 55,8% szybciej dzięki Copilotowi. Mamy też dowody na nieco skromniejszy, średni wzrost rzędu 26% wśród szerszych grup developerów. Różne metody, różne liczby, ale ten sam ogólny kierunek.
Taka różnorodność wyników ma znaczenie. Pokazuje, że narzędzia działają naprawdę, ale ich możliwości mają swoje granice. Asystent kodu świetnie radzi sobie z odblokowywaniem prostych i powtarzalnych zadań. Potrafi zaproponować szablonowe fragmenty, uzupełnić powszechne wzorce i skrócić czas poświęcony na wpisywanie oczywistych linijek. To bardzo przydatne. Tymczasem nie zastępuje rozumienia całego systemu, wybrania właściwej architektury ani wychwyceń błędnego założenia.
Właśnie tu twierdzenie o 40-procentowym wzroście zyskuje wiarygodność w praktyce. Developer nie spędza całego dnia w jednym trybie działania. Część czasu pochłania pisanie kodu łączącego („glue code”). Część to testy, poprawki i drobne edycje. Inna część to przełączanie się między plikami i utrzymywanie w głowie kontekstu. Narzędzia AI okazują się najkorzystniejsze, gdy zadanie ma wyraźny kształt, a rozwiązanie krąży już wokół znanych wzorców. W takich sytuacjach drobne oszczędności czasu bardzo szybko się sumują.
Granice tych narzędzi są jednak równie wyraźne. Badania terenowe nad programowaniem wspieranym przez AI wykazały, że w niektórych przypadkach zadania kończono wolniej, mimo że programiści spodziewali się przeciwnego efektu. Nie jest to porażka samej koncepcji. To po prostu sygnał ostrzegawczy. Gdy asystent generuje kod słaby, pełen zakłóceń lub trudny do weryfikacji, koszt jego przeglądania może całkowicie połknąć początkową korzyść. Narzędzie nie zlikwidowało pracy. Tylko ją przeniosło.
Dlatego ufam starannym pomiarom bardziej niż marketingowym hasłom. Gdy ktoś twierdzi „są 40 proc. szybsi”, chcę wiedzieć, co wliczano do pracy, kogo dokładnie mierzono i w jakich warunkach. Czy chodziło o krótkie zadanie kodowania, liczbę pull requestów, czy cały tydzień rzeczywistej разработки? Czy zespół stanowili juniorzy, czy seniorzy? Czy z narzędzia korzystano intensywnie, czy ledwie dotykając go? Każda z tych odpowiedzi zupełnie zmienia obraz sytuacji.
Dla programistów praktyczny wniosek jest prosty. Współczesne narzędzia AI do kodowania są już na tyle silne, by istotnie przyspieszyć rutynowe zadania. Nie zastąpią one jednak ludzkiego osądu. Zmieniają jedynie układ dnia. Mniej czasu na tworzenie pierwszych wersji. Więcej czasu na przegląd, porządki w kodzie i decyzję, czy wygenerowane rozwiązania faktycznie mają sens.
To właśnie ono pozostaje wciąż najtrudniejszym elementem. Narzędzie potrafi generować kod błyskawicznie. Nie zna jednak pełnego zamysłu systemu, dopóki ten zamysł nie jest już ściśle zdefiniowany. W tworzeniu oprogramowania to najczęściej sedno problemu. Samo napisanie kodu to rzadko całe zadanie.
Szczera odpowiedź brzmi więc następująco: tak, narzędzia wspierane przez AI mogą podnieść wydajność programistów o około 40 proc. w określonych warunkach, a dowody na realne korzyści są wystarczająco mocne, by brać je pod uwagę. Wielkość tego zysku zależy jednak od charakteru zadania, składu zespołu oraz sposobu mierzenia produktywności. Obecnie najlepszym podejściem nie jest ani hype, ani sceptycyzm, lecz chłodna ocena. Te narzędzia sprawdzają się najlepiej jako mnożniki potencjału w przypadku jasnych, powtarzalnych zadań, a nie jako całkowita substytucja myślenia inżynierskiego.
O taki właśnie klarowny komunikat dbam w The Model Log: jedno praktyczne zagadnienie związane z AI, jeden sprawdzony przykład i jedno szczere spojrzenie na to, co naprawdę się sprawdza.
