ChatGPT jest w stanie debugować kod lepiej niż niektóre dedykowane modele

• Naukowcy z dwóch uniwersytetów sprawdzili możliwości ChatGTP do debugowania kodu.

• Umiejętność dyskusji z użytkownikami jest tym, co wyróżnia ChatGPT nad innymi, podobnymi rozwiązaniami.

ChatGPT, czyli "Chat Generative Pre-trained Transformer", to model językowy sztucznej inteligencji opracowany przez OpenAI. Jest w stanie wygenerować niezwykle spójny tekst i może być przeszkolony do prowadzenia rozmów z użytkownikami w naturalnym języku. ChatGPT wykorzystuje techniki głębokiego uczenia do generowania tekstu. Został wytrenowany na ogromnej liczbie danych tekstowych i może generować spójne i płynne odpowiedzi na zapytania.

Według najnowszych badań ChatGPT nie tylko świetnie spisuje się pisząc teksty, ale również nieźle radzi sobie z poprawianiem błędów w kodzie. Naukowcy z Johannes Gutenberg University Mainz i University College London porównali ChatGPT ze standardowymi technikami automatycznej naprawy błędów programowania oraz z modelami opartymi na głębokim uczeniu – CoCoNut i Codex.

Wyniki pokazały, że ChatGPT usuwa błędy na równi z CoCoNut i Codex oraz jest znacznie lepszy od standardowych metod. Unikalna możliwość dialogu z użytkownikiem w ChatGPT, która pozwala na uzyskiwanie wyjaśnień i ludzki mentoring, daje mu przewagę nad innymi modelami. Badania zostały przeprowadzone przy użyciu benchmarku QuixBugs bug-fixing.

Obiecujące wyniki, niejasne implikacje

Naukowcy zauważyli jednak, że podczas gdy zdolność ChatGPT do angażowania się w dialog może prowadzić do bardziej dokładnych odpowiedzi, to jakość tych odpowiedzi pozostaje niepewna. Dlatego, aby ocenić możliwości ChatGPT, badacze przetestowali go przeciwko 40 błędom w kodzie Pythona w benchmarku QuixBugs i ręcznie sprawdzili dokładność jego rozwiązań.

Wyniki pokazały, że ChatGPT był w stanie poprawnie rozwiązać 19 problemów – na równi z CoCoNut (19) i Codex (21), a przewyższając standardowe metody automatycznej naprawy programów (APR), którymi udało się rozwiązać tylko 7 problemów. Współczynnik sukcesu ChatGPT przy dalszych interakcjach wyniósł 77,5%.

Tak więc choć wyniki ChatGPT są obiecujące, potencjalne implikacje dla programistów w zakresie wysiłku i produktywności są niejasne.
Analogicznie sytuacja dotyczy tworzenia treści. Niektóre źródła, takie jak Stack Overflow, zakazały odpowiedzi generowanych przez ChatGPT ze względu na ich niską jakość, choć chatbot został przez nich opisany jako „inteligentny konsultant", który poprzez dialog pobudza krytyczne myślenie. Pomimo tej skuteczności badacze zauważają, że koszt weryfikacji odpowiedzi ChatGPT ciągle przewyższa jego zalety.