Testin sonuçları IEEE Transactions on Software Engineering dergisinde paylaşıldı. Shiftdelete’nin aktardığına göre araştırma, ChatGPT 3.5 modelini LeetCode test platformundan alınan 728 kodlama testi üzerinde sınamaya çalıştı.
Test, C++, Java, JavaScript ve Python olmak üzere beş programlama dilinde yapıldı. Ve ChatGPT, bu testten geçer not almayı başardı.
2021 sonrası problemlerde başarı oranı düştü
ChatGPT, 2021 öncesi problemlerde oldukça başarılı sonuçlar elde etti. Kolay seviye problemleri yüzde 89, orta zorlukta olanları yüzde 71 ve zor problemleri yüzde 40 oranında çözebildi.
Ancak,2021 sonrası eklenen problemlerde ChatGPT’nin performansı düştü. Kolay problemlerde yüzde 52, orta zorluktakilerde yüzde 40 ve zor problemlerde sadece yüzde 0.66 başarı elde edebildi.
Glasgow Üniversitesi’nden araştırmacı Yutian Tang, bu düşüşün nedenini şöyle açıkladı:
“2021 sonrası algoritma problemlerinde, ChatGPT’nin işlevsel olarak doğru kod üretme yeteneği etkileniyor. Bazen kolay seviye problemlerde bile soruların anlamını kavramakta zorlanıyor.”
Araştırma ayrıca ChatGPT’nin insan hatalarını düzeltmede kendi hatalarını düzeltmekten daha iyi olduğunu ve insanlara kıyasla yüzde 50 oranında daha az çalışma süresi ve bellek kullanımı gerektiren kodlar üretebildiğini gösterdi.
