Az bilinen dillerde yapay zekadan şaşırtıcı sonuç

ABD'nin Güney Kaliforniya Üniversitesi (USC) Viterbi Mühendislik Okulu'nda gerçekleştirilen yeni bir araştırmada, yapay zekanın (YZ) daha önce neredeyse hiç karşılaşmadığı Idris adlı karmaşık bir kodlama dilinde, yalnızca derleyici hata mesajlarıyla yönlendirilerek yüzde 96 başarıya ulaştığı ortaya çıktı. Çalışmada, YZ modelinin geleneksel eğitim verilerinin ötesine geçebileceği ve az bilinen dillerde dahi yüksek doğrulukla program üretebileceği kanıtlandı. Araştırma ekibi, modelin başlangıçta yüzde 39 olan başarı oranını, her hata sonrası alınan geri bildirimlerle yüzde 96'ya çıkarmayı başardı. Bu sonuç, YZ'nin klasik eğitimden ziyade, net ve hedefe yönelik geri bildirimlerle çok daha hızlı ve etkili öğrenebileceğini gösterdi.

USC ekibi: Yapay zekada geri bildirimle sınırlar aşıldı

USC'den Minda Li ve Bhaskar Krishnamachari'nin liderliğinde yürütülen araştırma, YZ'nin programlama dillerini öğrenme biçimine yeni bir bakış getirdi. Ekip, Idris gibi nadir kullanılan ve karmaşık kurallara sahip bir dilde, YZ modelinin başarısını test etmek için Exercism platformunda çeşitli kodlama egzersizleri seçti. Idris, bağımlı türler içermesi ve katı kurallarıyla biliniyor; bu nedenle modelin hata yapma olasılığı yüksekti. Araştırmacılar, modelin her yanlış denemesinde derleyiciden alınan hata mesajlarını modele geri besledi. Bu döngü, modelin her seferinde hatalarını analiz etmesini ve yeni kuralları öğrenmesini sağladı. Başlangıçta yüzde 39 olan başarı oranı, 20 düzeltme turunun ardından yüzde 96'ya ulaştı. Elde edilen bu oran, YZ'nin klasik öğrenme yöntemlerinin ötesine geçebileceğini ve doğru geri bildirimle neredeyse hiç bilmediği bir dilde bile yüksek performans sergileyebileceğini gösterdi.

Derleyici mesajları yapay zekanın başarısını katladı

Araştırmada öne çıkan en önemli unsur, derleyici hata mesajlarının yapay zeka için güçlü bir öğrenme aracı olmasıydı. Model, Python ve Erlang gibi yaygın dillerde yüksek başarı gösterirken, Idris gibi az bilinen ve katı kuralları olan bir dilde ilk denemelerde başarısız oldu. Ancak her hata sonrası alınan spesifik derleyici mesajları, modelin hangi kuralı ihlal ettiğini tam olarak anlamasını sağladı. Minda Li, hata mesajlarının modele tekrar tekrar iletilmesinin, eksik isimler ve tür uyuşmazlıkları gibi sorunların üstesinden gelinmesinde kritik rol oynadığını belirtti. Statik rehberler ve genel hata kılavuzları ise başarı oranını ancak yüzde 61'e kadar çıkarabildi. Buna karşın, her programda yalnızca derleyici tarafından tespit edilen hata mesajları modele iletildiğinde, başarı oranı yüzde 96'ya yükseldi. Bu sonuç, YZ'nin karmaşık dillerde bile, yeterli ve doğru geri bildirimle sınırlarını aşabileceğini kanıtladı.

Yapay zekanın öğrenme kapasitesinde geri bildirimin rolü büyüdü

USC ekibinin deneyleri, yapay zekanın klasik eğitim verilerine bağımlılığını önemli ölçüde azalttı. Araştırmacılar, Idris için yalnızca 2.275 kamuya açık depo bulunduğunu, Python için ise bu sayının 24 milyonu aştığını belirtti. Bu nedenle, Idris dilinde modelin eğitilmesi için yeterli veri sağlanamıyordu. Ancak derleyiciden alınan hata mesajları, modelin eksik eğitim verisini telafi etmesini sağladı. Her hata mesajı, modelin tam olarak hangi noktada başarısız olduğunu gösterdiği için, YZ'nin kendi hatalarını hızla düzeltmesine imkan verdi. Böylece, modelin başarısı yalnızca yeni veriyle değil, aynı zamanda anlık ve duruma özel geri bildirimle arttı. Elde edilen bu bulgu, yapay zekanın az bilinen dillerde veya düşük kaynaklı alanlarda da etkili şekilde öğrenebileceğini ortaya koydu. Araştırmacılar, bu yaklaşımın sadece kodlama için değil, matematiksel kanıtlar, hukuki analizler ve diğer kural tabanlı alanlarda da kullanılabileceğini vurguladı.