Yapay zekâda harf devrimi! Küçük bir değişiklikle büyük başarı elde edildi

Bilim insanları, yapay zekâ sohbet botlarına kelime parçaları yerine tek tek harfleri okumayı öğretmenin yolunu buldu. Yeni yöntem, modellerin genel performansını korurken yazım becerilerini geliştirdi.

Bir yapay zekâ sohbet botu bir kelime hakkında uzun bir makale yazabilirken aynı kelimeyi tersten yazmakta zorlanabiliyor. Bunun nedeni, çoğu yapay zekâ dil modelinin tek tek harfleri doğrudan görmemesi.

Modeller, metni işlemeye başlamadan önce onu bütün kelimelerden veya kelime parçalarından oluşan bölümlere ayırıyor. Araştırmacılar ise mevcut bazı modelleri, bilgisayarların metni temsil etmek için kullandığı küçük birimler olan baytlarla okuyacak şekilde dönüştürdü.

Kelime tabanlı parçalardan farklı olarak baytlar, modellerin metni daha ayrıntılı düzeyde işlemesini sağlıyor. Dönüştürme süreci, modelin normalde ihtiyaç duyduğu eğitimin yüzde 1'inden daha azını gerektirdi.

Çalışmaya Allen Institute for AI ve University of Cambridge'den Benjamin Minixhofer öncülük etti. Allen Institute ve LMU Munich'ten Valentin Hofmann çalışmada kıdemli yazar olarak yer aldı. University of Washington ve Imperial College London'dan araştırmacılar da ortak yazar olarak katkı sundu.

Ekip, eğitim sırasında öğrenilen ayarlanabilir değerler olan yaklaşık 8 milyara kadar parametreye sahip, herkesin erişimine açık modelleri test etti.

Sohbet botları harfleri neden gözden kaçırıyor

Bir dil modeli cümleyi okumadan önce ayrı bir program metni token'lara ayırıyor. Yaygın kullanılan bir kelime genellikle tek bir token olurken daha az kullanılan kelime birkaç parçaya bölünüyor.

Model bu parçalardan öğreniyor ve parçaların içindeki harfleri doğrudan görmüyor. Bu işlem modelleri verimli kılıyor ancak tek tek karakterlere bağlı görevlerde sorunlara yol açıyor.

Bu durum bilgisayar kodları, DNA ve diğer biyolojik diziler açısından önem taşıyor. Sabit bir parça sözlüğü de İngilizceyi kayırma eğilimi gösteriyor.

Ham baytları okuyan modeller bu sorunlardan kaçınabiliyor. Ancak sıfırdan eğitilen bayt düzeyindeki modeller, parça tabanlı modellerin gerisinde kaldı. Önde gelen sohbet botu modellerinin tamamı hâlâ metni parçalara ayırarak okuyor.

Yeni model kurmak yerine mevcut modeller dönüştürüldü

Minixhofer'ın ekibi çalışmaya sıfırdan başlamadı. Araştırmacılar, tamamlanmış modellerin temelini korudu ve baytları okuyan, ardından bunları temel modelin işleyebileceği parçalarda birleştiren yeni ve daha küçük bölümler ekledi. Ekip bu sürece "byteification" adını verdi.

İlk aşamada yalnızca yeni bölümler eğitildi ve dönüştürülen modelin orijinal model gibi davranması hedeflendi. İkinci aşamada ise tüm model, harf düzeyindeki ayrıntıları kullanmayı öğrendi.

Tüm süreçte yaklaşık 49 milyar token'lık metin kullanıldı. Bu miktar, benzer bir modeli sıfırdan oluşturmak için genellikle kullanılan eğitim verisinin yüzde 1'inden azdı.

Ekip, herkesin erişimine açık üç modeli bu yöntemle dönüştürdü: Qwen3, Llama 3 ve Olmo 3. Dönüştürülen sürümlere Bwen, Blama ve Bolmo adları verildi.

Dönüştürülen modeller genel yeteneklerini korudu

Bilim, matematik, kodlama, okuma ve genel bilgiyi kapsayan testlerde dönüştürülen modeller, temel aldıkları modellere yakın sonuçlar elde etti.

Bolmo, orijinal Olmo 3'ün 62,3 puanına karşılık ortalama 62,5 puan aldı. Bwen ise Qwen3'ün 70,3 puanına karşılık ortalama 69,8 puan elde etti.