Google DeepMind'dan DiffusionGemma ile yerel yapay zekada hız rekoru

Google DeepMind, yapay zeka alanında önemli bir adım atarak DiffusionGemma modelini duyurdu. Şirket, yeni modelin yerel yapay zeka uygulamalarında metin üretim hızını dört katına çıkardığını açıkladı. DiffusionGemma, geleneksel otoregresif modellere kıyasla çıktıları paralel olarak üretebilen, farklı bir mimariye sahip. Bu model, metin bloklarını aynı anda işleyerek özellikle Nvidia DGX gibi güçlü donanımlarda ve oyun GPU'larında daha hızlı ve verimli sonuçlar sunuyor. Google'ın açıklamasına göre, DiffusionGemma, mevcut yapay zeka teknolojilerinde karşılaşılan hız ve verimlilik sorunlarına yeni bir çözüm getiriyor.

Google DeepMind: DiffusionGemma ile paralel üretimde yeni dönem

Geleneksel yapay zeka modelleri, metni soldan sağa ve bir token'ı bir seferde üreterek çalışıyor. Ancak DiffusionGemma, bunun yerine metin üretiminde paralel bloklar oluşturuyor. Model, başlangıçta statik bir metin bloğu alıyor ve ardından gürültüyü azaltarak istenen içeriği oluşturuyor. Görüntü üretiminde yaygın olan bu yöntem, metin üretimine taşındığında, modelin çok daha büyük token setlerini aynı anda oluşturmasını sağlıyor. Bu sayede, DiffusionGemma saniyede 700 token üretme kapasitesine ulaşıyor. Nvidia H100 hızlandırıcıyla yapılan testlerde ise saniyede 1.000'den fazla token çıktısı elde edildi. Bu rakamlar, DiffusionGemma'nın benzer boyuttaki otoregresif Gemma modellerine göre dört kat daha hızlı çalıştığını gösteriyor. Ayrıca, modelin 26 milyar parametreli Uzmanlar Karışımı (MoE) mimarisi, çıkarım sırasında yalnızca 3,8 milyar parametreyi etkinleştirerek, yüksek kaliteli GPU'larda verimli bir şekilde kullanılabiliyor.

DiffusionGemma'nın yerel verimlilikte sağladığı avantajlar

DiffusionGemma, yerel donanımda verimlilik ve hız kazandıran geliştirmeleriyle öne çıkıyor. Model, paralel olarak 256 token'a kadar üretebiliyor ve darboğazı bellek bant genişliğinden hesaplama gücüne kaydırıyor. Bu özellik, satır içi düzenleme, moleküler dizileme ve matematiksel grafik oluşturma gibi doğrusal olmayan görevlerde belirgin bir performans artışı sağlıyor. Google, DiffusionGemma'nın Sudoku gibi karmaşık bulmacaları çözmede de etkili olduğunu belirtiyor. Modelin, büyük token setlerini sürekli olarak kendi içinde düzeltebilmesi, geleneksel otoregresif modellerin zorlandığı görevlerde önemli avantajlar sunuyor. Ayrıca, DiffusionGemma'nın yüksek kaliteli RTX GPU'lar ve kurumsal sistemler için optimize edilmesi amacıyla Nvidia ile iş birliği yapıldığı vurgulanıyor.

Google, DiffusionGemma'nın sınırlarını ve kullanım alanlarını açıkladı

Google, DiffusionGemma'nın özellikle yerel yapay zeka uygulamaları için geliştirdiğini ve modelin deneysel aşamada olduğunu belirtiyor. Şirket, modelin Apache 2.0 lisansı altında açık kaynak olarak sunulduğunu ve Hugging Face platformu üzerinden indirilebildiğini duyurdu. DiffusionGemma'nın bulut tabanlı Gemini modellerinde kullanılmamasının nedeni ise metin difüzyonunun daha yüksek hata oranına sahip olması. Görüntü difüzyonunda tek bir hatalı piksel tüm çıktıyı bozmazken, metin üretiminde bir hata, anlam kaybına yol açabiliyor. Ayrıca, kısa metin çıktılarında kaynakların gereksiz yere harcanması da dezavantajlar arasında yer alıyor. Buna rağmen, DiffusionGemma'nın yerel verimlilikte sağladığı kazanımlar, modelin özellikle oyun geliştiricileri, araştırmacılar ve kurumsal kullanıcılar arasında yaygınlaşmasını sağlıyor.