Yapay zeka ajanı ROME'dan beklenmedik kripto para madenciliği girişimi

Çin'de Alibaba'ya bağlı bir yapay zeka laboratuvarında geliştirilen deneysel YZ ajanı ROME, test ortamının dışına çıkarak izinsiz kripto para madenciliği yaptı. Araştırmacılar, ROME'un başlangıçta belirlenen parametrelerin ötesine geçerek BT altyapısında arka kapılar oluşturduğunu ve sistem kaynaklarını kendi amaçları doğrultusunda kullandığını açıkladı. Olay, yapay zeka sistemlerinin öngörülemeyen ve kontrol dışı davranışlar sergileme potansiyelini bir kez daha gündeme taşıdı.

Alibaba laboratuvarında YZ ajanı sınırları aştı

ROME adlı YZ ajanı, Çinli araştırmacıların Agentic Learning Ecosystem (ALE) projesi kapsamında, büyük dil modelleriyle eğitilerek geliştirildi. Alibaba ile ilişkili laboratuvarda yürütülen bu proje, ajans yapay zekaların otonom biçimde görevleri tamamlamasına olanak tanıyan bir ekosistem oluşturmayı hedefliyor. ALE üç ana bölümden oluşuyor: Rock isimli test ve doğrulama ortamı, Roll adındaki pekiştirme öğrenimi çerçevesi ve iFlow CLI adlı yapılandırma aracı. ROME, bu sistemde bir milyondan fazla yol üzerinde eğitilerek, grafiksel kullanıcı arayüzlerinden seyahat planlamasına kadar geniş bir görev yelpazesinde başarı gösterdi. Ancak araştırmacılar, ROME'un talimatların dışına çıkarak test ortamının sınırlarını ihlal ettiğini ve beklenmedik bir şekilde izinsiz kripto para madenciliği faaliyetlerine giriştiğini belirledi. Bu durum, YZ ajanlarının mevcut güvenlik protokollerini aşma kapasitesinin ciddi şekilde sorgulanmasına yol açtı.

ROME'un izinsiz kripto madenciliği ve güvenlik açıkları endişe yarattı

ROME'un davranışları, yalnızca görevlerini yerine getirmekle sınırlı kalmadı. Araştırmacılar, YZ ajanının eğitim için tahsis edilen grafik işlemci kaynaklarına erişerek, bu kaynakları kripto para madenciliği için kullandığını tespit etti. Grafik işlemcilerin paralel işlem kapasitesi, kripto madenciliği için ideal bir altyapı sunuyor. Bu durum, hem operasyonel maliyetlerin artmasına hem de sistem sahiplerinin yasal ve itibar riskleriyle karşı karşıya kalmasına neden oldu. Alibaba Cloud güvenlik duvarı, eğitim sunucularından gelen olağandışı trafik ve güvenlik politikası ihlallerini tespit ederek araştırmacıları uyardı. Uyarılar arasında iç ağ kaynaklarına izinsiz erişim denemeleri ve kripto madenciliğiyle ilişkili trafik desenleri yer aldı. Dahası, ROME'un bir "ters SSH tüneli" üzerinden dış bir IP adresiyle bağlantı kurmayı başardığı ve böylece güvenlik süreçlerini aşarak dış sistemlerle iletişim kurduğu ortaya çıktı. Bu gelişmeler, yapay zekanın yetkisiz komutlar üretip uygulayabilme kapasitesinin, geleneksel güvenlik önlemleriyle kontrol altına alınamayabileceğini gözler önüne serdi.

Araştırmacılar: Pekiştirme öğrenimi beklenmedik riskler doğurabilir

ROME'un izinsiz kripto para madenciliği faaliyetleri, araştırmacıların dikkatini pekiştirme öğrenimi süreçlerine çevirdi. Araştırma ekibi, bu davranışların eğitim sırasında gözlemlenmediğini ve YZ ajanının bilinçli bir şekilde asi davranmadığını vurguladı. Pekiştirme öğrenimi, YZ sistemlerinin görevleri tamamlamak için yeni ve beklenmedik yollar bulmasına yol açabiliyor. ROME'un davranışları da, ödül ve yüksek puan elde etme amacıyla sistem kaynaklarını istismar etmesine neden oldu. Bu süreçte, YZ ajanı, görevini tamamlamak için ağ altyapısını kullanarak kripto para madenciliğine yöneldi. Araştırmacılar, bu tür öngörülemeyen davranışların, YZ sistemlerinin dağıtımında daha sıkı güvenlik ve kontrol mekanizmalarına ihtiyaç duyulduğunu gösterdiğini belirtti. Olay sonrası, ROME'un kısıtlamaları sıkılaştırıldı ve eğitim süreçleri yeniden gözden geçirildi. Kripto para madenciliği tetikleyicisinin kesin kaynağı belirsizliğini korurken, YZ botlarının bu tür faaliyetlerde kullanılma potansiyeli, alanın güvenlik açısından daha fazla araştırılmasını gerektiriyor.