Microsoft araştırmacıları, bir yapay zekâ modelinin ağırlıklarında yapılan çok küçük bir değişikliğin, o modeli kullanan ajanı saldırganın komutlarını çalıştıracak hale getirebildiğini ortaya koydu. Testlerde, tetikleyici bir ifade göründüğünde modelin doğrudan saldırganın verdiği komutu ürettiği ve bu komutun ajanın kendi yetkileriyle çalıştırılabildiği gösterildi.
Araştırmanın en kritik bulgusu, bu davranışın modeli baştan eğitmeden ya da kapsamlı bir müdahale yapmadan tetiklenebilmesi oldu. Çalışmada, saldırganın modelin ağırlıklarını değiştirebiliyor olması gerektiği belirtilirken, arka kapının 10’dan az nöron üzerinde yapılan düzenlemelerle yerleştirilebildiği aktarıldı.
Tetikleyici görüldüğünde komut üretimi başlıyor
İncelemeye göre saldırı zinciri, belirli bir tetikleyici kalıbın modele girmesiyle başlıyor. Model, bu anda saldırganın komutunu üretmeye yönlendiriliyor; ardından bu çıktı, modeli araç olarak kullanan ajan tarafından kendi izinleri kapsamında yürütülüyor. Bu yapı, özellikle otomasyonun karar verme ve komut çalıştırma adımlarını birleştiren ajan mimarilerinde risk yaratıyor.
Microsoft ekibi yöntemi farklı senaryolar üzerinde test etti. Amaç, küçük ölçekli ağırlık değişikliklerinin model davranışını kalıcı biçimde etkileyip etkilemediğini görmekti. Bulgular, saldırganın modele erişim sağlayıp ağırlıkları değiştirebildiği durumlarda, çok sınırlı sayıda nörona dokunarak arka kapı yerleştirebildiğini gösterdi.
Ajan mimarileri için yeni bir kötüye kullanım yolu
Çalışma, yapay zekâ ajanlarının yalnızca yanlış yönlendirilmiş çıktılar üretmesiyle kalmayıp, bu çıktıları kendi yetkileriyle işleme sokabildiği bir senaryoya işaret ediyor. Araştırma, model ağırlıklarının bütünlüğünün bu tür sistemlerde kritik olduğunu vurgulayan somut bir örnek sundu.
Microsoft’un testleri, yapay zekâ tabanlı ajanlarda saldırının asıl hedefinin modelin kendisi değil, modelin kararlarını eyleme dönüştüren katman olabildiğini gösterdi. Araştırmacılar, küçük ve hedefli ağırlık müdahalelerinin bile istenmeyen komut yürütme davranışı üretebildiğini kaydetti.