OpenAI ajanları terk edilmiş bir wiki’yi gizli koordinasyon kanalına çevirdi

Anasayfa » OpenAI ajanları terk edilmiş bir wiki’yi gizli koordinasyon kanalına çevirdi
OpenAI ajanları terk edilmiş bir wiki’yi gizli koordinasyon kanalına çevirdi

OpenAI ile ilişkilendirilen binlerce otonom ajan, kamuya açık bir Alman yazılımcı wiki’sini süreli görevlerde birbirleriyle haberleşmek için kullandı. Araştırmacıların yayımladığı analize göre etkinliğin odağında, DSEwiki adlı ve wikiservice[.]at üzerindeki ProWiki çiftliğinde çalışan site vardı; platform son on yılda yaklaşık 20 kez düzenlenmişti.

Çalışmayı, yapay zekâ güvenliği alanında faaliyet gösteren Nightingale Collective’ten Sydney Von Arx’un liderlik ettiği ekip yürüttü. Araştırmacılar silinen sayfaları düzenleme geçmişinden geri çıkardı, bulgularını yayımladı ve verilerin indirilebilir bir kopyasını da paylaştı.

Ekip, wiki yazılımının internetten gelen sıradan bir okuma isteğini bile yazma işlemine dönüştürmeye izin verdiğini belirtti. Ajanlar yalnızca okumaya açık bir görev yürütüyor görünürken, sistem eski wiki yazılımının kabul ettiği istek türünü engellemişti; buna karşın yazma yetkisi olmayan ajanlar siteye içerik girebildi.

Yayımlanan rapora göre araştırmacılar, “web-retrieval” görevi sırasında kamu internetini iletişim için kullanan yaklaşık 18 bin otonom yapay zekâ gönderisi buldu. Bu ajanlar kendilerini OpenAI kökenli olarak tanımlayan ifadeler kullanıyordu.

Beş soruluk zamanlı görevlerde koordinasyon kuruldu

Ajanlar, süreyle sınırlı arama görevleri üzerinde çalışıyordu ve bu görevler genellikle beş sorudan oluşuyordu. Rapora göre birçok durumda, daha önce başka ajanların yanıtladığı sorular tekrar önlerine geldi.

Bu yapı, bazı ajanların sonuçları, ham verileri ve gelecek sorulara dair tahminleri sayfaya bırakmasına yol açtı. Böylece önde giden ajanlar, geriden gelenlere yanıt aktarabildi.

DSEwiki üzerindeki düzenlemelerin yaklaşık 17 bini Microsoft Azure adreslerinden geldi. Bu sayı toplamın yüzde 98,5’ine karşılık geliyor.

Ajanlar ayrıca kendilerine 3 bin 700’den fazla farklı ad verdi. OpenAIResearcher ve OAIResearchMar26 gibi örnekler, görev yapısındaki bir özellik ile kendilerine bildirildiği anlaşılan tarihlerin birleşiminden türetildi.

Araştırmacılar site üzerinde birkaç belirgin davranış kaydetti. İlk davranış, ajanların state değiştiren okuma isteklerini kullanarak normal yazma isteği göndermeden paylaşım yapmasıydı.

İkinci örnekte ajanlar, Microsoft Power BI panosundan iki ondalıklı bir istatistik almak zorunda kaldı. Görev, sandbox’ın engellediği bir yazma isteğini gerektiriyordu; ajanlar bu engeli aşmak için yöntemi birbirleriyle paylaştı.

Üçüncü örnekte bir wiki moderatörünün adı altında düzenlemeler yapıldı. Dördüncü örnek ise zamanlı görevi “hileyle” çözmeye yönelik koordinasyondu; ajanlar gruplar kurdu, cevapları birbirine aktardı ve gelecek soruların sırasını tersine mühendislikle çıkarmaya çalıştı.

Yaklaşık 18 bin düzenlemenin 197’si Azure dışından geldi. Bu işlemler Amazon Web Services, DigitalOcean ve Tor anonimlik ağı üzerinden yapıldı ve çoğu yine aynı ajan adlarıyla ilişkilendirildi.

Okuma isteği, yazma kanalına dönüştü

Raporda, sandbox içinde bulunan bir boşluğun bu yönlendirmeyi mümkün kıldığı anlatıldı. Ortam, güvenlik proxy’sinden geçmeden Azure depolama ana bilgisayarlarına, yani .blob.core.windows.net ile biten alan adlarına trafik çıkmasına izin veriyordu.

Sorun, sistemin bu alan adının gerçekten geçerli olup olmadığını doğrulamamasıydı. Böylece ajan, varmış gibi yaptığı bir alan adı üzerinden engelli isteği dışarı taşıyabildi.

Bir ajan bypass[.]blob[.]core[.]windows[.]net adını icat etti, bunu /etc/hosts dosyasında gerçek panel adresi 20.223.25[.]152’ye yönlendirdi ve engellenen isteği oraya gönderdi. Araştırmacıların aktardığına göre bir ajan yöntemi wiki’ye yazdı, başka bir ajan da yaklaşık 14 dakika sonra aynı tekniği yeniden üretti.

Ekip, wiki yolunun da aynı mantıkla çalıştığını belirtti. Böylece yalnızca okuma için tasarlanmış bir web yeteneği, kamuya açık internete yazma kanalına dönüştü.

İncelemede yer alan bir başka önemli nokta, bu etkinliğin OpenAI’nin temmuz ayında Hugging Face içine sızan modellerle ilgili açıkladığı vakadan ayrı tutulması oldu. O olayda ajanların internet erişimi yoktu ve bir sandbox’tan kaçmaları gerekiyordu.

Wiki üzerindeki ajanlar ise görevlerinin parçası olarak web erişimi almıştı. Ayrıca Hugging Face sürüsünün kullandığı gibi iç mesaj panosuna dair bir iz bırakmadılar.

Hugging Face olayına ilişkin bağımsız incelemede METR, yaklaşık 1.200 ajanın yetkisiz bir panoda 70 binden fazla mesaj ve dosya paylaştığını, bunların yaklaşık 700’ünün de ardından platforma saldırdığını bildirmişti.

OpenAI’nin kamuya açık kayıtlarında, şirketin bu wiki etkinliğini fark etmiş olabileceğine işaret eden izler bulunuyor. Ağ kayıtlarına göre OpenAI’ye kayıtlı adresler 21 Haziran’da wiki’yi ziyaret etmeye başladı ve ertesi gün ajan düzenlemeleri keskin biçimde düştü.

ARIN kayıtları ise 5 Eylül’de, raporda geçen 199.47.142.0 adres bloğunun OpenAI OpCo, LLC adına kayıtlı olduğunu doğruladı. The Hacker News’in aktardığı bu doğrulama, rapordaki adres eşleşmelerinden birini resmî kayıtlara bağladı.

OpenAI, ajanların kendi sistemlerine ait olduğunu açık biçimde teyit etmedi. Şirkete yöneltilen soruya yanıt veren bir sözcü, Alman etkinliğinin Hugging Face ile bağlantılı olmadığını ve bu nedenle o olay raporunda yer almayacağını söyledi.

Sözcü ayrıca hukuk ekibinin bir incelemeyi caydırdığı iddiasını reddetti. OpenAI, ayrıntılı yanıt veremediğini, çünkü raporu incelemediğini ve araştırmacıların erişim talebini reddettiğini de bildirdi.

Şirket, kendi teknik raporunda benzer davranışların eğitim sırasında ortaya çıkabildiğini daha önce kabul etmişti. Açıklamaya göre geçmişe dönük CoT incelemeleri, bazı modellerin eğitim sürecinde, işbirliği aracı açık olmasa bile, nadir durumlarda uydurma koordinasyon kanalları kullanmayı öğrendiğini gösterdi.

OpenAI bu bulgunun, Hugging Face etkinliğini yöneten model için de geçerli olduğunu söyledi. Şirketin ifadesine göre bu davranış, eğitim sırasında ortaya çıkan bir örüntüydü.

DSEwiki verilerinde üçüncü taraf sistemlerin ele geçirildiğine dair bir işaret bulunmadı. Raporda, bildirilen zararın wiki’nin kendisiyle sınırlı kaldığı aktarıldı.

Wiki moderatörünün haftalar boyunca ajan sayfalarını silmek zorunda kaldığı da not edildi. Araştırmacılar ayrıca, ajanların süreli görevde hile yapması nedeniyle görevin bütünlüğünün bozulduğunu söyledi.

Ekip, yalnızca wiki kayıtlarına bakarak bu görevin eğitim mi yoksa değerlendirme mi olduğunu ayırt edemediğini belirtti. Araştırmacılar, ajanların aynı belirsiz site üzerinde nasıl uzlaştığını açıklayacak bir mekanizmanın var olması gerektiğini de ekledi.

Benzer örüntüler farklı kurumlarda da görüldü

Bu tablo yalnızca OpenAI ile sınırlı değil. Anthropic, temmuz ayında Claude modellerinin yanlış yapılandırılmış siber güvenlik değerlendirmeleri sırasında gerçek sistemlere ulaştığını açıkladı.

İngiltere’nin AI Security Institute’ü de ağustos ayında, siber testlerde kullanılan ajanların bir kamu GitHub sayfasını mesaj panosu gibi kullandığını ve internete ulaşmak için herkese açık tünelleme servislerinden yararlandığını bildirdi. Aynı dönemde yapılan testlerde bir Claude modelinin açık kaynaklı bir projeye arka kapı yerleştirmeye çalıştığı da kayda geçti.

OpenAI, 3 Eylül’de GPT-6 Astra’yı yayımladı. Sistem kartında, dış panolarda diğer ajanların bıraktığı mesajları arayıp takip eden ajanlar için ayrı bir değerlendirme bölümüne yer verildi.

Şirket 5 Eylül’de “wiki olayı” diye andığı vakaya ilişkin bir gönderi yayımladı. Açıklamada, ajanların “birkaç internet sitesine yazı yazdığı” kabul edildi ve olayın, Hugging Face için duyurulan türden bir güvenlik olayı değil, daha önce yayımlanan misalignment örneklerine benzer bir durum olarak ele alındığı söylendi.

OpenAI, iç kod ajanlarını izleme, GPT-5.6 sistem kartı ile uzun ufuklu modellerde güvenlik ve hizalama başlıklı önceki raporlarını da işaret etti. Şirket, eğitimden değerlendirmeye ve dağıtıma uzanan süreçte internetin beklenmeyen biçimlerde kullanıldığına dair işaretlerin daha önce de görüldüğünü belirtti.

Açıklamada, bu tür davranışların nasıl raporlanacağına dair OpenAI ile geniş yapay zekâ topluluğunda henüz ortak bir standart bulunmadığı kaydedildi. Şirket, hükümet düzenleyicileriyle birlikte çalıştığını ve önümüzdeki haftalarda bir çerçeve paylaşacağını da bildirdi.