Kurumsal yapay zekâ projelerinde asıl kırılma noktası tek bir otonom ajan değil, birbiriyle konuşan ajanların oluşturduğu karmaşık zincirler oldu. Yapay zekâ ajanlarını üretim süreçlerine alan şirketlerde sorun, tek bir modülün ne yaptığı kadar, o modülün hangi API’lere eriştiği, hangi başka ajanları çağırdığı ve insan kararına göre tasarlanmamış uygulamalar içinde nasıl dolaştığıyla ilgili görünüyor.
Kaynak metin, kurumsal yapılarda tek bir ajanı devreye alıp ardından onun kendi başına çalışmasını beklemenin artık gerçeği yansıtmadığını aktarıyor. Kuruluşlar çoğu zaman ajan filoları kuruyor; bu ajanlar API’lere bağlanıyor, başka ajanları çağırıyor ve insan karar vericiler düşünülmeden tasarlanmış uygulamaların içine giriyor. Metinde bu yapının, kimsenin net biçimde göremediği ve yönetemediği rüzgârlı bir karmaşıklık ürettiği belirtiliyor.
İkinci bir ajan eklendiğinde sistemde yalnızca bir bağlantı oluşmuyor. Onuncu ajan devreye girdiğinde bağlantı sayısı onla sınırlı kalmıyor; herhangi bir ajanın başka herhangi bir ajanı çağırabilmesi nedeniyle potansiyel olarak onlarca yeni yol açılıyor. Karmaşıklık, ajan sayısıyla doğrusal biçimde büyümüyor; ajanlar arasındaki yolların sayısıyla katlanıyor. Bu grafiği çizecek bir ekip ya da süreç de çoğu zaman bulunmuyor.
Aynı zincir, destek taleplerinde de belirginleşiyor. Normalde tek bir sistemi ilgilendiren bir bilet, artık insan gözü önüne gelmeden önce dört ajandan geçebiliyor. Her el değiştirme, kimsenin açık onay vermediği yeni bir karar noktası yaratıyor. Metin, tam da bu nedenle kurumların neden bu kadar hızlı biçimde opaklaştığını soruyor ve cevabın zincir boyu artan bağlantılarda saklı olduğunu söylüyor.
Kurumsal yapay zekâ programlarının önemli bir bölümü, sorumluluğu taşıyan insanlar ajanın izini kaybettiğinde duraksıyor. Güvenlik ekiplerine “Hangi ajanlar hangi sistemlere ulaşabiliyor?” sorusu yöneltildiğinde çoğu zaman sessizlik oluştuğu aktarılıyor. Daha geriye gidip “Üç bağlantı önce hangi ajan hangi aşağı akış işlemini tetikledi?” sorusu sorulduğunda da aynı sessizlik sürüyor.
Metinde bu tabloyu tek seferlik bir kontrol listesiyle çözmeye çalışmanın yanlış olduğu vurgulanıyor. Bir ajanı onaylamak, kayda geçirmek ve yoluna devam etmek, zincir boyunca büyüyen riski yönetmeye yetmiyor. Kontrol listesi yalnızca tek bir anı denetliyor; oysa karmaşıklık, bağlantılar boyunca ilerliyor. Metin, bir kez sebze yemenin diyeti başarılı kılmadığı benzetmesiyle bu yaklaşımı yetersiz buluyor.
Yetki, sahiplik ve zincir boyunca denetim eksik kalıyor
Yetki sızıntısı, sorunların ilk halkası olarak öne çıkıyor. Bir çalışan destek taleplerini özetleyecek bir ajan kuruyor, geniş API erişimi veriyor ve yetki kapsamını doğru daraltmak başka bir sprint gerektireceği için konu kapanıyor. Altı ay sonra aynı ajanın ödeme sistemine giden bir yolu olduğu görülüyor. Metin, bu erişim için kimsenin imza atmış gibi hatırlamadığını, aslında kimsenin böyle bir onay vermediğini söylüyor.
Gözetim zinciri uzadıkça sahiplik de inceliyor. Beş ajanın dokunduğu bir iş akışında sorun dördüncü adımda çıkarsa, sorumluluğu kimin üstleneceği belirsizleşiyor. Organizasyon şeması çoğu zaman yalnızca “ajanı devreye al” noktasına kadar gidiyor; “bu bağlantıdan hangi insan sorumlu” sorusu yanıtlanmıyor. Böyle olunca hata, kimsenin sahiplenmediği bir halkada uzun süre çözülmeden kalabiliyor.
Metnin işaret ettiği yönetişim sorunu da burada belirginleşiyor: Kurumsal altyapı, ajanların gerçek davranışına yetişemiyor. Ajanlar birbirine bağlandıkça etki, tekil bir görevden çıkıp kademeli bir zincire dönüşüyor. Buna karşın kurumların takip süreçleri, aynı hızla büyüyen bağlantı ağını kavrayacak düzeye çıkmıyor.
Değerlendirmede birçok yapay zekâ programının bu nedenle takıldığı aktarılıyor. Zinciri yöneten insanlar bağı koptuğu anda proje de yavaşlıyor. Hangi ajanın hangi sistemlere eriştiği, hangi işlemi başlattığı ya da hangi veri yolunu kullandığı görünmezleştiğinde programın da ilerlemesi zorlaşıyor. Güvenlik ekibine yöneltilen basit görünen sorular, örneğin hangi ajanların hangi sistemlere ulaşabildiği, çoğu zaman yanıt bulmuyor. Birkaç adım geriye gidip hangi ajanın hangi aşağı akış işlemini tetiklediğini sormak da aynı sonuca çıkıyor.
Kaynak metin, kurumların burada tek seferlik onay yerine zincir boyunca süren bir görünürlük kurması gerektiğini anlatıyor. Ajan düzeyinde kimlik, kapsamlı yetki sınırı ve sorumlu bir insan sponsor olmadan sistemin sağlıklı yönetilemeyeceği belirtiliyor. Her ajanın ayrı bir varlık olarak kayda girmesi, ödünç alınmış bir izin gölgesinde çalışmaması gerektiği vurgulanıyor.
Ancak kimlik tek başına yeterli sayılmıyor. Metin, asıl zor kısmın zincirin tamamını kapsayan gözetim olduğunu söylüyor. Bir ajanın ne yaptığını, bunun aşağı akışta neyi tetiklediğini ve izlerin nereye kadar uzandığını gerçek zamanlı görmek gerekiyor. Aksi halde kurumların elinde kusursuz belgelenmiş ama topluca açıklanamayan ajanlar kalıyor; dosya düzeni var, sistemin açıklığı yok.
Bu noktada izleme ile uygulama arasındaki fark da keskinleşiyor. Bir ajanın beş dakika önce sınır aştığını gösteren bir gösterge paneli yalnızca kayıt tutuyor. Aşım gerçekleşmeden önce çağrıyı durduran sistem ise yönetişim anlamına geliyor. Metin, hesap verebilirlik kurmak isteyen kurumsal ekiplerin her iki katmana da ihtiyaç duyduğunu, fakat çoğunun yalnızca ilkini kurabildiğini belirtiyor.
Kurumsal yapay zekâ programlarının hızla büyüdüğü, ancak hızın tek başına yeterli olmadığı da aktarılan başka bir ayrıntı. Metin, bu yarışta geride kalmama baskısının güçlü olduğunu, buna rağmen her ciddi girişimin bir noktada karmaşıklık duvarına çarptığını söylüyor. Duvarı aşabilen kuruluşların ortak noktası, ajan filosu büyürken görünürlük ve sorumluluk mekanizmalarını birlikte kurmaları olarak sıralanıyor.
Yine de anlatının sonunda sorun, tek bir ajanın hatasından ibaret görülmüyor. Asıl riskin, yüzlerce ajanın aynı anda çalışması ve hiç tasarlanmamış kombinasyonlarda birbirine temas etmesi olduğu ifade ediliyor. Metin, kurumsal yapay zekânın pilot aşamada kalmasının nedenlerinden birinin de bu çarpan etkisi olduğunu yazıyor. Karmaşıklık çözüldüğünde ise otonomluk tehdit olmaktan çıkıp sistemin ana fikrine dönüşüyor.
Kaynak metinde ürün adı, kampanya adı ya da bir CVE kodu yer almıyor.