Corelight’ın son araştırması, yapay zekâ destekli SOC araçlarında asıl sınırın alarm sayısı değil, arka plandaki ağ verisinin kalitesi olduğunu ortaya koydu. Şirketin testlerine göre, aynı model ve aynı görev seti korunmasına rağmen kullanılan veri kaynağı değiştiğinde hem saldırı avı sonuçları hem de olay müdahalesinde çıkarılabilen bulgular ciddi biçimde farklılaşıyor.
Çalışma, ağ güvenliği ekiplerinin özellikle NDR, yani network detection and response ürünlerini değerlendirirken yalnızca tetiklenen uyarılara bakmasının yetersiz kalabildiğini gösteriyor. Araştırmaya göre bir alarm, saldırının başladığını söyleyebiliyor; ancak saldırganın ağ içinde nasıl ilerlediğini, hangi makineler arasında dolaştığını ya da hangi ek veriye ulaştığını anlamak için daha zengin telemetri gerekiyor.
Corelight’ın aktardığına göre araştırma iki senaryoya odaklandı: Volt Typhoon’dan ilham alan 44 soruluk bir Capture the Flag çalışması ve Salt Typhoon ihlalini temel alan gerçekçi bir olay müdahalesi analizi. Testlerde Frontier LLM modeli ve görevler sabit tutuldu, değişen tek unsur ağ verisinin kaynağı oldu. Karşılaştırmada Corelight verisi, nDPI firewall günlükleri, Snort 3 IDS alarmları ve NetFlow verisi yer aldı.
İnceleme, ağ verisinin yalnızca olayın başlangıç noktasını değil, saldırının izini sürmek için gereken bağlamı da belirlediğini gösteriyor. Corelight’ın anlattığına göre sorun, bir alarmın tetiklenmesinden sonra başlıyor; çünkü araştırmacı yalnızca bağlantı sinyalini değil, onun ardından gelen davranış zincirini de görmek zorunda kalıyor. Şirket, saldırganın ek erişim elde etmesi, başka bir makineye geçmesi ya da ağı daha ayrıntılı incelemesi gibi adımların, ancak yeterli veri varsa izlenebileceğini belirtiyor.
Metinde bu farkın en net, bir alarmın ardından yapılan incelemede ortaya çıktığı vurgulandı. Güvenlik analisti sadece alarmı tetikleyen bağlantıyı görebilir ama sonrasında ne yaşandığını izleyemezse, etkinlik gerçekten durmuştur demek de mümkün olmayabiliyor. Araştırma, arama sonucunda hiçbir kayıt çıkmamasının iki anlama gelebileceğini hatırlatıyor: ya olay gerçekten olmadı ya da kurum, olayın izini sürmek için gerekli kanıtı toplamıyordur.
Corelight, veri kalitesine yönelik ilginin son dönemde artmasında iki etken gördüğünü söylüyor: bir yanda bu soruşturma ihtiyacı, diğer yanda yapay zekâ savunma araçlarının yükselişi. Şirketin araştırmasında, alarm üretmek ile olayı çözmek arasında doğrudan bir eşitlik kurulamayacağı özellikle belirtiliyor. Bir ürün iyi tespitler yapabilir, ancak o tespitlerin arkasındaki veri eksikse analist yine çıkmaza girebilir.
Şirket, yüzeysel ve zengin ağ verisi arasındaki farkı da ayrıntılandırıyor. Yüzeysel veri çoğu zaman yalnızca zaman damgaları, IP adresleri ve temel bağlantı bilgileri içeriyor. Daha zengin veri ise oturum ayrıntılarını koruyor, bağlam ekliyor ve analiste yalnızca alarmı değil, alarmdan önce, sonra ve başka yerlerde ne olduğunu da gösterebiliyor. Bu yapı, bağlantının başka ana bilgisayarlara ve farklı zamanlara taşınarak yeniden kurulmasına imkân veriyor.
Corelight’ın değerlendirme listesinde birkaç somut soru öne çıkıyor. Tam işlem ayrıntıları veriliyor mu, yoksa yalnızca özet mi sunuluyor? Paket içeriği ya da dosya çıkarma desteği var mı? Arşiv ne kadar geriye gidiyor ve arama ne kadar hızlı çalışıyor? Bir bağlantı host’lar ve zaman boyunca izlenebiliyor mu? Şirket, bir güvenlik aracının veri kalitesini anlamak için bu soruların doğrudan yanıtlanması gerektiğini savunuyor.
İnceleme sırasında değerlendirme ölçütleri de açıklandı. CTF çalışmasında doğruluk puanı, olay müdahalesinde ise “grounding” yani modelin iddialarını mevcut kanıtla destekleyebilme oranı ölçüldü. Testlerin tekrarlanabilir olması için her veri seti ayrı ayrı işlendi, tüm veriler OCSF-normalize bir şemayla sisteme aktarıldı, sonuçlar birden fazla çalıştırmanın ortalaması alınarak hesaplandı ve model yanlılığını azaltmak için çeşitli önlemler uygulandı.
Yapay zekâ güvenlik ekibine yardımcı olabilir, ama kanıtı görmek zorunda
Araştırmada yapay zekânın güvenlik operasyon merkezlerinde nasıl kullanılabileceğine de değinildi. Corelight’a göre AI destekli SOC araçları, insan ekiplerinin tek başına işlemekte zorlanacağı ölçekte veriyi analiz edebiliyor. Veri noktası arttıkça, AI’nin olayları yüzeye çıkarma ve birbirine bağlama kabiliyeti de artıyor. Ancak kaynak veri sığ kaldığında, modelin ilişkilendirebileceği sinyal sayısı da azalıyor.
Şirket, zengin ağ verisinin yapay zekâya daha ince davranış örüntülerini yakalama şansı verdiğini belirtiyor. Böylece aynı etkinlik, farklı makineler arasında, farklı zamanlarda ve farklı davranış zincirleri üzerinden takip edilebiliyor. Corelight’ın araştırmasına göre bu yaklaşım, daha önce fark edilmemiş uzlaşma göstergelerinin açığa çıkmasına ya da bir saldırı büyümeden müdahale fırsatı yakalanmasına da kapı aralayabiliyor.
Metinde yapay zekânın her zaman tek başına güvenilir olmadığı da açıkça vurgulandı. Bir asistanın sunduğu açıklama, yazdığı sorgu ya da ürettiği script, doğrudan doğru kabul edilmemeli. Şirketin tavsiyesine göre analist, modelin öne sürdüğü açıklamayı kanıtla sınamalı, önerilen komutun ne yaptığını test etmeli ve çalıştırılacak bir komutun sistemin başka bölümlerini etkileyip etkilemeyeceğini mutlaka kontrol etmeli.
Corelight, AI daha fazla soruşturma görevini üstlendikçe, alttaki kanıtı inceleyebilme yeteneğinin modern veri kalitesinin ayrılmaz bir parçasına dönüştüğünü savunuyor. Bu yaklaşımda alarmın kendisi değil, alarmın arkasındaki ağ kanıtı belirleyici oluyor.
Şirketin sunduğu değerlendirme çerçevesinde NDR ürünleri için demo sırasında gelen bir alarmın izlenmesi, ama yalnızca yönlendirilmiş akışa bağlı kalınmaması öneriliyor. Analistler ve alıcılar, alarmın arkasındaki transaction ayrıntılarını, mevcutsa paket içeriği ya da çıkarılmış dosyaları, etkinliğin zaman içinde geriye ve ileriye doğru izlenmesini ve demo sırasında sorulmamış bir soruya verilen cevabı görmek istiyor.
Corelight’a göre asıl ayrım da burada oluşuyor: Bazı ürünler sadece bir başlangıç noktası sunuyor, bazıları ise olayın nerede başlayıp nerede bittiğini gösterecek kadar zengin kanıt sağlıyor. Şirketin araştırması, NDR değerlendirmelerinde işin merkezine alarmı değil veriyi koyuyor. Çünkü bir ekibin olayda ne olduğunu tam olarak anlayıp buna göre ne yapacağını belirlemesi, kullanılan verinin kalitesine bağlı kalıyor.
Corelight, AI SOC’un etkinliğinin arkasındaki veri kadar güçlü olduğunu savunuyor ve açık, şeffaf, açıklanabilir ağ kanıtı sunan NDR yaklaşımının aldatıcı tehditleri yakalamaya, triage süresini azaltmaya ve SOC içinde ajan tabanlı yapay zekâ kullanımını desteklemeye yardımcı olduğunu belirtiyor. Araştırma, kanıta dayanmayan alarm yığınlarının ise soruşturmayı hızla çıkmaza sokabildiğini ortaya koyuyor.
Kaynaklar
- Provably Better Data: AI SOC Data Quality | Corelight (corelight.com)
- Corelight Network Defense (corelight.com)