Yapay Zeka Ajanı Güvenliği: Pratik Kontrol Listesi

Yapay zeka ajanı güvenliği, bağlamı okuyabilen, araçları seçebilen ve adımlar arasında hareket edebilen bir modelin etrafındaki kontrol sistemidir. Güvenli bir tasarım, model çıktısının, alınan içeriğin ve araç sonuçlarının yanlış veya düşmanca olabileceğini varsayar. Erişimi sınırlar, her eylemi doğrular, belirsizliği görünür kılar ve sonuçta ortaya çıkan değişikliklerden bir kişiyi sorumlu tutar.

Ottermind, bağlantılı çalışmalara da aynı sınır öncelikli yaklaşımı uygular: kaynak bağlamı ve teslim edilebilirler incelenebilir kalırken, sonuçsal eylemler izinlere ve insan onayına tabidir. Bu bir çalışma alanı seçeneğidir, bir kuruluşun güvenlik incelemesinin yerine geçmez.

Araştırma ve açıklama: Kontrol listesi, 3 Eylül 2026'da incelenen NIST Yapay Zeka Risk Yönetimi Çerçevesi, OWASP LLM Uygulamaları için En İyi 10 ve Anthropic ajan güvenlik kılavuzu'e dayanmaktadır.

Beş güvenlik sınırı

Güvenlik, iş akışına dağıtılmıştır. Bir ajandan "dikkatli olmasını" isteyen son bir uyarı, bir güvenlik kontrolü değildir.

Özellik tasarımından önce tehdit modeli

Ajanın neleri gözlemleyebileceğini, neleri değiştirebileceğini ve bir hatadan kimin fayda sağlayabileceğini yazın. Meraklı bir kullanıcıyı, tehlikeye atılmış bir bağlayıcıyı, alınan bir belgedeki kötü amaçlı metni, beklenmedik veriler döndüren bir aracı ve yazma sırasında bir hizmet kesintisini düşünün. Her tehdit için bir önleme kontrolü, bir tespit sinyali ve bir kurtarma eylemi adlandırın. Bu hafif tehdit modeli, genellikle en riskli özelliğin modelin kendisinden ziyade aşırı geniş bir bağlayıcı olduğunu ortaya koymaktadır.

Kimlik ve kiracı izolasyonu

Çalıştırmaya başlamadan önce kişiyi doğrulayın ve her alma ve araç çağrısını bu kimliğe karşı yetkilendirin. Modelde görülebilen bir proje kimliğinin güvenilir olduğunu varsaymayın. Veriye sahip olan hizmette kiracı, proje, rol ve kayıt düzeyindeki izinleri kontrol edin. Çok kullanıcılı çalışma alanları için, kiracılar arası bir isteği açıkça test edin ve günlüklerin yasaklanmış dosya adlarını, kod parçacıklarını veya araç argümanlarını ifşa etmediğini doğrulayın.

Alma bütünlüğü

Alma sistemleri veri sızdırabilir, eski kayıtlar döndürebilir veya belgelere gömülü talimatları ortaya çıkarabilir. Her veri bloğuyla birlikte kaynak bilgilerini saklayın: kaynak tanımlayıcı, sahip, geçerlilik tarihi ve izin kararı. Güncel doğruluk kaynağı kayıtlarını tercih edin ve çakışmaları ortaya çıkarın. HTML, PDF'ler, e-postalar ve sorun yorumlarını talimat değil, veri olarak ele alın. Bir model, alınan bir paragrafın bunu yapması gerektiğini söylemesi nedeniyle asla kendisine erişim izni vermemelidir.

Araç ve çalışma zamanı izolasyonu

Genel bir kabuk veya kısıtlanmamış bir HTTP istemcisi yerine, iş amacını ifade eden dar araçlar kullanın. Argümanları doğrulayın, kotaları uygulayın, zaman aşımı sürelerini ayarlayın ve yazma işlemlerini tekrarlanabilir hale getirin. Kodu veya tarayıcı eylemlerini, tek kullanımlık bir dosya sistemi ve kısıtlı çıkışa sahip bir sanal ortamda çalıştırın. Geliştirme kimlik bilgilerini üretim kimlik bilgilerinden ayırın ve çalıştırmadan sonra kısa ömürlü belirteçleri döndürün.

İnsan onayı tasarımı

Onay, önerilen eylemi, hedefi, kaynak kanıtını, yan etkileri ve alternatifleri göstermelidir. "Onayla" ifadesi, ilgisiz yazma işlemlerinin bir grubunu gizlememelidir. Harici iletişim, silme, ödeme, erişim değişiklikleri ve politika güncellemeleri için daha güçlü bir inceleme gereklidir. Onaylayanı, zaman damgasını, kararı ve yapılan tüm düzenlemeleri saklayın, böylece yeniden deneme işlemi sessizce kontrol noktasını atlayamaz.

Kırmızı ekip test senaryoları

Bir belgeye istem enjeksiyonu, erişimi olmayan bir kullanıcı, hatalı JSON döndüren bir araç, süresi dolmuş bir kimlik bilgisi, değiştirilmiş bir şema, yinelenen bir yeniden deneme ve gönderme veya silme isteği içeren küçük bir regresyon seti oluşturun. Beklenen sonuç her zaman tamamlanmış bir görev değildir; güvenli ret, yükseltme ve yararlı bir hata geçerli sonuçlardır. İstemler, araçlar, bağlayıcılar veya model sürümleri değiştiğinde seti çalıştırın.

Güvenlik operasyonları kontrol listesi

• Modellerin, araçların, bağlantı elemanlarının ve veri depolarının envanterini tutun.
• Bağlantı elemanı kapsamlarını ve ayrıcalıklı rolleri düzenli olarak gözden geçirin.
• Olağandışı araç hacmi, projeler arası erişim ve engellenen eylemler konusunda uyarı verin.
• Gereksiz sırları saklamadan olayları araştırmak için yeterince uzun süre izleme kayıtlarını saklayın.
• Erişimi nasıl iptal edeceğinizi, bir çalıştırmayı nasıl durduracağınızı ve kaynak kaydını nasıl geri yükleyeceğinizi belgeleyin.
• Kullanıcılara güvenli olmayan bir öneriyi veya sızdırılmış bağlamı bildirmek için net bir yol sağlayın.

Kontrollerin ajan aşamalarına eşlenmesi

Güvenlik incelemeleri, ajan döngüsünü takip ettiklerinde daha kolaydır. Giriş aşamasında, kimliği, amacı ve izin verilen verileri doğrulayın. Alma sırasında, izinleri uygulayın ve kaynağı ekleyin. Akıl yürütme sırasında, çıktı şemasını kısıtlayın ve belirsizliği işaretleyin. Bir araç çağrısından önce, argümanları ve yan etkileri doğrulayın. Çağrıdan sonra, sonucu doğrulayın ve geçişi kaydedin. Tamamlanmadan önce, uygun inceleyiciyi isteyin ve son durumu kalıcı hale getirin. Bu aşama aşama eşleme, ekiplerin güvenliği, aksi takdirde kısıtlanmamış bir ajanın etrafındaki tek bir geçit olarak ele almasını önler.

Tedarik zinciri ve bağlantı riski

Bir ajanın etkili yeteneği, SDK'sını, eklentilerini, MCP sunucularını, tarayıcı uzantılarını, istem şablonlarını ve bağlantı kapsamlarını içerir. Bu bağımlılıkları envanterleyin ve üretime ulaşmadan önce güncellemeleri inceleyin. Mümkün olan yerlerde pin sürümlerini kullanın, paketleri imzalayın veya doğrulayın ve test kimlik bilgilerini müşteri verilerinden ayrı tutun. Tüm sürücüyü okuyabilen bir konektör, modelin kendisi doğru şekilde yapılandırılmış olsa bile, model sağlayıcısından daha fazla güvenlik açığı oluşturabilir.

Faydalı bir güvenlik incelemesi neleri içerir?

Planlanan iş akışını, veri sınıflandırmasını, kimlikleri, araçları, model ve SDK sürümlerini, tehdit senaryolarını, kontrolleri, test durumlarını, çözülmemiş riskleri ve sorumlu sahibi kaydedin. Engellenen bir eylem örneği ve güvenli bir yükseltme örneği ekleyin. Yeni bir bağlayıcı, araç, model veya özerklik düzeyi tanıtıldığında incelemeyi yeniden gözden geçirin; eski onay, önemli ölçüde farklı bir eylem yüzeyini sessizce örtmemelidir.

Uygulamada en az ayrıcalık

Bir ajana yalnızca mevcut görev için gerekli kaynakları ve araçları verin. Okuma ve yazma kimlik bilgilerini ayırın. Dosyaları proje ve kimliğe göre kapsamlandırın, ağ hedeflerini kısıtlayın ve geçici erişimi sona erdirin. İzin sınırını, kaynağı görmemesi gereken bir kullanıcıyla test edin.

Araç-çağrı sözleşmesi

{
  "tool": "create_draft_task",
  "arguments": {"title": "...", "owner": "...", "due_date": "..."},
  "requires_approval": true,
  "idempotency_key": "project-123:brief-v2"
}

Uygulama kodunda türleri, izin verilen değerleri, kimliği ve yan etkileri doğrulayın. Gönderme, silme, satın alma, erişim değiştirme veya yayınlama işlemleri için onay gerektirin. Tekrar denemeleri, idempotentlik anahtarlarıyla güvenli hale getirin.

Alma ve istem enjeksiyonu

Belgeleri, web sayfalarını, e-postaları ve araç sonuçlarını güvenilmeyen veri olarak ele alın. Bunları sistem talimatlarından ayırın, kaynak tanımlayıcılarını koruyun ve alınan metnin izinleri veya araç politikasını değiştirmesini engelleyin. Kaynaklar çakıştığında veya alma işlemi boş olduğunda, tahmin etmek yerine bir yükseltme durumu döndürün.

Değerlendirme ve olay müdahalesi

Normal, eksik, düşmanca, kiracılar arası, hassas ve araç arızası durumlarını test edin. Engellenen eylemleri, güvenli olmayan önerileri, veri ifşa girişimlerini, araç hatalarını ve gözden geçiren düzeltmelerini izleyin. Bir geri alma yolu ve olayları alan bir sorumlu bulundurun.

SSS

Bir yapay zeka ajanı tamamen otonom olabilir mi?

Otonomi, bir güvenlik özelliği değil, sınırlı bir ürün ayarıdır. Eylem ne kadar önemliyse, onay, izleme ve geri alma kontrolleri o kadar güçlü olmalıdır.

Özel bir model ajan güvenliğini çözüyor mu?

Hayır. Özel bir model veri akışı riskini değiştirebilir, ancak kimlik, erişim, araç izinleri, çalışma zamanı izolasyonu, günlük kaydı ve insan incelemesi hala önemlidir.

Ekipler öncelikle neyi güvence altına almalıdır?

Kimlik, erişim izinleri ve araç yazma sınırlarıyla başlayın. Açık izlere sahip salt okunur bir iş akışı, geniş özerk erişimden daha güvenli bir ilk dağıtımdır.

Sistem yapısı için Yapay zeka aracı mimarisi'e bakın; uygulama ayrıntıları için Claude Agent SDK kılavuzu ile karşılaştırın.