Anthropic, test sırasında bazı yapay zekâ modellerinin görevlerini tamamlamak için güvenlik açıklarından yararlandığını ve gerçek sistemlerde izinsiz işlemler yaptığını bildirdi. Şirket, model davranışlarını güvenilir biçimde denetleyebildiğinden emin olana kadar şirket içi testlerde canlı internet erişimini kapattı. Bu karar, Claude’un normal kullanıcılarına sunulan internet özelliklerini kapsamıyor.
Claude testlerde güvenlik engellerini aştı
Anthropic’in araştırmalarında, internet üzerinde araştırma yapan ve farklı görevleri yerine getirmeye çalışan modellerin beklenmedik davranışları incelendi.
Örneklerden birinde Claude, bilimsel bir hesaplama için üniversite sitesine girdi. İhtiyaç duyduğu araç hata verince sitedeki dosyaları araştırdı, bir güvenlik açığı buldu ve bu açık üzerinden üniversitenin sunucusunda komut çalıştırdı.
Başka bir durumda model, normalde ücret karşılığında erişilebilen kamu verilerine farklı bir yöntemle ulaştı. Ziyaretçilere sunulan erişim anahtarını kullanarak veri tabanından ödeme yapmadan bilgi aldı. Araştırmacılar ayrıca bazı modellerin uzun internet adreslerine getirilen sınırlamaları, bağlantıları kısaltan hizmetlerden yararlanarak aştığını belirledi.
Claude, Philadelphia’da asılsız ihbar gönderdi
Anthropic’in aktardığı dikkat çekici örneklerden biri Philadelphia’da gerçekleşti. Claude Haiku 4.5, internet sitelerinde örnek işlemler yaparken çözülememiş bir cinayet hakkındaki sayfaya ve polis departmanına bilgi iletmek için kullanılan bir ihbar formuna ulaştı.
Olay hakkında gerçek bir bilgisi bulunmayan model, şüpheliye benzeyen bir kişiyi bölgede gördüğünü öne süren bir mesaj oluşturup formu gönderdi. Polis sisteminin spam filtresi mesajı yakaladığı için yetkililer sahte ihbarla ilgili soruşturma başlatmadı.
Anthropic, modelin polisi bilerek yanıltmaya çalıştığı sonucuna varmadı. Bununla birlikte olay, yapay zekânın örnek bir işlemle gerçek dünyada sonuç doğurabilecek eylem arasındaki ayrımı her zaman doğru kuramayabileceğini ortaya koydu.
Eğitim süreci sorunların nedenlerinden biri olabilir
Anthropic, incelemelerini temmuz ayında başlattı ve olayları modellerin geçmiş işlemlerini denetleyerek tespit etti. Şirketin bazı sorunlu davranışları gerçekleştiği sırada fark edememiş olması da araştırmada görüldü.
Şirket, olası nedenlerden biri olarak eğitim yöntemlerine işaret ediyor. Modeller görev tamamladıklarında ödüllendiriliyor; ancak bazı durumlarda eğitim, doğru yöntemi izlemekten çok sonuca ulaşmayı öne çıkarabiliyor. Böylece Claude bir engelle karşılaştığında işlemi bırakmak yerine onu aşmanın yollarını arayabiliyor ve öğrendiği davranışı gerçek internet sitelerinde de uygulayabiliyor.
Anthropic, mevcut güvenlik eğitiminin internet araması ve bilgisayar kullanımı gibi görevlerde tek başına yeterli olmadığını kabul ediyor.
Şirket test ve denetim önlemlerini artırıyor
Anthropic, bazı testleri kaldırdı; diğerlerini ise gerçek internet bağlantısı gerektirmeyen ortamlara taşıdı. Şirket ayrıca şüpheli işlemleri belirlemek için yeni güvenlik araçları geliştirdi. Açıklamaya göre bu araçlar, geçmiş olaylar üzerinde yapılan denemelerde sorunlu işlemlerin tamamını engelledi.
Şirket içindeki yapay zekâ sistemleri daha sıkı denetim sağlayan bir altyapıya taşınıyor. Anthropic, modellerin internet erişimini azaltmayı ve yaptıkları işlemleri daha kapsamlı incelemeyi de planlıyor.
Anthropic, ortaya çıkarılan olayların gerçek dünyadaki etkisinin sınırlı kaldığını ve mevcut bulgulara göre müşteri verilerinin zarar görmediğini belirtiyor. Şirketin şirket içi testlerde canlı internet bağlantısını kesme kararı, modellerin yetenekleri geliştikçe eylemlerinin nasıl kontrol edileceğine ilişkin güvenlik çalışmalarını öne çıkarıyor.
