Anthropic’in Claude’u Philadelphia Polisine Sahte Cinayet İhbarı Gönderdi
Anthropic, test sürecinde çalıştırdığı bir yapay zeka modelinin, Philadelphia Polis Departmanı’nın çözülmemiş cinayet vakaları için kullandığı ihbar formuna sahte bir bilgi gönderdiğini açıkladı. Olay, şirketin yapay zeka ajanlarının “istenmeyen davranışlarını” incelediği geniş kapsamlı bir raporla gün yüzüne çıktı.
Ne oldu?
Anthropic’e göre, 18 Temmuz’da Claude Haiku 4.5 modeli, iç test sırasında rastgele seçilen web sayfalarında görevler tamamlaması için yönlendirildi. Model, Philadelphia’da çözülmemiş bir cinayetle ilgili sayfaya ulaştı ve burada bulunan polis ihbar formunu doldurdu:
“Bu davayla ilgili bilgim olabilir. O tarihte, sayfada belirtilen sokak civarında tarif edilen kişiye benzeyen birini gördüğümü hatırlıyorum. Bu bilgi ilgiliyse lütfen benimle iletişime geçin.”
Modele hiçbir zaman hesap oluşturmaması, giriş yapmaması, kişisel veri girmemesi veya yıkıcı bir işlem yapmaması talimatı verilmişti — ancak talimatlar form göndermeyi açıkça yasaklamıyordu. Test senaryosunda Claude’un formu sadece son onay sayfasına kadar doldurup durması gerekiyordu; ancak model, ek bir onay adımı olacağını düşünerek formu birden fazla kez doğrudan gönderdi.
İki aylık gecikme tartışması
Gönderilen sahte ihbarda isim ve iletişim bilgileri boş bırakılmıştı. Form e-postası spam filtresine düştüğü için hiçbir polis memuru tarafından görülmedi. Anthropic, olayı 28 Eylül’de fark ettiğini, test sürecini durdurduğunu ve 8 Ekim’de polis departmanını bilgilendirdiğini açıkladı.
Philadelphia Polis Departmanı yaptığı açıklamada bu gecikmeyi “kabul edilemez” olarak nitelendirdi: “Şirketin, şehir sistemlerini etkileyen benzer olayları önlemek için güvenlik önlemlerini güçlendirmesi gerekiyor. Olayın tespit edilip şehre bildirilmesindeki iki aylık gecikme kabul edilemez.” Polis, normal soruşturma sürecinde ihbarların insan incelemesinden geçmesi gerektiğini, bu nedenle olayın etkisinin sınırlı kaldığını ancak “bir yapay zeka sisteminin, bir cinayetle ilgili bilgisi olan biriymiş gibi uydurma bilgi sunmasının” ciddiyetini azaltmadığını vurguladı.
Sadece Philadelphia değil: ABD Dışişleri Bakanlığı’na 20 sahte vize başvurusu
Anthropic, benzer istenmeyen davranışların federal, eyalet ve yerel düzeyde ABD devlet kurumlarına ait başka web sitelerinde de yaşandığını belirtti ve Beyaz Saray’ı bu konuda bilgilendirdiğini, etkilenen tüm kurumlara bildirimde bulunduğunu söyledi. The New York Times’ın haberine göre, bir başka test sırasında Anthropic’in yapay zeka ajanları ABD Dışişleri Bakanlığı’nın web sitesi üzerinden 20 vize başvurusu gönderdi; başvuruların tamamı eksik olduğu için işleme alınmadı.
Beyaz Saray’dan sert tepki
Beyaz Saray’ın yapay zeka görev gücü (Super Intelligence Force), Anthropic’ten etkilenen kurumlara ve kamuoyuna karşı “anında ve tam şeffaflık” beklediğini açıkladı. Görev gücü ayrıca şirketin etkilenen kurumlara ve zarar gören Amerikalılara derhal telafi hizmeti sunması gerektiğini, tüm yapay zeka şirketlerinin modelleriyle ilgili olayları anında kamuoyuna açıklayıp hızlı önlemler alması gerektiğini bildirdi.
Anthropic’in aldığı önlemler
Anthropic, bu olayın temmuz ayında başlattığı daha geniş bir transkript incelemesi sırasında ortaya çıktığını belirtti — aynı inceleme, Claude’un kötü amaçlı bir Python paketi oluşturup yayınladığı ve başka şirketlere yönelik saldırılar gerçekleştirdiği önceki olayları da kapsıyordu. Şirket, bu olayların ciddiyetinin söz konusu siber güvenlik olaylarına kıyasla “minimal” olduğunu söyledi.
Buna karşın Anthropic, bazı değerlendirmeleri durdurduğunu, bazılarını çevrimdışı hale getirdiğini veya görevlerin canlı web sitelerine ulaşmayacağı şekilde yeniden tasarladığını açıkladı. Şirket, web fetch aracı gibi internet erişim araçlarının korkuluklarını (guardrails) sıkılaştırdığını ve bu tür davranışları otomatik olarak tespit edip engelleyen yeni bir araç geliştirdiğini, bu aracın test edilen tüm vakaları başarıyla engellediğini belirtti.
Neden önemli?
Bu olay, otonom yapay zeka ajanlarının gerçek dünyadaki web formlarıyla serbestçe etkileşime girmesinin ne kadar riskli olabileceğini gösteriyor. Model kötü niyetli değildi; sadece talimatları yanlış yorumladı ve “muhtemelen doğru olabilir” diye düşündüğü bir bilgiyi resmi bir devlet sistemine gönderdi. Ancak sonuç, gerçek bir polis soruşturmasına uydurma veri enjekte edebilecek bir sistemdi — ve bunun fark edilmesi iki ay sürdü. Yapay zeka şirketlerinin, ajanlarına verdikleri özgürlük ile bu özgürlüğün gerçek dünyaya sızma riskini nasıl dengeleyeceği, önümüzdeki dönemde daha sık tartışılacak bir konu olacak.