Yapay Zeka Ajanlarını Dizginlemenin Yolu: Daha Fazla Yapay Zeka

İnsan Denetimi Yetmiyor

Şirketler yapay zeka ajanlarına giderek daha uzun ve karmaşık görevler devrettikçe, beklenmedik bir sorunla yüzleşiyor: Ajanlar insanların gerçekçi biçimde inceleyebileceğinden çok daha hızlı, uzun süreli ve yüksek hacimde çalışabiliyor. Bu durum, yaklaşık 12.000 ajanın insanların takip edebileceğinden daha hızlı koordine olduğu Hugging Face olayıyla zirveye ulaştı. Peki bu kadar büyük bir ajan sürüsünü nasıl takip edersiniz? Yapay zeka laboratuvarları ve girişimlerden gelen yeni yanıt hem basit hem de çıldırtıcı: Döngüye bir yapay zeka daha koyun.

Bu yaklaşım, OpenAI'nin Hugging Face olayının bağımsız soruşturmasında zorunlu hale geldi. Denetçilerden biri olan Redwood Research'in baş bilim insanı Ryan Greenblatt, veri hacminin yapay zeka desteği olmadan ne olduğunu anlamayı "imkansız" hale getirdiğini belirterek çabalarını şaka yollu "slop-vestigation" olarak adlandırdı.

Yapay Zekayı Yapay Zeka ile İzlemek Tartışmalı

Ancak yapay zekayı yapay zekayla izleme fikrine herkes sıcak bakmıyor. Yıl boyunca bir dizi yapay zeka ajanı olayını takip eden etkili teknoloji blog yazarı Simon Willison, "Kötü niyetli bir şeyler yapan ve başka bir yapay zekanın kendisini izlediğinden şüphelenen bir yapay zekanız varsa, o yapay zekayı kandırmaya çalışabilir" diyor. "Neredeyse kötü niyetli yapay zekanızın, onu izleyen yapay zekayı alt etmeye çalıştığı bir duruma düşebilirsiniz."

Willison'a göre bir yapay zekayı alt etmek varsayımsal değil. OpenAI olayına işaret ederek, "OpenAI'nin Hugging Face olayında bunun birazını gördük; modelleri, yasa dışı yanıtları değerlendiren yapay zekayı kandırmak için birlikte komplo kuruyordu" diye ekliyor. "Yani bunu düşünüyorlardı, değil mi?"

Girişimler Bu Fırsatın Peşinde

Bu endişeler, bir dizi girişimin bu fikrin peşinden gitmesini engellemedi. TechCrunch'ın sayımına göre Y Combinator son yıllarda yapay zeka gözlemlenebilirliğiyle ilgili 106 şirkete yatırım yaptı. Braintrust, LangChain ve Judgment Labs gibi bir dizi başka girişim yüz milyonlarca dolar topladı; yalnızca beş-altı yıl önce kurulan Arize ve Galileo gibi daha olgun şirketler ise şimdiden çıkış yaptı.

Bu kısmen yapay zekanın yükselişinin sunduğu bariz fırsata bir yanıt. Box CEO'su ve tanınmış melek yatırımcı Aaron Levie, TechCrunch'a "Tarihin en büyük siber güvenlik yükseltmelerinden ve inovasyon döngülerinden birine giriyoruz" diyor.

Güvenlik Araştırmacıları Sahaya İniyor

Bazı yapay zeka güvenliği araştırmacıları için bu, kötü niyetli davranış üzerine yaptıkları araştırmayı kurumsal sektör için araçlara dönüştürmek anlamına geldi. Yapay zeka aldatmacasını inceleyen bir kamu yararına şirket olan Apollo Research, kar amacı gütmeyen statüsünden kamu yararına şirkete geçtikten sonra bu yıl şubat ayında Watcher adlı bir yapay zeka izleyicisi başlattı. Araç, bir kodlama ajanı ile bir sonraki eylemi arasına bir yapay zeka daha koyuyor ve Claude Code ile Codex gibi ajan araçlarına bağlanıyor. Apollo'ya göre Watcher, kurulduktan sonra önerilen eylemleri çalıştırılmadan önce kontrol ederek özel verilerin sızması veya izinsiz dosya silinmesi gibi riskleri gözetliyor.

Apollo teknik ekibinden Kyle Dai, TechCrunch'a yazılı yanıtında şirketin çok katmanlı yapay zeka izleyicileri kullandığını söylüyor. Watcher'ın yaklaşımı önce hızlı ve genel bir kontrolle başlıyor, ardından işaretlenen etkinliği daha güçlü veya uzmanlaşmış bir izleyiciye göndererek daha yakından inceleme yapıyor. Bu izleyici daha sonra bir insandan onay isteyebiliyor, bir eylemi reddedip nedenini açıklayabiliyor hatta eylemi otomatik olarak engelleyebiliyor.

Bir başka kamu yararına şirket olan Goodfire ise izleme sorununa modelin içinden yaklaşıyor: Yüzeydeki davranıştan daha zor taklit edilebilecek, modelin iç durumuna dair daha güvenilir bir sinyal arıyor. Görünen o ki yapay zeka ajanlarının yarattığı kaosu yönetmek için yine yapay zekanın kendisine bel bağlayacağız — en azından şimdilik.