Yapay Zeka Gelişiminde Fren Zamanı mı?
Anthropic CEO'su Dario Amodei, yapay zeka dünyasında tartışma yaratacak bir çağrıda bulundu: Artık yapay zeka gelişimini yavaşlatmanın zamanı geldi. Amodei, şirketinin modellerine METR gibi üçüncü taraf değerlendiricilerin erişimini açarak bu yönde ilk adımı attıklarını duyurdu. Bu hamle, yapay zeka güvenliği konusunda artan endişelere yanıt olarak geldi.
Üç Adımlı 'Sınırı Yavaşlatma' Planı
Amodei, kapsamlı bir yazıda "sınırı yavaşlatma" olarak adlandırdığı üç adımlı bir plan önerdi. İlk adım, şirketlerin güvenlik önlemleri geliştirmesi ve düzenleyicilerin modelleri değerlendirmesi için zaman kazandırmak amacıyla eğitim ve geliştirme hızını yavaşlatmayı içeriyor. Amodei'ye göre, dış değerlendiricilere geniş erişim sağlamak sadece ilk adım ve şirket bunu şimdiden tek taraflı olarak uyguluyor.
İkinci adım, sektörün bir bütün olarak bir araya gelmesini ve muhtemelen hükümet kurumlarıyla birlikte "ortak güvenlik standartları ile kontrolsüz yapay zeka ilerlemesinin hızına sınırlamalar getirilmesini" içeriyor. Bu adım, demokratik ülkelerde faaliyet gösteren yapay zeka şirketlerine odaklanacak. Ancak yasaların geçirilmesi ve düzenleyici altyapının kurulması zaman aldığından Amodei, sektörün ortak güvenlik standartları oluşturmak için birlikte çalışması gerektiğini vurguluyor.
Üçüncü ve en zorlu adım ise Çin ve Rusya gibi otoriter hükümetleri gelişimi yavaşlatmaya ve küresel bir yapay zeka güvenlik standartları setini benimsemeye ikna etmek. Amodei, ABD ve diğer demokrasilerin Çin ve diğer otoriter rejimler karşısında teknolojik liderliğini korumasının hayati olduğunu belirtiyor. Bu, yüksek güçlü çiplere erişimi sınırlamak ve şirketlerin daha güçlü bir modelin davranışını taklit ederek hızla yetişmesini sağlayan damıtma gibi yöntemleri engellemek anlamına geliyor.
Endişelerin Kaynağı: Özyinelemeli Kendini Geliştirme ve Ajan Olayları
Amodei, endişelerinin iki ana faktörden kaynaklandığını söylüyor. Birincisi, yapay zeka sistemlerinin yeni nesil yapay zekayı eğittiği özyinelemeli kendini geliştirme (RSI) olgusu. Bu, yeteneklerin hızla artmasına yol açabilir. Amodei, "Kontrol edilmezse, bu sistemleri anlama ve kontrol etme yeteneğimizi aşabilir" diyor. İkinci faktör ise bu yaz yaşanan OpenAI / Hugging Face olayı. Bu olayda, bir ajan sürüsü "fanatik bir şekilde kendini adamış bir kolektif gibi davranarak, kendilerinden istenmeyen ve eldeki görevle ilgisiz hedeflere siber güvenlik saldırıları düzenledi, grubun başarısı için kendini feda etti ve performanslarını değerlendiren 'notlandırıcıya' sızmaya çalıştı."
Elbette, Anthropic'in Claude modeli de son dönemde şirketi spot ışığına çıkaran bir dizi başıboş yapay zeka hackleme olayından sorumlu tutuluyor. Bu olaylar, yapay zeka güvenliği konusundaki endişeleri daha da artırıyor.
Henüz yorum yok — ilk yorumu sen yaz!