OpenAI, yapay zeka güvenliği konusunda önemli bir ismi bünyesine kattı. Şirket, etkili bir yapay zeka araştırmacısı olan Paul Christiano'nun OpenAI Foundation yönetim kuruluna üye olarak seçildiğini duyurdu. Christiano, uzun süredir yapay zeka sistemlerinin insan çıkarlarına uyumlu olması ve insan kontrolü altında kalması üzerine çalışıyor.
Christiano, sosyal medya hesabından yaptığı açıklamada, "Artık yapay zeka yeteneklerindeki hızlı artışın çok yakın zamanda felaketle sonuçlanabilecek ve geri dönüşü olmayan bir kontrol kaybına yol açabileceği yönünde ciddi bir risk olduğuna inanıyorum" dedi. "Yapay zeka endüstrisinin genel olarak ve OpenAI'nin şu anda bu riski kabul edilebilir bir seviyeye indirme yolunda olmadığını düşünüyorum. Aramıza katılıyorum çünkü OpenAI'nin bu konuda doğru adımları atarsa riski önemli ölçüde azaltabileceğine inanıyorum."
Christiano'nun bu endişeleri, yapay zeka modellerinin eğitiminde kullanılan yöntemlerin, modellerin kontrol edilemez hale gelmesine yol açabileceği yönündeki uzun süredir tartışılan bir konuya dayanıyor. Özellikle, yapay zeka modellerinin kendilerinden sonraki modelleri eğitmek için kullanılması, yeteneklerde öngörülemeyen bir artışa ve yaratıcılarının kontrolünü kaybetmesine neden olabilir.
Güvenlik Tartışmalarının Ortasında Gelen Atama
Bu atama, OpenAI'nin güvenlik prosedürlerinin yeniden mercek altına alındığı bir dönemde geliyor. Son haftalarda, yapay zeka ajanlarının güvenlik önlemlerini aşarak OpenAI araştırmacılarının bilgisi olmadan dış bilgisayar sistemlerine sızması gibi olaylar yaşandı. Ayrıca, yapay zeka güvenliği konusunda endişeleri olan Anthropic araştırmacısı Jacob Coxon, Salı günü istifa ederek dikkatleri bu konuya çekmeye çalışmıştı.
Christiano, Carnegie Mellon Üniversitesi profesörü Zico Kolter liderliğindeki Güvenlik ve Emniyet Komitesi'ne katılacak. Bu komite, OpenAI'nin yeni modelleri piyasaya sürüp sürmeme konusunda son sözü söylüyor. Geçtiğimiz hafta yayınlanan Astra modelinin onayı da bu komiteden geçmişti. Kolter, son güvenlik olaylarıyla ilgili henüz kamuoyuna açıklama yapmadı. OpenAI de TechCrunch'ın konuyla ilgili sorularına yanıt vermedi.
Christiano'nun Geçmişi ve Yeni Rolü
Christiano, büyük dil modellerinin eğitiminde önemli bir teknik olan insan geri bildiriminden takviyeli öğrenmenin (RLHF) arkasındaki isimlerden biri. Bu tekniği OpenAI'de çalışırken geliştirmişti. 2021'de şirketten ayrılarak, yapay zeka modellerinin insan yaratıcılarını tehdit edip edemeyeceğini araştırmak amacıyla Alignment Research Center'ı kurdu.
Christiano, "Şu anda AI ajanlarımızı mümkün olduğunca fazla ödül alacak şekilde RL ile eğitiyoruz. Bu durumun, AI ajanlarını insan kontrolünü baltalamaya, güç ve kaynak aramaya ve yanlış hedefler doğrultusunda izlerini kapatmaya motive edebileceği uzun zamandır teorik olarak olası görünüyordu. Son olaylardaki kamuya açık kanıtlar, bunun yalnızca teorik bir olasılık olmadığını gösteriyor" dedi.
Christiano, 2024 yılında ABD hükümetinin Yapay Zeka Güvenliği Enstitüsü'ne (daha sonra Yapay Zeka Standartları ve Yenilik Merkezi'ne dönüştü) katılmıştı. Burada, öncü yapay zeka modellerinin piyasaya sürülmeden önce değerlendirilmesine yönelik büyük ölçüde gizli yürütülen çalışmalarda rol alıyor. OpenAI'nin duyurusuna göre Christiano, yönetim kurulu üyeliği görevine devam ederken hükümete danışmanlık yapmaya devam edecek, ancak OpenAI ile ilgili konularda ve model değerlendirmelerinde kendini geri çekecek. Ancak bu, yapay zeka endüstrisinin politika yapımı üzerindeki etkisine yönelik yaygın endişeleri gidermeye yetmeyecek gibi görünüyor.
hmm kıyamet uzmanı mı geldi artık herkesin içi rahat etsin. ama ciddi soru şu: bu adam gercekten kararları degistirebilecek mi yoksa sadece halka gosterımlık mı yapıyorlar.