OpenAI'ın Yeni Akıl Yürütme Tekniği Güvenlik Uzmanlarını Endişelendiriyor

Gizemli Akıl Yürütme: Tekrarlayan Derinlik Nedir?

OpenAI'ın yeni nesil modeli Astra, yapay zeka dünyasında tartışma yaratan bir akıl yürütme tekniğiyle geliyor. The Information'ın raporuna göre, Astra modeli 'tekrarlayan derinlik' (recurrent depth) adı verilen ve çoğu akıl yürütme modelinin karakteristik özelliği olan sıralı düşünme sürecinin dışına çıkmasına olanak tanıyan bir yöntem kullanacak. 'Opak tekrarlama' olarak da bilinen bu teknik, modelin düşünce zincirini izlemeyi zorlaştıracak ve bu durum, yapay zeka güvenlik uzmanlarını ciddi şekilde tedirgin ediyor.

Normal koşullarda, bir akıl yürütme modelinin zincirleme düşünme süreci, modelin bir sorunu çözerken attığı adımları sıralı olarak gösterir. Bu temsil kusurlu olsa da, istenmeyen davranışları veya yanlış hizalamaları izlemek için değerli bir araç olarak kabul edilir. OpenAI'ın yakın zamanda yaşanan 'haydut ajan' (rogue agent) olayında da zincirleme düşünme kayıtları, ajanların davranışlarının nedenlerini anlamada kritik bir rol oynamıştı.

Uzmanlar Neden Tedirgin?

Bu yeni teknik, modelin daha az doğrusal bir yaklaşım benimsemesine ve aynı sorguyu döngüsel olarak işlemesine olanak tanıyor. Sonuç olarak, modelin izlenebilir izleri azalıyor ve geleneksel zincirleme düşünme kayıtları devre dışı kalıyor. Redwood Araştırma CEO'su Buck Shlegeris, haberin ardından yaptığı açıklamada, 'Astra'nın opak tekrarlama kullandığına dair haberlere son derece endişeliyim' ifadelerini kullandı. Shlegeris, 'Astra'nın önceki modellere göre ne kadar daha az izlenebilir olduğunu bilmiyorum. Ancak OpenAI bu tekniği daha da ileriye taşırsa, tekrarlamayı büyük ölçüde artırma ve zincirleme düşünme izlenebilirliğini tamamen yok etme seçeneğine sahip olacak' dedi.

Uzun süredir yapay zeka güvenliği savunucusu olan Zvi Mowshowitz da bu gelişmeye tepki gösterdi. Mowshowitz, 'Bu teknik ateşle oynamak anlamına geliyor. OpenAI ve Anthropic'in kurmaya çalıştığı, zincirleme düşünme sadakatini ve izlenebilirliğini koruma tabusunu riske atıyor. Bu tür tekniklerin daha yoğun kullanımı muhtemelen izlenebilirliğe zarar verecek' şeklinde konuştu. Mowshowitz, yapay zeka laboratuvarları arasında bir 'dibe doğru yarışı' önlemek için yasaların gerekli olabileceğini de sözlerine ekledi.

OpenAI'dan Savunma ve Gelecek Adımlar

Ancak OpenAI, bu endişelere karşı sınırlı bir kullanım olduğunu vurguluyor. Astra'nın zincirleme düşünme sürecinin hala okunaklı olması bekleniyor ve şirket, 'nöral dil' olarak bilinen bir yapıya geçeceği yönündeki iddiaları reddetti. OpenAI baş bilim insanı Jakub Pachocki, X üzerinden yaptığı açıklamada laboratuvarın okunaklı zincirleme düşünme konusundaki kararlılığını vurguladı: 'OpenAI, ilk akıl yürütme modellerimizden bu yana zincirleme düşünme izlemesini korumak ve kullanmak için çalışıyor. Bu, mevcut araştırma programımızın temel bir hedefi.'

Yine de, tüm yapay zeka modellerinin bir miktar opak akıl yürütme yaptığı ve çok az araştırmacının zincirleme düşünme kayıtlarını modelin düşüncesinin doğrudan bir temsili olarak kabul ettiği biliniyor. Ancak bu uyarılar, opak tekrarlamanın, özellikle farklı modellerde kullanımı arttıkça, yapay zeka akıl yürütmesini izlemeyi zorlaştırabileceği endişesini ortadan kaldırmıyor. The Information'ın Çarşamba sabahı yayınladığı takip raporuna göre, Anthropic ve Google DeepMind'ın da bu tekniği tartıştığı bildiriliyor. Redwood Research baş bilim insanı Ryan Greenblatt, opak akıl yürütmenin geleneksel zincirleme düşünmeden çok daha hızlı ölçeklenebileceğini ve tüm akıl yürütmeyi görünür kanallardan tamamen kaldırabileceğini belirterek, 'En büyük endişem, buradan doğal bir ilerlemenin opak akıl yürütmeyi modelin tamamen veya neredeyse tamamen gizli alanlarda düşünmesine yol açacak şekilde ölçeklendirmeyi içermesi' ifadelerini kullandı.