ChatGPT'nin mimarından ezber bozan bir çıkış
Yapay zeka dünyası, ChatGPT'nin arkasındaki isimlerden biri olan Almeida'nın yeni girişimiyle çalkalanıyor. OpenAI'da araştırmacı olarak sohbet robotunun geliştirilmesine katkı sağlayan ve daha sonra insan geri bildirimiyle pekiştirmeli öğrenme (RLHF) tekniğini icat eden Almeida, mevcut sistemlerin potansiyeline rağmen istediği verimi alamadığını söylüyor. TechCrunch'a konuşan Almeida, "Elimizde şişeye hapsolmuş bir yıldırım var ama işe yaramıyor" diyerek yaşadığı hayal kırıklığını dile getiriyor. Ona göre sorunun kökü, modellerin insan dilini mükemmelleştirmeye odaklanmasında yatıyor: "Dört yıldır insan dilinde çok iyiyiz, ancak bu otomasyon için kullanışlı değil çünkü bilgisayarlar farklı bir dil konuşuyor."
Jev: Metin değil, olasılık üreten bir model
İki yıl önce OpenAI'dan ayrılan Almeida, bu sorunu çözmek için TypeSafe AI adlı girişimi kurdu. Şirket bu hafta, büyük dil modeli (LLM) olmayan, transformatör tabanlı yeni modeli Jev'i duyurdu. Jev metin çıktısı vermiyor; bunun yerine olasılıklar ya da şirketin deyimiyle "kalibre edilmiş kararlar" üretiyor. Dilden vazgeçmek birkaç önemli avantaj sağlıyor: Model inanılmaz derecede ucuz ve hızlı çalışıyor. Kullanıcılar çıktıları önceden tanımladığı için modelin halüsinasyon görmesi imkansız hale geliyor. Çıktı token'ları ücretsizken, girdi token'ları milyon yerine milyar başına ücretlendiriliyor. Bu durum, geliştiricilerin ilgisini hızla üzerine çekmiş durumda; şirket, talebin yoğunluğu nedeniyle bir ara API üzerinden kullanıcılara hizmet veremez hale geldi.
Geliştiricilerden gelen ilk sonuçlar umut verici
Jev en çok yazılım otomasyonunda işe yarıyor gibi görünüyor. Şimdiye kadar geliştiriciler, kodlarına zeka katmanın daha ucuz ve daha sağlam bir yolunu buldu. Örneğin, ajanlı altyapı üreten Vercel'de yazılım mühendisi olan Pranit Sharma, şirketinin güvenlik komutlarını denetlemek için OpenAI'ın ChatGPT Luna 5.6 modelini kullandığını söylüyor. Vercel, OpenAI'ın Luna modelini Jev ile değiştirdiğinde sonuçlar 5 ila 18 kat daha hızlı ve daha yüksek doğrulukla alındı. Bir başka geliştirici olan Bryo AI CTO'su Nikhil Mudholkar ise Jev'i iş e-postalarını sınıflandırma görevinde Gemini ile karşılaştırdı. Testinde Gemini biraz daha doğru sonuç verdi ancak 10 ila 20 kat daha pahalıydı. Mudholkar için daha da ilginç olan şey Jev'in güven skorlarıydı: "İş akışlarını otomatikleştirmek için ideal kılan, gerçek bir olasılık değeri döndüren tek model bu!" dedi.
LLM'leri tamamlayan akıllı bir denetçi
Jev, belirli kullanım senaryolarında LLM'lerin yerini almanın yanı sıra onları güçlendirebiliyor da. Ajanları denetlemek için başka ajanlar kullanmak hızla pahalı hale gelebilirken, Almeida Jev'in bu iş için mantıklı olduğunu savunuyor. Kullanıcıların Jev'i LLM ajan izlerini takip etmek ve jailbreak'leri önlemek için kullanacağını öngörüyor. Açık kaynaklı model koşum takımı Pi'yi geliştiren Earendil'in CTO'su Armin Ronacher, "Sonuçta halüsinasyon sorununu biraz kullanıcıya devrediyor" diyor ve ekliyor: "Kullanıcı 'tamam, eğer bu sadece %50 olasılıkla geliyorsa bu yazı tura olabilir, dikkate almam. Ama %95 ise elbette bununla bir şey yapabilirim' demek zorunda." Ronacher'a göre Jev'in bir başka potansiyel kullanımı da model yönlendirme. Belirli bir iş yükünün hangi modeli gerektirdiğini tahmin etmek faydalı olabilir ancak bunun için bir LLM kullanmak pahalıya patlar. Jev'in düşük maliyeti ve hızı, bu tür gerçek zamanlı sıralamayı mümkün kılıyor.
İsmi bir ekonomistin paradoksundan geliyor
Model, adını 19. yüzyıl ekonomisti William Stanley Jevons'tan alıyor. Jevons'un paradoksu, bir malın maliyeti düştükçe kullanımının nasıl giderek arttığını açıklıyor. Almeida'nın umudu da tam olarak bu: Zekanın maliyeti düştükçe yaygın kullanımı artacak. "Her yerde akıllı yazılımlar olacağını düşünüyoruz" diyen Almeida, bunun yeni bir otomasyon çağının kapısını aralayacağına inanıyor. Jev, şimdiden yapay zeka dünyasında "daha az gösteriş, daha çok iş" yaklaşımının öncüsü olarak dikkat çekiyor.
Halüsinasyon görmeyen model iddiası bana biraz abartılı geldi. Hiçbir model sıfır hata vermez, bu pazarlama lafı gibi duruyor. Metin üretmemesi de enteresan ama kullanım alanı ne olacak belli değil.
halüsinasyon görmüyorsa iyi hoşta madem metin üretmiyor bu ne işe yarıyor tam olarak? yine bi hype kokusu var ama bakalım altından ne çıkacak