Yapay zeka dünyasında büyük dil modelleri (LLM) genellikle devasa boyutlarıyla anılır. Ancak Kaliforniya Teknoloji Enstitüsü (Caltech) kökenli bir girişim olan PrismML, bu algıyı tersine çevirmeye kararlı. Şirket, yetenekli ve yüksek performanslı akıl yürütme modellerinin illa büyük olması gerekmediğini savunuyor. Hatta o kadar ileri gidiyor ki, bu modelleri bilgisayarlara ve akıllı telefonlara sığdıracak kadar küçültüyor.
Bonsai 2 27B: 27 Milyar Parametre, 5.9 GB Bellek
PrismML'ın en yeni hamlesi olan Bonsai 2 27B, Alibaba'nın yaygın olarak kullanılan açık kaynak modeli Qwen3.8 27B'yi temel alıyor. Ancak ortaya çıkan sonuç, orijinalinden tam 9 ila 10 kat daha az bellek kullanıyor: sadece 5.9 GB. Bu boyut, onu bir PC'ye ve muhtemelen üst düzey bir akıllı telefona sığdırmak için yeterli. Şirketin iki ay önce Mart ayında yayınladığı ilk Bonsai modeli ise Qwen'in toplam kıyaslama puanlarının %95'ini karşılıyordu. Yeni sürüm bu oranı %98'e çıkarmış durumda. İlk modelin şimdiden 11 milyonun üzerinde indirildiği, daha küçük modellerin ise 2,6 milyon kez indirildiği belirtiliyor.
PrismML'ın kurucu ekibi, Caltech araştırmacılarından oluşuyor ve şirketin başında sıkıştırma teknolojileri konusunda uzman bir profesör olan Babak Hassibi bulunuyor. Hassibi, aynı zamanda Databricks'in kurucu ortaklarından ve Berkeley'in ünlü Sky Computing Lab'inin direktörü olan Ion Stoica'yı da danışman kadrosunda bulunduruyor. Girişim, Khosla Ventures, Cerberus Capital ve Caltech'ten yatırım almış. Henüz sadece 22,25 milyon dolarlık (yaklaşık 1.100 TL) bir başlangıç turu toplamış olsa da, arkasındaki teknik beyinler ve geliştirdiği teknoloji, sektörde büyük yankı uyandırabilir.
Üçlü Ağırlık Sistemi: +1, -1 veya 0
Peki bu sıkıştırma nasıl mümkün oluyor? PrismML, modelin eğitim sırasında öğrendiği ve sakladığı bilgiler olan "ağırlıkları" küçültüyor. Normalde her ağırlık 16 bit gerektirirken, şirketin "üçlü" (ternary) ağırlık yöntemi bu değerleri sadece üç seçeneğe indiriyor: +1, -1 veya 0. Her ağırlık için saklanan değer küçüldükçe, modelin kapladığı alan da dramatik biçimde azalıyor. Hassibi, sıkıştırmanın her zaman bir miktar etkisi olacağını kabul ediyor, ancak %2'lik bir performans kaybının gerçek kullanımda anlamlı bir fark yaratmayacağını vurguluyor. Zaten modeller ham hallerinde bile mükemmel değil ve kıyaslama testleri gerçek görevleri tam yansıtmıyor.
PrismML'ın bir sonraki hedefi ise bu teknolojiyi çok daha büyük modellere uygulamak. Hassibi, önümüzdeki birkaç ay içinde yüz milyarlarca parametre aralığında yeni modeller yayınlamayı planladıklarını ve model boyutu büyüdükçe zekayı korumanın daha kolay olacağını belirtiyor. Bu alanda Multiverse Computing gibi başka oyuncular da var, ancak PrismML'ın iddiası, orijinal modellere kıyasla neredeyse hiç performans kaybı yaşatmaması. Eğer bu teknoloji yaygınlaşırsa, yapay zeka artık sadece bulut sunucularında değil, doğrudan cebimizdeki cihazlarda da güçlü bir şekilde çalışabilir. Bu da yapay zeka kullanımını kökten değiştirebilir.
Henüz yorum yok — ilk yorumu sen yaz!