Birçok insanın ‘imkansız’ diyebileceği bir işe imza atıldı. Son günlerin gözde yapay zeka modeli Kimi K3, 8 GB RAM bulunan bir sistemde çalıştırıldı. Ancak bu teknik gösteri, sabır ve SSD’de kocaman bir alan istiyor. İşte detaylar…
Fareed Khan isimli bir geliştirici, 2.8 trilyon parametreli Kimi K3 modelini 8 GB RAM ile çalıştırmayı başardı. Ancak geliştiricinin yaptığı şey K3’ü küçültmek değil, modelin neredeyse 1.56 TB büyüklüğünde olan dosyalarını SSD’de tutmak oldu. RAM ise hesaplama sırasında gereken küçük parçalar için geçici çalışma alanı olarak kullanıldı. Kısacası yapay zeka bilgisayara sığdırılmadı; depolama birimi son derece yavaş çalışan bir bellek gibi kullanıldı.
Bir Token İçin 33 Saniye
Kimi K3, Mixture of Experts (MoE) temelini kullanıyor. Bilmeyenler için MoE, bir şirkette her işi tek kişinin yapması yerine, konuya göre muhasebecinin, avukatın veya mühendisin devreye girmesi gibi çalışan bir yapay zeka mimarisidir. Tüm parametreler aynı anda devreye girmediği için ihtiyaç duyulan kısımlar SSD’den okunuyor. Böylece Kimi K3, 8 GB belleğe sığmış gibi çalışıyor. Bunun karşılığında ise hız ciddi biçimde düşmüş. Tek tokenın üretilmesi yaklaşık 33 saniye sürmüş. Bu tempo sıradan bir sohbet yanıtının bile uzun saatlere yayılması demek.
Testin Asıl Önemi Nedir?
Ortaya günlük kullanıma uygun bir yapay zeka aracı çıkmadı. Kısa bir yanıtın üretilmesi bile saatler sürebiliyor. Üstelik modelin 2 TB depolama alanına ve hızlı bir SSD’ye ihtiyacı var. Yine de bu yapılan önemli, çünkü büyük modellerin bir şekilde düşük RAM’li sistemlerde çalıştırılabileceğini de gösterdi.
