Teknoloji devleri yapay zeka modellerini hızlandırmak için yeni yöntemler peşinde koşturuyor. İşte durum böyleyken Taalas isimli bir şirket, farklı açıdan olayın içine dâhil oldu. Firma odağını genel amaçlı işlemcilerden çekip, sadece tek işi kusursuz yapmak üzere tasarlanan ‘ASIC’ donanımına yöneltti. Bunun sonucunda saniye başına 17 bin token üreten, oldukça hızlı bir yapay zeka aracı ortaya çıktı. Lafı daha fazla uzatmadan detaylara gelin birlikte bakalım…
Yaklaşık 2.5 yıl önce kurulan Taalas, 24 kişilik bir ekipten oluşuyor. Şirket bir yazılımı neredeyse 2 ay içinde fiziksel bir çipe dönüştürüyor. Aslında yapay zeka modeline özel bir yonga tasarlanıyor ve model de çip içine gömülüyor. Her şeyin temelinde ise ‘Hardcore’ denilen mimari var. Bahsettiğimiz mimari, depolama ve hesaplama birimlerini aynı çatı altında doğrudan bellek yoğunluğunda birleştiriyor. Taalas’ın ürettiği ilk işlemci ‘HC1’ gücünü Meta’nın ‘Llama 3.1 8B’ modelinden alıyor.
Llama 3.1 8B açık kaynaklı ve küçük bir model. Bu yüzden de ilk olarak seçilmesi normal. Saniye başına 17 bin token üretiyor ki, bu rakam muazzam. Bir şey sorduğunuzda hiç beklemeden anında size yanıt veren bir yapay zeka düşünün. İşte HC1 yongasındaki Llama 3.1 8B böyle bir araca dönüşmüş hâlde. Mevcut AI sistemlerine göre 10 kat daha hızlı çalışırken, enerji tüketimini de yarı yarıya aşağı çekiyor. Hem performans hem de güç tasarrufu sunuyor. Ne kadar hızlı olduğunu test etmek isterseniz, buradan sohbet botuna ulaşabilirsiniz. Yapay zeka tamamen donanım içinde yer alsa da, bağlam penceresini ayarlama yeteneği ve ‘LoRA’ adı verilen pratik ince ayar eklentileriyle esnekliğini korumayı başarıyor.
Donanım tarafında işleri hızlandırmak için verileri küçültmek şart. Ekiptekiler de standartların dışına çıkarak ‘3-bit’ ve ‘6-bit’ adını verdikleri özel veri sıkıştırma yapılarını kullanmış. Örnek vermek gerekirse kışlık kalın bir montu küçük bir çantaya sığdırmak gibi bir şey. Çantadan montu çıkardığınızda kırış kırış olduğunu görürsünüz. Taalas’ın uyguladığı agresif sıkıştırma metodu sistemin hızını uçuşa geçirse de kayıplara yol açıyor. Şirketin bir sonraki çipi ‘HC2’de endüstri standardı sayılan ‘4-bit floating-point’ kullanılacak. Bu yeni format sözünü ettiğimiz kayıpları ortadan kaldıracak. Veriler bu sayede hızdan ödün vermeden işlenecek ve çıktı kalitesi de kusursuz kalacak.
