Bir yazılım mühendisi Apple’ın 20 yıl önce piyasaya sürdüğü dizüstü bilgisayarda yapay zeka modeli çalıştırmayı başardı.
Andrew Rossignol isimli yazılım mühendisi Apple‘ın eski bir PowerBook G4 bilgisayarında LLM (Large Languange Model/LLM) çalıştırdı. LLM’leri çalıştırmak için yüksek donanım gereklidir. Ancak Apple’ın 2005’ten kalma PowerBook G4 modelinde 1.5 GHz hızında çalışan PowerPC G4 işlemci ve 1 GB RAM bulunuyor. Böylesi eski bir donanıma rağmen Meta’nın Llama 2 modeli çalışabildi.
Bu ilginç test için açık kaynaklı llama2.c projesi eski dizüstü bilgisayara uyarlanarak çalıştırıldı ve ardından PowerPC’nin AltiVec uzantısı ile performans artırıldı. Daha önce de PlayStation 3, Xbox 360 gibi eski oyun konsollarında ve yıllar önce piyasaya sürülen farklı bilgisayar donanımlarında yapay zeka modeli çalıştırılmıştı.
Yapay zeka modelleri yerel (Local) olarak çalıştırılabilir. Bunun için Ollama gibi bir uygulama gerekli (Farklı alternatifler de var). Ollama’nın sitesinde hangi LLM modellerinin indirilip, çalıştırılabildiği listelenmiş halde. Mesela düşük donanımlarda TinyLlama, Llama3.2 1b gibi modeller çalıştırılabilir. Her model isminin yanında 1b, 7b, 30b, 70b gibi ifadeler bulunuyor. Bu ifadeler parametre sayısını gösteriyor. B, billion demek. 70b aslında 70 milyar parametre anlamına geliyor.
Parametre sayısı oldukça artıyor. Örneğin OpenAI’ın GPT-4 modeli 1.2 trilyon parametreye sahip. Parametre sayısı arttıkça, modelin karmaşıklığı ve doğruluğu da artıyor; bu da daha güçlü bir donanım gerektiriyor. Düşük parametreler eski cihazlar, düşük donanımlar, telefonlar, tabletler gibi cihazlar için ideal ve hızlılar, fakat daha az akıllılar.
