AT&T artan yapay zeka kullanımıyla birlikte OpenAI ve Anthropic harcamalarını sabit tutmanın yolunu açık kaynak modellerde arıyor. Şirket çalışan taleplerinin büyük bölümünü Nvidia, Meta ve Google seçeneklerine kaydırdı. İşte detaylar…
AT&T yapay zeka faturasının hızla şişmesini istemiyor. Şirket bu yüzden açık kaynak modellere daha fazla yük bindirmeye başladı. Çalışanlardan gelen taleplerin yüzde 40’ı Nvidia, Meta ve Google modellerine yönlendiriliyor. Hedef ise birkaç yıl içinde bu oranı yüzde 60 ila 70 seviyesine çıkarmak. AT&T’nin yapay zekadan sorumlu yöneticisi Mark Austin, açık kaynak modellerin, bazı kapalı modellere denk hatta kimi görevlerde daha iyi olduğunu söyledi.
Açık Kaynak Maliyeti Düşürüyor
Şirketin 2023’te kullanıma sunduğu Ask AT&T, başlangıçta tamamen OpenAI modellerine dayanıyordu. Sistem bugün farklı sağlayıcılarla çalışan çok modelli bir yapıya dönüştü. Günde 45 milyar token işleyen platform, talepleri görevin zorluğuna göre en uygun modele yönlendiriyor. LiteLLM üzerinden yapılan bu model yönlendirme yöntemi, bazı kod üretim işlerinde maliyeti yüzde 56’ya kadar düşürürken çıktı kalitesindeki kaybı da yüzde 2 seviyesinde tuttu.
OpenAI ve Anthropic Her İşte Şart Değil
AT&T, Nvidia Nemotron’un yanı sıra Meta Llama ve Google Gemma modellerini de kullanıyor. Austin, “Açık kaynak modellerin gelişmeye devam etmesini bekliyoruz” dedi. Şirket karmaşık kodlama işlerinde güçlü kapalı modellere başvursa da özetleme gibi daha hafif görevleri ucuz seçeneklere bırakıyor. Böylece OpenAI ve Anthropic harcamalarını sabit tutarken kullanım hacmini büyütmeyi amaçlıyor.
