Arizona State Üniversitesi’nin yeni araştırması yapay zeka modellerinin insan gibi “düşünme” yeteneğine sahip olup olmadığına dair şüpheleri güçlendirdi. Çalışmaya göre yapay zeka mantık yürütmek yerine eğitim verisindeki kalıpları taklit ediyor ve tanımadığı verilerle karşılaşınca hızla hata yapıyor. İşte detaylar…
Çalışmanın odak noktası yapay zekada “düşünce zinciri” (chain-of-thought – CoT) adı verilen teknik etrafında dönüyor. Bu yöntem karmaşık problemleri adım adım çözmek için modelin önce mantık adımlarını yazmasına dayanıyor. Örneğin “12 ile 8’in çarpımı kaçtır?” sorusunda model, doğrudan sonucu vermek yerine “12 x 8 = 96. Sonuç 96” şeklinde ilerliyor. Burada asıl gaye AI’ın çözüm sürecini şeffaf hale getirip hataları azaltmak.
Araştırma ekibine göre CoT, kırılgan bir yanılsama. Eğitim verisine benzeyen görevlerde iyi çalışıyor, ama veri biçimi veya görev değişince başarısız oluyor.
Ekip “DataAlchemy” adlı kontrollü bir test ortamı kurarak bir modeli sıfırdan eğitti. Basit harf dönüşümleri (örneğin ROT kaydırma veya kelime içi harf rotasyonu) üzerinde çalıştı. Ancak yapay zeka gördüğü kuralların dışına çıkınca doğru sonuca ulaşamadı. Mesela dört harfli kelimelerle eğitilip üç veya beş harfli kelimelerle test edildiğinde performans hızla düştü.
AI modeli, girdi uzunluğu veya çözüm adımı sayısı değiştiğinde, hatalı olarak adım sayısını korumaya çalıştı ve rastgele harf ekleyip çıkardı. Verinin başına anlam taşımayan semboller eklemek bile CoT mantığını bozdu. Araştırmacılar bu tür cevapları “akıcı saçmalık” olarak tanımlıyor.
Google Gemini’le yapılan bir testte ise Gemini, 1776’nın “artık yıl” olduğunu önce doğru hesapladı, ardından “normal yıl” diyerek kendisiyle çelişti. Ekiptekilere göre böyle hatalar yüksek riskli alanlarda ciddi sorunlara neden olabilir.
Sonuçlar Apple’ın “The Illusion of Thinking” makalesi ve Çinli araştırma gruplarının bulgularıyla örtüşüyor. Ortak görüş yapay zekanın kalıp eşleştirme yeteneğini geliştirdiği, fakat yeni çözüm stratejileri üretme konusunda sınırlı kaldığı yönünde.
