Yapay zekâ modelleri eğitimden sonra neden öğrenmeyi bırakır? Google'ın "uyku" fikri

Güncellenme

Çoğu yapay zekâ modeli eğitim sırasında öğrenir, sonra olduğu gibi kalır. Google araştırmacıları, bir modelin eski becerilerini unutmadan yeni bilgileri kaydettiği bir "uyku" evresi öneriyor. Bu henüz erken aşamada bir araştırma.

Sorun

Dil modeli, bir sohbet botunun arkasındaki yapay zekâ sistemidir. Eğitim sırasında çok büyük miktarda metinden öğrenir. Eğitimde belirli bir kesim tarihine kadar olan metinler kullanılır. Bu yüzden model, o tarihten sonra olanları bilmeyebilir.

Sonradan bir modele yeni bilgiler öğretmeyi iki şey zorlaştırır:

  • Yalnızca kısa süreli bellek: Sohbet sırasında model, konuşmada yazılanları kullanabilir. Buna bağlam penceresi (context window) denir. Bu metin modelin kendi içine kaydedilmez, bu yüzden model değişmez.
  • Unutma: Modeli yeni bilgilerle yeniden eğitirseniz, çoğu zaman zaten bildiği konularda daha kötü hâle gelir. Araştırmacılar buna katastrofik unutma (catastrophic forgetting) der.

"Uyku" fikri

Google araştırmacıları bu fikri insan uykusundan aldı. Model iki evre arasında geçiş yapar:

  1. Uyanıkken: Model her zamanki gibi çalışır ve yeni bilgileri hızlı, kısa süreli bir bellekte tutar.
  2. Uykudayken: Model yeni soru almayı bırakır. Öğrendiklerini uzun süreli belleğine, yani parametrelerine taşır. Parametreler, modelin içinde öğrendiklerini tutan çok büyük bir sayı kümesidir. Model bunun için biraz ek alan ekler, böylece eski bilgiler dışarı itilmez. Ardından kısa süreli belleği temizler.

Model uykudayken bir de "rüya görür": Kendi alıştırma örneklerini yazar, en faydalı olanları saklar ve bunlarla kendini eğitir.

Ne buldular?

Araştırmacıların bildirdiğine göre, kendi testlerinde:

  • Model iki nadir dili (Mançu ve Kalamang dilleri) adım adım öğrendi ve önceki adımlarda öğrendiklerinden neredeyse hiçbir şey unutmadı. Diğer yöntemler çok daha fazlasını unuttu.
  • 10 milyon token uzunluğa varan çok uzun metinlerle yapılan bir testte de iyi çalışmaya devam etti. Token, kabaca kısa bir kelime ya da bir kelimenin parçası kadar olan küçük bir metin parçasıdır.
  • Yeni bilgi ve matematik testlerinde, karşılaştırıldığı yöntemlerden daha iyi sonuç verdi.

Sınırlar

Bu sonuçlar yazarların kendi testlerine dayanıyor ve başka ekipler bunları henüz tekrarlamadı. Sohbet uygulamalarının bu yöntemi ne zaman kullanacağı, hatta kullanıp kullanmayacağı belli değil.

ChatBoost ile sohbet ederken bu sizin için ne anlama geliyor?

Sohbet uygulamalarının arkasındaki yapay zekâ modelleri, bildiklerinin çoğunu eğitim sırasında öğrenir. ChatBoost ile sohbet ederken:

  • Yeni olaylar söz konusuysa, bilginin hangi tarihe ait olduğunu kontrol edin ya da güncel bir haber kaynağına bakın.
  • Uzun bir sohbette önemli ayrıntıları gerektiğinde tekrarlayın (isimler, sayılar, hedefiniz).
  • Bir hatayı düzeltmeniz o sohbette işe yarar. Ancak modelin bildiklerini hemen değiştirmez.

Kaynak

Ali Behrouz, Farnoosh Hashemi, Adel Javanmard ve Vahab Mirrokni (Google Research), "Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories", arXiv, 2026: arxiv.org/abs/2606.03979

Google Research blogunda yayımlanan özet, 27 Ekim 2026: Uyku çerçevesi

Still need help?

Başka sorularınız var mı? Bir talep gönder

Bir talep gönder