Token ve bağlam penceresi
Model metni harf harf ya da kelime kelime görmez. Metni token adı verilen parçalara böler. Bir token bazen tam bir kelimedir, bazen kelimenin bir hecesi, bazen tek bir noktalama işareti. Modelin okuduğu da ürettiği de bu parçalardır.
Bağlam penceresi, modelin bir seferde görebildiği toplam token miktarıdır. Burada dikkat edilecek nokta şudur: pencere yalnız sizin sorunuz için değildir. Sistem talimatı, konuşmanın önceki turları, eklediğiniz dosyalar ve modelin üreteceği yanıt aynı bütçeden harcanır.
Bütçeyi kim harcar
- Arka plandaki sistem talimatı: siz yazmasanız da oradadır
- Konuşma geçmişi: her yeni tur, önceki turların tamamını yeniden taşır
- Eklediğiniz belgeler: uzun bir PDF bütçenin büyük kısmını tek başına yer
- Modelin yanıtı: üretilen metin de aynı pencereden harcanır
Pencere dolduğunda ne olur
- En eski kısım genellikle sessizce düşer. Ekranda bir uyarı görmeyebilirsiniz
- Model başta verdiğiniz talimatı unutmuş gibi davranmaya başlar
- Yanıt kalitesi düşer, ama ortada bir hata mesajı yoktur
- Sorunu yanıtın içeriğinden değil, davranışın değişmesinden anlarsınız
Bunun pratik karşılığı basittir: uzun bir oturumda kalite düştüğünde ilk şüpheniz model değil, bütçe olmalıdır. Yeni bir oturum açıp yalnız gerçekten gereken bağlamı taşımak çoğu zaman en hızlı çözümdür. Bağlamın bir bütçe olarak yönetilmesi M3 Context Engineering modülünün konusudur.
Kendi kullandığınız araçta bir sayfalık metnin kaç token ettiğini hiç ölçtünüz mü? Tahmin etmeyin, bir kez ölçün. Türkçe metnin aynı uzunluktaki İngilizce metinden farklı bir maliyeti olup olmadığını da aynı denemede görürsünüz.