Olasılıksal üretim ve aynı soruya farklı yanıt
Model bir sonraki token'ı belirlerken tek bir doğru cevap hesaplamaz. Olası devamların her birine bir olasılık verir, sonra bu dağılımdan bir tanesini seçer. Seçim adımı işin kalbidir: model her adımda tek bir yol izlemek zorunda değildir.
Seçimin nasıl yapılacağını örnekleme ayarları belirler. Sıcaklık düşükken en olası devam neredeyse her seferinde öne çıkar, yanıtlar birbirine benzer ve düzleşir. Sıcaklık yükseldikçe daha az olası devamlar da şansa girer, yanıtlar çeşitlenir ve sapma riski artar. Ayarı işe göre seçersiniz: sözleşme özeti ile beyin fırtınası aynı ayarı istemez.
Aynı soru neden farklı yanıt verir
- Örnekleme adımı rastgelelik taşır. Aynı girdi, aynı dağılım, farklı seçim
- Bağlam en ufak ayrıntıda değişmişse dağılım da değişir: bir boşluk, bir sıra farkı yeter
- Sağlayıcı modeli güncelleyebilir. Aynı isim, farklı ağırlıklar
- Altyapı tarafındaki toplu işlem ve donanım farkları da sonucu oynatabilir
Pratik sonucu
- Tekrarlanabilirlik istiyorsanız ayarları sabitleyin, yine de garanti beklemeyin
- Kritik işte çıktıyı değil süreci standartlaştırın: aynı prompt, aynı kontrol listesi, aynı doğrulama adımı
- Bir kere çalışmış olması kanıt değildir. Aynı işi birkaç kez çalıştırıp sonucun yayılımına bakın
- Bir sapmayı hata sanmadan önce girdinin gerçekten aynı olup olmadığını kontrol edin
Birinci dersin sonunda bir soru bırakmıştım: model neden aynı soruya farklı yanıt verir? Yazdığınız cümleyi şimdi okuyun. Cevabınızda seçim adımından ve örnekleme ayarından söz ediyorsanız ortak dil kurulmuş demektir.