Bağlam penceresi için iki kez ödemek
Güncellendi September 1, 2026 · ilk yayın September 1, 2026
Bağlam penceresi kapasite olarak ilan edilir: 200,000 token, bir milyon token, ihtiyacınız olan her şeye yer. Ama kapasite faturalama birimi değildir. Gönderdiğiniz şey için ücretlendirilirsiniz ve çok turlu bir konuşmada her turda neredeyse hepsini yeniden gönderirsiniz.
Bu ikinci ödeme. Yirmi turluk bir konuşmanın başında yüklenen 30,000 tokenlık bir belge 30,000 girdi token değildir. Yaklaşık 600,000 eder, çünkü ikinci tur de onu yeniden gönderir, yirmincisi de.
Kimsenin yapmadığı hesap
Maliyet, konuşma uzunluğunun doğrusal olarak değil, karesiyle ölçeklenir. Tur sayısını ikiye katlamak, bağlam birikmeye devam ettiği varsayılırsa girdi token sayısını kabaca dörde katlar. "Mesaj başına maliyet" modelleyip mesaj sayısıyla çarpan ekipler uzun oturumları ciddi biçimde düşük tahmin eder ve hata, tam da tutmak istediğiniz kullanıcılarla birlikte büyür.
Genellikle üçüncü bir ücret de vardır: birçok sağlayıcı, uzun bağlam eşiğinin üzerindeki istekleri prim bir oranla fiyatlandırır. Tek bir ek dosya isteği bu çizgiyi aşırtabilir ve yalnızca çizgiyi geçen token'ları değil, tüm çağrıyı, girdi ve çıktı dahil, yeniden fiyatlandırabilir.
Neyi ölçmeli
Bağlam kullanımını izleyin: gönderilen token'lar ile modelin gerçekten ihtiyaç duyduğu token'lar. Bu alanın atık metriğine en yakın şey budur. Girdi token'larını istek başına değil konuşma başına izleyin ve p99'a bakın — medyanın yirmi katı maliyet gösteren oturumlar tam da orada yaşar.
Uzun bağlam fiyat eşiğini aşan isteklerde uyarı kurun. Bu bir eğim değil bir basamaktır ve günlük toplamda hiçbir şey gibi görünmez.
En ucuzdan başlayarak üç düzeltme
Sabit öneki önbelleğe alın. Sistem istemi ve yüklenen belgeler bir konuşma sırasında değişmiyorsa, istem önbelleği tekrarlanan maliyetin küçük bir kısmına inmesini sağlar. Herhangi bir çok turlu ürün için tek başına en yüksek getirili değişikliktir.
Geçmişi bilerek kırpın. Eski turlar nadiren yeniden gönderim fiyatını hak eder. Uzun bir konuşmanın önceki kısmını özetleyin ve ham turları atın; konuşmanın akışını korur, bunun için tam bedel ödemeyi bırakırsınız.
Derlemi değil, alıntıyı gönderin. Geri getirme tam olarak bunun için var. Pencerenin bir belgenin tamamını tutacak kadar büyük olması, belgenin tamamını oraya koymak için bir gerekçe değildir.
İlgili
İlgili
Bunu kendi altyapınıza uygulamak mı istiyorsunuz? Sağlayıcı faturalarını, ağ geçidi kayıtlarını ve ana iş akışlarını getirin; maliyet etkenlerini ve tasarruf yolunu çıkaralım. Ücretsiz denetim planlayın →