Üretim dışı LLM harcaması
Güncellendi September 1, 2026 · ilk yayın September 1, 2026
LLM harcamasına yönelik her FinOps incelemesi üretim trafiğiyle başlar, çünkü tek görünür olan odur. Sonra biri rakamları ortama göre ayırır ve faturanın önemli bir dilimini bulur — çoğu zaman yüzde olarak iki haneli bir oran — bu dilim hiçbir müşteriye dokunmamıştır.
Bu harcama dört yerden gelir ve bunlar birbirini büyütür.
Üretim dışı harcama nereden gelir
CI. Değerlendirme paketi çalıştıran her pull request modeli çağırır. Yoğun bir depoda iki yüz senaryoluk bir paket günde binlerce çağrı demektir ve bunlar en yetenekli modelde yapılır, çünkü paketi yazan kişi haklı olarak üretimi yansıtmasını istemiştir.
Yerel geliştirme. Bir prompt üzerinde çalışan mühendisler saatte onlarca kez API çağırır; genellikle paylaşılan bir anahtarla ve bu döngünün kime ait olduğunu söyleyen bir etiket olmadan.
Staging ve demo ortamları. Uzun ömürlü, düşük trafikli ve üretimle birebir aynı yapılandırılmış ortamlar. Yani pahalı model ve önbellek yok; kimsenin izlemediği bir avuç isteğe hizmet ediyorlar.
Testte yeniden denemeler ve kontrolden çıkan döngüler. Üretimde güvenle başarısız olan bir ajan döngüsü, bir test dalında hata yaptığında yine jeton harcar; test ortamında bunu fark edecek hiçbir şey kurulu değildir.
Maliyetten önce atfı düzeltin
Kendini ilk günden amorti eden tek değişiklik, ortam başına ayrı bir API anahtarıdır. Bir öğleden sonra sürer ve açıklanamayan tek bir kalemi etiketli dört kaleme dönüştürür. Her isteğe ortamı, CI için de depoyu ve iş akışını etiketleyin. Bu yapılmadan aşağıdaki her öneri tahmin yürütmekten ibarettir.
Görünür hale gelince genelde üç şey hemen ardından gelir. Üretim dışında daha küçük bir model neredeyse her zaman yeterlidir; değerlendirme paketleri tutarlılık ister, en yetenekli modeli değil, ve çoğu daha ucuz bir modeli sabitleyip sinyal kaybetmeden çalışabilir. Üretim dışı ortamlarda önbellek en çok kazandırır, çünkü CI bütün gün neredeyse aynı prompt'ları tekrar oynatır. Ve sert harcama sınırları burada gerçekten güvenle konulabilir: sınırlanmış bir test ortamı bir derlemeyi durdurur, sınırlanmış bir üretim ortamı ise bir müşteriyi.
Kural
Her üretim dışı ortama kendi anahtarını, kendi bütçesini ve kendi sınırını verin. Ardından ortamlar arasındaki farkı, üç aylık bir incelemede keşfettiğiniz bir sayı olarak değil, bilerek yönettiğiniz bir sayı olarak ele alın.
İlgili
İlgili
Bunu kendi altyapınıza uygulamak mı istiyorsunuz? Sağlayıcı faturalarını, ağ geçidi kayıtlarını ve ana iş akışlarını getirin; maliyet etkenlerini ve tasarruf yolunu çıkaralım. Ücretsiz denetim planlayın →