Nemotron 3.5 Bolt E4B: hitung biaya deployment, bukan harga token
Diperbarui October 27, 2026 · pertama terbit October 23, 2026
NVIDIA merilis model open-weight Nemotron 3.5 Bolt E4B 4GB pada 23 Oktober 2026. Model ini ditujukan untuk asisten suara lokal, perangkat, dan aplikasi embedded. NVIDIA tidak menerbitkan tarif per token untuk checkpoint terkuantisasi ini. Bandingkan biaya menjalankannya di perangkat sendiri atau layanan hosting dengan mutu dan latensi yang dibutuhkan.
Kartu model mencantumkan total 8 miliar parameter, 4 miliar parameter efektif, presisi Q4_K_M, serta hingga 64K token input dan output. “4GB” menunjukkan varian terkuantisasi, bukan jaminan bahwa layanan produksi hanya memerlukan total memori 4 GB. Runtime, cache KV, konkurensi, dan model draft opsional membutuhkan kapasitas tambahan. Lisensinya OpenMDW 1.1; periksa juga ketentuan model Gemma dasar.
Tidak ada harga token untuk dikalikan
Halaman NVIDIA Build menampilkan endpoint prototipe gratis, tetapi tidak mencantumkan harga token produksi. Ini bukan janji layanan gratis universal atau jaminan kapasitas produksi. Pastikan tarif, batas, dan ketentuan terbaru sebelum membuat anggaran hosting. Untuk self-hosting, hitung sumber daya yang dipesan dan biaya operasi, bukan menganggap token gratis.
TCO bulanan mencakup kapasitas akselerator atau edge, listrik dan pendinginan, penyimpanan dan jaringan, runtime, rekayasa, serta piket. Bagi total dengan tugas selesai yang lolos mutu. Masukkan kegagalan, percobaan ulang, dan kapasitas menganggur. Contoh asumsi saja: 730 jam per bulan dengan biaya asumsi $1,20/jam menghasilkan $876 sebelum tenaga kerja; biayanya $0,0146 per 60.000 tugas yang diterima atau $0,0584 per 15.000 tugas. Ini bukan harga atau benchmark NVIDIA.
Ukur sebelum memilih
Ganti asumsi dengan penawaran dan uji beban yang mewakili penggunaan nyata. Ukur panjang konteks, konkurensi, latensi, memori, tingkat kesalahan, dan biaya per hasil yang diterima. 64K adalah batas maksimum, bukan setelan murah bawaan. Bandingkan server lokal dengan tagihan API sesungguhnya untuk tugas sukses yang sama.
Kartu model mendokumentasikan llama.cpp, vLLM, SGLang, serta model draft DFlash opsional. Ukur tambahan memori dan operasinya sebelum memasukkannya ke anggaran dasar. Open-weight memindahkan biaya dari meter token ke infrastruktur dan operasi; bukan menghilangkannya. Catat versi, kuantisasi, runtime, perangkat keras, beban kerja, dan biaya per tugas yang diterima. Rilis 23 Oktober dibahas dalam artikel terpisah ini.
Sumber
Terkait
Ingin menerapkannya pada stack Anda? Bawa tagihan penyedia, log gateway, dan alur kerja utama; kami akan memetakan pendorong biaya dan jalur penghematan. Pesan audit gratis →