Nemotron 3.5 Bolt E4B: Bereitstellung statt Tokenpreis kalkulieren
Aktualisiert October 27, 2026 · erstveröffentlicht October 23, 2026
NVIDIA veröffentlichte Nemotron 3.5 Bolt E4B 4GB am 23. Oktober 2026. Das Modell mit offenen Gewichten ist für lokale Sprach- und Geräteassistenten sowie eingebettete Anwendungen gedacht. NVIDIA veröffentlicht für diesen quantisierten Checkpoint keinen Token-Listenpreis. Entscheidend ist daher, ob der Betrieb auf eigener Hardware oder bei einem gemessenen Hosting-Anbieter günstiger ist und die Qualitäts- und Latenzanforderungen erfüllt.
Die Modellkarte nennt 8 Milliarden Parameter insgesamt, 4 Milliarden effektive Parameter, Q4_K_M und bis zu 64K Eingabe- und Ausgabetoken. „4GB“ bezeichnet die quantisierte Variante, nicht den gesamten Speicherbedarf eines Produktionsdienstes. Laufzeit, KV-Cache, Parallelität und ein optionales Draft-Modell benötigen zusätzlichen Speicher. Die Lizenz ist OpenMDW 1.1; prüfen Sie vor dem Einsatz auch die Bedingungen des zugrunde liegenden Gemma-Modells.
Kein Tokenpreis zum Multiplizieren
Die NVIDIA-Build-Seite zeigt einen kostenlosen Prototyp-Endpunkt, aber keinen produktiven Tokenpreis. Das ist weder ein allgemeines Gratisversprechen noch eine Kapazitätsgarantie. Prüfen Sie vor einem Hosting-Budget die aktuellen Tarife, Limits und Bedingungen. Beim Selbsthosting kalkulieren Sie reservierte Ressourcen und Betrieb, statt Tokenkosten mit null anzusetzen.
Ein monatliches TCO-Modell umfasst Accelerator- oder Edge-Kapazität, Strom und Kühlung, Speicher und Netzwerk, Plattformlaufzeit sowie anteilige Engineering- und Bereitschaftskosten. Teilen Sie die Summe durch qualitätsgeprüfte, abgeschlossene Aufgaben. Fehlversuche, Wiederholungen und Leerlauf gehören in den Zähler; ein günstiger Aufruf kann pro akzeptiertem Ergebnis teuer werden.
Beispiel zur Auslastung
Die Zahlen sind reine Planungsannahmen, keine NVIDIA-Preise oder Benchmarkwerte. Bei 730 Serverstunden zu angenommenen 1,20 US-Dollar pro Stunde entstehen 876 US-Dollar vor Personal- und Plattformkosten. Bei 60.000 akzeptierten Aufgaben sind das 0,0146 US-Dollar je Aufgabe; bei 15.000 Aufgaben 0,0584 US-Dollar. Die vierfache Differenz entsteht durch Auslastung.
Ersetzen Sie die Annahmen durch Angebote und Lasttests. Berücksichtigen Sie Strom nur, wenn er nicht bereits im Cloudpreis enthalten ist. Testen Sie Parallelität, Kontextlänge, Latenz und Fehlerrate mit repräsentativen Anfragen. Ein einzelner Tokens-pro-Sekunde-Wert reicht nicht für die Kostenplanung.
Vor der Entscheidung messen
- Spielen Sie reale Aufgaben bei vorgesehener Kontextlänge und Parallelität ab.
- Bewerten Sie die Ergebnisse mit derselben Qualitätsrubrik wie beim bisherigen Anbieter.
- Testen Sie Spitzenkontext und gleichzeitige Sitzungen; 64K ist eine Obergrenze, kein günstiger Standard.
- Vergleichen Sie die TCO des lokalen Dienstes mit der tatsächlichen API-Rechnung für dieselben erfolgreichen Aufgaben.
Die Modellkarte dokumentiert unter anderem llama.cpp, vLLM und SGLang sowie einen optionalen DFlash-Drafter. Messen Sie den zusätzlichen Speicher- und Betriebsaufwand, bevor Sie ihn in die Basisplanung aufnehmen.
Nemotron Bolt E4B passt zu Arbeitslasten, bei denen lokale Kontrolle, Edge-Betrieb oder reservierte Kapazität wichtig sind und die Qualität stimmt. Offene Gewichte verlagern die Kosten vom Tokenzähler zu Infrastruktur und Betrieb; sie beseitigen sie nicht. Dokumentieren Sie Version, Quantisierung, Laufzeit, Hardware, Lastprofil und Kosten pro akzeptierter Aufgabe. Dieser Beitrag behandelt den eigenständigen Start vom 23. Oktober getrennt vom GPT-6.1-Terra-Artikel.
Quellen
Weiterführend
- Kosten je erfolgreicher Aufgabe
- Ein Modell mit offenen Gewichten kalkulieren
- FinOps-Kosten von GPT-6.1 Terra
Möchten Sie das auf Ihren Stack anwenden? Bringen Sie Anbieterrechnungen, Gateway-Protokolle und die wichtigsten Workflows mit; wir ordnen Kostentreiber und Einsparpotenziale zu. Kostenlose Prüfung buchen →