Nemotron 3.5 Bolt E4B: licz koszt wdrożenia, nie cenę tokena
Zaktualizowano October 27, 2026 · pierwsza publikacja October 23, 2026
NVIDIA udostępniła model z otwartymi wagami Nemotron 3.5 Bolt E4B 4GB 23 października 2026 r. Jest przeznaczony do lokalnych asystentów głosowych, urządzeń i aplikacji wbudowanych. NVIDIA nie publikuje ceny za token dla tego skwantyzowanego checkpointu. Porównaj koszt własnego lub hostowanego sprzętu z wymaganą jakością i opóźnieniem.
Karta modelu podaje 8 mld parametrów łącznie, 4 mld efektywnych, Q4_K_M oraz do 64K tokenów wejścia i wyjścia. „4GB” oznacza wariant skwantyzowany, a nie gwarancję, że usługa produkcyjna wymaga łącznie tylko 4 GB pamięci. Runtime, cache KV, współbieżność i opcjonalny model pomocniczy wymagają dodatkowej pojemności. Licencja to OpenMDW 1.1; sprawdź także warunki bazowego modelu Gemma.
Brak ceny tokena do prostego mnożenia
Strona NVIDIA Build pokazuje bezpłatny endpoint prototypowy, ale nie produkcyjną cenę tokena. To nie jest ogólna obietnica bezpłatnej usługi ani gwarancja przepustowości. Przed budżetowaniem hostingu sprawdź aktualne stawki, limity i warunki. Przy self-hostingu policz zarezerwowane zasoby i operacje zamiast przyjmować zerowy koszt tokenów.
Miesięczny TCO obejmuje moc akceleratora lub edge, energię i chłodzenie, pamięć i sieć, runtime, inżynierię oraz dyżury. Podziel sumę przez ukończone zadania zaakceptowane jakościowo. Uwzględnij błędy, ponowienia i bezczynne zasoby. Wyłącznie ilustracyjne założenie: 730 godzin po 1,20 USD to 876 USD przed pracą zespołu; daje 0,0146 USD na 60 tys. przyjętych zadań lub 0,0584 USD na 15 tys. To nie są ceny ani benchmarki NVIDIA.
Co zmierzyć przed wyborem
Zastąp założenia ofertami i reprezentatywnymi testami obciążeniowymi. Zmierz kontekst, współbieżność, opóźnienie, pamięć, błędy i koszt zaakceptowanego wyniku. 64K to maksimum, nie tani domyślny rozmiar. Porównaj lokalny serwer z rzeczywistą fakturą API dla tych samych udanych zadań.
Karta modelu opisuje m.in. llama.cpp, vLLM, SGLang i opcjonalny draft DFlash. Zmierz dodatkową pamięć i obsługę przed dodaniem do budżetu bazowego. Otwarte wagi przenoszą koszt z licznika tokenów na infrastrukturę i operacje, ale go nie usuwają. Zapisuj wersję, kwantyzację, runtime, sprzęt, obciążenie i koszt przyjętego zadania. Wydanie z 23 października ma osobny artykuł.
Źródła
Powiązane
Chcesz zastosować to w swoim stosie? Przynieś faktury dostawców, logi bramy i najważniejsze przepływy pracy; wskażemy czynniki kosztów i ścieżkę oszczędności. Umów bezpłatny audyt →