Nemotron 3.5 Bolt E4B: 토큰 단가 대신 배포 TCO 계산하기
업데이트 October 27, 2026 · 최초 게시 October 23, 2026
NVIDIA는 2026년 10월 23일 오픈 웨이트 모델 Nemotron 3.5 Bolt E4B 4GB를 공개했습니다. 로컬 음성·디바이스 보조 기능과 임베디드 환경을 겨냥합니다. 이 양자화 체크포인트의 토큰별 공개 요금은 없습니다. 자체 하드웨어 또는 호스팅으로 운영할 때의 비용을 필요한 품질과 지연 시간에 맞춰 비교해야 합니다.
모델 카드에는 총 80억, 유효 40억 파라미터, Q4_K_M, 최대 64K 입력 및 출력 토큰이 명시되어 있습니다. ‘4GB’는 양자화 모델 변형을 가리키며 운영에 필요한 전체 메모리가 4GB라는 뜻이 아닙니다. 런타임, KV 캐시, 동시성, 선택적 드래프트 모델에도 용량이 필요합니다. 라이선스는 OpenMDW 1.1이며 기반 Gemma 모델 조건도 확인하세요.
곱할 토큰 요금이 없습니다
NVIDIA Build 페이지에는 무료 프로토타입 엔드포인트가 있지만 운영용 토큰 가격은 없습니다. 이는 보편적인 무료 제공이나 운영 용량 보장이 아닙니다. 호스팅 예산을 세우기 전에 최신 요금, 한도, 조건을 확인하세요. 자체 호스팅은 토큰 비용을 0으로 두지 말고 예약 자원과 운영을 계산하세요.
월간 TCO에는 가속기 또는 엣지 용량, 전력과 냉각, 저장소와 네트워크, 런타임, 엔지니어링 및 당직 비용이 포함됩니다. 품질 기준을 통과한 완료 작업 수로 나누세요. 실패, 재시도, 유휴 용량도 포함합니다. 예시 가정으로 월 730시간을 시간당 1.20달러에 예약하면 인건비 전 876달러입니다. 승인 작업 6만 건이면 건당 0.0146달러, 1만 5천 건이면 0.0584달러입니다. NVIDIA 가격이나 벤치마크가 아닙니다.
선택 전 측정
가정을 실제 견적과 부하 테스트로 바꾸세요. 컨텍스트 길이, 동시 실행, 지연 시간, 메모리, 오류, 승인 작업당 비용을 측정합니다. 64K는 최대 한도이지 저렴한 기본 설정이 아닙니다. 동일한 성공 작업 기준으로 로컬 서버와 실제 API 청구액을 비교하세요.
모델 카드는 llama.cpp, vLLM, SGLang 및 선택적 DFlash 드래프터 배포를 설명합니다. 기준 예산에 넣기 전에 추가 메모리와 운영 부담을 측정하세요. 오픈 웨이트는 비용을 토큰 미터에서 인프라와 운영으로 옮길 뿐 없애지 않습니다. 버전, 양자화, 런타임, 하드웨어, 부하, 승인 작업당 비용을 기록하세요. 10월 23일 출시는 GPT-6.1 Terra 기사와 분리해 다룹니다.
출처
관련 글
이 내용을 현재 스택에 적용하고 싶으신가요? 공급업체 청구서, 게이트웨이 로그, 주요 워크플로를 가져오시면 비용 요인과 절감 경로를 정리해드립니다. 무료 감사 예약 →