Nemotron 3.5 Bolt E4B：核算部署成本，而非令牌单价
更新于 October 27, 2026 · 首次发布 October 23, 2026
NVIDIA于2026年10月23日发布开放权重模型Nemotron 3.5 Bolt E4B 4GB，面向本地语音、设备助手和嵌入式应用。NVIDIA没有公布此量化检查点的令牌单价。应比较自有硬件或托管服务的实际成本，并验证其是否满足质量和延迟要求。
模型卡列出总计80亿、有效40亿参数，Q4_K_M精度，以及最多64K输入和输出令牌。“4GB”指量化模型版本，不代表生产服务总内存只需4GB。运行时、KV缓存、并发会话及可选辅助草稿模型都需要额外容量。许可证为OpenMDW 1.1，也应审查底层Gemma模型条款。
没有可直接相乘的令牌价格
NVIDIA Build页面提供免费的原型端点，但没有生产令牌价格。这不等于普遍免费，也不保证生产容量。预算托管服务前，请核实当前价格、限制和条款。自托管时应核算预留资源和运维，而不是将令牌成本设为零。
月度TCO包括加速器或边缘容量、电力和制冷、存储与网络、运行时、工程和轮值支持。用通过质量验收的完成任务数作分母，并计入失败、重试和闲置容量。仅作示例：每月预留730小时、假设每小时1.20美元，人工前成本为876美元；完成6万项验收任务时每项0.0146美元，完成1.5万项时每项0.0584美元。这些是假设，不是NVIDIA价格或基准测试结果。
选型前要测量
用实际报价和负载测试替换假设，测量上下文长度、并发、延迟、内存、错误率和每项验收任务成本。64K是上限，不是低成本默认设置。针对相同成功任务，将本地服务与真实API账单进行比较。
模型卡记录了llama.cpp、vLLM、SGLang以及可选DFlash草稿模型等部署方式。将其纳入基准预算前，先测量额外内存和运维负担。开放权重只是将成本从令牌计费转向基础设施和运维，并没有消除成本。记录版本、量化、运行时、硬件、负载及每项验收任务成本。本文将10月23日发布作为独立文章处理。
来源
相关文章
想将这些方法用于您的技术栈吗？ 请准备好供应商账单、网关日志和主要工作流；我们会梳理成本驱动因素与节省空间。 预约免费审查 →