Nemotron 3.5 Bolt E4B: tính TCO triển khai, không phải giá token
Cập nhật October 27, 2026 · đăng lần đầu October 23, 2026
NVIDIA ra mắt mô hình trọng số mở Nemotron 3.5 Bolt E4B 4GB ngày 23/10/2026. Mô hình hướng đến trợ lý giọng nói và thiết bị chạy cục bộ, cùng ứng dụng nhúng. NVIDIA không công bố giá mỗi token cho checkpoint lượng tử hóa này. Hãy so sánh chi phí tự vận hành hoặc thuê máy với yêu cầu về chất lượng và độ trễ.
Thẻ mô hình ghi tổng 8 tỷ tham số, 4 tỷ tham số hiệu dụng, Q4_K_M và tối đa 64K token đầu vào, đầu ra. “4GB” là tên biến thể lượng tử hóa, không đảm bảo dịch vụ sản xuất chỉ cần tổng cộng 4 GB bộ nhớ. Runtime, KV cache, số phiên đồng thời và mô hình draft tùy chọn cần thêm tài nguyên. Giấy phép là OpenMDW 1.1; hãy kiểm tra cả điều khoản của mô hình Gemma nền tảng.
Không có giá token để nhân
Trang NVIDIA Build có endpoint thử nghiệm miễn phí nhưng không nêu giá token cho sản xuất. Đây không phải cam kết miễn phí phổ quát hay bảo đảm công suất sản xuất. Hãy xác minh giá, giới hạn và điều khoản hiện hành trước khi lập ngân sách thuê máy. Khi tự lưu trữ, tính tài nguyên đặt trước và vận hành thay vì coi token có giá bằng không.
TCO hàng tháng gồm công suất accelerator hoặc edge, điện và làm mát, lưu trữ và mạng, runtime, kỹ thuật và trực hỗ trợ. Chia tổng chi phí cho số tác vụ hoàn tất được chấp nhận về chất lượng. Tính cả lỗi, thử lại và công suất nhàn rỗi. Ví dụ giả định: đặt máy 730 giờ mỗi tháng với giá giả định 1,20 USD/giờ tốn 876 USD trước nhân công; tương ứng 0,0146 USD cho 60.000 tác vụ được chấp nhận hoặc 0,0584 USD cho 15.000 tác vụ. Đây không phải giá hay benchmark của NVIDIA.
Đo lường trước khi chọn
Thay giả định bằng báo giá và kiểm thử tải sát thực tế. Đo độ dài ngữ cảnh, đồng thời, độ trễ, bộ nhớ, tỷ lệ lỗi và chi phí mỗi kết quả được chấp nhận. 64K là giới hạn tối đa, không phải mặc định tiết kiệm. So sánh máy chủ cục bộ với hóa đơn API thực tế cho cùng các tác vụ thành công.
Thẻ mô hình hướng dẫn triển khai qua llama.cpp, vLLM, SGLang và DFlash drafter tùy chọn. Hãy đo bộ nhớ và công vận hành bổ sung trước khi đưa vào ngân sách cơ sở. Trọng số mở chuyển chi phí từ bộ đếm token sang hạ tầng và vận hành, chứ không xóa bỏ chi phí. Ghi lại phiên bản, lượng tử hóa, runtime, phần cứng, tải và chi phí mỗi tác vụ được chấp nhận. Bài này tách riêng lần ra mắt ngày 23/10.
Nguồn
Liên quan
Bạn muốn áp dụng điều này cho hệ thống của mình? Hãy mang theo hóa đơn nhà cung cấp, nhật ký gateway và các quy trình chính; chúng tôi sẽ xác định yếu tố chi phí và hướng tiết kiệm. Đặt lịch kiểm toán miễn phí →