Giá token giảm. Hóa đơn LLM của bạn vẫn tăng.
Cập nhật August 27, 2026 · đăng lần đầu August 27, 2026
Giá token thấp hơn không đảm bảo hóa đơn LLM thấp hơn. Trong sản xuất, mức sử dụng có thể tăng nhanh hơn tốc độ giá giảm: ngữ cảnh dài hơn, nhiều bước agent hơn, đầu ra lớn hơn, các lần thử lại và tính năng mới có thể xóa sạch mức giảm giá 40%. Chẩn đoán hữu ích không phải là nhà cung cấp nào rẻ hơn. Đó là phương sai bốn chiều: tỷ giá, khối lượng, cơ cấu và hiệu quả.
Tỷ giá chỉ là một phần của hóa đơn
Giả sử một nhà cung cấp giảm giá trung bình của bạn từ $10 xuống $6 cho mỗi triệu token. Nếu lượng sử dụng hàng tháng tăng từ 100 triệu lên 220 triệu token, hóa đơn sẽ đi từ $1,000 lên $1,320. Giá giảm 40%; hóa đơn tăng 32%. Một bảng điều khiển chỉ báo cáo giá trên mỗi token sẽ gọi đây là chiến thắng, trong khi tài chính thấy điều ngược lại.
Theo dõi tỷ giá thực tế được tính phí theo từng mô hình và loại token. Token đầu vào, đầu ra, đọc cache, ghi cache và suy luận không nên gộp thành một mức trung bình. Mức trung bình chỉ là tiện ích báo cáo, không phải lời giải thích nguyên nhân.
Khối lượng, cơ cấu và hiệu quả
Khối lượng là số token bạn đã tiêu thụ. Nó tăng khi lưu lượng tăng, ngữ cảnh dài hơn hoặc agent thực hiện nhiều bước hơn. Cơ cấu là token đã đi đâu: một mô hình suy luận cao cấp, một khu vực mới, hoặc một tính năng ngữ cảnh lớn có thể thay đổi hóa đơn mà không thay đổi tổng số yêu cầu. Hiệu quả là chi phí để phục vụ cùng một kết quả hữu ích: các lần thử lại, lệnh gọi công cụ thất bại, prompt quá lớn, và đầu ra mà người dùng không bao giờ dùng đến.
Đo đạc mọi lệnh gọi mô hình theo nhà cung cấp, mô hình, tính năng, nhóm, môi trường, loại yêu cầu, token đầu vào, token đầu ra, token cache, token suy luận, số lần thử lại và kết quả. Nối các sự kiện đó với hóa đơn của nhà cung cấp. Nếu thiếu phép nối với hóa đơn, bạn có thể giải thích mức sử dụng nhưng không chứng minh được chi tiêu.
Buổi rà soát bắt được vấn đề
Chạy một cầu nối hằng tuần từ kỳ trước sang kỳ hiện tại. Bắt đầu từ hóa đơn cơ sở, áp dụng thay đổi tỷ giá, rồi thay đổi khối lượng, thay đổi cơ cấu mô hình và thay đổi hiệu quả. Phần dư phải đủ nhỏ để điều tra. Một cảnh báo thực tế không phải là ‘token tăng 20%’; mà là ‘chi phí trên mỗi tác vụ thành công đã điều chỉnh theo lưu lượng của tính năng tăng 18%.’
| Phương sai | Câu hỏi | Hành động thường gặp |
|---|---|---|
| Tỷ giá | Nhà cung cấp có đổi giá không? | Cập nhật bảng giá và giả định hợp đồng. |
| Khối lượng | Lưu lượng hoặc ngữ cảnh có tăng không? | Dự báo mức sử dụng và thêm kiểm soát năng lực. |
| Cơ cấu | Công việc có chuyển sang mô hình đắt hơn không? | Rà soát định tuyến và ngưỡng chất lượng. |
| Hiệu quả | Mỗi kết quả có cần nhiều công việc hơn không? | Sửa lần thử lại, prompt, công cụ hoặc quy tắc dừng. |
Tối ưu điều gì trước
Đừng bắt đầu bằng việc ép mọi yêu cầu sang mô hình rẻ nhất. Trước tiên hãy tìm nhóm phương sai có số tiền lớn nhất. Nếu khối lượng chiếm ưu thế, hãy sửa tăng trưởng ngữ cảnh hoặc vòng lặp agent. Nếu cơ cấu chiếm ưu thế, hãy tạo chính sách định tuyến. Nếu hiệu quả chiếm ưu thế, hãy loại bỏ lần thử lại và đầu ra không dùng. Nếu tỷ giá chiếm ưu thế, hãy đàm phán lại hoặc chuyển công việc đủ điều kiện sang giá theo lô. Đòn bẩy đúng là đòn bẩy gắn với phương sai đã quan sát.
Giá giảm là tin tốt, nhưng không phải là chiến lược kiểm soát chi phí. Một đội sản xuất cần một góc nhìn đã đối chiếu về giá, mức sử dụng, cơ cấu khối lượng công việc và chất lượng kết quả. Đó là cách một thị trường rẻ hơn trở thành một sản phẩm rẻ hơn.
Liên quan
Liên quan
Bạn muốn áp dụng điều này cho hệ thống của mình? Hãy mang theo hóa đơn nhà cung cấp, nhật ký gateway và các quy trình chính; chúng tôi sẽ xác định yếu tố chi phí và hướng tiết kiệm. Đặt lịch kiểm toán miễn phí →