Chi phí token của JSON mode và schema
Cập nhật September 1, 2026 · đăng lần đầu September 1, 2026
Yêu cầu mô hình trả về đầu ra có cấu trúc trông như một lựa chọn định dạng. Trên hóa đơn, đó là một lựa chọn về khối lượng, và nó xuất hiện ở ba chỗ cùng lúc.
Schema là chi phí đầu vào ở mọi yêu cầu
Response format hoặc định nghĩa công cụ được tuần tự hóa vào yêu cầu. Một schema vừa phải — chục trường, mỗi trường có mô tả, vài object lồng nhau — tốn vài trăm token. Con số này nhỏ cho đến khi nhân với mọi lời gọi, mọi lượt, suốt vòng đời của tính năng. Schema 400 token nhân với một triệu lời gọi là 400 triệu token đầu vào, bạn trả để mô tả một hình dạng không bao giờ thay đổi.
Tệ hơn, trong các triển khai ngây thơ, schema thường nằm sau phần biến động của prompt, làm vỡ tiền tố đã cache. Khi đó schema bị tính đủ giá mỗi lần và phá hỏng mức giảm giá của mọi thứ đứng trước nó.
Cú pháp là chi phí đầu ra
Mỗi dấu ngoặc nhọn, dấu ngoặc kép, dấu phẩy và tên trường trong phản hồi đều là một token được sinh ra và bị tính theo giá đầu ra. Tên trường dài là một khoản phí định kỳ: customer_shipping_address_line_one tốn nhiều hơn addr1 mãi mãi. Object lồng sâu trả tiền cho chính khung sườn của chúng. Với câu trả lời ngắn được bọc trong một phong bì lớn, phần cấu trúc có thể vượt cả phần nội dung.
Thử lại mới là phần đắt
Giải mã có ràng buộc ở các nhà cung cấp lớn khiến vi phạm schema hiếm gặp, nhưng lỗi xác thực vẫn xảy ra — một trường mô hình không thể điền một cách trung thực, một enum không có đáp án đúng, hoặc một schema gây mơ hồ cho người đọc. Mỗi lỗi tốn một lần thử lại đầy đủ: toàn bộ token đầu vào và đầu ra được tính lại, cộng thêm độ trễ. Tỷ lệ không hợp lệ 2% trên một endpoint lưu lượng lớn là chi phí tăng 2% mà không mang lại gì.
Việc nên làm
Đặt schema vào tiền tố ổn định để nó được cache, và giữ nó giống nhau giữa các lời gọi. Chỉ yêu cầu những trường bạn thực sự dùng — trường thừa bị trả tiền hai lần, một lần trong schema và một lần trong phản hồi. Ưu tiên tên trường ngắn và cấu trúc phẳng. Nếu đầu ra chỉ là một giá trị đơn, đừng bọc nó trong object. Và hãy đo tỷ lệ lỗi xác thực: đây là phần duy nhất trong tất cả những thứ này hoàn toàn là lãng phí.
Liên quan
Liên quan
Bạn muốn áp dụng điều này cho hệ thống của mình? Hãy mang theo hóa đơn nhà cung cấp, nhật ký gateway và các quy trình chính; chúng tôi sẽ xác định yếu tố chi phí và hướng tiết kiệm. Đặt lịch kiểm toán miễn phí →