Phong cách prompt xuất hiện trên hóa đơn như thế nào
Cập nhật September 1, 2026 · đăng lần đầu September 1, 2026
Prompt lớn lên giống như các tệp cấu hình. Ai đó thêm một chỉ dẫn để sửa một lỗi. Người khác thêm một ví dụ. Người thứ ba thêm một đoạn giải thích vì sao chỉ dẫn thứ hai quan trọng. Không có gì được xóa, vì xóa đi có thể làm xuất hiện lại một lỗi mà không ai tái hiện được. Sáu tháng sau, system prompt dài ba nghìn token và không ai nói được hai trăm token nào trong số đó thực sự cần thiết.
Vì sao nó cộng dồn
Khác với output, vốn thay đổi theo tác vụ, chi phí overhead của prompt được trả ở mọi yêu cầu, giống nhau, mãi mãi. Một nghìn token lãng phí trong một tính năng phục vụ mười triệu lần gọi mỗi tháng là mười tỷ token mỗi tháng chỉ để định dạng.
Trong hội thoại nhiều lượt thì còn tệ hơn: system prompt được gửi lại ở mỗi lượt, nên chi phí tăng theo số lượt chứ không theo số yêu cầu. Và trong vòng lặp agent, một hành động của người dùng có thể kích hoạt hàng chục lần gọi model, cùng một phần mở đầu phình to bị tính tiền hàng chục lần cho một việc duy nhất.
Thứ thực sự lãng phí
Không phải sự lịch sự, vốn chỉ là vài token và đôi khi còn giúp model làm theo tốt hơn. Phần nặng nằm ở: chỉ dẫn trùng lặp nhắc cùng một quy tắc ba cách khác nhau, boilerplate phòng thủ được thêm cho một thế hệ model không còn cần nữa, ví dụ trùng nhau thay vì bao quát các trường hợp khác nhau, và giải thích hướng tới người đọc tệp prompt thay vì hướng tới model.
Loại thứ ba là loại lớn nhất trong thực tế. Ví dụ few-shot tốn kém trên mỗi token, và các nhóm hiếm khi xem lại liệu năm ví dụ có đang làm việc mà hai ví dụ cũng làm được hay không.
Coi prompt như mã nguồn có ngân sách
Đo phần overhead cố định của prompt như một tỷ lệ trên kích thước yêu cầu trung bình — nếu nó vượt quá một nửa, đó là vấn đề chi phí, không phải vấn đề phong cách. Đặt phần ổn định lên đầu để caching có tác dụng, khi đó phần phình còn lại rẻ hơn nhiều mà không cần xóa gì. Sau đó chạy ablation: bỏ một khối, chạy eval của bạn, giữ việc bỏ đi nếu chất lượng vẫn ổn. Cắt tỉa prompt mà không có bộ eval là đoán mò, và kiểu lỗi — một lần suy giảm chất lượng do khách hàng phát hiện — còn tốn hơn số token tiết kiệm được.
Liên quan
Liên quan
Bạn muốn áp dụng điều này cho hệ thống của mình? Hãy mang theo hóa đơn nhà cung cấp, nhật ký gateway và các quy trình chính; chúng tôi sẽ xác định yếu tố chi phí và hướng tiết kiệm. Đặt lịch kiểm toán miễn phí →