98% token input của Codex được cache. Không cache, hóa đơn lớn gấp 12 lần

Cập nhật October 9, 2026 · đăng lần đầu October 9, 2026

Trong 12 ngày sử dụng Codex nặng tay với ChatGPT Pro $100, chúng tôi đã gửi 13.0 tỷ token input và nhận về 47 triệu token output. 97.6% lượng input đó là cache hit. Theo giá API của OpenAI, khối lượng công việc này có giá trị $1,211. Nếu tính cùng số token đó mà không có cache hit nào, con số là $14,198, gấp 12 lần.

• Tỷ lệ input trên output: khoảng 279 token input cho mỗi token output.
• Tỷ trọng input đã cache trong hóa đơn: 60%, ngay cả khi được giảm 95%.
• Tỷ trọng output trong hóa đơn: 16%.

Vì sao phần lớn input của coding agent là input đã cache

Vòng lặp của agent gửi lại toàn bộ cuộc hội thoại ở mỗi bước: system prompt, định nghĩa công cụ, các tệp đã đọc và mọi kết quả công cụ trước đó. Mỗi bước thêm một chút rồi đọc lại tất cả. Vì vậy input tăng theo bình phương độ dài phiên làm việc, trong khi output vẫn nhỏ. Trong 12 ngày, tỷ lệ input trên output của chúng tôi là 279:1.

Prompt caching là thứ giữ cho chi phí ở mức hợp lý. Input đã cache trên API của OpenAI chỉ bằng một phần mười hoặc thấp hơn so với input thường. GPT-6 Sol, mô hình làm phần lớn công việc của chúng tôi, tính $2 cho mỗi triệu token input và $0.10 cho mỗi triệu token đã cache.

Tiền đã đi đâu

Ngay cả khi được giảm 95%, input đã cache vẫn là khoản lớn nhất. Đó là dấu hiệu đặc trưng của khối lượng công việc agent: loại token rẻ nhất, nhưng với khối lượng khổng lồ. Tổng theo từng mô hình có trong codex-pro-100-model-mix.csv.

Điều gì phá vỡ cache

Một cache hit cần prefix giống hệt nhau. Bất kỳ thay đổi nào ở đầu ngữ cảnh đều buộc phải đọc lại toàn bộ phần phía sau với giá đầy đủ.

• Đổi mô hình giữa phiên. Mô hình mới không có cache cho ngữ cảnh của bạn.
• Sửa chỉ dẫn hoặc danh sách công cụ giữa phiên. Chúng nằm ở đầu prompt, nên mọi thứ bên dưới đều phải đọc lại.
• Các khoảng nghỉ dài. Cache hết hạn. Quay lại sau một khoảng nghỉ đồng nghĩa với việc đọc lại toàn bộ phiên với giá đầy đủ.
• Compaction. Tóm tắt lịch sử sẽ viết lại prefix. Cách này tiết kiệm token về sau nhưng tốn thêm một lượt đọc không cache ngay lúc này.

Vì sao điều này quan trọng với giới hạn Codex của bạn

Nếu bộ đếm hạn mức của Codex tính input đã cache gần với giá API, thì tỷ lệ cache hit giảm 1 điểm cũng rất tốn kém. Với khối lượng của chúng tôi, nếu Sol giảm từ 98.1% xuống 90% đã cache thì chỉ riêng input của Sol đã tốn thêm khoảng $1,004, tương đương khoảng 6 cửa sổ Pro $100 nữa. Kỷ luật về cache cũng chính là kỷ luật về hạn mức. Để biết một cửa sổ chứa được những gì, xem phép đo hệ số Pro $100 của chúng tôi; để biết vì sao chúng tôi có được tám cửa sổ trong 12 ngày, xem nhật ký reset.

Cách chúng tôi đo

Codex ghi một nhật ký JSONL cho mỗi phiên trong ~/.codex/sessions/. Mỗi yêu cầu ghi lại tổng input, input đã cache và output tích lũy, cùng với bộ đếm hàng tuần (used_percent) và thời điểm resets_at. Chúng tôi quy đổi phần chênh lệch token của từng yêu cầu theo giá niêm yết API của mô hình đã chạy yêu cầu đó, rồi nhóm các yêu cầu theo cửa sổ hàng tuần. Các con số bằng đô la là giá trị tương đương theo API, không phải số tiền chúng tôi thực sự đã trả.

Nguồn

• Bảng giá API của OpenAI
• OpenAI: gói Codex và giới hạn sử dụng

Liên quan

• ChatGPT Pro $100 thực tế tương đương 2.6x Plus
• 8 cửa sổ hàng tuần của Codex trong 12 ngày
• Reset của Codex biến $40 thành $1,211
• Gói ChatGPT Pro bao gồm bao nhiêu Codex
• Claude Max 20x so với ChatGPT Pro

Bạn muốn áp dụng điều này cho hệ thống của mình? Hãy mang theo hóa đơn nhà cung cấp, nhật ký gateway và các quy trình chính; chúng tôi sẽ xác định yếu tố chi phí và hướng tiết kiệm. Đặt lịch kiểm toán miễn phí →

Quay lại finopsllm.com