프롬프트 스타일이 청구서에 나타나는 방식
업데이트 September 1, 2026 · 최초 게시 September 1, 2026
프롬프트는 설정 파일이 자라는 방식과 같이 커집니다. 누군가 실패 사례를 막기 위해 지시문을 추가하고, 다른 누군가는 예시를 더하고, 세 번째 사람은 두 번째 지시문이 왜 중요한지 설명하는 단락을 덧붙입니다. 재현할 수 없는 버그가 다시 생길까 봐 무엇 하나 제거되지 않습니다. 여섯 달 뒤 시스템 프롬프트는 3,000 토큰이 되고, 그중 어느 200 토큰이 실제로 필요한지는 아무도 설명하지 못합니다.
왜 비용이 누적되는가
작업에 따라 달라지는 출력과 달리, 프롬프트 오버헤드는 모든 요청에서 동일하게, 영원히 지불됩니다. 월 1,000만 번 호출되는 기능에서 1,000 토큰이 낭비되면 한 달에 100억 토큰이 순수한 형식 비용으로 나가는 셈입니다.
멀티턴 대화에서는 상황이 더 나쁩니다. 시스템 프롬프트가 매 턴마다 다시 전송되므로 비용은 요청 수가 아니라 턴 수에 비례합니다. 에이전트 루프에서는 사용자 한 번의 동작이 모델 호출을 열 번 이상 유발할 수 있고, 같은 부풀어 오른 서두가 그만큼 여러 번 청구됩니다.
실제로 낭비되는 것
정중한 표현이 문제는 아닙니다. 정중한 표현은 몇 개의 토큰에 불과하고, 가끔은 지시 준수율을 높이기도 합니다. 실제 부담은 중복된 지시(같은 규칙을 세 가지 방식으로 반복하는 것), 더 이상 필요 없는 모델 세대를 위해 추가된 방어적 상투문, 서로 다른 사례를 다루지 않고 겹치기만 하는 예시, 그리고 모델이 아니라 프롬프트 파일을 읽는 사람을 위한 설명에서 생깁니다.
실무에서는 세 번째 범주가 가장 큽니다. 퓨샷 예시는 토큰당 비용이 높은데, 다섯 개가 하는 일을 두 개로 충분히 할 수 있는지 다시 검토하는 팀은 드뭅니다.
예산이 있는 코드처럼 프롬프트를 다루기
고정 프롬프트 오버헤드가 평균 요청 크기에서 차지하는 비율을 측정하세요. 절반을 넘는다면 스타일 문제가 아니라 비용 문제입니다. 안정적인 부분을 앞에 두면 캐시가 적용되어, 아무것도 삭제하지 않고도 나머지 부풀림의 비용을 훨씬 낮출 수 있습니다. 그다음에는 어블레이션을 실행하세요. 블록 하나를 제거하고 평가를 돌린 뒤 품질이 유지되면 제거를 유지합니다. 평가 세트 없이 프롬프트를 줄이는 것은 추측일 뿐이며, 고객이 발견하는 품질 회귀는 절약한 토큰보다 훨씬 비쌉니다.
관련 글
관련 글
이 내용을 현재 스택에 적용하고 싶으신가요? 공급업체 청구서, 게이트웨이 로그, 주요 워크플로를 가져오시면 비용 요인과 절감 경로를 정리해드립니다. 무료 감사 예약 →