01
AI 완전 정복 10편 — API로 직접 만들기와 비용 최적화
API 호출 자체는 함수 하나다. 실력은 구조화된 출력, 캐싱, 배치, 모델 라우팅으로 "안정적이고 싼" 기능을 만드는 데서 나온다. 이 네 가지를 적용하면 비용은 흔히 한 자릿수 배율로 줄어든다.
2026-10-13
[ai]
ai-10-api-and-cost-optimization.md
blog92@web:~$ grep -rl "#Cost Optimization" posts/
이 태그가 달린 글
API 호출 자체는 함수 하나다. 실력은 구조화된 출력, 캐싱, 배치, 모델 라우팅으로 "안정적이고 싼" 기능을 만드는 데서 나온다. 이 네 가지를 적용하면 비용은 흔히 한 자릿수 배율로 줄어든다.
비용은 "내가 보낸 토큰(입력) + 모델이 만든 토큰(출력)"으로 매겨지고, 출력이 입력보다 5배 비싸다. 대화형 도구는 매 턴마다 이전 대화 전체를 다시 보내므로, 대화가 길어질수록 비용은 가파르게 늘고, 프롬프트 캐싱이 그 비용을 크게 줄인다.