재시도 비용온도 0이라는 조건에서 재시도는 돈만 쓴다
구분
CASE 08 · 비용
비용 · temperature 0
상태
완료
2026
역할
설계 · 판정 · 운영
코드는 AI
분야
AI + 검증
결정적 출력 · 재시도 · 주입
CASE-08AI
2 → 1
시도 상한
개요
재시도 비용
번역 출력이 게이트에 걸리면 한 번 더 물어보게 짜 뒀습니다. 그런데 프로바이더는 temperature: 0이라 같은 입력에 같은 출력이 나옵니다. 같은 거절이 반복될 뿐이었습니다. 거절 1건당 추론 2회, 산출 0. 실패는 캐시되지 않아 사용자가 번역을 누를 때마다 그 낭비가 되풀이됐습니다.
01
조치
시도 상한을 2에서 1로 내렸습니다. 상수 자체는 남겼습니다. 지금 재시도가 무의미한 것은 온도가 0이라는 조건 때문이지 재시도라는 발상이 틀려서가 아닙니다. 온도를 올리는 날 이 값만 되돌리면 됩니다.
02
걸린 것
고치려고 보니 기존 테스트 3건이 그 낭비를 계약으로 고정하고 있었습니다. 그중 하나는 목(mock)이
상한을 1로 내리자 이번엔 다른 문제가 생겼습니다. 상한이 1이면 "계속 시도"와 "즉시 포기"가 호출 1회·결과 없음으로 관측상 같아집니다. 손대지도 않은 테스트가 항진식이 됐고 분기를 바꾸는 변이가 전부 살아남았습니다. 테스트에서만 상한을 2로 올릴 수 있게 주입 가능하게 만들어 세 분기를 각각 잠갔습니다.
호출 1회차 → 누출, 2회차 → 정상으로 답하고 있었는데 실제 프로바이더는 결정적이라 일어날 수 없는 시나리오였습니다. 상한을 1로 내리자 이번엔 다른 문제가 생겼습니다. 상한이 1이면 "계속 시도"와 "즉시 포기"가 호출 1회·결과 없음으로 관측상 같아집니다. 손대지도 않은 테스트가 항진식이 됐고 분기를 바꾸는 변이가 전부 살아남았습니다. 테스트에서만 상한을 2로 올릴 수 있게 주입 가능하게 만들어 세 분기를 각각 잠갔습니다.
기록
잰 숫자와 출처
측정 · 코드
2 → 1시도 상한
측정 · 사례 기록
½거절 경로의 추론 호출
측정 · 커밋
5종RED를 확인한 변이
측정 · 테스트 코드
3건낭비를 계약으로 고정하던 테스트
결과
거절 경로의 추론 호출 절반으로 감소 · 되돌릴 레버 보존 · 변이 5종 RED 확인
배운 것
픽스처가 프로덕션과 다른 성질을 가지면, 테스트는 없는 세계를 지킵니다. 모델을 목으로 대체할 때 응답 값만 맞추고 결정성 같은 성질은 맞추지 않으면, 통과한 테스트가 실제로는 아무것도 보장하지 않습니다. AI 기능에서 이 함정을 두 번째로 만났습니다. 한 번은 모킹이 모델 폐기를 놓쳤을 때였습니다.
