LunarcAI가 틀려도 화면은 깨지지 않게

AI 신뢰 경계

모델을 부르는 일보다 그 바깥을 막는 일이 대부분이었다

주간 리포트의 일정 자동 분류. 사용자가 쓴 제목이 그대로 프롬프트에 들어가고 모델이 낸 값을 그대로 쓰면 데이터가 오염됩니다. 프롬프트만으로는 막을 수 없어 호출 바깥에 경계를 다섯 겹 두었습니다.

1. 비용 상한분류가 빈 행만 추론 · 상한이 쿼리 조건에서 성립
2. 누락 채움응답에 빠진 행은 기타로 채워 재추론 누수를 막음
3. 출력 불신화이트리스트 밖은 기타, 요청하지 않은 id는 폐기
4. 토큰 역산항목당 5~8토큰으로 상한을 역산해 응답 절단 제거
5. 실패해도 렌더500 대신 degraded, 실패 경로 4종을 따로 기록
6. LLM 호출Workers AI

모델 평가

번역 모델을 감이 아니라 표로 골랐다

사용자가 쓴 한 줄 다짐을 다른 언어로 보여 주는 기능. 전용 번역 모델이 나을 거라는 직관이 있었지만 근거가 없어 전량을 돌려 한 표에 놓고 판정했습니다.

평가에서 나온 실패가 그대로 출력 가드가 됐습니다

1. 요청문장 단위
2. D1 캐시 조회있으면 바로 반환
3. Workers AI 호출없을 때 · 예산 1.5초
4. 출력 게이트길이 · 문자 체계 · 원문 누출 · 욕설
5. 캐시 저장예산 초과분은 백그라운드로
6. 실패하면 원문피드는 막지 않음

제품 판단

출시를 미루고 백엔드를 전면 이관했다

출시 직전, 상시 인스턴스 구성은 사용자가 없어도 고정비가 들고 콜드스타트가 남았습니다. 지연 자체를 비용으로 적고 세 안을 비교했습니다. 14개 모듈은 한 번에 옮기지 않고 단계별로 이관했습니다.

이관 뒤 구조