LLM 평가 체계 만들기: 정확도보다 중요한 운영 지표

생성형 AI 서비스의 평가는 정답률 하나로 끝나지 않습니다. 실제 운영에서는 정확도, 안전성, 응답 속도, 사용자 만족도를 동시에 관리해야 합니다.

오프라인 평가

골든셋을 기반으로 정답 일치율, 근거 일관성, 금칙어 위반 여부를 측정합니다. 프롬프트나 모델 변경 시 회귀 테스트 자동화가 필수입니다.

온라인 평가

실서비스에서는 거절률, 재질문률, 세션 이탈률 같은 사용자 행동 지표가 중요합니다. 사용자 피드백 버튼도 반드시 구조화해 수집해야 합니다.

평가 운영 원칙

지표는 서비스 목표와 연결되어야 합니다. 예를 들어 CS 자동화 서비스라면 단순 정확도보다 해결률과 평균 처리시간 개선이 핵심입니다.

좋은 평가 체계는 모델을 선택하는 도구가 아니라 제품 품질을 지속 개선하는 운영 시스템입니다.