용어집 · 측정
프롬프트 추적
프롬프트 추적은 고객이 AI에 물을 법한 질문을 정해 두고, 엔진별로 반복해 물어 답변 속 인용·언급 변화를 기록하는 측정 방법이다.
- 작성
- OSKIT 팀 (어포메이션)
- 수정
정의
프롬프트 추적은 고객이 AI에 물을 법한 질문을 정해 두고, 엔진별로 반복해 물어 답변 속 인용·언급 변화를 기록하는 측정 방법이다.
Prompt tracking
작동 방식과 맥락
AI 답변은 같은 질문에도 매번 달라진다. 그래서 한 번 묻고 끝내지 않고 같은 질문을 정해진 주기로 여러 번 묻는다.
소비자용 앱 화면은 API로 똑같이 재현할 수 없다. 리포트에는 API 프로브 결과이며 앱 화면과 다를 수 있다고 적는다.
점검 항목
- 01질문 선정 기준을 문서로 남겼는지
- 02반복 횟수와 주기가 일정한지
- 03모델 버전을 기록하는지
OSKIT에서 처리하는 곳
Answer Tracker
Answer Tracker는 고객사당 질문 30~100개를 엔진별 주 1회 3번 묻습니다. 방법은 리서치 페이지에 공개합니다.
기능 보기같이 보는 용어: 인용 (AI 답변 인용) · 점유율 (Share of Voice) · 그라운딩