리서치 · 측정 방법
Answer Tracker 측정 방법: 질문 선정, 엔진, 주기, 채점 기준
OSKIT Answer Tracker가 AI 답변 속 인용과 언급을 재는 방법 전문. 질문을 고르는 규칙, 대상 엔진과 수단, 반복 주기, 언급·순서·인용 점수 계산, 한계.
- 작성
- OSKIT 팀 (어포메이션)
- 수정
- 4분 분량
요약
- 고객사당 질문 30~100개를 4개 축으로 만들고 사람이 승인해 분기 단위로 고정합니다.
- API로 측정 가능한 4개 엔진에 질문마다 주 1회 3번 묻고, Copilot·AI Overviews는 각 플랫폼 보고서를 씁니다.
- 질문 1개당 점수 = 언급 1점 + 인용 2점 + 순서 가중치(1위 1점 … 5위 이하 0.2점), 3회 평균입니다.
측정 대상
Answer Tracker는 고객이 AI에 물을 법한 질문에서 고객사가 언급되는지, 인용되는지, 인용 목록의 몇 번째에 나오는지를 잽니다. 이 문서는 질문 선정부터 점수 계산, 한계까지 전체 방법을 공개합니다. 고객사별 측정 결과는 고객사 동의 없이 공개하지 않습니다.
1. 질문 선정
개수
고객사당 30~100개입니다. 30개 미만이면 질문 1개가 인용률을 3%p 이상 움직여 추이를 읽기 어렵습니다. 100개를 넘으면 사람 승인과 결과 검토에 드는 시간이 비용보다 커집니다.
4개 축
| 축 | 값 | 비중 기준 |
|---|---|---|
| 서비스 | 고객사 주요 서비스·제품 3~10개 | 매출·상담 비중 순 |
| 국가·언어 | 대상 시장 언어 | 시장별 상담 비중 |
| 의도 | 추천, 비교, 가격, 후기, 위치·방법 | 추천·비교 40% 이상 |
| 브랜드명 | 미포함 / 포함 | 미포함 70% 이상 |
브랜드명 미포함 질문은 「처음 찾는 고객에게 발견되는가」를, 포함 질문은 「AI가 우리 정보를 정확히 말하는가」를 봅니다.
출처와 승인
후보 질문은 세 곳에서 뽑습니다. Post Engine 키워드 표, 상담 대화 기록(Intake), 서치 콘솔 검색어입니다. 담당자가 후보를 고르고 고객사가 승인한 질문만 측정합니다.
고정
질문 세트는 분기 단위로 고정합니다. 중간에 바꾸면 지난주와 비교할 수 없습니다. 추가·삭제는 분기 시작일에 하고 변경 이력을 남깁니다.
2. 엔진과 수단
| 엔진 | 수단 | 자동 측정 |
|---|---|---|
| ChatGPT 검색 | OpenAI Responses API + web_search | 예 |
| Gemini | Gemini API + google_search 그라운딩 | 예 |
| Perplexity | Agent API + web_search 또는 Search API | 예 |
| Claude | Messages API + web_search | 예 |
| Microsoft Copilot | 빙 웹마스터 AI Performance 보고서 | 보고서 업로드 |
| Google AI Overviews·AI Mode | 서치 콘솔 생성형 AI 보고서 | 보고서 업로드 |
| 네이버 AI 브리핑 | 수동 표본 점검(질문 10~20개) | 아니요 |
자동 측정 4개 엔진은 소형 모델로 묻습니다. 측정 대상은 검색 도구가 가져오는 URL 이고, 답의 문장력은 대상이 아닙니다.
3. 주기
- 엔진별로 주 1회, 같은 요일 같은 시간대(KST 월요일 07:00 시작)에 실행합니다.
- 질문마다 3번 묻습니다.
- 3번의 실행은 같은 날 안에서 간격을 두고 돌립니다.
4. 기록
응답마다 아래를 저장합니다. 숫자만 저장하면 나중에 원인을 볼 수 없어서 원문을 함께 둡니다.
| 필드 | 내용 |
|---|---|
| question_id, 질문 원문, 언어 | 고정 질문 세트의 항목 |
| engine, model | 엔진과 모델 이름(버전 포함) |
| run_at, run_index | 실행 시각, 1~3회차 |
| answer_text | 응답 원문 |
| citations | 인용 URL 목록과 순서 |
| mentioned | 브랜드명(공식 표기·별칭) 등장 여부 |
5. 점수 계산
질문 1개, 실행 1회의 점수는 세 부분의 합입니다.
| 요소 | 점수 | 조건 |
|---|---|---|
| 언급 | 1 | 응답 본문에 브랜드 공식 표기나 등록 별칭이 있음 |
| 인용 | 2 | 인용 목록에 고객사 도메인 URL이 있음 |
| 순서 가중치 | 1 / 0.8 / 0.6 / 0.4 / 0.2 | 고객사 URL의 인용 순서 1 / 2 / 3 / 4 / 5위 이하 |
한 실행의 최대 점수는 4점입니다. 질문 점수는 3회 평균이고, 고객사 점수는 질문 점수의 평균을 4로 나눈 백분율입니다.
함께 보고하는 지표:
| 지표 | 계산 |
|---|---|
| 인용률 | 3회 중 1회 이상 인용된 질문 ÷ 전체 질문 |
| 언급률 | 3회 중 1회 이상 언급된 질문 ÷ 전체 질문 |
| 안정 인용률 | 3회 모두 인용된 질문 ÷ 전체 질문 |
| 점유율 | 고객사 인용 수 ÷ 전체 인용 수 |
| 경쟁 도메인 상위 10 | 인용 수 순 |
종합 점수는 내부 추이 확인용입니다. 리포트에서는 인용률·언급률 같은 개별 지표를 먼저 보여 줍니다.
6. 한계
- 01API 응답은 소비자 앱 화면과 다를 수 있습니다. 모델, 개인화, 위치, 시점이 다릅니다.
- 02모델이 바뀌면 같은 질문에도 결과가 크게 바뀝니다. 모델이 바뀐 주는 그래프에 표시하고 전후를 따로 봅니다.
- 03질문 세트 밖의 질문은 결과가 다를 수 있습니다.
- 04브랜드 언급 판정은 문자열 일치 기반이라, 표기가 크게 다른 언급은 놓칠 수 있습니다. 별칭 목록을 분기마다 갱신합니다.
- 05네이버 AI 브리핑은 공식 API가 없어 수동 표본으로만 기록하고, 종합 점수에 넣지 않습니다.
7. 비용
질문 100개 × 엔진 4개 × 3회 = 주 1,200회 호출입니다. 2026년 11월 18일 기준 웹검색 도구 단가는 OpenAI·Claude 1,000회당 10달러, Gemini 월 5,000건 무료 후 1,000건당 14달러, Perplexity Search API 1,000건당 5달러입니다[1][2][3]. 주 약 12~17달러에 토큰 비용이 더해집니다.
8. 결과를 쓰는 곳
- 고객 포털: 질문별 응답 원문·인용 URL을 날짜별로 열람
- Weekly Review: 매주 월요일 변화, 새로 인용된 페이지, 다음 주 글 주제 3개
- Post Engine: 인용이 없는 질문을 다음 글 주제 후보로 올림
AI Overviews·AI Mode는 서치 콘솔 생성형 AI 보고서가 1차 데이터이며, 일반 실적 보고서와 합산하지 않습니다[4][5].
이 글이 답하는 질문
질문은 누가 고르나요?
Post Engine 키워드 표와 상담 기록에서 후보를 자동으로 뽑고, 담당자와 고객사가 승인한 질문만 측정합니다.
모델이 바뀌면 어떻게 하나요?
응답마다 모델 이름을 저장하고, 모델이 바뀐 주는 그래프에 표시합니다. 바뀐 주 전후는 따로 비교합니다.
고객사 측정 결과를 공개하나요?
고객사 동의 없이 공개하지 않습니다. 이 페이지는 방법만 공개합니다.
출처
- [1]OpenAI API — Pricing (web search tool)https://developers.openai.com/api/docs/pricing
- [2]Perplexity — Modelshttps://docs.perplexity.ai/getting-started/models
- [3]Claude Platform — Pricinghttps://platform.claude.com/docs/en/about-claude/pricing
- [4]Google Search Central — AI features and your websitehttps://developers.google.com/search/docs/appearance/ai-features
- [5]Google Search Central Blog — Generative AI performance reportshttps://developers.google.com/search/blog/2026/06/gen-ai-performance-reports
수정 이력
- 첫 공개