본문으로 건너뛰기

리서치 · 측정 방법

Answer Tracker 측정 방법: 질문 선정, 엔진, 주기, 채점 기준

OSKIT Answer Tracker가 AI 답변 속 인용과 언급을 재는 방법 전문. 질문을 고르는 규칙, 대상 엔진과 수단, 반복 주기, 언급·순서·인용 점수 계산, 한계.

작성
OSKIT 팀 (어포메이션)
수정
4분 분량
이 글의 순서
  1. 01측정 대상
  2. 021. 질문 선정
  3. 032. 엔진과 수단
  4. 043. 주기
  5. 054. 기록
  6. 065. 점수 계산
  7. 076. 한계
  8. 087. 비용
  9. 098. 결과를 쓰는 곳

요약

  • 고객사당 질문 30~100개를 4개 축으로 만들고 사람이 승인해 분기 단위로 고정합니다.
  • API로 측정 가능한 4개 엔진에 질문마다 주 1회 3번 묻고, Copilot·AI Overviews는 각 플랫폼 보고서를 씁니다.
  • 질문 1개당 점수 = 언급 1점 + 인용 2점 + 순서 가중치(1위 1점 … 5위 이하 0.2점), 3회 평균입니다.

측정 대상

Answer Tracker는 고객이 AI에 물을 법한 질문에서 고객사가 언급되는지, 인용되는지, 인용 목록의 몇 번째에 나오는지를 잽니다. 이 문서는 질문 선정부터 점수 계산, 한계까지 전체 방법을 공개합니다. 고객사별 측정 결과는 고객사 동의 없이 공개하지 않습니다.

1. 질문 선정

개수

고객사당 30~100개입니다. 30개 미만이면 질문 1개가 인용률을 3%p 이상 움직여 추이를 읽기 어렵습니다. 100개를 넘으면 사람 승인과 결과 검토에 드는 시간이 비용보다 커집니다.

4개 축

축값비중 기준
서비스고객사 주요 서비스·제품 3~10개매출·상담 비중 순
국가·언어대상 시장 언어시장별 상담 비중
의도추천, 비교, 가격, 후기, 위치·방법추천·비교 40% 이상
브랜드명미포함 / 포함미포함 70% 이상

브랜드명 미포함 질문은 「처음 찾는 고객에게 발견되는가」를, 포함 질문은 「AI가 우리 정보를 정확히 말하는가」를 봅니다.

출처와 승인

후보 질문은 세 곳에서 뽑습니다. Post Engine 키워드 표, 상담 대화 기록(Intake), 서치 콘솔 검색어입니다. 담당자가 후보를 고르고 고객사가 승인한 질문만 측정합니다.

고정

질문 세트는 분기 단위로 고정합니다. 중간에 바꾸면 지난주와 비교할 수 없습니다. 추가·삭제는 분기 시작일에 하고 변경 이력을 남깁니다.

2. 엔진과 수단

엔진수단자동 측정
ChatGPT 검색OpenAI Responses API + web_search예
GeminiGemini API + google_search 그라운딩예
PerplexityAgent API + web_search 또는 Search API예
ClaudeMessages API + web_search예
Microsoft Copilot빙 웹마스터 AI Performance 보고서보고서 업로드
Google AI Overviews·AI Mode서치 콘솔 생성형 AI 보고서보고서 업로드
네이버 AI 브리핑수동 표본 점검(질문 10~20개)아니요

자동 측정 4개 엔진은 소형 모델로 묻습니다. 측정 대상은 검색 도구가 가져오는 URL 이고, 답의 문장력은 대상이 아닙니다.

3. 주기

  • 엔진별로 주 1회, 같은 요일 같은 시간대(KST 월요일 07:00 시작)에 실행합니다.
  • 질문마다 3번 묻습니다.
  • 3번의 실행은 같은 날 안에서 간격을 두고 돌립니다.

4. 기록

응답마다 아래를 저장합니다. 숫자만 저장하면 나중에 원인을 볼 수 없어서 원문을 함께 둡니다.

필드내용
question_id, 질문 원문, 언어고정 질문 세트의 항목
engine, model엔진과 모델 이름(버전 포함)
run_at, run_index실행 시각, 1~3회차
answer_text응답 원문
citations인용 URL 목록과 순서
mentioned브랜드명(공식 표기·별칭) 등장 여부

5. 점수 계산

질문 1개, 실행 1회의 점수는 세 부분의 합입니다.

요소점수조건
언급1응답 본문에 브랜드 공식 표기나 등록 별칭이 있음
인용2인용 목록에 고객사 도메인 URL이 있음
순서 가중치1 / 0.8 / 0.6 / 0.4 / 0.2고객사 URL의 인용 순서 1 / 2 / 3 / 4 / 5위 이하

한 실행의 최대 점수는 4점입니다. 질문 점수는 3회 평균이고, 고객사 점수는 질문 점수의 평균을 4로 나눈 백분율입니다.

함께 보고하는 지표:

지표계산
인용률3회 중 1회 이상 인용된 질문 ÷ 전체 질문
언급률3회 중 1회 이상 언급된 질문 ÷ 전체 질문
안정 인용률3회 모두 인용된 질문 ÷ 전체 질문
점유율고객사 인용 수 ÷ 전체 인용 수
경쟁 도메인 상위 10인용 수 순

종합 점수는 내부 추이 확인용입니다. 리포트에서는 인용률·언급률 같은 개별 지표를 먼저 보여 줍니다.

6. 한계

  1. 01API 응답은 소비자 앱 화면과 다를 수 있습니다. 모델, 개인화, 위치, 시점이 다릅니다.
  2. 02모델이 바뀌면 같은 질문에도 결과가 크게 바뀝니다. 모델이 바뀐 주는 그래프에 표시하고 전후를 따로 봅니다.
  3. 03질문 세트 밖의 질문은 결과가 다를 수 있습니다.
  4. 04브랜드 언급 판정은 문자열 일치 기반이라, 표기가 크게 다른 언급은 놓칠 수 있습니다. 별칭 목록을 분기마다 갱신합니다.
  5. 05네이버 AI 브리핑은 공식 API가 없어 수동 표본으로만 기록하고, 종합 점수에 넣지 않습니다.

7. 비용

질문 100개 × 엔진 4개 × 3회 = 주 1,200회 호출입니다. 2026년 11월 18일 기준 웹검색 도구 단가는 OpenAI·Claude 1,000회당 10달러, Gemini 월 5,000건 무료 후 1,000건당 14달러, Perplexity Search API 1,000건당 5달러입니다[1][2][3]. 주 약 12~17달러에 토큰 비용이 더해집니다.

8. 결과를 쓰는 곳

  • 고객 포털: 질문별 응답 원문·인용 URL을 날짜별로 열람
  • Weekly Review: 매주 월요일 변화, 새로 인용된 페이지, 다음 주 글 주제 3개
  • Post Engine: 인용이 없는 질문을 다음 글 주제 후보로 올림

AI Overviews·AI Mode는 서치 콘솔 생성형 AI 보고서가 1차 데이터이며, 일반 실적 보고서와 합산하지 않습니다[4][5].

이 글이 답하는 질문

질문은 누가 고르나요?

Post Engine 키워드 표와 상담 기록에서 후보를 자동으로 뽑고, 담당자와 고객사가 승인한 질문만 측정합니다.

모델이 바뀌면 어떻게 하나요?

응답마다 모델 이름을 저장하고, 모델이 바뀐 주는 그래프에 표시합니다. 바뀐 주 전후는 따로 비교합니다.

고객사 측정 결과를 공개하나요?

고객사 동의 없이 공개하지 않습니다. 이 페이지는 방법만 공개합니다.

출처

  1. [1]OpenAI API — Pricing (web search tool)https://developers.openai.com/api/docs/pricing
  2. [2]Perplexity — Modelshttps://docs.perplexity.ai/getting-started/models
  3. [3]Claude Platform — Pricinghttps://platform.claude.com/docs/en/about-claude/pricing
  4. [4]Google Search Central — AI features and your websitehttps://developers.google.com/search/docs/appearance/ai-features
  5. [5]Google Search Central Blog — Generative AI performance reportshttps://developers.google.com/search/blog/2026/06/gen-ai-performance-reports

수정 이력

  • 첫 공개

AI 채팅에서 요약 보기

페이지 주소만 넘깁니다.

무료 진단으로 검색·AI 답변 노출 상태를 확인합니다

홈페이지 주소를 넣으면 검색엔진·AI 봇 접근과 색인 상태를 바로 보여 드립니다.

3분 · 비용 없음 · 계약 의무 없음