고객은 하나의 의도를 수십 가지 문장으로 묻습니다. “민감성 선크림 추천”, “여드름 피부 자외선 차단제”, “무기자차 순한 거”는 다른 문장이지만 같은 의도입니다.
하나의 쿼리만 측정하면 운에 좌우됩니다. 그래서 의도를 여러 변형으로 펼쳐(팬아웃) 묻고, 브랜드가 얼마나 자주·어떤 맥락에서 등장하는지 분포로 봅니다.
이렇게 하면 “한 번 나왔다/안 나왔다”가 아니라 “열 번 중 몇 번, 어떤 질문에서”를 알 수 있습니다. 개선의 대상이 분명해집니다.
참고 자료
- Wang et al., Self-Consistency Improves Chain-of-Thought Reasoning in Language Models, 2022 — 하나가 아니라 여러 출력을 샘플링하는 접근의 근거.