2억 건의 상품을 서로 비교해 중복을 찾으려면 단순 계산으로도 천문학적인 횟수의 비교가 필요합니다. 전부 비교하는 건 불가능합니다.
그래서 먼저 ‘비슷할 가능성이 있는 후보’만 블로킹으로 추려내고, 그 안에서만 정밀 비교를 합니다. 임베딩 근접 이웃 탐색이 후보를 좁히고, 규칙과 속성이 최종 판단을 돕습니다.
중복 제거가 틀리면 그 위의 모든 분석이 틀립니다. 같은 상품을 둘로 세면 시장이 커 보이고, 다른 상품을 하나로 합치면 경쟁이 과소평가됩니다.
참고 자료
- P. Christen, Data Matching: Concepts and Techniques for Record Linkage, Entity Resolution, and Duplicate Detection, Springer 2012 — 블로킹·엔티티 매칭의 표준 레퍼런스.
- Conneau et al., XLM-R, ACL 2020 — 유사 후보 생성을 위한 임베딩.