같은 상품·같은 카테고리도 시장과 언어마다 완전히 다르게 쓰입니다. “민감성 선크림”, “sensitive sunscreen”, 그리고 일본어 표현은 글자가 거의 겹치지 않습니다.
문자열 일치로는 이 셋을 연결할 수 없습니다. 다국어 임베딩은 뜻이 가까운 표현을 벡터 공간에서 가깝게 놓아, 글자가 달라도 같은 의미를 찾아냅니다.
이 기술은 플랫폼 간 동일 상품 연결에도, 거래처가 취급하는 카테고리를 브랜드 필요에 맞추는 매칭에도 같은 방식으로 쓰입니다. 의미를 먼저 맞추고, 숫자(가격·수수료)는 그다음에 비교합니다.
참고 자료
- Conneau et al., Unsupervised Cross-lingual Representation Learning at Scale (XLM-R), ACL 2020 — 언어 간 매칭에 쓰는 다국어 표현의 근거 논문입니다.
- Reimers & Gurevych, Sentence-BERT, EMNLP 2019 — 의미 유사도를 위한 문장 임베딩.