# XLM-V

## 개요

XLM-V는 Common Crawl(2.5TB)에서 학습된 100만 토큰 어휘를 가진 다국어 언어 모델입니다(XLM-R과 동일). Davis Liang, Hila Gonen, Yuning Mao, Rui Hou, Naman Goyal, Marjan Ghazvininejad, Luke Zettlemoyer, Madian Khabsa가 발표한 [XLM-V: Overcoming the Vocabulary Bottleneck in Multilingual Masked Language Models](https://huggingface.co/papers/2301.10472) 논문에서 소개되었습니다.

XLM-V 논문 초록에서:

*대규모 다국어 언어 모델은 일반적으로 100개 이상의 언어에서 공유되는 단일 어휘를 사용합니다. 이러한 모델의 매개변수 수와 깊이가 증가했음에도 불구하고 어휘 크기는 크게 변하지 않았습니다. 이러한 어휘 병목 현상은 XLM-R과 같은 다국어 모델의 표현 능력을 제한합니다. 이 논문에서는 어휘 중복이 적은 언어 간의 토큰 공유를 완화하고 각 개별 언어에 대해 충분한 커버리지를 달성하도록 어휘 용량을 배분하여 매우 큰 다국어 어휘로 확장하는 새로운 접근법을 소개합니다. XLM-R과 비교할 때, 우리의 어휘를 사용한 토큰화는 일반적으로 더 의미론적으로 의미 있고 더 짧습니다. 이 개선된 어휘를 활용하여 100만 토큰 어휘를 가진 다국어 언어 모델인 XLM-V를 학습했습니다. XLM-V는 자연어 추론(XNLI), 질의응답(MLQA, XQuAD, TyDiQA), 개체명 인식(WikiAnn)부터 저자원 작업(Americas NLI, MasakhaNER)에 이르기까지 테스트한 모든 작업에서 XLM-R보다 우수한 성능을 보였습니다.*

이 모델은 [stefan-it](https://huggingface.co/stefan-it)에 의해 기여되었으며, XLM-V를 활용한 다운스트림 작업에 대한 상세한 실험을 포함합니다. 실험 저장소는 [여기](https://github.com/stefan-it/xlm-v-experiments)에서 찾을 수 있습니다.

## 사용 팁

- XLM-V는 XLM-RoBERTa 모델 아키텍처와 호환되며, [`fairseq`](https://github.com/facebookresearch/fairseq) 라이브러리의 모델 가중치만 변환하면 됩니다.
- `XLMTokenizer` 구현체는 어휘를 로드하고 토큰화를 수행하는 데 사용됩니다.

XLM-V(기본 크기) 모델은 [`facebook/xlm-v-base`](https://huggingface.co/facebook/xlm-v-base) 식별자로 사용할 수 있습니다.

XLM-V 아키텍처는 XLM-RoBERTa와 동일하며, API 참고 자료 및 예제는 [XLM-RoBERTa 문서](xlm-roberta)를 참조하세요.