Bu model 2023-01-25 tarihinde HF papers'ta yayımlandı ve 2023-06-20 tarihinde Hugging Face Transformers'a katkıda bulunuldu.

XLM-V

Genel Bakış

XLM-V, Common Crawl'dan (XLM-R ile aynı) 2,5 TB veride eğitilmiş, bir milyon token'lık sözlüğe sahip çok dilli bir dil modelidir. Davis Liang, Hila Gonen, Yuning Mao, Rui Hou, Naman Goyal, Marjan Ghazvininejad, Luke Zettlemoyer ve Madian Khabsa tarafından XLM-V: Overcoming the Vocabulary Bottleneck in Multilingual Masked Language Models makalesinde tanıtılmıştır.

XLM-V makalesinin özetinden:

Büyük çok dilli dil modelleri genellikle 100'den fazla dil arasında paylaşılan tek bir sözlüğe dayanır. Bu modellerin parametre sayısı ve derinliği arttıkça, sözlük boyutu büyük ölçüde değişmemiştir. Bu sözlük darboğazı, XLM-R gibi çok dilli modellerin temsil yeteneklerini sınırlar. Bu makalede, az sözlüksel örtüşmeye sahip diller arasındaki token paylaşımını azaltarak ve her bir dil için yeterli kapsama sağlamak üzere sözlük kapasitesini atayarak çok büyük çok dilli sözlüklere ölçeklenmek için yeni bir yaklaşım sunuyoruz. Sözlüğümüzü kullanan tokenizasyonlar, XLM-R ile karşılaştırıldığında genellikle daha anlamsal açıdan anlamlı ve daha kısadır. Bu iyileştirilmiş sözlüğü kullanarak, bir milyon token'lık sözlüğe sahip çok dilli bir dil modeli olan XLM-V'yi eğittik. XLM-V, doğal dil çıkarımı (XNLI), soru-cevap (MLQA, XQuAD, TyDiQA) ve ad varlık tanıma (WikiAnn) gibi test ettiğimiz her görevde, düşük kaynaklı görevler (Americas NLI, MasakhaNER) dahil olmak üzere XLM-R'dan daha iyi performans gösterir.

Bu model, XLM-V ile aşağı akış görevlerinde detaylı deneyler içerecek şekilde stefan-it tarafından katkıda bulunmuştur. Deneyler deposu burada bulunabilir.

Kullanım ipuçları

• XLM-V, XLM-RoBERTa model mimarisiyle uyumludur; yalnızca fairseq kütüphanesinden model ağırlıklarının dönüştürülmesi gerekiyordu.
• XLMTokenizer uygulaması, sözlüğü yüklemek ve tokenizasyonu gerçekleştirmek için kullanılır.

XLM-V (base boyutu) modeli, facebook/xlm-v-base tanımlayıcısı altında mevcuttur.

XLM-V mimarisi XLM-RoBERTa ile aynıdır; API referansı ve örnekler için XLM-RoBERTa belgelerine bakınız.