Mô hình này được công bố trên HF papers vào ngày 25-01-2023 và được đóng góp cho Hugging Face Transformers vào ngày 20-06-2023.

XLM-V

Tổng quan

XLM-V là mô hình ngôn ngữ đa ngôn ngữ với từ điển một triệu token được huấn luyện trên 2,5TB dữ liệu từ Common Crawl (giống như XLM-R). Nó được giới thiệu trong bài báo XLM-V: Overcoming the Vocabulary Bottleneck in Multilingual Masked Language Models của Davis Liang, Hila Gonen, Yuning Mao, Rui Hou, Naman Goyal, Marjan Ghazvininejad, Luke Zettlemoyer và Madian Khabsa.

Từ phần tóm tắt của bài báo XLM-V:

Các mô hình ngôn ngữ đa ngôn ngữ lớn thường dựa vào một bảng từ vựng duy nhất được dùng chung cho hơn 100 ngôn ngữ. Khi các mô hình này tăng về số lượng tham số và độ sâu, kích thước bảng từ vựng hầu như không thay đổi. Nút thắt cổ chai về từ vựng này hạn chế khả năng biểu diễn của các mô hình đa ngôn ngữ như XLM-R. Trong bài báo này, chúng tôi giới thiệu một cách tiếp cận mới để mở rộng sang các bảng từ vựng đa ngôn ngữ rất lớn bằng cách giảm mức độ chia sẻ token giữa các ngôn ngữ có ít sự trùng lặp về từ vựng và phân bổ dung lượng từ vựng để đạt được độ bao phủ đủ cho từng ngôn ngữ riêng lẻ. Việc phân tách token sử dụng bảng từ vựng của chúng tôi thường có ý nghĩa ngữ nghĩa rõ ràng hơn và ngắn hơn so với XLM-R. Tận dụng bảng từ vựng được cải thiện này, chúng tôi huấn luyện XLM-V, một mô hình ngôn ngữ đa ngôn ngữ với bảng từ vựng một triệu token. XLM-V vượt trội hơn XLM-R trên mọi tác vụ mà chúng tôi đã kiểm tra, trải dài từ suy luận ngôn ngữ tự nhiên (XNLI), trả lời câu hỏi (MLQA, XQuAD, TyDiQA) và nhận thực thể có tên (WikiAnn) đến các tác vụ ít tài nguyên (Americas NLI, MasakhaNER).

Mô hình này được đóng góp bởi stefan-it, bao gồm các thí nghiệm chi tiết với XLM-V trên các tác vụ downstream. Kho thí nghiệm có thể được tìm thấy tại đây.

Mẹo sử dụng

• XLM-V tương thích với kiến trúc mô hình XLM-RoBERTa, chỉ cần chuyển đổi trọng số mô hình từ thư viện fairseq.
• Cài đặt XLMTokenizer được sử dụng để nạp từ vựng và thực hiện phân tách token.

Một mô hình XLM-V (kích thước cơ bản) có sẵn dưới định danh facebook/xlm-v-base.

Kiến trúc XLM-V giống với XLM-RoBERTa, hãy tham khảo tài liệu XLM-RoBERTa để xem tham chiếu API và các ví dụ.