Transformers documentation
MADLAD-400
Mô hình này được công bố trên HF papers vào ngày 2023-09-09 và được đóng góp cho Hugging Face Transformers vào ngày 2023-11-28.
MADLAD-400
Tổng quan
Các mô hình MADLAD-400 đã được công bố trong bài báo MADLAD-400: A Multilingual And Document-Level Large Audited Dataset.
Tóm tắt từ bài báo như sau:
Chúng tôi giới thiệu MADLAD-400, một bộ dữ liệu đơn ngữ 3T token thuộc lĩnh vực chung, được kiểm tra thủ công, dựa trên CommonCrawl, bao phủ 419 ngôn ngữ. Chúng tôi thảo luận về các hạn chế được phát hiện khi tự kiểm tra MADLAD-400, và vai trò của việc kiểm tra dữ liệu trong quy trình tạo bộ dữ liệu. Sau đó, chúng tôi huấn luyện và phát hành một mô hình dịch máy đa ngôn ngữ 10,7B tham số trên 250 tỷ token bao phủ hơn 450 ngôn ngữ bằng cách sử dụng dữ liệu công khai, và nhận thấy rằng nó có khả năng cạnh tranh với các mô hình lớn hơn đáng kể, đồng thời báo cáo kết quả trên các lĩnh vực khác nhau. Ngoài ra, chúng tôi huấn luyện một mô hình ngôn ngữ 8B tham số và đánh giá kết quả trên dịch few-shot. Chúng tôi cung cấp các mô hình baseline 1 cho cộng đồng nghiên cứu.
Mô hình này được thêm bởi Juarez Bochi. Các checkpoint gốc có thể được tìm thấy tại đây.
Đây là một mô hình dịch máy hỗ trợ nhiều ngôn ngữ ít tài nguyên và có hiệu năng cạnh tranh với các mô hình lớn hơn đáng kể.
Có thể sử dụng trực tiếp trọng số MADLAD-400 mà không cần tinh chỉnh mô hình:
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
model = AutoModelForSeq2SeqLM.from_pretrained("google/madlad400-3b-mt", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("google/madlad400-3b-mt")
inputs = tokenizer("<2pt> I love pizza!", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs)
print(tokenizer.batch_decode(outputs, skip_special_tokens=True))
['Eu amo pizza!']Google đã phát hành các biến thể sau:
Các checkpoint gốc có thể được tìm thấy tại đây.
Update on GitHubTham khảo trang tài liệu của T5 để xem tất cả các tham chiếu API, ví dụ mã và notebook. Để biết thêm chi tiết về việc huấn luyện và đánh giá MADLAD-400, hãy tham khảo thẻ mô hình.