Hub

API docs

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Sử dụng MLX tại Hugging Face

MLX là một framework huấn luyện và phục vụ mô hình cho Apple silicon do Apple Machine Learning Research phát triển.

Nó đi kèm với nhiều ví dụ:

Tạo văn bản với MLX-LM và tạo văn bản với MLX-LM cho các mô hình ở định dạng GGUF.
Tạo văn bản quy mô lớn với LLaMA.
Fine-tuning bằng LoRA.
Tạo hình ảnh bằng Stable Diffusion.
Nhận dạng giọng nói bằng Whisper của OpenAI.

Khám phá MLX trên Hub

Bạn có thể tìm các mô hình MLX bằng cách lọc ở phía bên trái của trang models. Ngoài ra, còn có một cộng đồng MLX mở gồm các nhà đóng góp đang chuyển đổi và phát hành trọng số cho định dạng MLX.

Nhờ tích hợp MLX Hugging Face Hub, bạn có thể tải các mô hình MLX chỉ với vài dòng mã.

Cài đặt

MLX được phát hành dưới dạng một gói độc lập, và có một gói con tên là MLX-LM với tích hợp Hugging Face cho các Mô hình Ngôn ngữ Lớn. Để cài đặt MLX-LM, bạn có thể sử dụng lệnh cài đặt một dòng sau đây thông qua pip:

pip install mlx-lm

Bạn có thể tìm hiểu thêm thông tin về nó tại đây.

Nếu bạn cài đặt mlx-lm, bạn không cần cài đặt mlx. Nếu bạn không muốn sử dụng mlx-lm mà chỉ dùng MLX, bạn có thể cài đặt MLX theo cách sau.

Với pip:

pip install mlx

Với conda:

conda install -c conda-forge mlx

Sử dụng các Mô hình có sẵn

MLX-LM có các tiện ích hữu ích để tạo văn bản. Dòng lệnh sau tải xuống và nạp mô hình trực tiếp rồi bắt đầu tạo văn bản.

python -m mlx_lm.generate --model mistralai/Mistral-7B-Instruct-v0.2 --prompt "hello"

Để xem danh sách đầy đủ các tùy chọn sinh, hãy chạy

python -m mlx_lm.generate --help

Bạn cũng có thể tải một mô hình và bắt đầu tạo văn bản bằng Python như bên dưới:

from mlx_lm import load, generate

model, tokenizer = load("mistralai/Mistral-7B-Instruct-v0.2")

response = generate(model, tokenizer, prompt="hello", verbose=True)

MLX-LM hỗ trợ các kiến trúc LLM phổ biến bao gồm LLaMA, Phi-2, Mistral và Qwen. Các model khác không được hỗ trợ có thể dễ dàng được tải xuống như sau:

Việc đặt HF_XET_HIGH_PERFORMANCE=1 sẽ tăng giới hạn độ song song và kích thước bộ đệm cho các máy có băng thông cao và ít nhất 64 GB RAM:

pip install -U huggingface_hub

export HF_XET_HIGH_PERFORMANCE=1
hf download --local-dir <LOCAL FOLDER PATH> <USER_ID>/<MODEL_NAME>

Chuyển đổi và Chia sẻ Mô hình

Bạn có thể chuyển đổi, và tùy chọn lượng tử hóa, các LLM từ Hugging Face Hub như sau:

python -m mlx_lm.convert --hf-path mistralai/Mistral-7B-v0.1 -q

Nếu bạn muốn đẩy trực tiếp mô hình sau khi chuyển đổi, bạn có thể thực hiện như bên dưới.

python -m mlx_lm.convert \
    --hf-path mistralai/Mistral-7B-v0.1 \
    -q \
    --upload-repo <USER_ID>/<MODEL_NAME>

Tài nguyên bổ sung

Update on GitHub

←mlx-image OpenCLIP→