Использование 🤗 Datasets

Когда вы найдёте интересный датасет на Hugging Face Hub, вы можете загрузить его с помощью 🤗 Datasets. Нажмите кнопку Use this dataset, чтобы скопировать код для загрузки датасета.

Сначала вам нужно войти в свой аккаунт Hugging Face, например, с помощью:

hf auth login

Затем вы можете загрузить набор данных из Hugging Face Hub с помощью

from datasets import load_dataset

dataset = load_dataset("username/my_dataset")

# or load the separate splits if the dataset has train/validation/test splits
train_dataset = load_dataset("username/my_dataset", split="train")
valid_dataset = load_dataset("username/my_dataset", split="validation")
test_dataset  = load_dataset("username/my_dataset", split="test")

Вы также можете загружать наборы данных в Hugging Face Hub:

my_new_dataset.push_to_hub("username/my_new_dataset")

Это создаёт репозиторий датасета username/my_new_dataset, содержащий ваш Dataset в формате Parquet, который можно будет загрузить позже.

Для получения дополнительной информации об использовании 🤗 Datasets обратитесь к туториалам и руководствам, доступным в документации 🤗 Datasets.