Hub

파일 형식

Polars는 Hugging Face에서 읽을 때 다음 파일 형식을 지원합니다:

아래 예시에는 기본 설정만 표시됩니다. API 참조 가이드에서 사용 가능한 모든 매개변수를 확인하려면 위의 링크를 사용하세요.

Parquet

Parquet는 파일 내에 타입 정보가 포함된 스키마를 저장하므로 권장되는 파일 형식입니다. 이를 통해 파싱 시 모호함을 방지하고 읽기 속도를 높일 수 있습니다. Polars에서 Parquet 파일을 읽으려면 read_parquet 함수를 사용하세요:

pl.read_parquet("hf://datasets/roneneldan/TinyStories/data/train-00000-of-00004-2d5a1467fff1081b.parquet")

read_csv 함수를 사용하여 CSV 파일을 읽을 수 있습니다:

pl.read_csv("hf://datasets/lhoestq/demo1/data/train.csv")

Polars는 json lines로도 알려진 새 줄 구분 JSON을 read_ndjson 함수로 읽는 것을 지원합니다:

pl.read_ndjson("hf://datasets/proj-persona/PersonaHub/persona.jsonl")