Polars

Polars는 OLAP 쿼리 엔진 위에 구축된 인메모리 DataFrame 라이브러리입니다. 빠르고 사용하기 쉬우며 오픈 소스입니다.

1.2.0 버전부터 Polars는 Hugging Face 파일 시스템에 대한 네이티브 지원을 제공합니다. 이는 Polars 쿼리 최적화기의 모든 이점(예: 조건 및 투사 푸시다운)이 적용되고, 쿼리를 완료하는 데 필요한 데이터만 로드한다는 것을 의미합니다. 이를 통해 특히 대규모 데이터셋의 읽기 속도가 크게 향상됩니다(자세한 내용은 최적화를 참조).

Hugging Face 경로(hf://)를 사용하여 Hub의 데이터에 액세스할 수 있습니다:

시작하기

시작하려면 pip install을 사용하여 Polars를 환경에 설치하면 됩니다:

pip install polars

Polars를 설치한 후에는 Hugging Face URL을 기반으로 데이터셋을 직접 쿼리할 수 있습니다. 이를 위해 다른 의존성은 필요하지 않습니다.

import polars as pl

pl.read_parquet("hf://datasets/roneneldan/TinyStories/data/train-00000-of-00004-2d5a1467fff1081b.parquet")

Polars는 두 가지 API를 제공합니다: lazy API(scan_parquet)와 eager API(read_parquet). 인터랙티브 워크로드에는 eager API를, 더 나은 쿼리 최적화를 통해 성능을 높일 수 있으므로 성능 최적화에는 lazy API 사용을 권장합니다. 이 주제에 대한 자세한 내용은 Polars 사용자 가이드를 참고하세요.

Polars는 globbing을 지원하여 여러 파일을 한 번에 다운로드하여 단일 DataFrame으로 가져올 수 있습니다.

pl.read_parquet("hf://datasets/roneneldan/TinyStories/data/train-*.parquet")

Hugging Face URL

Hugging Face URL은 username과 dataset 이름을 사용하여 다음과 같이 구성할 수 있습니다:

• hf://datasets/{username}/{dataset}/{path_to_file}

경로에는 **/*.parquet와 같은 globbing 패턴을 포함하여 해당 패턴에 일치하는 모든 파일을 조회할 수 있습니다. 또한, 지원되지 않는 파일 형식의 경우 Hugging Face가 제공하는 @~parquet branch를 사용하여 자동 변환된 parquet 파일을 사용할 수 있습니다:

• hf://datasets/{my-username}/{my-dataset}@~parquet/{path_to_file}