Transformers documentation

피처 추출기

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

피처 추출기

Feature extractors는 주어진 모델에 맞는 올바른 형식으로 오디오 데이터를 전처리합니다. 원시 오디오 신호를 받아 모델에 입력할 수 있는 텐서로 변환합니다. 텐서의 모양은 모델에 따라 다르지만, Feature extractors는 사용 중인 모델에 따라 오디오 데이터를 올바르게 전처리해 줍니다. Feature extractors에는 패딩, 잘라내기, 리샘플링을 위한 메서드도 포함되어 있습니다.

Hugging Face Hub 또는 로컬 디렉터리에서 피처 추출기 및 그 전처리 구성을 로드하려면 from_pretrained()를 호출합니다. 피처 추출기와 전처리 구성은 preprocessor_config.json 파일에 저장됩니다.

array에 저장된 오디오 신호를 feature extractor에 전달하고, sampling_rate 매개변수를 사전 학습된 오디오 모델의 샘플링 레이트로 설정합니다. 오디오 데이터의 샘플링 레이트가 사전 학습된 오디오 모델이 학습된 데이터의 샘플링 레이트와 일치하는 것이 중요합니다.

from transformers import AutoFeatureExtractor

feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/wav2vec2-base")
dataset = load_dataset("PolyAI/minds14", name="en-US", split="train")
processed_sample = feature_extractor(dataset[0]["audio"]["array"], sampling_rate=16000)
processed_sample
{'input_values': [array([ 9.4472744e-05,  3.0777880e-03, -2.8888427e-03, ...,
       -2.8888427e-03,  9.4472744e-05,  9.4472744e-05], dtype=float32)]}

Feature extractor는 모델이 바로 사용할 수 있는 입력인 input_values를 반환합니다.

이 가이드에서는 feature extractor 클래스와 오디오 데이터 전처리 방법을 안내합니다.

Feature extractor 클래스

Transformers의 feature extractor는 FeatureExtractionMixin을 서브클래스로 하는 기본 SequenceFeatureExtractor 클래스를 상속합니다.

피처 추출기를 로드하는 방법은 두 가지가 있습니다. AutoFeatureExtractor와 모델별 피처 추출기 클래스입니다.

AutoFeatureExtractor
모델별 feature extractor

AutoClass API는 주어진 모델에 대해 올바른 feature extractor를 자동으로 로드합니다.

from_pretrained()를 사용하여 feature extractor를 로드합니다.

from transformers import AutoFeatureExtractor

feature_extractor = AutoFeatureExtractor.from_pretrained("openai/whisper-tiny")

전처리

feature extractor는 특정 형태의 PyTorch 텐서로 입력을 기대합니다. 정확한 입력 형태는 사용하는 특정 오디오 모델에 따라 달라질 수 있습니다.

예를 들어, Whisper는 input_features가 (batch_size, feature_size, sequence_length) 형태의 텐서인 것을 기대하지만, Wav2Vec2는 input_values가 (batch_size, sequence_length) 형태의 텐서인 것을 기대합니다.

feature extractor는 사용 중인 오디오 모델에 대해 올바른 입력 형상을 생성합니다.

Feature extractor는 오디오 파일의 샘플링 레이트(초당 추출되는 오디오 신호 값의 수)도 설정합니다. 오디오 데이터의 샘플링 레이트는 사전 학습 모델이 학습된 데이터셋의 샘플링 레이트와 일치해야 합니다. 이 값은 일반적으로 모델 카드에 명시되어 있습니다.

from_pretrained()로 데이터셋과 feature extractor를 로드합니다.

from datasets import load_dataset, Audio
from transformers import AutoFeatureExtractor

dataset = load_dataset("PolyAI/minds14", name="en-US", split="train")
feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/wav2vec2-base")

데이터셋의 첫 번째 예시를 확인하고, 원시 오디오 신호인 array를 포함하는 audio 열에 액세스합니다.

dataset[0]["audio"]["array"]
array([ 0.        ,  0.00024414, -0.00024414, ..., -0.00024414,
        0.        ,  0.        ])

Feature extractor는 array를 주어진 오디오 모델이 기대하는 입력 형식으로 전처리합니다. sampling_rate 매개변수를 사용하여 적절한 샘플링 레이트를 설정하세요.

processed_dataset = feature_extractor(dataset[0]["audio"]["array"], sampling_rate=16000)
processed_dataset
{'input_values': [array([ 9.4472744e-05,  3.0777880e-03, -2.8888427e-03, ...,
       -2.8888427e-03,  9.4472744e-05,  9.4472744e-05], dtype=float32)]}

패딩

길이가 다른 오디오 시퀀스는 Transformers가 모든 시퀀스가 동일한 길이를 가져야 배치(batch) 처리가 가능하기 때문에 문제가 됩니다. 길이가 균일하지 않은 시퀀스는 배치 처리할 수 없습니다.

dataset[0]["audio"]["array"].shape
(86699,)

dataset[1]["audio"]["array"].shape
(53248,)

Padding은 모든 시퀀스가 동일한 길이를 갖도록 padding token을 추가합니다. Feature extractor는 array를 패딩하기 위해 0을 추가하며, 이는 침묵으로 해석됩니다. padding=True를 설정하면 배치 내 가장 긴 시퀀스 길이로 시퀀스를 패딩합니다.

def preprocess_function(examples):
    audio_arrays = [x["array"] for x in examples["audio"]]
    inputs = feature_extractor(
        audio_arrays,
        sampling_rate=16000,
        padding=True,
    )
    return inputs

processed_dataset = preprocess_function(dataset[:5])
processed_dataset["input_values"][0].shape
(86699,)

processed_dataset["input_values"][1].shape
(86699,)

단축

모델은 특정 길이를 초과하는 시퀀스를 처리하면 충돌이 발생합니다.

Truncation은 시퀀스가 최대 길이를 초과하지 않도록 과도한 토큰을 제거하는 전략입니다. truncation=True를 설정하면 시퀀스가 max_length 파라미터의 길이로 잘립니다.

def preprocess_function(examples):
    audio_arrays = [x["array"] for x in examples["audio"]]
    inputs = feature_extractor(
        audio_arrays,
        sampling_rate=16000,
        max_length=50000,
        truncation=True,
    )
    return inputs

processed_dataset = preprocess_function(dataset[:5])
processed_dataset["input_values"][0].shape
(50000,)

processed_dataset["input_values"][1].shape
(50000,)

리샘플링

Datasets 라이브러리는 오디오 모델이 기대하는 샘플링 레이트에 맞게 오디오 데이터를 리샘플링할 수도 있습니다. 이 메서드는 오디오 데이터가 로드될 때 즉시 리샘플링을 수행하므로, 전체 데이터셋을 인플레이스로 리샘플링하는 것보다 빠를 수 있습니다.

작업 중인 오디오 데이터셋의 샘플링 레이트는 8kHz이고, 사전 학습된 모델은 16kHz를 요구합니다.

dataset[0]["audio"]
{'path': '/root/.cache/huggingface/datasets/downloads/extracted/f507fdca7f475d961f5bb7093bcc9d544f16f8cab8608e772a2ed4fbeb4d6f50/en-US~JOINT_ACCOUNT/602ba55abb1e6d0fbce92065.wav',
 'array': array([ 0.        ,  0.00024414, -0.00024414, ..., -0.00024414,
         0.        ,  0.        ]),
 'sampling_rate': 8000}

audio 컬럼에 cast_column을 호출하여 샘플링률을 16kHz로 업샘플링합니다.

dataset = dataset.cast_column("audio", Audio(sampling_rate=16000))

dataset 샘플을 로드하면 이제 16kHz로 리샘플링됩니다.

dataset[0]["audio"]
{'path': '/root/.cache/huggingface/datasets/downloads/extracted/f507fdca7f475d961f5bb7093bcc9d544f16f8cab8608e772a2ed4fbeb4d6f50/en-US~JOINT_ACCOUNT/602ba55abb1e6d0fbce92065.wav',
 'array': array([ 1.70562416e-05,  2.18727451e-04,  2.28099874e-04, ...,
         3.43842403e-05, -5.96364771e-06, -1.76846661e-05]),
 'sampling_rate': 16000}
Update on GitHub