Transformers documentation
Özellik çıkarıcılar
Özellik çıkarıcılar
Özellik çıkarıcılar, ses verilerini belirli bir model için doğru formata dönüştürmek üzere ön işler. Ham ses sinyalini alır ve modele verilebilecek bir tensöre dönüştürür. Tensörün şekli modele bağlıdır, ancak kullandığınız modele göre özellik çıkarıcı ses verilerini sizin için doğru şekilde ön işler. Özellik çıkarıcılar ayrıca dolgu, kırpma ve yeniden örneklemeye yönelik yöntemler de içerir.
Bir özellik çıkarıcıyı ve ön işleyici yapılandırmasını Hugging Face Hub'dan veya yerel bir dizinden yüklemek için from_pretrained() çağrın. Özellik çıkarıcı ve ön işleyici yapılandırması, preprocessor_config.json dosyasında saklanır.
Ses sinyalini, genellikle array içinde saklanan, özellik çıkarıcıya iletin ve sampling_rate parametresini önceden eğitilmiş ses modelinin örneklem hızına ayarlayın. Ses verisinin örneklem hızının, önceden eğitilmiş ses modelinin eğitildiği verinin örneklem hızıyla eşleşmesi önemlidir.
from transformers import AutoFeatureExtractor
feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/wav2vec2-base")
dataset = load_dataset("PolyAI/minds14", name="en-US", split="train")
processed_sample = feature_extractor(dataset[0]["audio"]["array"], sampling_rate=16000)
processed_sample
{'input_values': [array([ 9.4472744e-05, 3.0777880e-03, -2.8888427e-03, ...,
-2.8888427e-03, 9.4472744e-05, 9.4472744e-05], dtype=float32)]}Özellik çıkarıcı, modelin kullanmaya hazır olduğu bir girdi olan input_values değerini döndürür.
Bu kılavuz, özellik çıkarıcı sınıflarını ve ses verilerinin nasıl ön işlendiğini adım adım açıklar.
Özellik çıkarıcı sınıfları
Transformers özellik çıkarıcıları, FeatureExtractionMixin'in alt sınıfı olan temel SequenceFeatureExtractor sınıfından devralır.
- SequenceFeatureExtractor, dizilerin uzunluklarını eşitlemek için belirli bir uzunluğa pad() yapma yöntemini sağlar.
- FeatureExtractionMixin, bir özellik çıkarıcısını yüklemek ve kaydetmek için from_pretrained() ve save_pretrained() sağlar.
Bir özellik çıkarıcıyı yüklemenin iki yolu vardır: AutoFeatureExtractor ve modele özgü bir özellik çıkarıcı sınıfı.
AutoClass API, verilen bir model için doğru özellik çıkarıcısını otomatik olarak yükler.
Bir özellik çıkarıcı yüklemek için from_pretrained() kullanın.
from transformers import AutoFeatureExtractor
feature_extractor = AutoFeatureExtractor.from_pretrained("openai/whisper-tiny")Her önceden eğitilmiş ses modeli, ses verilerini doğru şekilde işlemek için kendisine özgü bir özellik çıkarıcıya sahiptir. Bir özellik çıkarıcı yüklediğinizde, yapılandırması (özellik boyutu, parça uzunluğu vb.) preprocessor_config.json dosyasından alınır.
Bir özellik çıkarıcı, modele özgü sınıfından doğrudan yüklenebilir.
from transformers import WhisperFeatureExtractor
feature_extractor = WhisperFeatureExtractor.from_pretrained("openai/whisper-tiny")Ön işleme
Bir özellik çıkarıcı, girdiyi belirli bir şekle sahip bir PyTorch tensörü olarak bekler. Kesin girdi şekli, kullandığınız belirli ses modeline göre değişebilir.
Örneğin, Whisper, input_features'in (batch_size, feature_size, sequence_length) biçiminde bir tensör olmasını beklerken Wav2Vec2, input_values'in (batch_size, sequence_length) biçiminde bir tensör olmasını bekler.
Özellik çıkarıcı, kullandığınız ses modeli için doğru giriş biçimini üretir.
Özellik çıkarıcı, ses dosyalarının örneklem hızını (saniyede alınan ses sinyal değeri sayısı) de belirler. Ses verilerinizin örneklem hızı, önceden eğitilmiş bir modelin eğitildiği veri setinin örneklem hızıyla eşleşmelidir. Bu değer genellikle model kartında belirtilir.
Bir veri seti ve özellik çıkarıcıyı from_pretrained() ile yükleyin.
from datasets import load_dataset, Audio
from transformers import AutoFeatureExtractor
dataset = load_dataset("PolyAI/minds14", name="en-US", split="train")
feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/wav2vec2-base")Veri setindeki ilk örneği inceleyin ve ham ses sinyalini içeren array değerlerini barındıran audio sütununa erişin.
dataset[0]["audio"]["array"]
array([ 0. , 0.00024414, -0.00024414, ..., -0.00024414,
0. , 0. ])Özellik çıkarıcı, array değerini belirli bir ses modeli için beklenen giriş biçimine dönüştürür. Uygun örneklem hızını ayarlamak için sampling_rate parametresini kullanın.
processed_dataset = feature_extractor(dataset[0]["audio"]["array"], sampling_rate=16000)
processed_dataset
{'input_values': [array([ 9.4472744e-05, 3.0777880e-03, -2.8888427e-03, ...,
-2.8888427e-03, 9.4472744e-05, 9.4472744e-05], dtype=float32)]}Dolgu
Uzunlukları farklı ses dizileri bir sorundur çünkü Transformers, toplu işleme (batching) yapılabilmeleri için tüm dizilerin aynı uzunlukta olmasını bekler. Eşit olmayan uzunluklardaki diziler toplu işlenemez.
dataset[0]["audio"]["array"].shape
(86699,)
dataset[1]["audio"]["array"].shape
(53248,)Padding, tüm dizilerin aynı uzunlukta olmasını sağlamak için özel bir padding token ekler. Özellik çıkarıcı, array dizisini doldurmak için 0 - sessizlik olarak yorumlanır - ekler. padding=True ayarlayarak dizileri, batch içindeki en uzun dizi uzunluğuna kadar doldurabilirsiniz.
def preprocess_function(examples):
audio_arrays = [x["array"] for x in examples["audio"]]
inputs = feature_extractor(
audio_arrays,
sampling_rate=16000,
padding=True,
)
return inputs
processed_dataset = preprocess_function(dataset[:5])
processed_dataset["input_values"][0].shape
(86699,)
processed_dataset["input_values"][1].shape
(86699,)Kesme
Modeller, çökmeden önce yalnızca belirli bir uzunluğa kadar olan dizileri işleyebilir.
Kesme (truncation), bir dizinin maksimum uzunluğu aşmamasını sağlamak için fazladan jetonları kaldırmak için kullanılan bir stratejidir. Bir diziyi max_length parametresindeki uzunluğa kesmek için truncation=True olarak ayarlayın.
def preprocess_function(examples):
audio_arrays = [x["array"] for x in examples["audio"]]
inputs = feature_extractor(
audio_arrays,
sampling_rate=16000,
max_length=50000,
truncation=True,
)
return inputs
processed_dataset = preprocess_function(dataset[:5])
processed_dataset["input_values"][0].shape
(50000,)
processed_dataset["input_values"][1].shape
(50000,)Yeniden örneklem
Datasets kütüphanesi, ses modelinin beklenen örneklem hızıyla eşleşmesi için ses verilerini yeniden örneklemeye de alabilir. Bu yöntem, ses verileri yüklendiğinde anlık olarak yeniden örnekler; bu, tüm veri setini yerinde yeniden örneklemekten daha hızlı olabilir.
Üzerinde çalıştığınız ses veri setinin örneklem hızı 8kHz iken, önceden eğitilmiş model 16kHz beklemektedir.
dataset[0]["audio"]
{'path': '/root/.cache/huggingface/datasets/downloads/extracted/f507fdca7f475d961f5bb7093bcc9d544f16f8cab8608e772a2ed4fbeb4d6f50/en-US~JOINT_ACCOUNT/602ba55abb1e6d0fbce92065.wav',
'array': array([ 0. , 0.00024414, -0.00024414, ..., -0.00024414,
0. , 0. ]),
'sampling_rate': 8000}audio sütununda cast_column çağrısını yaparak örneklem hızını 16 kHz'ye yükseltin.
dataset = dataset.cast_column("audio", Audio(sampling_rate=16000))Veri seti örneğini yüklediğinizde, artık 16kHz'e yeniden örneklenir.
dataset[0]["audio"]
{'path': '/root/.cache/huggingface/datasets/downloads/extracted/f507fdca7f475d961f5bb7093bcc9d544f16f8cab8608e772a2ed4fbeb4d6f50/en-US~JOINT_ACCOUNT/602ba55abb1e6d0fbce92065.wav',
'array': array([ 1.70562416e-05, 2.18727451e-04, 2.28099874e-04, ...,
3.43842403e-05, -5.96364771e-06, -1.76846661e-05]),
'sampling_rate': 16000}