# myt5

## 개요

myt5 모델은 Tomasz Limisiewicz, Terra Blevins, Hila Gonen, Orevaoghene Ahia, Luke Zettlemoyer가 [MYTE: Morphology-Driven Byte Encoding for Better and Fairer Multilingual Language Modeling](https://huggingface.co/papers/2403.10691)에서 제안했습니다. MyT5(**My**te **T5**)는 T5 아키텍처를 기반으로 한 다국어 언어 모델입니다. 이 모델은 저희 논문에서 설명한 **m**orphologically-driven **byte**(**MYTE**) 표현을 사용합니다. **MYTE**는 UTF-8 인코딩에서 사용되는 문자와 달리 형태소에 해당하는 코드포인트를 사용합니다. 사전 요구 사항으로, 99개 언어의 형태소 목록을 얻기 위해 비지도 형태소 분할([Morfessor](https://aclanthology.org/E14-2006.pdf))을 사용했습니다. 그러나 허브에서 제공되는 사전 정의된 형태소 목록을 사용하는 경우 형태소 분할 단계는 필요하지 않습니다(참조: [Tomli/myt5-base](https://huggingface.co/Tomlim/myt5-base)).

해당 논문의 초록은 다음과 같습니다:

*다국어 언어 모델링에서 주요 고려 사항은 다양한 어휘와 문자 체계를 가진 언어를 어떻게 가장 잘 표현할 것인가입니다. 최신 텍스트 인코딩 방식은 세계 대부분의 문자 체계를 다루지만, 서구 고자원 언어에 편향되어 있습니다. 그 결과, 소외된 언어의 텍스트는 언어적으로 의미 없는 단위로 이루어진 긴 시퀀스로 분할되는 경향이 있습니다. 이러한 격차를 해결하기 위해, 우리는 다양한 언어에서 일관된 크기의 세그먼트로 동일한 정보를 인코딩하는 새로운 패러다임을 소개합니다. 우리의 인코딩 규칙(MYTE)은 이전 방법에서 사용된 문자보다 언어 간 분포가 더 균형 잡힌 형태소(morpheme)를 기반으로 합니다. MYTE는 분석된 99개 언어 모두에서 더 짧은 인코딩을 생성하며, 유럽 외 언어와 라틴 문자 외 문자 체계에서 가장 뚜렷한 개선 효과를 보입니다. 이를 통해 다국어 LM 성능이 향상되고, 다양한 언어 전반에 걸친 퍼플렉시티 격차가 줄어듭니다.*

이 모델은 [Tomasz Limisiewicz](https://huggingface.co/Tomlim)님이 기여했습니다. 원본 코드는 [여기](https://github.com/tomlimi/MYTE)에서 찾을 수 있습니다.

## MyT5Tokenizer[[transformers.MyT5Tokenizer]]

#### transformers.MyT5Tokenizer[[transformers.MyT5Tokenizer]]

```python
transformers.MyT5Tokenizer(vocab_file, eos_token = '</s>', unk_token = '<unk>', pad_token = '<pad>', extra_ids = 125, additional_special_tokens = None, **kwargs)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/myt5/tokenization_myt5.py#L133)

**매개변수:**

vocab_file (`str`) : 바이트 재작성 규칙을 포함하는 파일.

eos_token (`str`, *선택 사항*, 기본값 `"</s>"`) : 시퀀스 종료 토큰입니다.

unk_token (`str`, *선택*, 기본값 `"<unk>"`) : 알 수 없는 토큰. 어휘에 없는 토큰은 ID로 변환할 수 없으므로 이 토큰으로 설정됩니다.

pad_token (`str`, *선택 사항*, 기본값 `"<pad>"`) : 패딩에 사용되는 토큰입니다. 예를 들어 길이가 다른 시퀀스를 배치할 때 사용됩니다.

extra_ids (`int`, *선택 사항*, 기본값 125) : 어휘의 끝에 추가되는 sentinel로 사용할 추가 ID의 수입니다. 이러한 토큰은 "{%d}"가 0부터 extra_ids-1 사이의 숫자인 ""으로 접근할 수 있습니다. 추가 토큰은 어휘의 끝에서 시작까지 인덱싱됩니다(""은 ByT5 전처리와 마찬가지로 어휘의 마지막 토큰이며, [여기](https://github.com/google-research/text-to-text-transfer-transformer/blob/9fd7b14a769417be33bc6c850f9598764913c833/t5/data/preprocessors.py#L2117)를 참조하십시오).

additional_special_tokens (`list[str]`, *선택 사항*) : 토크나이저가 사용하는 추가 특수 토큰입니다.

MyT5 토크나이저를 구성합니다.

이 토크나이저는 대부분의 주요 메서드를 포함하는 [PreTrainedTokenizer](/docs/transformers/v5.23.0/ko/main_classes/tokenizer#transformers.PythonBackend)를 상속합니다. 해당 메서드에 대한 자세한 정보는 이 상위 클래스를 참고하세요.

#### build_inputs_with_special_tokens[[transformers.MyT5Tokenizer.build_inputs_with_special_tokens]]

```python
build_inputs_with_special_tokens(token_ids_0: list[int], token_ids_1: list[int] | None = None)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/myt5/tokenization_myt5.py#L282)

**매개변수:**

token_ids_0 (`list[int]`) : 특수 토큰이 추가될 ID 목록.

token_ids_1 (`list[int]`, *선택 사항*) : 시퀀스 쌍을 위한 선택적 두 번째 ID 목록.

**반환값:** `list[int]`

적절한 특수 토큰이 포함된 [입력 ID](../glossary#input-ids) 목록

시퀀스 분류 작업을 위해 시퀀스 또는 시퀀스 쌍을 연결하고 특수 토큰을 추가하여 모델 입력을 구성합니다. 시퀀스는 다음 형식을 가집니다:

- 단일 시퀀스: `X </s>`
- 시퀀스 쌍: `A </s> B </s>`

#### get_special_tokens_mask[[transformers.MyT5Tokenizer.get_special_tokens_mask]]

```python
get_special_tokens_mask(token_ids_0: list[int], token_ids_1: list[int] | None = None, already_has_special_tokens: bool = False)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/myt5/tokenization_myt5.py#L220)

**매개변수:**

token_ids_0 (`list[int]`) : ID 목록.

token_ids_1 (`list[int]`, *선택 사항*) : 시퀀스 쌍을 위한 선택적 두 번째 ID 목록.

already_has_special_tokens (`bool`, *선택 사항*, 기본값 `False`) : 토큰 목록이 이미 모델의 특수 토큰으로 포맷되어 있는지 여부.

**반환값:** `list[int]`

[0, 1] 범위의 정수 목록: 특수 토큰은 1, 시퀀스 토큰은 0.

특수 토큰이 추가되지 않은 토큰 목록에서 시퀀스 ID를 가져옵니다. 이 메서드는 토크나이저의 `prepare_for_model` 메서드를 사용하여 특수 토큰을 추가할 때 호출됩니다.

#### 시퀀스에서 토큰 타입 ID 생성[[transformers.MyT5Tokenizer.create_token_type_ids_from_sequences]]

```python
create_token_type_ids_from_sequences(token_ids_0: list[int], token_ids_1: list[int] | None = None)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/myt5/tokenization_myt5.py#L259)

**매개변수:**

token_ids_0 (`list[int]`) : ID 목록.

token_ids_1 (`list[int]`, *선택 사항*) : 시퀀스 쌍을 위한 선택적 두 번째 ID 목록.

**반환값:** `list[int]`

0으로만 이루어진 리스트.

시퀀스-페어 분류 작업에 사용될 두 시퀀스로부터 마스크를 생성합니다. MyT5는 토큰 타입 ID를 사용하지 않으므로, 0의 목록이 반환됩니다.

#### save_vocabulary[[transformers.MyT5Tokenizer.save_vocabulary]]

```python
save_vocabulary(save_directory: str, filename_prefix: str | None = None)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/myt5/tokenization_myt5.py#L366)

