Este modelo se publicó en HF papers el 28 de mayo de 2021 y se contribuyó a Hugging Face Transformers el 1 de junio de 2021.

ByT5

ByT5 es una versión sin tokenizador del modelo T5, diseñada para funcionar directamente sobre bytes UTF-8 crudos. Esto significa que puede procesar cualquier idioma, es más robusta ante el ruido como los errores tipográficos y es más sencilla de usar porque no requiere un pipeline de preprocesamiento.

Puedes encontrar todos los puntos de control originales de ByT5 bajo la organización Google.

Consulte la documentación de T5 para más ejemplos de cómo aplicar ByT5 a diferentes tareas de lenguaje.

El siguiente ejemplo demuestra cómo generar texto con Pipeline, AutoModel y desde la línea de comandos.

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer


tokenizer = AutoTokenizer.from_pretrained(
    "google/byt5-small"
)
model = AutoModelForSeq2SeqLM.from_pretrained(
    "google/byt5-small",
    device_map="auto"
)

input_ids = tokenizer("summarize: Photosynthesis is the process by which plants, algae, and some bacteria convert light energy into chemical energy.", return_tensors="pt").to(model.device)

output = model.generate(**input_ids)
print(tokenizer.decode(output[0], skip_special_tokens=True))

Cuantización

La cuantización reduce la carga de memoria de los modelos grandes al representar los pesos con una precisión inferior. Consulte el resumen de Cuantización para conocer más backends de cuantización disponibles.

El ejemplo siguiente utiliza torchao para cuantizar únicamente los pesos a int4.

# pip install torchao
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer, TorchAoConfig


quantization_config = TorchAoConfig("int4_weight_only", group_size=128)

model = AutoModelForSeq2SeqLM.from_pretrained(
    "google/byt5-xl",
    device_map="auto",
    quantization_config=quantization_config
)

tokenizer = AutoTokenizer.from_pretrained("google/byt5-xl")
input_ids = tokenizer("translate English to French: The weather is nice today.", return_tensors="pt").to(model.device)

output = model.generate(**input_ids)
print(tokenizer.decode(output[0], skip_special_tokens=True))

Notas

• Se recomienda usar el tokenizer para la inferencia y el entrenamiento por lotes.

• El ejemplo siguiente muestra cómo usar el modelo sin un tokenizador.

  Copiado

  import torch
  from transformers import AutoModelForSeq2SeqLM
  
  model = AutoModelForSeq2SeqLM.from_pretrained("google/byt5-small", device_map="auto")
  
  num_special_tokens = 3
  
  input_ids = torch.tensor([list("Life is like a box of chocolates.".encode("utf-8"))]) + num_special_tokens
  labels = torch.tensor([list("La vie est comme une boîte de chocolat.".encode("utf-8"))]) + num_special_tokens
  loss = model(input_ids, labels=labels).loss
  loss.item()

• ByT5 utiliza los valores de byte superiores (258, 257, etc.) para el enmascaramiento en lugar de tokens centinela como {extra_id_0}.

  Copiado

  # Example: character-level denoising with mask tokens
  input_ids = tokenizer("The dog chases a ball in the park.").input_ids
  masked_input = torch.tensor([input_ids[:8] + [258] + input_ids[14:21] + [257] + input_ids[28:]])
  output = model.generate(masked_input, max_length=100)

ByT5Tokenizer