fix path model
Browse files
app.py
CHANGED
|
@@ -3,7 +3,6 @@ import gradio as gr
|
|
| 3 |
import torch
|
| 4 |
import requests
|
| 5 |
from PIL import Image
|
| 6 |
-
from io import BytesIO
|
| 7 |
import numpy as np
|
| 8 |
import os
|
| 9 |
from tqdm import tqdm # Добавляем импорт tqdm
|
|
@@ -30,11 +29,22 @@ def download_file(url, local_filename):
|
|
| 30 |
total_size_in_bytes = int(response.headers.get('content-length', 0))
|
| 31 |
block_size = 8192 # 8 Kibibytes
|
| 32 |
|
| 33 |
-
|
| 34 |
-
|
| 35 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 36 |
progress_bar.update(len(chunk))
|
| 37 |
-
|
|
|
|
|
|
|
|
|
|
| 38 |
|
| 39 |
print(f"Скачивание завершено: {local_filename}")
|
| 40 |
return local_filename
|
|
@@ -55,36 +65,41 @@ LOCAL_SAFETENSOR_FILENAME = "ultrareal_fine_tune_fp8_full.safetensors"
|
|
| 55 |
# ControlNet модель с Hugging Face
|
| 56 |
CONTROLNET_MODEL_ID = "ABDALLALSWAITI/FLUX.1-dev-ControlNet-Union-Pro-2.0-fp8"
|
| 57 |
|
|
|
|
|
|
|
|
|
|
|
|
|
| 58 |
# --- Скачиваем SafeTensor модель (выполнится при запуске скрипта в Space) ---
|
| 59 |
print("Начинаю скачивание базовой модели...")
|
| 60 |
downloaded_base_model_path = download_file(CIVITAI_SAFETENSOR_URL, LOCAL_SAFETENSOR_FILENAME)
|
| 61 |
|
| 62 |
-
|
| 63 |
-
|
| 64 |
-
|
| 65 |
-
|
| 66 |
-
|
| 67 |
-
|
| 68 |
-
|
| 69 |
-
|
| 70 |
-
|
| 71 |
-
|
| 72 |
-
|
| 73 |
-
print(f"Загрузка ControlNet модели: {controlnet_model_id}")
|
| 74 |
-
# Загрузка ControlNet с Hugging Face Hub - кешируется автоматически Space
|
| 75 |
controlnet = ControlNetModel.from_pretrained(controlnet_model_id, torch_dtype=torch.float16 if torch.cuda.is_available() else torch.float32)
|
|
|
|
|
|
|
|
|
|
|
|
|
| 76 |
|
| 77 |
-
|
| 78 |
# Используем from_single_file для загрузки пайплайна из одного SafeTensor файла
|
| 79 |
-
# Этот метод специально предназначен для загрузки чекпойнтов (Safetensors/CKPT)
|
| 80 |
try:
|
| 81 |
pipe = StableDiffusionPipeline.from_single_file(
|
| 82 |
base_model_path, # Указываем путь к локальному файлу .safetensors
|
| 83 |
torch_dtype=torch.float16 if torch.cuda.is_available() else torch.float32,
|
| 84 |
-
# from_single_file
|
| 85 |
-
#
|
| 86 |
-
#
|
| 87 |
-
#
|
| 88 |
)
|
| 89 |
# Отключение safety checker после загрузки, если он был загружен
|
| 90 |
if hasattr(pipe, 'safety_checker') and pipe.safety_checker is not None:
|
|
@@ -94,14 +109,13 @@ else:
|
|
| 94 |
|
| 95 |
except Exception as e:
|
| 96 |
print(f"Ошибка при загрузке базовой модели из файла {base_model_path}: {e}")
|
| 97 |
-
print("Убедитесь, что файл не
|
| 98 |
-
#
|
| 99 |
-
|
| 100 |
-
|
| 101 |
-
|
| 102 |
-
|
| 103 |
-
|
| 104 |
-
print("Создание пайплайна StableDiffusionControlNetPipeline...")
|
| 105 |
controlnet_pipe = StableDiffusionControlNetPipeline(
|
| 106 |
vae=pipe.vae,
|
| 107 |
text_encoder=pipe.text_encoder,
|
|
@@ -109,7 +123,7 @@ else:
|
|
| 109 |
unet=pipe.unet,
|
| 110 |
controlnet=controlnet, # Передаем загруженный ControlNet
|
| 111 |
scheduler=pipe.scheduler, # Используем планировщик из базового пайплайна
|
| 112 |
-
safety_checker=None,
|
| 113 |
feature_extractor=pipe.feature_extractor
|
| 114 |
)
|
| 115 |
|
|
@@ -117,22 +131,35 @@ else:
|
|
| 117 |
# Обновляем планировщик в новом ControlNet пайплайне
|
| 118 |
controlnet_pipe.scheduler = UniPCMultistepScheduler.from_config(controlnet_pipe.scheduler.config)
|
| 119 |
|
| 120 |
-
# Удаляем старый
|
| 121 |
del pipe
|
| 122 |
if torch.cuda.is_available():
|
| 123 |
torch.cuda.empty_cache()
|
|
|
|
|
|
|
| 124 |
|
| 125 |
# Перемещ��ем ControlNet пайплайн на GPU, если доступно
|
| 126 |
if torch.cuda.is_available():
|
| 127 |
controlnet_pipe = controlnet_pipe.to("cuda")
|
| 128 |
-
print("
|
| 129 |
else:
|
| 130 |
-
print("GPU не найдено. Пайплайн будет работать на CPU (
|
| 131 |
|
| 132 |
-
return controlnet_pipe
|
| 133 |
|
| 134 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 135 |
pipeline = load_pipeline_components(downloaded_base_model_path, CONTROLNET_MODEL_ID)
|
|
|
|
|
|
|
|
|
|
| 136 |
|
| 137 |
|
| 138 |
# --- Функция рендеринга для Gradio ---
|
|
@@ -145,6 +172,7 @@ def generate_image_gradio(controlnet_image: np.ndarray, prompt: str, negative_pr
|
|
| 145 |
"""
|
| 146 |
# Проверяем, успешно ли загрузился пайплайн
|
| 147 |
if pipeline is None:
|
|
|
|
| 148 |
return None, "Ошибка: Пайплайн модели не загружен. Проверьте логи Space."
|
| 149 |
|
| 150 |
if controlnet_image is None:
|
|
@@ -154,10 +182,13 @@ def generate_image_gradio(controlnet_image: np.ndarray, prompt: str, negative_pr
|
|
| 154 |
print(f"Размер входного изображения: {controlnet_image.shape}")
|
| 155 |
|
| 156 |
# Gradio возвращает изображение как numpy array. Преобразуем в PIL Image для пайплайна.
|
|
|
|
| 157 |
input_image_pil = Image.fromarray(controlnet_image).convert("RGB")
|
| 158 |
|
| 159 |
# Выполняем рендеринг с помощью пайплайна
|
| 160 |
try:
|
|
|
|
|
|
|
| 161 |
output = pipeline(
|
| 162 |
prompt=prompt,
|
| 163 |
image=input_image_pil, # Входное изображение для ControlNet
|
|
@@ -165,7 +196,6 @@ def generate_image_gradio(controlnet_image: np.ndarray, prompt: str, negative_pr
|
|
| 165 |
guidance_scale=guidance_scale,
|
| 166 |
num_inference_steps=num_inference_steps,
|
| 167 |
controlnet_conditioning_scale=controlnet_conditioning_scale
|
| 168 |
-
# Здесь можно добавить generator=... (для сидов), width=..., height=..., etc.
|
| 169 |
)
|
| 170 |
|
| 171 |
# Результат находится в output.images[0]
|
|
@@ -175,6 +205,7 @@ def generate_image_gradio(controlnet_image: np.ndarray, prompt: str, negative_pr
|
|
| 175 |
return generated_image_pil, "Успех!"
|
| 176 |
except Exception as e:
|
| 177 |
print(f"Ошибка при генерации: {e}")
|
|
|
|
| 178 |
return None, f"Ошибка при генерации: {e}"
|
| 179 |
|
| 180 |
|
|
@@ -193,7 +224,7 @@ status_text_comp = gr.Textbox(label="Статус")
|
|
| 193 |
|
| 194 |
# Создаем интерфейс Gradio
|
| 195 |
# Поскольку мы в Space, Gradio SDK сам вызовет interface.launch()
|
| 196 |
-
# Нам просто нужно определить
|
| 197 |
interface = gr.Interface(
|
| 198 |
fn=generate_image_gradio,
|
| 199 |
inputs=[
|
|
@@ -205,13 +236,9 @@ interface = gr.Interface(
|
|
| 205 |
controlnet_conditioning_scale_comp
|
| 206 |
],
|
| 207 |
outputs=[output_image_comp, status_text_comp],
|
| 208 |
-
title="Stable Diffusion ControlNet Interface (SafeTensor Base Model)",
|
| 209 |
description="Загрузите изображение для ControlNet, введите промт и нажмите 'Generate'. Используется локальная SafeTensor модель и ControlNet с Hugging Face."
|
| 210 |
)
|
| 211 |
|
| 212 |
-
#
|
| 213 |
-
# Gradio SDK в Space сделает это
|
| 214 |
-
# Если вы оставите if __name__ == "__main__": interface.launch(), оно тоже будет работать,
|
| 215 |
-
# но в среде Space это менее критично, чем при локальном запуске.
|
| 216 |
-
# Для ясности в Space можно убрать блок if __name__ == "__main__":
|
| 217 |
-
# Я оставил его в коде выше, но знайте, что SDK вызовет interface.launch() независимо от него.
|
|
|
|
| 3 |
import torch
|
| 4 |
import requests
|
| 5 |
from PIL import Image
|
|
|
|
| 6 |
import numpy as np
|
| 7 |
import os
|
| 8 |
from tqdm import tqdm # Добавляем импорт tqdm
|
|
|
|
| 29 |
total_size_in_bytes = int(response.headers.get('content-length', 0))
|
| 30 |
block_size = 8192 # 8 Kibibytes
|
| 31 |
|
| 32 |
+
# Используем tqdm для индикатора прогресса, только если размер известен
|
| 33 |
+
if total_size_in_bytes > 0:
|
| 34 |
+
progress_bar = tqdm(total=total_size_in_bytes, unit='iB', unit_scale=True, desc=f"Скачивание {local_filename}")
|
| 35 |
+
else:
|
| 36 |
+
print("Размер файла неизвестен, скачивание без индикатора прогресса.")
|
| 37 |
+
progress_bar = None
|
| 38 |
+
|
| 39 |
+
|
| 40 |
+
with open(local_filename, 'wb') as f:
|
| 41 |
+
for chunk in response.iter_content(chunk_size=block_size):
|
| 42 |
+
if progress_bar:
|
| 43 |
progress_bar.update(len(chunk))
|
| 44 |
+
f.write(chunk)
|
| 45 |
+
|
| 46 |
+
if progress_bar:
|
| 47 |
+
progress_bar.close()
|
| 48 |
|
| 49 |
print(f"Скачивание завершено: {local_filename}")
|
| 50 |
return local_filename
|
|
|
|
| 65 |
# ControlNet модель с Hugging Face
|
| 66 |
CONTROLNET_MODEL_ID = "ABDALLALSWAITI/FLUX.1-dev-ControlNet-Union-Pro-2.0-fp8"
|
| 67 |
|
| 68 |
+
# Переменная для хранения пайплайна (будет загружен при запуске скрипта)
|
| 69 |
+
pipeline = None
|
| 70 |
+
downloaded_base_model_path = None # Переменная для пути к скачанному файлу
|
| 71 |
+
|
| 72 |
# --- Скачиваем SafeTensor модель (выполнится при запуске скрипта в Space) ---
|
| 73 |
print("Начинаю скачивание базовой модели...")
|
| 74 |
downloaded_base_model_path = download_file(CIVITAI_SAFETENSOR_URL, LOCAL_SAFETENSOR_FILENAME)
|
| 75 |
|
| 76 |
+
# --- Загрузка моделей и создание пайплайна ---
|
| 77 |
+
# Эта функция вызывается один раз при запуске скрипта
|
| 78 |
+
def load_pipeline_components(base_model_path, controlnet_model_id):
|
| 79 |
+
"""Загружает базовую модель из локального файла, ControlNet и собирает пайплайн."""
|
| 80 |
+
if not base_model_path or not os.path.exists(base_model_path):
|
| 81 |
+
print(f"Ошибка загрузки: Файл базовой модели не найден по пути: {base_model_path}")
|
| 82 |
+
return None # Не можем загрузить пайплайн без файла модели
|
| 83 |
+
|
| 84 |
+
print(f"Загрузка ControlNet модели: {controlnet_model_id}")
|
| 85 |
+
# Загрузка ControlNet с Hugging Face Hub - кешируется автоматически Space
|
| 86 |
+
try:
|
|
|
|
|
|
|
| 87 |
controlnet = ControlNetModel.from_pretrained(controlnet_model_id, torch_dtype=torch.float16 if torch.cuda.is_available() else torch.float32)
|
| 88 |
+
except Exception as e:
|
| 89 |
+
print(f"Ошибка загрузки ControlNet модели с HF Hub: {controlnet_model_id}. Проверьте ID или соединение.")
|
| 90 |
+
print(f"Ошибка: {e}")
|
| 91 |
+
return None # Не можем загрузить пайплайн без ControlNet
|
| 92 |
|
| 93 |
+
print(f"Загрузка базовой модели из локального файла: {base_model_path} с использованием from_single_file")
|
| 94 |
# Используем from_single_file для загрузки пайплайна из одного SafeTensor файла
|
|
|
|
| 95 |
try:
|
| 96 |
pipe = StableDiffusionPipeline.from_single_file(
|
| 97 |
base_model_path, # Указываем путь к локальному файлу .safetensors
|
| 98 |
torch_dtype=torch.float16 if torch.cuda.is_available() else torch.float32,
|
| 99 |
+
# from_single_file пытается найти конфигурацию VAE, tokenizer и scheduler.
|
| 100 |
+
# Если ваша модель требует специфической конфигурации, возможно,
|
| 101 |
+
# потребуется указать путь к папке с конфигом или загрузить их отдельно.
|
| 102 |
+
# Для большинства Safetensor SD 1.5/2.x from_single_file работает из коробки.
|
| 103 |
)
|
| 104 |
# Отключение safety checker после загрузки, если он был загружен
|
| 105 |
if hasattr(pipe, 'safety_checker') and pipe.safety_checker is not None:
|
|
|
|
| 109 |
|
| 110 |
except Exception as e:
|
| 111 |
print(f"Ошибка при загрузке базовой модели из файла {base_model_path}: {e}")
|
| 112 |
+
print("Убедитесь, что файл не поврежден, соответствует формату StableDiffusion и from_single_file может его обработать.")
|
| 113 |
+
return None # Возвращаем None, если загрузка базовой модели не удалась
|
| 114 |
+
|
| 115 |
+
# --- Создание пайплайна StableDiffusionControlNetPipeline из компонентов ---
|
| 116 |
+
# Этот блок выполняется ТОЛЬКО если базовая модель и ControlNet успешно загружены
|
| 117 |
+
print("Создание финального пайплайна StableDiffusionControlNetPipeline...")
|
| 118 |
+
try:
|
|
|
|
| 119 |
controlnet_pipe = StableDiffusionControlNetPipeline(
|
| 120 |
vae=pipe.vae,
|
| 121 |
text_encoder=pipe.text_encoder,
|
|
|
|
| 123 |
unet=pipe.unet,
|
| 124 |
controlnet=controlnet, # Передаем загруженный ControlNet
|
| 125 |
scheduler=pipe.scheduler, # Используем планировщик из базового пайплайна
|
| 126 |
+
safety_checker=None, # Убираем safety_checker здесь при создании нового пайплайна
|
| 127 |
feature_extractor=pipe.feature_extractor
|
| 128 |
)
|
| 129 |
|
|
|
|
| 131 |
# Обновляем планировщик в новом ControlNet пайплайне
|
| 132 |
controlnet_pipe.scheduler = UniPCMultistepScheduler.from_config(controlnet_pipe.scheduler.config)
|
| 133 |
|
| 134 |
+
# Удаляем старый объект пайплайна для освобождения памяти GPU
|
| 135 |
del pipe
|
| 136 |
if torch.cuda.is_available():
|
| 137 |
torch.cuda.empty_cache()
|
| 138 |
+
print("Память GPU очищена после создания ControlNet пайплайна.")
|
| 139 |
+
|
| 140 |
|
| 141 |
# Перемещ��ем ControlNet пайплайн на GPU, если доступно
|
| 142 |
if torch.cuda.is_available():
|
| 143 |
controlnet_pipe = controlnet_pipe.to("cuda")
|
| 144 |
+
print("Финальный пайплайн перемещен на GPU.")
|
| 145 |
else:
|
| 146 |
+
print("GPU не найдено. Пайплайн будет работать на CPU (крайне медленно).") # В Space на CPU работать не будет эффективно
|
| 147 |
|
| 148 |
+
return controlnet_pipe # Возвращаем готовый пайплайн
|
| 149 |
|
| 150 |
+
except Exception as e:
|
| 151 |
+
print(f"Ошибка при создании финального StableDiffusionControlNetPipeline: {e}")
|
| 152 |
+
print("Проверьте совместимость компонентов (базовая модель и ControlNet).")
|
| 153 |
+
return None # Возвращаем None, если собрать финальный пайплайн не удалось
|
| 154 |
+
|
| 155 |
+
|
| 156 |
+
# --- Загружаем пайплайн при запуске скрипта, только если файл модели успешно скачан ---
|
| 157 |
+
# Этот код выполняется после скачивания файла
|
| 158 |
+
if downloaded_base_model_path and os.path.exists(downloaded_base_model_path):
|
| 159 |
pipeline = load_pipeline_components(downloaded_base_model_path, CONTROLNET_MODEL_ID)
|
| 160 |
+
else:
|
| 161 |
+
print("Пропуск загрузки пайплайна из-за ошибки скачивания или отсутствия файла.")
|
| 162 |
+
pipeline = None # Убеждаемся, что pipeline равен None при ошибке
|
| 163 |
|
| 164 |
|
| 165 |
# --- Функция рендеринга для Gradio ---
|
|
|
|
| 172 |
"""
|
| 173 |
# Проверяем, успешно ли загрузился пайплайн
|
| 174 |
if pipeline is None:
|
| 175 |
+
print("Попытка генерации, но пайплайн модели не загружен.")
|
| 176 |
return None, "Ошибка: Пайплайн модели не загружен. Проверьте логи Space."
|
| 177 |
|
| 178 |
if controlnet_image is None:
|
|
|
|
| 182 |
print(f"Размер входного изображения: {controlnet_image.shape}")
|
| 183 |
|
| 184 |
# Gradio возвращает изображение как numpy array. Преобразуем в PIL Image для пайплайна.
|
| 185 |
+
# diffusers ControlNet ожидают изображение в формате PIL Image или PyTorch Tensor в RGB
|
| 186 |
input_image_pil = Image.fromarray(controlnet_image).convert("RGB")
|
| 187 |
|
| 188 |
# Выполняем рендеринг с помощью пайплайна
|
| 189 |
try:
|
| 190 |
+
# Здесь вы можете добавить generator=... (для сидов), width=..., height=..., etc.
|
| 191 |
+
# Передаем все параметры в вызов пайплайна
|
| 192 |
output = pipeline(
|
| 193 |
prompt=prompt,
|
| 194 |
image=input_image_pil, # Входное изображение для ControlNet
|
|
|
|
| 196 |
guidance_scale=guidance_scale,
|
| 197 |
num_inference_steps=num_inference_steps,
|
| 198 |
controlnet_conditioning_scale=controlnet_conditioning_scale
|
|
|
|
| 199 |
)
|
| 200 |
|
| 201 |
# Результат находится в output.images[0]
|
|
|
|
| 205 |
return generated_image_pil, "Успех!"
|
| 206 |
except Exception as e:
|
| 207 |
print(f"Ошибка при генерации: {e}")
|
| 208 |
+
# Возвращаем None и сообщение об ошибке в интерфейс Gradio
|
| 209 |
return None, f"Ошибка при генерации: {e}"
|
| 210 |
|
| 211 |
|
|
|
|
| 224 |
|
| 225 |
# Создаем интерфейс Gradio
|
| 226 |
# Поскольку мы в Space, Gradio SDK сам вызовет interface.launch()
|
| 227 |
+
# Нам просто нужно определить объект интерфейса
|
| 228 |
interface = gr.Interface(
|
| 229 |
fn=generate_image_gradio,
|
| 230 |
inputs=[
|
|
|
|
| 236 |
controlnet_conditioning_scale_comp
|
| 237 |
],
|
| 238 |
outputs=[output_image_comp, status_text_comp],
|
| 239 |
+
title="Stable Diffusion ControlNet Interface (SafeTensor Base Model on HF Space)",
|
| 240 |
description="Загрузите изображение для ControlNet, введите промт и нажмите 'Generate'. Используется локальная SafeTensor модель и ControlNet с Hugging Face."
|
| 241 |
)
|
| 242 |
|
| 243 |
+
# Нет необходимости вызывать interface.launch() в блоке if __name__ == "__main__":
|
| 244 |
+
# Gradio SDK в Space сделает это автоматически при запуске скрипта.
|
|
|
|
|
|
|
|
|
|
|
|