LLM Router

Chat UI, her istek için en uygun modeli otomatik olarak seçen akıllı bir yönlendirme sistemi içerir. Etkinleştirildiğinde, kullanıcılar sohbet bağlamına göre uzmanlaşmış modellere yönlendiren sanal bir “Omni” modeli görür.

Rota seçimi, ayrı bir yönlendirici servisi veya seçim modeli çağrılmadan, yerel olarak senkron bir sezgisel olarak çalışır.

Nasıl Çalışır

Bir kullanıcı Omni takma adı üzerinden bir mesaj gönderdiğinde, yönlendirici bir rota seçer; sıra şu şekildedir:

1. Görsel girdi mevcut → multimodal yolu (politika içinde tanımlıysa)
2. Seçilen MCP sunucusu → agentic rotası (politika içinde tanımlıysa)
3. Aksi takdirde → default rotası (LLM_ROUTER_DEFAULT_ROUTE ile yapılandırılabilir)

Seçilen rotanın primary_model değeri önce denenir; hata durumunda fallback_models girdileri sırayla denenir. Rotanın modellerine erişilemiyorsa istek LLM_ROUTER_FALLBACK_MODEL değerine geri döner. Seçilen rota ve model, arayüzün bunları görüntüleyebilmesi için RouterMetadata olarak yayınlanır.

Yapılandırma

Temel Kurulum

# Path to your routes policy JSON
LLM_ROUTER_ROUTES_PATH=./config/routes.json

# Route name used when no specific heuristic matches (default: "default")
LLM_ROUTER_DEFAULT_ROUTE=default

# Model to use if every candidate in the selected route fails
LLM_ROUTER_FALLBACK_MODEL=meta-llama/Llama-3.3-70B-Instruct

Yönlendirme Politikası

Rotalar için bir JSON dizisi oluşturun. Heuristik yönlendirmede üç rota adı tanınır: default, multimodal ve agentic. İhtiyacınız olanları ekleyin.

[
	{
		"name": "default",
		"description": "General purpose route for all conversations.",
		"primary_model": "deepseek-ai/DeepSeek-V4.1-Flash-1017",
		"fallback_models": [
			"deepseek-ai/DeepSeek-V4.1-Flash",
			"moonshotai/Kimi-K2.6",
			"zai-org/GLM-4.6"
		]
	},
	{
		"name": "multimodal",
		"description": "Route for requests with image inputs.",
		"primary_model": "deepseek-ai/DeepSeek-V4.1-Flash-1017",
		"fallback_models": [
			"deepseek-ai/DeepSeek-V4.1-Flash",
			"moonshotai/Kimi-K2.6",
			"Qwen/Qwen3-VL-235B-A22B-Instruct"
		]
	},
	{
		"name": "agentic",
		"description": "Route for MCP server tool calling.",
		"primary_model": "deepseek-ai/DeepSeek-V4.1-Flash-1017",
		"fallback_models": [
			"deepseek-ai/DeepSeek-V4.1-Flash",
			"moonshotai/Kimi-K2.6",
			"zai-org/GLM-4.6"
		]
	}
]

Çok Modlu Kısayol

LLM_ROUTER_ENABLE_MULTIMODAL=true olduğunda ve bir görsel eklenmişse, yönlendirici politika dosyasını tamamen atlayıp doğrudan LLM_ROUTER_MULTIMODAL_MODEL adresine yönlendirir:

LLM_ROUTER_ENABLE_MULTIMODAL=true
LLM_ROUTER_MULTIMODAL_MODEL=deepseek-ai/DeepSeek-V4.1-Flash-1017

Bayrak kapalıysa, görüntü girdileri yine de sezgisel işlemden geçer ve politika dosyasından multimodal yolunu seçer.

Araçlar Kısayolu

LLM_ROUTER_ENABLE_TOOLS=true olduğunda ve kullanıcının en az bir etkin MCP sunucusu varsa, yönlendirici politika dosyasını atlar ve doğrudan LLM_ROUTER_TOOLS_MODEL adresine yönlendirir:

LLM_ROUTER_ENABLE_TOOLS=true
LLM_ROUTER_TOOLS_MODEL=deepseek-ai/DeepSeek-V4.1-Flash-1017

Bayrak kapalıysa (veya araç yeteneğine sahip bir model bulunamazsa), araç-aktif istekler sezgisel üzerinden akar ve politika dosyasından agentic yolunu seçer.

Arayüz Özelleştirme

Model seçicide yönlendiricinin nasıl görüneceğini özelleştirin:

PUBLIC_LLM_ROUTER_ALIAS_ID=omni
PUBLIC_LLM_ROUTER_DISPLAY_NAME=Omni
PUBLIC_LLM_ROUTER_LOGO_URL=https://example.com/logo.png