bildgenerierung auf GPU

This commit is contained in:
DigitalInfinity committed 2026-10-18 14:24:56 +02:00
1 parent 571652f480
commit 4e7f9425e3
6 files changed
+21 -8

No files matched your search

+8
View File
@@ -12,6 +12,10 @@
# - Embeddings laufen auf der CPU
# - das Bildmodell (z-image) ist in der chat-Gruppe: es verdrängt das Chat-Modell
#
# Hilfsmodelle (Autocomplete, Embeddings, Whisper, Bilder) sind "unlisted": Sie fehlen in
# /v1/models, damit man sie im Web-Chat nicht als Chat-Modell wählt. Per ID bleiben
# sie normal nutzbar.
#
# whisper-server und sd-server kommen aus dem unified-Image (llama-swap/Dockerfile).
# Ihre Modelle liegen fest in ./models/whisper und ./models/sd (kein -hf), siehe README.
@@ -58,6 +62,7 @@ models:
-hf ggml-org/Qwen2.5-Coder-1.5B-Q8_0-GGUF
-ngl 99
ttl: 0
unlisted: true
# --- Embeddings (Continue @codebase) -----------------------------------
nomic-embed:
@@ -67,6 +72,7 @@ models:
-hf nomic-ai/nomic-embed-text-v1.5-GGUF:Q8_0
--embedding --pooling mean -c 8192 -b 8192 -ub 8192 -ngl 0 --threads 8
ttl: 0
unlisted: true
# --- Transkription (/v1/audio/transcriptions) --------------------------
whisper:
@@ -81,6 +87,7 @@ models:
-t 8 -l auto
aliases: [whisper-1]
ttl: 0
unlisted: true
# --- Bilder (/v1/images/generations), sd-server über Vulkan ------------
z-image:
@@ -97,6 +104,7 @@ models:
# Der OpenAI-Treiber (z. B. Laravel AI SDK) schickt seine eigenen Modellnamen
aliases: [gpt-image-1, dall-e-3, dall-e-2]
ttl: 600
unlisted: true
# Helfer-Modelle beim Container-Start laden (auch nach Reboot), damit
# Autocomplete sofort reagiert. Das Chat-Modell lädt beim ersten Request