bildgenerierung auf GPU
This commit is contained in:
1 parent
571652f480
commit
4e7f9425e3
6 files changed
+21
-8
No files matched your search
@@ -12,6 +12,10 @@
|
||||
# - Embeddings laufen auf der CPU
|
||||
# - das Bildmodell (z-image) ist in der chat-Gruppe: es verdrängt das Chat-Modell
|
||||
#
|
||||
# Hilfsmodelle (Autocomplete, Embeddings, Whisper, Bilder) sind "unlisted": Sie fehlen in
|
||||
# /v1/models, damit man sie im Web-Chat nicht als Chat-Modell wählt. Per ID bleiben
|
||||
# sie normal nutzbar.
|
||||
#
|
||||
# whisper-server und sd-server kommen aus dem unified-Image (llama-swap/Dockerfile).
|
||||
# Ihre Modelle liegen fest in ./models/whisper und ./models/sd (kein -hf), siehe README.
|
||||
|
||||
@@ -58,6 +62,7 @@ models:
|
||||
-hf ggml-org/Qwen2.5-Coder-1.5B-Q8_0-GGUF
|
||||
-ngl 99
|
||||
ttl: 0
|
||||
unlisted: true
|
||||
|
||||
# --- Embeddings (Continue @codebase) -----------------------------------
|
||||
nomic-embed:
|
||||
@@ -67,6 +72,7 @@ models:
|
||||
-hf nomic-ai/nomic-embed-text-v1.5-GGUF:Q8_0
|
||||
--embedding --pooling mean -c 8192 -b 8192 -ub 8192 -ngl 0 --threads 8
|
||||
ttl: 0
|
||||
unlisted: true
|
||||
|
||||
# --- Transkription (/v1/audio/transcriptions) --------------------------
|
||||
whisper:
|
||||
@@ -81,6 +87,7 @@ models:
|
||||
-t 8 -l auto
|
||||
aliases: [whisper-1]
|
||||
ttl: 0
|
||||
unlisted: true
|
||||
|
||||
# --- Bilder (/v1/images/generations), sd-server über Vulkan ------------
|
||||
z-image:
|
||||
@@ -97,6 +104,7 @@ models:
|
||||
# Der OpenAI-Treiber (z. B. Laravel AI SDK) schickt seine eigenen Modellnamen
|
||||
aliases: [gpt-image-1, dall-e-3, dall-e-2]
|
||||
ttl: 600
|
||||
unlisted: true
|
||||
|
||||
# Helfer-Modelle beim Container-Start laden (auch nach Reboot), damit
|
||||
# Autocomplete sofort reagiert. Das Chat-Modell lädt beim ersten Request
|
||||
|
||||
Reference in new issue
Block a user