slots und kontextfenster angepasst

This commit is contained in:
DigitalInfinity committed 2026-10-16 22:50:50 +02:00
1 parent a465821bb8
commit 796a63671b
3 files changed
+10 -9

No files matched your search

+4 -3
View File
@@ -23,8 +23,9 @@ macros:
server: >-
/app/llama-server --host 127.0.0.1 --port ${PORT}
--jinja -fa on --threads 12 --no-webui
# Agent-Betrieb: großer Kontext, KV-Cache quantisiert, VRAM-Reserve für Autocomplete
agent-ctx: -c 65536 -ctk q8_0 -ctv q8_0 --fit-target 3072
# Agent-Betrieb: großer Kontext, KV-Cache quantisiert, VRAM-Reserve für Autocomplete;
# -np 1 = eine Sitzung gleichzeitig, sie bekommt den ganzen Kontext (sonst teilen sich 4 Slots)
agent-ctx: -c 131072 -np 1 -ctk q8_0 -ctv q8_0 --fit-target 3072
models:
# --- Chat / Agent (opencode, Continue Chat/Agent/Edit) -----------------
@@ -45,7 +46,7 @@ models:
qwen3.5-9b:
name: Qwen3.5 9B (schnell, komplett im VRAM)
cmd: >-
${server} -c 32768 -ctk q8_0 -ctv q8_0 --fit-target 3072
${server} -c 32768 -np 1 -ctk q8_0 -ctv q8_0 --fit-target 3072
-hf unsloth/Qwen3.5-9B-GGUF:Q4_K_M
ttl: 3600