# yaml-language-server: $schema=https://raw.githubusercontent.com/mostlygeek/llama-swap/refs/heads/main/config-schema.json
#
# Modelle werden beim ersten Aufruf per -hf von Hugging Face nach ./models geladen
# (LLAMA_CACHE=/models). Danach läuft alles offline.
#
# VRAM-Budget RX 6950 XT (16 GB):
#   - Autocomplete-Modell (~2 GB) bleibt dauerhaft geladen
#   - genau ein Chat-Modell gleichzeitig; llama.cpp --fit (Standard: an) verteilt
#     Layer/MoE-Experten automatisch auf VRAM und RAM, --fit-target hält ~3 GB frei
#   - Embeddings laufen auf der CPU

healthCheckTimeout: 900   # erster Start kann einen 20-GB-Download enthalten
logLevel: info
startPort: 10001

macros:
  server: >-
    /app/llama-server --host 127.0.0.1 --port ${PORT}
    --jinja -fa on --threads 12 --no-webui
  # Agent-Betrieb: großer Kontext, KV-Cache quantisiert, VRAM-Reserve für Autocomplete
  agent-ctx: -c 65536 -ctk q8_0 -ctv q8_0 --fit-target 3072

models:
  # --- Chat / Agent (opencode, Continue Chat/Agent/Edit) -----------------
  qwen3.5-35b-a3b:
    name: Qwen3.5 35B-A3B (MoE)
    cmd: >-
      ${server} ${agent-ctx}
      -hf unsloth/Qwen3.5-35B-A3B-GGUF:Q4_K_M
    ttl: 3600

  glm-4.7-flash:
    name: GLM-4.7 Flash (MoE)
    cmd: >-
      ${server} ${agent-ctx}
      -hf unsloth/GLM-4.7-Flash-GGUF:Q4_K_M
    ttl: 3600

  qwen3.5-9b:
    name: Qwen3.5 9B (schnell, komplett im VRAM)
    cmd: >-
      ${server} -c 32768 -ctk q8_0 -ctv q8_0 --fit-target 3072
      -hf unsloth/Qwen3.5-9B-GGUF:Q4_K_M
    ttl: 3600

  # --- Autocomplete (Continue Tab-Completion, FIM) -----------------------
  qwen2.5-coder-1.5b:
    name: Qwen2.5-Coder 1.5B Base (FIM)
    cmd: >-
      ${server} -c 8192
      -hf ggml-org/Qwen2.5-Coder-1.5B-Q8_0-GGUF
      -ngl 99
    ttl: 0

  # --- Embeddings (Continue @codebase) -----------------------------------
  nomic-embed:
    name: Nomic Embed Text v1.5
    cmd: >-
      /app/llama-server --host 127.0.0.1 --port ${PORT} --no-webui
      -hf nomic-ai/nomic-embed-text-v1.5-GGUF:Q8_0
      --embedding --pooling mean -c 8192 -b 8192 -ub 8192 -ngl 0 --threads 8
    ttl: 0

# Helfer-Modelle beim Container-Start laden (auch nach Reboot), damit
# Autocomplete sofort reagiert. Das Chat-Modell lädt beim ersten Request
# bzw. per scripts/start.sh.
hooks:
  on_startup:
    preload:
      - qwen2.5-coder-1.5b
      - nomic-embed

routing:
  router:
    use: group
    settings:
      groups:
        # Chat-Modelle wechseln sich ab, lassen aber die Helfer in Ruhe
        chat:
          swap: true
          exclusive: false
          members:
            - qwen3.5-35b-a3b
            - glm-4.7-flash
            - qwen3.5-9b
        # Helfer bleiben dauerhaft geladen
        always-on:
          swap: false
          exclusive: false
          persistent: true
          members:
            - qwen2.5-coder-1.5b
            - nomic-embed