apiVersion: v1
kind: ConfigMap
metadata:
  name: llamacpp-cuda-config
data:
  LLAMA_CACHE: /models
  LLAMA_ARG_HOST: 0.0.0.0
  LLAMA_ARG_PORT: "8080"
  LLAMA_ARG_HF_REPO: "unsloth/diffusiongemma-26B-A4B-it-GGUF:Q4_K_M"
  LLAMA_ARG_CTX_SIZE: "32768"
  LLAMA_ARG_FLASH_ATTN: auto
  LLAMA_ARG_FIT: "on"