feat: add llama-swap configuration to .env and update llama-swap.sh for new variables

.env.example

@@ -19,4 +19,9 @@ SERVER_INTERNAL_PORT="8080"
 RPC_HOSTS="HOST:PORT,HOST:PORT"
 HF_TOKEN=""
 LLAMA_API_KEY=""
-LLAMA_CACHE="/tmp/empty-llama-cache"
+LLAMA_CACHE="/tmp/empty-llama-cache"
+LLAMA_SWAP_VERSION="cuda-unified"
+LLAMA_SWAP_IMAGE="ghcr.io/mostlygeek/llama-swap:${LLAMA_SWAP_VERSION}"
+LLAMA_SWAP_CONTAINER_NAME="llama-swap"
+LLAMA_SWAP_PORT="8080"
+LLAMA_SWAP_API_KEY="${LLAMA_API_KEY}"

llama-swap.sh

@@ -35,15 +35,15 @@ fi
 mkdir -p "${PRESETS_DIR}/llama-swap-logs"
 mkdir -p "${PRESETS_DIR}/llama-swap-state"
 
-DOCKER=(sudo docker)
-"${DOCKER[@]}" image inspect "${BUILDER_IMAGE}" >/dev/null
-"${DOCKER[@]}" build \
-  --build-arg "BUILDER_IMAGE=${BUILDER_IMAGE}" \
-  --build-arg "LLAMA_SWAP_VERSION=${LLAMA_SWAP_VERSION}" \
-  --build-arg "LLAMA_SWAP_SHA256=${LLAMA_SWAP_SHA256}" \
-  --tag "${LLAMA_SWAP_IMAGE}" \
-  --file "${SCRIPT_DIR}/Dockerfile.llama-swap" \
-  "${SCRIPT_DIR}"
+# DOCKER=(sudo docker)
+# "${DOCKER[@]}" image inspect "${BUILDER_IMAGE}" >/dev/null
+# "${DOCKER[@]}" build \
+#   --build-arg "BUILDER_IMAGE=${BUILDER_IMAGE}" \
+#   --build-arg "LLAMA_SWAP_VERSION=${LLAMA_SWAP_VERSION}" \
+#   --build-arg "LLAMA_SWAP_SHA256=${LLAMA_SWAP_SHA256}" \
+#   --tag "${LLAMA_SWAP_IMAGE}" \
+#   --file "${SCRIPT_DIR}/Dockerfile.llama-swap" \
+#   "${SCRIPT_DIR}"
 
 "${DOCKER[@]}" rm --force "${LLAMA_SWAP_CONTAINER_NAME}" >/dev/null 2>&1 || true
 "${DOCKER[@]}" run --detach --rm \