Main > Abyss > Strata: Как зарезервировать немного VRAM

Strata: Как зарезервировать немного VRAM

05.11.2026 0 comments »

Столкнулся с тем, что после запуска Strata, она резервировала всю память под модель. Но мне нужно было немного оставить, чтобы можно было запустить браузер или Sepctacle. Чтобы это сделать, нужно прописать в json сконфиг модели следующее

У меня файл находится тут

  • /work/ai/strata/data/install/strata-nvfp4-nvfp4.json

у тебя вероятно будет по твоему пути инстала или тут

  • Linux: ~/.local/share/strata/install/strata-.json
  • Windows: %LOCALAPPDATA%\Strata\install\strata-<model-name>.json

внутри будет конфиг модели, в args надо добавить

  "--vram-reserve-mib",
  "1024"

Где 1024, кол-во VRAM в МБ которое ты хочешь зарезервировать.

Примерно так

{
 "exe": "component:strata-engine",
 "args": [
  "--pack",
  "/work/ai/strata/data/Strata-data/models/Maximilian228--Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata/pack",
  "--native",
  "/work/ai/strata/data/Strata-data/models/Maximilian228--Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata/qwen-nvfp4-gptq-dense.gguf",
  "--native-dense-gguf",
  "/work/ai/strata/data/Strata-data/models/Maximilian228--Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata/qwen-nvfp4-gptq-dense.gguf",
  "--ple-gguf",
  "/work/ai/strata/data/Strata-data/models/Maximilian228--Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata/ple-fp8.gguf",
  "--embd-gguf",
  "/work/ai/strata/data/Strata-data/models/Maximilian228--Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata/token-embd-bf16.gguf",
  "--expert-profile",
  "/home/vo/.local/share/strata/components/control/0.1.54/data/expert-profile.bin",
  "--expert-cache",
  "auto",
  "--prefill",
  "auto",
  "--spec",
  "4",
  "--spec-min-p",
  "0.5",
  "--mtp",
  "/work/ai/strata/data/Strata-data/mtp/rt",
  "--max-context",
  "131072",
  "--kv",
  "int8",
  "--kv-resident",
  "32768",
  "--vision",
  "--pool-workers",
  "15",
  "--vram-reserve-mib",
  "1024"
 ],
 "cwd": "/home/vo/.local/share/strata/components/control/0.1.54",
 "tokenizer": "/work/ai/strata/data/Strata-data/models/Maximilian228--Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata/pack/tokenizer",
 "model_name": "qwen3.8-flash-next-nvfp4-nvfp4",
 "log": "/work/ai/strata/data/install/strata-nvfp4-nvfp4.log",
 "lib_dirs": [],
 "port": 8080,
 "gpu": 0,
 "gpus_asked": true,
 "vision": {
  "exe": "/home/vo/.local/share/strata/components/engine/0.1.54-linux-x86_64-cuda-cuda13/strata-vision",
  "mmproj": "/work/ai/strata/data/Strata-data/models/mmproj-Qwen3.8-Flash-Next-BF16.gguf",
  "model": "/work/ai/strata/data/Strata-data/models/Maximilian228--Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata/qwen-nvfp4-gptq-dense.gguf",
  "gpu": false,
  "max_tokens": 300,
  "threads": 12
 },
 "args_written": [
  "--pack",
  "/work/ai/strata/data/Strata-data/models/Maximilian228--Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata/pack",
  "--native",
  "/work/ai/strata/data/Strata-data/models/Maximilian228--Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata/qwen-nvfp4-gptq-dense.gguf",
  "--native-dense-gguf",
  "/work/ai/strata/data/Strata-data/models/Maximilian228--Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata/qwen-nvfp4-gptq-dense.gguf",
  "--ple-gguf",
  "/work/ai/strata/data/Strata-data/models/Maximilian228--Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata/ple-fp8.gguf",
  "--embd-gguf",
  "/work/ai/strata/data/Strata-data/models/Maximilian228--Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata/token-embd-bf16.gguf",
  "--expert-profile",
  "/home/vo/.local/share/strata/components/control/0.1.54/data/expert-profile.bin",
  "--expert-cache",
  "auto",
  "--prefill",
  "auto",
  "--spec",
  "4",
  "--spec-min-p",
  "0.5",
  "--mtp",
  "/work/ai/strata/data/Strata-data/mtp/rt",
  "--max-context",
  "131072",
  "--kv",
  "int8",
  "--kv-resident",
  "32768",
  "--vision",
  "--pool-workers",
  "15"
 ]
}

И дальше перезапустить Strata. Результат:

Единственное, это влияет напрямую на кол-во экспертов в VRAM и снижает немного скорость генерации. Но, тут уже надо выбирать что для тебя лучше. По хорошему, при таком раскладе, нужна вторая карта чисто под систему, чтоб именно она обслуживала браузер, ide, и тд.

Author: | Tags:

Leave a Reply

Your email address will not be published. Required fields are marked *

Allowed HTML-tags: <a>, <code>, <i>, <em>, <strong>, <b>, <u>, <strike>