Strata: Как зарезервировать немного VRAM
Столкнулся с тем, что после запуска Strata, она резервировала всю память под модель. Но мне нужно было немного оставить, чтобы можно было запустить браузер или Sepctacle. Чтобы это сделать, нужно прописать в json сконфиг модели следующее
У меня файл находится тут
- /work/ai/strata/data/install/strata-nvfp4-nvfp4.json
у тебя вероятно будет по твоему пути инстала или тут
- Linux: ~/.local/share/strata/install/strata-.json
- Windows: %LOCALAPPDATA%\Strata\install\strata-<model-name>.json
внутри будет конфиг модели, в args надо добавить
"--vram-reserve-mib",
"1024"
Где 1024, кол-во VRAM в МБ которое ты хочешь зарезервировать.
Примерно так
{
"exe": "component:strata-engine",
"args": [
"--pack",
"/work/ai/strata/data/Strata-data/models/Maximilian228--Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata/pack",
"--native",
"/work/ai/strata/data/Strata-data/models/Maximilian228--Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata/qwen-nvfp4-gptq-dense.gguf",
"--native-dense-gguf",
"/work/ai/strata/data/Strata-data/models/Maximilian228--Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata/qwen-nvfp4-gptq-dense.gguf",
"--ple-gguf",
"/work/ai/strata/data/Strata-data/models/Maximilian228--Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata/ple-fp8.gguf",
"--embd-gguf",
"/work/ai/strata/data/Strata-data/models/Maximilian228--Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata/token-embd-bf16.gguf",
"--expert-profile",
"/home/vo/.local/share/strata/components/control/0.1.54/data/expert-profile.bin",
"--expert-cache",
"auto",
"--prefill",
"auto",
"--spec",
"4",
"--spec-min-p",
"0.5",
"--mtp",
"/work/ai/strata/data/Strata-data/mtp/rt",
"--max-context",
"131072",
"--kv",
"int8",
"--kv-resident",
"32768",
"--vision",
"--pool-workers",
"15",
"--vram-reserve-mib",
"1024"
],
"cwd": "/home/vo/.local/share/strata/components/control/0.1.54",
"tokenizer": "/work/ai/strata/data/Strata-data/models/Maximilian228--Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata/pack/tokenizer",
"model_name": "qwen3.8-flash-next-nvfp4-nvfp4",
"log": "/work/ai/strata/data/install/strata-nvfp4-nvfp4.log",
"lib_dirs": [],
"port": 8080,
"gpu": 0,
"gpus_asked": true,
"vision": {
"exe": "/home/vo/.local/share/strata/components/engine/0.1.54-linux-x86_64-cuda-cuda13/strata-vision",
"mmproj": "/work/ai/strata/data/Strata-data/models/mmproj-Qwen3.8-Flash-Next-BF16.gguf",
"model": "/work/ai/strata/data/Strata-data/models/Maximilian228--Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata/qwen-nvfp4-gptq-dense.gguf",
"gpu": false,
"max_tokens": 300,
"threads": 12
},
"args_written": [
"--pack",
"/work/ai/strata/data/Strata-data/models/Maximilian228--Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata/pack",
"--native",
"/work/ai/strata/data/Strata-data/models/Maximilian228--Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata/qwen-nvfp4-gptq-dense.gguf",
"--native-dense-gguf",
"/work/ai/strata/data/Strata-data/models/Maximilian228--Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata/qwen-nvfp4-gptq-dense.gguf",
"--ple-gguf",
"/work/ai/strata/data/Strata-data/models/Maximilian228--Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata/ple-fp8.gguf",
"--embd-gguf",
"/work/ai/strata/data/Strata-data/models/Maximilian228--Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata/token-embd-bf16.gguf",
"--expert-profile",
"/home/vo/.local/share/strata/components/control/0.1.54/data/expert-profile.bin",
"--expert-cache",
"auto",
"--prefill",
"auto",
"--spec",
"4",
"--spec-min-p",
"0.5",
"--mtp",
"/work/ai/strata/data/Strata-data/mtp/rt",
"--max-context",
"131072",
"--kv",
"int8",
"--kv-resident",
"32768",
"--vision",
"--pool-workers",
"15"
]
}
И дальше перезапустить Strata. Результат:

Единственное, это влияет напрямую на кол-во экспертов в VRAM и снижает немного скорость генерации. Но, тут уже надо выбирать что для тебя лучше. По хорошему, при таком раскладе, нужна вторая карта чисто под систему, чтоб именно она обслуживала браузер, ide, и тд.
Author: | Tags:

Leave a Reply