Запуск DeepSeek V4.1-Flash 763B через Strata в Kubuntu

Недавно команда ISTA-DASLab релизнула DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF на 763B параметров, и которую можно запустить на локальной машине всего с 12 Гб VRAM. Мимо такого я не смог пройти. Для установки нужно было поставить Strata. Тк предстояло скачать 270Гб модель, то мне обычный путь установки не подходил, поэтому я решил установить на нужный мне диск, вместо пути по умолчанию. Сделать это можно так

mkdir -p /work/ai/strata/data
ln -s /work/ai/strata/data ~/.local/share/strata

curl -fsSL https://github.com/Niko1221/Strata/releases/latest/download/install.sh -o install.sh

export STRATA_DATA_DIR="/work/ai/strata/data"

export STRATA_BIN_DIR="/work/ai/strata/bin"

sh install.sh

Видим процесс установки

Strata Terminal installer
  This computer: Linux x86_64 (linux-x86_64), graphics: NVIDIA NVIDIA GeForce RTX 5080
  Release folder: https://github.com/Niko1221/Strata/releases/latest/download
  Terminal 0.1.49.1 (94 MB)
Downloading…
  Checksum ok.
Checking the release's signature…
  Signature ok.
Installed. Run: /work/ai/strata/bin/strata launch
  (To type just 'strata', add this line to your shell profile: export PATH="/work/ai/strata/bin:$PATH")

Проверяем

which strata
/work/ai/strata/bin/strata

Добавляем в PATH

echo 'export PATH="/work/ai/strata/bin:$PATH"' >> ~/.bashrc

source ~/.bashrc

Запуск модели

strata launch --model ist-das-2.00bpw

Запуск модели с увеличенным контекстом

strata launch --model ist-das-2.00bpw --context 64k

Другие модели https://github.com/Niko1221/Strata#deepseek-v41-flash-in-the-terminal-from-024

• ist-das-1.75bpw = IQ1_M
• ist-das-2.00bpw = IQ2_XSS
• ist-das-2.25bpw = IQ2_XS

Процесс загрузки

Запущенная модель

Готово.

Мой ПК через Cline (в Visual Studio) выдает в среднем около 12-13 ток/с

• CPU = Core Ultra 9 285k
• Видеокарта = RTX 5080 16Gb VRAM
• RAM = 96GB DDR5
• Диск = NVME (PCIe 5)

Полезные ссылки

• https://github.com/Niko1221/Strata
• https://github.com/Niko1221/Strata/blob/main/docs/DEEPSEEK41.md
• https://huggingface.co/ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF