Qwen3.8-27B-GSQ-RCO-GGUF в Pi.DEV
Развлекаюсь с локальным ИИ и нашел не плохую модельку которая ложится с 64К контекстом в мои 16Гб RTX5080, и дает около 40 т/с в llama.cpp при использовании с Pi.Dev и Cline. Не Qwen3.8-Flash-Next NVFP4 через Strata конечно, но не плохо. Решил сохранить конфиг..
Модель
Я тестил как с поддержкой vision, так и без, тут уже на ваше усмотрение. Разумеется для использования vision (чтения картинок), нужно снижать контекст или выгружать часть слоев в RAM.
Без Vision
Llama.cpp
#!/bin/bash
LLAMA_CLI="/work/ai/llama.cpp/build/bin/llama-server"
LLAMA_MODELS_DIR="/work/ai/cline-llama-models/ISTA-DASLab-Qwen3.8-27B-GSQ-RCO-GGUF"
LLAMA_MODEL="Qwen3.8-27B-GSQ-RCO-IQ3_XXS-mtp.gguf"
$LLAMA_CLI -m "$LLAMA_MODELS_DIR/$LLAMA_MODEL" \
--ctx-size 65536 \
--gpu-layers 99 \
--flash-attn on \
--spec-type draft-mtp \
--reasoning-budget 2048 \
--spec-draft-n-max 4 \
--temp 0 \
-ctk q8_0 -ctv q8_0 \
-b 4096 \
-ub 1024 \
-np 1 \
--cache-reuse 256 \
--port 9931
Pi.DEV
- ~/.pi/agent/models.json
- ~/.pi/agent/settings.json
models.json
{
"providers": {
"local-llama": {
"baseUrl": "http://127.0.0.1:9931/v1",
"api": "openai-completions",
"apiKey": "not-needed",
"compat": {
"supportsDeveloperRole": true,
"supportsReasoningEffort": true
},
"models": [
{
"id": "qwen3.8-27b-rco-mtp",
"name": "Qwen3.8 27B RCO MTP (Local Llama)",
"reasoning": true,
"input": ["text"],
"contextWindow": 65536,
"maxTokens": 8192,
"cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 }
}
]
}
}
}
settings.json
{
"defaultProvider": "local-llama",
"defaultModel": "qwen3.8-27b-rco-mtp",
"defaultThinkingLevel": "medium",
"compaction": {
"enabled": true,
"reserveTokens": 49152,
"keepRecentTokens": 4000
},
"lastChangelogVersion": "1.5.0",
"hideThinkingBlock": true
}
С включенным Vision
Llama.cpp
#!/bin/bash
# Source: https://huggingface.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF/tree/main
LLAMA_CLI="/work/ai/llama.cpp/build/bin/llama-server"
LLAMA_MODELS_DIR="/work/ai/cline-llama-models/ISTA-DASLab-Qwen3.8-27B-GSQ-RCO-GGUF"
LLAMA_MODEL="Qwen3.8-27B-GSQ-RCO-IQ3_XXS-mtp.gguf"
LLAMA_MMPROJ="mmproj-Qwen3.8-27B-BF16.gguf"
$LLAMA_CLI -m "$LLAMA_MODELS_DIR/$LLAMA_MODEL" \
--mmproj "$LLAMA_MODELS_DIR/$LLAMA_MMPROJ" \
--ctx-size 32768 \
--gpu-layers 99 \
--no-warmup \
--flash-attn on \
--spec-type draft-mtp \
--reasoning-budget 2048 \
--spec-draft-n-max 3 \
--temp 0 \
-ctk q8_0 -ctv q8_0 \
-b 2048 \
-ub 1024 \
-np 1 \
--cache-reuse 256 \
--port 9931
Pi.DEV
- ~/.pi/agent/models.json
- ~/.pi/agent/settings.json
models.json
{
"providers": {
"local-llama": {
"baseUrl": "http://127.0.0.1:9931/v1",
"api": "openai-completions",
"apiKey": "not-needed",
"compat": {
"supportsDeveloperRole": true,
"supportsReasoningEffort": true
},
"models": [
{
"id": "qwen3.8-27b-rco-mtp",
"name": "Qwen3.8 27B RCO MTP (Local Llama)",
"reasoning": true,
"input": ["text", "image"],
"contextWindow": 32768,
"maxTokens": 8192,
"cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 }
}
]
}
}
}
settings.json
{
"defaultProvider": "local-llama",
"defaultModel": "qwen3.8-27b-rco-mtp",
"defaultThinkingLevel": "medium",
"compaction": {
"enabled": true,
"reserveTokens": 24576,
"keepRecentTokens": 4000
},
"lastChangelogVersion": "1.5.0",
"hideThinkingBlock": true
}
Единственное, сразу хочу заметить - это сильно сжатая 27B модель, не ждите от нее чудес в one shot промптинге. Она скорее хороший ассистент, когда вы точно знаете какой результат вам нужен, но лень самим печатать.
Author: | Tags:

Leave a Reply