Main > Abyss > Qwen3.8-27B-GSQ-RCO-GGUF в Pi.DEV

Qwen3.8-27B-GSQ-RCO-GGUF в Pi.DEV

05.11.2026 0 comments »

Развлекаюсь с локальным ИИ и нашел не плохую модельку которая ложится с 64К контекстом в мои 16Гб RTX5080, и дает около 40 т/с в llama.cpp при использовании с Pi.Dev и Cline. Не Qwen3.8-Flash-Next NVFP4 через Strata конечно, но не плохо. Решил сохранить конфиг..

Модель

Я тестил как с поддержкой vision, так и без, тут уже на ваше усмотрение. Разумеется для использования vision (чтения картинок), нужно снижать контекст или выгружать часть слоев в RAM.


Без Vision

Llama.cpp

#!/bin/bash

LLAMA_CLI="/work/ai/llama.cpp/build/bin/llama-server"
LLAMA_MODELS_DIR="/work/ai/cline-llama-models/ISTA-DASLab-Qwen3.8-27B-GSQ-RCO-GGUF"
LLAMA_MODEL="Qwen3.8-27B-GSQ-RCO-IQ3_XXS-mtp.gguf"

$LLAMA_CLI -m "$LLAMA_MODELS_DIR/$LLAMA_MODEL" \
    --ctx-size 65536 \
    --gpu-layers 99 \
    --flash-attn on \
    --spec-type draft-mtp \
    --reasoning-budget 2048 \
    --spec-draft-n-max 4 \
    --temp 0 \
    -ctk q8_0 -ctv q8_0 \
    -b 4096 \
    -ub 1024 \
    -np 1 \
    --cache-reuse 256 \
    --port 9931

Pi.DEV

  • ~/.pi/agent/models.json
  • ~/.pi/agent/settings.json

models.json

{
  "providers": {
    "local-llama": {
      "baseUrl": "http://127.0.0.1:9931/v1",
      "api": "openai-completions",
      "apiKey": "not-needed",
      "compat": {
        "supportsDeveloperRole": true,
        "supportsReasoningEffort": true
      },
      "models": [
        {
          "id": "qwen3.8-27b-rco-mtp",
          "name": "Qwen3.8 27B RCO MTP (Local Llama)",
          "reasoning": true,
          "input": ["text"],
          "contextWindow": 65536,
          "maxTokens": 8192,
          "cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 }
        }
      ]
    }
  }
}

settings.json

{
  "defaultProvider": "local-llama",
  "defaultModel": "qwen3.8-27b-rco-mtp",
  "defaultThinkingLevel": "medium",
  "compaction": {
    "enabled": true,
    "reserveTokens": 49152,
    "keepRecentTokens": 4000
  },
  "lastChangelogVersion": "1.5.0",
  "hideThinkingBlock": true
}

С включенным Vision

Llama.cpp

#!/bin/bash

# Source: https://huggingface.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF/tree/main

LLAMA_CLI="/work/ai/llama.cpp/build/bin/llama-server"
LLAMA_MODELS_DIR="/work/ai/cline-llama-models/ISTA-DASLab-Qwen3.8-27B-GSQ-RCO-GGUF"
LLAMA_MODEL="Qwen3.8-27B-GSQ-RCO-IQ3_XXS-mtp.gguf"
LLAMA_MMPROJ="mmproj-Qwen3.8-27B-BF16.gguf"

$LLAMA_CLI -m "$LLAMA_MODELS_DIR/$LLAMA_MODEL" \
    --mmproj "$LLAMA_MODELS_DIR/$LLAMA_MMPROJ" \
    --ctx-size 32768 \
    --gpu-layers 99 \
    --no-warmup \
    --flash-attn on \
    --spec-type draft-mtp \
    --reasoning-budget 2048 \
    --spec-draft-n-max 3 \
    --temp 0 \
    -ctk q8_0 -ctv q8_0 \
    -b 2048 \
    -ub 1024 \
    -np 1 \
    --cache-reuse 256 \
    --port 9931

Pi.DEV

  • ~/.pi/agent/models.json
  • ~/.pi/agent/settings.json

models.json

{
  "providers": {
    "local-llama": {
      "baseUrl": "http://127.0.0.1:9931/v1",
      "api": "openai-completions",
      "apiKey": "not-needed",
      "compat": {
        "supportsDeveloperRole": true,
        "supportsReasoningEffort": true
      },
      "models": [
        {
          "id": "qwen3.8-27b-rco-mtp",
          "name": "Qwen3.8 27B RCO MTP (Local Llama)",
          "reasoning": true,
          "input": ["text", "image"],
          "contextWindow": 32768,
          "maxTokens": 8192,
          "cost": { "input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0 }
        }
      ]
    }
  }
}

settings.json

{
  "defaultProvider": "local-llama",
  "defaultModel": "qwen3.8-27b-rco-mtp",
  "defaultThinkingLevel": "medium",
  "compaction": {
    "enabled": true,
    "reserveTokens": 24576,
    "keepRecentTokens": 4000
  },
  "lastChangelogVersion": "1.5.0",
  "hideThinkingBlock": true
}

Единственное, сразу хочу заметить - это сильно сжатая 27B модель, не ждите от нее чудес в one shot промптинге. Она скорее хороший ассистент, когда вы точно знаете какой результат вам нужен, но лень самим печатать.

Author: | Tags:

Leave a Reply

Your email address will not be published. Required fields are marked *

Allowed HTML-tags: <a>, <code>, <i>, <em>, <strong>, <b>, <u>, <strike>