Skip to content

Qwen3.8-Flash-Next on any consumer hardware: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input.

C++

README: R9700 numbers in the DeepSeek block (11 tokens/s on one card, 4x about 31, 55 to 69 with DSpark); the same block in the six translated READMEs; release notes: one-card R9700 row

Niko1221f51b80c22276
diff --git a/README.de.md b/README.de.md
index d0ef2b7f7..3ff89dc5d 100644
--- a/README.de.md
+++ b/README.de.md
@@ -190,6 +190,19 @@ Weitere Auswahl:
Alle Größen, Downloads und was wo läuft: [docs/MODELS.md](docs/MODELS.md).
+### DeepSeek V4.1-Flash (im Terminal, ab 0.2.4)
+
+[DeepSeek V4.1-Flash](https://huggingface.co/ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF) ist ein anderes, deutlich größeres Modell. ISTA-DASLab hat die beiden Sets unten gebaut. Strata startet sie auf einem PC mit einer 12-GB-Grafikkarte und 46 bis 64 GB RAM und liest den Rest von der SSD. Es läuft auf NVIDIA-RTX-Karten der Serien 30 bis 50 und auf der Radeon AI PRO R9700. Es nutzt ein eigenes Engine-Paket, `strata-dsv41`, das `strata launch` lädt, wenn du DeepSeek wählst. Die Desktop-App bietet es noch nicht an.
+
+| Set | Download | Qualität im Vergleich zum Originalmodell | Antwortet mit |
+| --- | ---: | --- | --- |
+| **IQ2_XXS** (2.00 Bit) | 257 GB | KL 0,169, Perplexität 3,64 (+16 %) | 6 bis 9 Tokens/s auf einer RTX 3060, etwa 5 auf einer RTX 5070 |
+| **IQ2_XS** (2.25 Bit) | 274 GB | KL 0,110, Perplexität 3,40 (+8 %); Code +3,5 %, Agent-Aufgaben +2,5 % | etwa 11 Tokens/s auf einer Radeon AI PRO R9700 |
+
+4x Radeon AI PRO R9700: etwa 31 Tokens/s, 55 bis 69 mit DSpark.
+
+Starte es mit `strata launch --model ist-das-2.00bpw` (oder `ist-das-2.25bpw`). Details, Geschwindigkeiten je Karte und die manuelle Installation: [docs/DEEPSEEK41.md](docs/DEEPSEEK41.md).
+
## Wie schnell ist es?
Gemessen mit einer Grafikkarte mit 12 GB (RTX 5070, Ryzen 5 7600, 64 GB RAM). Ergebnisse anderer Karten findest du hier:
diff --git a/README.es.md b/README.es.md
index 37c134ae2..a0f818389 100644
--- a/README.es.md
+++ b/README.es.md
@@ -190,6 +190,19 @@ Más opciones:
Todos los tamaños, descargas y lo que cabe en cada equipo: [docs/MODELS.md](docs/MODELS.md).
+### DeepSeek V4.1-Flash (en el Terminal, desde 0.2.4)
+
+[DeepSeek V4.1-Flash](https://huggingface.co/ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF) es otro modelo, mucho más grande. ISTA-DASLab hizo los dos conjuntos de abajo. Strata los ejecuta en un PC con una tarjeta gráfica de 12 GB y de 46 a 64 GB de RAM, y lee el resto de tu SSD. Funciona en tarjetas NVIDIA RTX de las series 30 a 50 y en la Radeon AI PRO R9700. Usa su propio paquete de motor, `strata-dsv41`, que `strata launch` descarga cuando eliges DeepSeek. La app de escritorio todavía no lo ofrece.
+
+| Conjunto | Descarga | Calidad frente al modelo original | Responde a |
+| --- | ---: | --- | --- |
+| **IQ2_XXS** (2.00 bits) | 257 GB | KL 0,169, perplejidad 3,64 (+16 %) | de 6 a 9 tokens/s en una RTX 3060, unos 5 en una RTX 5070 |
+| **IQ2_XS** (2.25 bits) | 274 GB | KL 0,110, perplejidad 3,40 (+8 %); código +3,5 %, tareas de agente +2,5 % | unos 11 tokens/s en una Radeon AI PRO R9700 |
+
+4x Radeon AI PRO R9700: unos 31 tokens/s, de 55 a 69 con DSpark.
+
+Inícialo con `strata launch --model ist-das-2.00bpw` (o `ist-das-2.25bpw`). Detalles, velocidades por tarjeta e instalación manual: [docs/DEEPSEEK41.md](docs/DEEPSEEK41.md).
+
## ¿Qué velocidad tiene?
Medido con una tarjeta gráfica de 12 GB (RTX 5070, Ryzen 5 7600, 64 GB de RAM). Resultados con otras tarjetas:
diff --git a/README.fr.md b/README.fr.md
index 7c74b635a..8fbfb4f0f 100644
--- a/README.fr.md
+++ b/README.fr.md
@@ -191,6 +191,19 @@ Autres choix :
Toutes les tailles, les téléchargements et ce qui tient où : [docs/MODELS.md](docs/MODELS.md).
+### DeepSeek V4.1-Flash (dans le Terminal, depuis 0.2.4)
+
+[DeepSeek V4.1-Flash](https://huggingface.co/ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF) est un autre modèle, beaucoup plus gros. ISTA-DASLab a produit les deux versions ci-dessous. Strata les fait tourner sur un PC avec une carte graphique de 12 Go et de 46 à 64 Go de RAM, et lit le reste sur votre SSD. Il fonctionne sur les cartes NVIDIA RTX des séries 30 à 50 et sur la Radeon AI PRO R9700. Il utilise son propre paquet de moteur, `strata-dsv41`, que `strata launch` télécharge quand vous choisissez DeepSeek. L’application de bureau ne le propose pas encore.
+
+| Version | Téléchargement | Qualité par rapport au modèle d’origine | Écrit à |
+| --- | ---: | --- | --- |
+| **IQ2_XXS** (2.00 bits) | 257 GB | KL 0,169, perplexité 3,64 (+16 %) | 6 à 9 tokens/s sur une RTX 3060, environ 5 sur une RTX 5070 |
+| **IQ2_XS** (2.25 bits) | 274 GB | KL 0,110, perplexité 3,40 (+8 %) ; code +3,5 %, tâches d’agent +2,5 % | environ 11 tokens/s sur une Radeon AI PRO R9700 |
+
+4x Radeon AI PRO R9700 : environ 31 tokens/s, 55 à 69 avec DSpark.
+
+Lancez-le avec `strata launch --model ist-das-2.00bpw` (ou `ist-das-2.25bpw`). Détails, vitesses par carte et installation manuelle : [docs/DEEPSEEK41.md](docs/DEEPSEEK41.md).
+
## Quelle est sa vitesse ?
Mesuré avec une carte graphique de 12 Go (RTX 5070, Ryzen 5 7600, 64 Go de RAM). Voir les résultats d'autres cartes :
diff --git a/README.ja.md b/README.ja.md
index b0c9c589c..9a6a2c20b 100644
--- a/README.ja.md
+++ b/README.ja.md
@@ -183,6 +183,19 @@ Gyro は NVIDIA と AMD のカード(AMD は実験的)、および Linux 上
すべてのサイズ、ダウンロード、どの構成で何が動くかは [docs/MODELS.md](docs/MODELS.md) にあります。
+### DeepSeek V4.1-Flash(ターミナル版、0.2.4 から)
+
+[DeepSeek V4.1-Flash](https://huggingface.co/ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF) は、これとは別のずっと大きなモデルです。下の 2 つのセットは ISTA-DASLab が作りました。Strata は、12 GB のグラフィックスカード 1 枚と 46 から 64 GB の RAM を持つ PC でこれを動かし、残りは SSD から読みます。NVIDIA RTX 30 から 50 シリーズのカードと Radeon AI PRO R9700 で動きます。専用のエンジンパッケージ `strata-dsv41` を使い、DeepSeek を選ぶと `strata launch` がダウンロードします。デスクトップアプリはまだ対応していません。
+
+| セット | ダウンロード | 元のモデルとの品質差 | 出力速度 |
+| --- | ---: | --- | --- |
+| **IQ2_XXS** (2.00 ビット) | 257 GB | KL 0.169、パープレキシティ 3.64(+16%) | RTX 3060 で毎秒 6 から 9 トークン、RTX 5070 で約 5 |
+| **IQ2_XS** (2.25 ビット) | 274 GB | KL 0.110、パープレキシティ 3.40(+8%)、コード +3.5%、エージェント作業 +2.5% | Radeon AI PRO R9700 1 枚で毎秒約 11 トークン |
+
+Radeon AI PRO R9700 4 枚:毎秒約 31 トークン、DSpark ありで 55 から 69。
+
+`strata launch --model ist-das-2.00bpw`(または `ist-das-2.25bpw`)で起動します。詳細、カードごとの速度、手動インストールは [docs/DEEPSEEK41.md](docs/DEEPSEEK41.md) にあります。
+
## どのくらい速い?
12 GBのグラフィックスカード(RTX 5070、Ryzen 5 7600、RAM 64 GB)での数値です。ほかのカードの結果は
diff --git a/README.md b/README.md
index 697dcbcec..94236f357 100644
--- a/README.md
+++ b/README.md
@@ -190,12 +190,14 @@ Every size, download and what fits where: [docs/MODELS.md](docs/MODELS.md).
### DeepSeek V4.1-Flash (in the Terminal, from 0.2.4)
-[DeepSeek V4.1-Flash](https://huggingface.co/ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF) is a different, much bigger model. ISTA-DASLab made the two sets below. Strata runs them on a PC with one 12 GB graphics card and 46 to 64 GB of RAM, and reads the rest from your SSD. It runs through its own engine package, `strata-dsv41`, which `strata launch` downloads when you pick DeepSeek. The desktop app does not offer it yet.
+[DeepSeek V4.1-Flash](https://huggingface.co/ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF) is a different, much bigger model. ISTA-DASLab made the two sets below. Strata runs them on a PC with one 12 GB graphics card and 46 to 64 GB of RAM, and reads the rest from your SSD. It runs on NVIDIA RTX 30 to 50 cards and on the Radeon AI PRO R9700. It uses its own engine package, `strata-dsv41`, which `strata launch` downloads when you pick DeepSeek. The desktop app does not offer it yet.
| Set | Download | Quality against the original model | Writes at |
| --- | ---: | --- | --- |
| **IQ2_XXS** (2.00 bits) | 257 GB | KL 0.169, perplexity 3.64 (+16%) | 6 to 9 tokens/s on an RTX 3060, about 5 on an RTX 5070 |
-| **IQ2_XS** (2.25 bits) | 274 GB | KL 0.110, perplexity 3.40 (+8%); code +3.5%, agent work +2.5% | a little slower than IQ2_XXS |
+| **IQ2_XS** (2.25 bits) | 274 GB | KL 0.110, perplexity 3.40 (+8%); code +3.5%, agent work +2.5% | about 11 tokens/s on one Radeon AI PRO R9700 |
+
+4x Radeon AI PRO R9700: about 31 tokens/s, 55 to 69 with DSpark.
Start it with `strata launch --model ist-das-2.00bpw` (or `ist-das-2.25bpw`). Details, speeds per card and the manual install: [docs/DEEPSEEK41.md](docs/DEEPSEEK41.md).
diff --git a/README.pt-BR.md b/README.pt-BR.md
index a5d5098ee..afcf5a005 100644
--- a/README.pt-BR.md
+++ b/README.pt-BR.md
@@ -183,6 +183,19 @@ Mais opções:
Todos os tamanhos, downloads e o que cabe em cada configuração: [docs/MODELS.md](docs/MODELS.md).
+### DeepSeek V4.1-Flash (no Terminal, a partir da 0.2.4)
+
+[DeepSeek V4.1-Flash](https://huggingface.co/ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF) é outro modelo, bem maior. A ISTA-DASLab fez os dois conjuntos abaixo. O Strata os executa em um PC com uma placa de vídeo de 12 GB e de 46 a 64 GB de RAM, e lê o resto do seu SSD. Ele roda em placas NVIDIA RTX das séries 30 a 50 e na Radeon AI PRO R9700. Usa um pacote de motor próprio, `strata-dsv41`, que o `strata launch` baixa quando você escolhe o DeepSeek. O app de desktop ainda não o oferece.
+
+| Conjunto | Download | Qualidade em relação ao modelo original | Responde a |
+| --- | ---: | --- | --- |
+| **IQ2_XXS** (2.00 bits) | 257 GB | KL 0,169, perplexidade 3,64 (+16%) | 6 a 9 tokens/s em uma RTX 3060, cerca de 5 em uma RTX 5070 |
+| **IQ2_XS** (2.25 bits) | 274 GB | KL 0,110, perplexidade 3,40 (+8%); código +3,5%, tarefas de agente +2,5% | cerca de 11 tokens/s em uma Radeon AI PRO R9700 |
+
+4x Radeon AI PRO R9700: cerca de 31 tokens/s, 55 a 69 com DSpark.
+
+Inicie com `strata launch --model ist-das-2.00bpw` (ou `ist-das-2.25bpw`). Detalhes, velocidades por placa e a instalação manual: [docs/DEEPSEEK41.md](docs/DEEPSEEK41.md).
+
## Qual é a velocidade?
Com base numa placa de vídeo de 12 GB (RTX 5070, Ryzen 5 7600, 64 GB de RAM). Veja resultados de outras placas:
diff --git a/README.zh-CN.md b/README.zh-CN.md
index e18d8ee51..98c5b869a 100644
--- a/README.zh-CN.md
+++ b/README.zh-CN.md
@@ -182,6 +182,19 @@ Gyro 可在 NVIDIA 和 AMD 显卡(AMD 为实验性支持)以及 Linux 上的
所有尺寸、下载大小,以及各种配置能跑什么:[docs/MODELS.md](docs/MODELS.md)。
+### DeepSeek V4.1-Flash(终端版,0.2.4 起)
+
+[DeepSeek V4.1-Flash](https://huggingface.co/ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF) 是另一个大得多的模型。下面两个版本由 ISTA-DASLab 制作。Strata 在一台有一块 12 GB 显卡和 46 到 64 GB 内存的电脑上运行它们,其余部分从固态硬盘读取。它可在 NVIDIA RTX 30 到 50 系列显卡和 Radeon AI PRO R9700 上运行。它使用自己的引擎包 `strata-dsv41`,你选择 DeepSeek 时由 `strata launch` 下载。桌面应用暂时不提供它。
+
+| 版本 | 下载大小 | 与原模型相比的质量 | 生成速度 |
+| --- | ---: | --- | --- |
+| **IQ2_XXS** (2.00 位) | 257 GB | KL 0.169,困惑度 3.64(+16%) | RTX 3060 上每秒 6 到 9 个 token,RTX 5070 上约 5 个 |
+| **IQ2_XS** (2.25 位) | 274 GB | KL 0.110,困惑度 3.40(+8%);代码 +3.5%,智能体任务 +2.5% | 一块 Radeon AI PRO R9700 上每秒约 11 个 token |
+
+4 块 Radeon AI PRO R9700:每秒约 31 个 token,使用 DSpark 时为 55 到 69。
+
+用 `strata launch --model ist-das-2.00bpw`(或 `ist-das-2.25bpw`)启动。详情、各显卡的速度和手动安装见 [docs/DEEPSEEK41.md](docs/DEEPSEEK41.md)。
+
## 速度如何?
以下数据基于 12 GB 显卡(RTX 5070、Ryzen 5 7600、64 GB 内存)。其他显卡的结果见:
diff --git a/docs/release-notes-0.2.4.md b/docs/release-notes-0.2.4.md
index 499a46835..8e634ae11 100644
--- a/docs/release-notes-0.2.4.md
+++ b/docs/release-notes-0.2.4.md
@@ -24,7 +24,8 @@ Output is the speed of the answer. Prompt is how fast Strata reads what you send
|---|---|---|
| RTX 5070 12 GB, 64 GB RAM | about 5 tokens/s (code) | 231 tokens/s at 8K |
| RTX 3060 12 GB, 46 GB RAM | about 6 to 9 tokens/s (6.1-6.7 without DSpark, 8.2-8.7 with) | about 103 tokens/s at 8K |
-| 4x Radeon AI PRO R9700 (AMD) | about 31 tokens/s | about 360 tokens/s at 8K, 557 at 32K |
+| 1x Radeon AI PRO R9700 (AMD), IQ2_XS | about 11 tokens/s | not measured |
+| 4x Radeon AI PRO R9700 (AMD) | about 31 tokens/s (55 to 69 with DSpark) | about 360 tokens/s at 8K, 557 at 32K |
These are the 2.00-bit set. The 2.25-bit set reads 13% more data per token, so expect it to be a little slower. Your drive matters: the 12 GB cards spend most of each token waiting on the SSD and on the CPU, and a slow NVMe drive lowers every number above.