Fine-tune LLMs from one YAML. Layer streaming trains an 8B model on a 4 GB laptop GPU.
🌍 English | Türkçe | العربية | 日本語 | 中文
Soup
LLM'lere tek komutla ince ayar ve eğitim sonrası (post-training) uygulayın. SSH yok, yapılandırma cehennemi yok.
Web sitesi · Hızlı Başlangıç · Web Arayüzü · Yapılandırma · Belgeler · Komutlar · Modeller · Discord · Telegram · Product Hunt
Soup, LLM ince ayarının zahmetini basit bir iş akışına dönüştürür. Tek yapılandırma, tek komut, bitti.
pip install "soup-cli[train]" # ince ayar için [train] ekleyin; yalın `soup-cli` hafif CLI'dır
soup init --template chat
soup train
4 GB dizüstü GPU'da 8B bir modele ince ayar yapın. Katman akışı, dondurulmuş tabanı VRAM'in
dışında tutar ve GPU'ya her seferinde bir kod çözücü katman besler. RTX 3050 Laptop 4 GB üzerinde
ölçüldü: Llama-3.1-8B-Instruct + NF4 ile 952 MHz'de 119.6 tok/s, 3.32 GB tepe (onarım öncesi) — normal, belleğe tamamen
yerleşik bir çalıştırmayla bit düzeyinde özdeş ve bir H100 üzerinde aynı 3.32 GB'da 113.00 tok/s
ile bağımsız olarak yeniden üretildi. (Her iki rakam da 32B'de %4.8 yavaşlamaya yol açan v0.73.0 sonuç-doğruluğu
onarımından önce, v0.72.2'de ölçüldü. Onarım sonrası çalıştırma, başka bir
RTX 3050 Laptop 4 GB üzerinde (@umran666, #1103), 1935–1957 MHz'de 208.6 tok/s, 2.40 GB tepe
veriyor. Bu, aynı oturumda ölçülen GEMM tavanının %59'una denk geliyor; onarım öncesi satırda oran
%68'di: birim saat frekansı başına yaklaşık %14 daha yavaş, yani ham 1.74x kazanç bir hızlanma değil,
saat frekansı farkıdır. Büyük katman akışı da iki satır arasında bellek düzenini değiştirdi; bu yüzden
bu oran bile bire bir karşılaştırma değildir — kayıt.)
İsteğe bağlıdır (stream_layers: true) ve hâlâ BETA —
nasıl çalışır ·
tüm ölçümler · makale ·
ücretsiz bir Colab T4'te kendiniz doğrulayın (süreci 4 GB ile
sınırlar, ardından akışlı bir modelin normal bir modelle bit düzeyinde özdeş olduğunu doğrular)

Llama-3.1-8B-Instruct + NF4, LoRA, batch boyutu 1, dizi uzunluğu 512, RTX 3050 Laptop 4 GB üzerinde — 3.32 GB tepe, 119.6 tok/s, 952 MHz'de (onarım öncesi, v0.72.2; #331 sonrası: 1935 MHz'de 208.6 tok/s, 2.40 GB, doğrudan karşılaştırılamaz, @umran666, #1103). Tam video (90 sn)
Neden Soup?
LLM eğitmek hâlâ zahmetli. Deneyimli ekipler bile zamanlarının %30-50'sini modelleri iyileştirmek yerine altyapıyla boğuşarak geçiriyor. Soup bunu çözer.
- SSH yok. Bozuk bir GPU makinesine bir daha asla SSH ile bağlanmayın.
- Tek yapılandırma. İhtiyacınız olan tek şey basit bir YAML dosyası.
- Her şey otomatik. Toplu iş boyutu, GPU algılama, niceleme — halledilir.
- Yerelde çalışır. QLoRA ile kendi GPU'nuzda eğitin. Bulut gerekmez.
Yenilikler
v0.76.0 — Soup'un kabul edip hiç uygulamadığı ayarlar artık yüklemeyi durduruyor. Doğrulanan ve
belgelenen, ancak yapılandırdığını iddia ettikleri yolda hiçbir şey tarafından okunmayan seçenekler artık
yükleme sırasında reddediliyor; ayarın adını ve neyin değiştirileceğini belirtiyor. Geri kalanlar uyarı
veriyor ve onları reddedecek sürümü belirtiyor. Daha önce yüklenen bir yapılandırma artık yüklenmeyebilir:
önce soup doctor --config soup.yaml komutunu çalıştırın.
- Geriye dönük uyumsuz değişiklik: hiç etkili olmayan bir ayar yüklemede reddediliyor. Bunların
arasında
training.quantization_aware: true(nicelemeye duyarlı eğitimi hiç çalıştırmıyordu),training.use_longlora,training.ebft_variant,training.gdpo_variant, hiçbir hazırlık adımının okumadığı yerlerdekitraining.rope_scaling_type,freeze_layers/freeze_ratio(transformers arka ucunda metinsft/ttsyolunun dışında),auto_mixed_precision(sft/ttsdışında) ve unsloth hazırlık adımı bulunmayan yedi görevde dahabackend: unslothvar. Her mesaj alanın adını ve neyin değiştirileceğini belirtiyor.lr_groups,early_stop_patience,forgetting_eval_stepsve okunmayan diğer ayarlar artık yüklemede uyarı veriyor ve v0.77'den itibaren reddedilecek. - Doğrulama kaybı artık değerlendiriliyor.
data.val_split, her çalıştırmada satırları eğitimin dışında tutuyordu ve transformers arka ucundaki hiçbir trainer bunları değerlendirmiyordu. Artık bir bölme alan her görev, onu her epoch sonunda ya datraining.eval_stepsile her N adımda değerlendiriyor ve doğrulama kaybını kaydediyor; çalıştırmalar yüzde birkaç daha uzun sürüyor.grpo,ppoveonline_dpoiçin geriye dönük uyumsuz: varsayılan olarak artık satır ayırmıyorlar (data.val_splitbir notla yok sayılıyor), dolayısıyla her satır eğitime giriyor. - Geriye dönük uyumsuz değişiklik: standart olmayan her
grpo_variant,grpo_betaKL cezasını uyguluyor.gspo,dapo,dr_grpo,bnpo,two_sidedverft,grpo_betadeğerini doğrulayıp atıyordu; bu yüzden mevcut varyant yapılandırmaları önceki çalıştırmaları yeniden üretmeyecek.grpo_beta: 0artık KL'siz çalışıyor ve referans modelin ileri geçişini atlıyor. - Katman akışı disk katmanını bir arka plan iş parçacığında, doğrudan G/Ç (direct I/O) ile okuyor ve
onu NVMe sürücülere şeritleyebiliyor. RAM'den büyük, 36 GB'lık, 70B biçimli bir NF4 deposunda (tek
bir RTX 5070 Laptop 8 GB makinesi), soğuk bir adım eşzamanlı okumada 110.5 s iken 16.2-17.3 s'ye düştü;
SOUP_LAYER_STREAM_STRIPE_DIRSile iki sürücüye yayıldığında ise 17.4 s'den 9.97 s'ye indi (sürekli yük altında bir sonda ölçümü: iki tur, 1.28x ve 1.41x, resmî bir hüküm yok; kayıt). RAM'e sığan bir depo RAM katmanında hâlâ daha hızlı vestream_source: autoonu seçiyor. İsteğe bağlıdır (stream_layers: true) ve hâlâ BETA; kayıtlar: doğrudan G/Ç, şeritleme. - Yeni komutlar ve seçenekler.
soup adapters check, bir LoRA adaptörünü sessiz arızalara karşı tarar;soup bench train, sabit sayıda adım eğitir ve model eğitilmiyorsa çıkış kodu 1 ile biter (transformers arka ucundatask: sftiçin geçerlidir;soup benchartık bir gruptur vesoup bench infereski çıkarım kıyaslamasıdır);soup data clean, girdi dosyasına dokunmadan bir veri kümesini temizler ve onarır;soup recipes verify, meta aygıtında, hiçbir ağırlık indirmeden, gönderilen her tarifin bir LoRA adaptörü bağlayabildiğini denetler;soup rewind, bir kayıp sıçramasının arkasındaki veri kümesi satırlarını adlandırır.soup infer, isteğe bağlı--batch-sizeve deneysel bir--cuda-graphskazandı (PyTorch 2.14 veya daha yeni; tek bir RTX 5070 Laptop'ta, sabitlenmemiş, FP16'da Qwen2.5-1.5B ile, onunla yapılan en yavaş çalıştırma, onsuz yapılan en hızlı çalıştırmadan kod çözmede 2.9x daha hızlıydı).soup ab, iki yönlü, varyansa karşı dayanıklı bir test çalıştırır;soup adapters sign --backend sigstorevesoup attest emit --sign sigstoreise Sigstore anahtarsız OIDC ile imzalar (pip install "soup-cli[sigstore]").
v0.77'den itibaren yalnızca Python 3.11–3.13. Python 3.10, 2026-10-01'de kullanım ömrünün sonuna (end of life) ulaştı; 3.10 üzerinde pip v0.76'yı kurmaya devam eder. 3.14+ sürümlerinde pip, üst sınırı olmayan son sürüm olan v0.72.4'e geri döner ve orada test edilmemiş PyTorch wheel paketlerini seçer.
Eski sürümlerin öne çıkanları GitHub Releases sayfasında.
Hızlı Başlangıç
1. Kurulum
Soup bir komut satırı uygulamasıdır; bu yüzden en temiz kurulum ona kendi ortamını verir ve
soup'u PATH'inize ekler:
# Hafif çekirdek: CLI + yapılandırma + veri araçları, PyTorch yok
pipx install soup-cli
uv tool install soup-cli # aynı fikir, zaten uv kullanıyorsanız
# Eğitim yığınını ekleyin (torch, transformers, peft, trl, datasets, …)
pipx install "soup-cli[train]"
# Her şey (train + serve + ui + data) tek seferde
pipx install "soup-cli[all]"
# Ya da GitHub'dan (en son geliştirme sürümü)
pipx install "git+https://github.com/MakazhanAlpamys/Soup.git"
Zaten bir virtualenv'in, bir Colab not defterinin ya da bir Docker imajının içinde misiniz? Aynı
adlar ve eklerle doğrudan pip kullanın:
pip install soup-cli
pip install "soup-cli[train]"
pip install "soup-cli[all]"
pip install git+https://github.com/MakazhanAlpamys/Soup.git
Kendi kodunuzdan da import soup_cli yapmak istiyorsanız pipx yerine pip kullanın; çünkü
pipx uygulamayı kasıtlı olarak diğer her şeyden yalıtır.
Eklerin tam tablosu (fast, mlx, serve, eval, ui, vision, audio, …)
docs/models.md içinde yer alır.
error: externally-managed-environmentmı? Bu, PEP 668'dir; bir Soup sorunu değil. Debian 12, Ubuntu 23.04 ve sonrasıpip'in sistem Python'una yazmasını engeller, çünkü bu dosyalarıaptde yönetir.pipxveuv tool, Soup'a kendi ortamını vererek bunu aşar; yukarıda ilk sırada yer almalarının nedeni budur.python3 -m venv .venv && source .venv/bin/activateardından düzpipde aynı ölçüde işe yarar.
Tek tırnak değil, çift tırnak.
"soup-cli[train]"her kabukta çalışan tek yazımdır —cmd.exe, PowerShell, bash ve zsh.'soup-cli[train]'biçimini eski bir öğreticiden (tutorial) kopyaladıysanız ve pip reddettiyse, nedeni budur: nedeni ve hatanın tam metni.
soup init, soup data … ve diğer veri/inceleme komutları hafif kurulumda çalışır.
İnce ayar (soup train) [train] ekini gerektirir.
2. Bir yapılandırma oluşturun
soup init # etkileşimli sihirbaz
soup init --template chat # ya da bir şablondan başlayın
Şablonlar: chat, code, tool-calling, medical, reasoning, vision, kto, orpo,
simpo, ipo, bco, rlhf, pretrain, moe, longcontext, embedding, audio.
3. Eğitin, test edin, yayınlayın
soup train --config soup.yaml # LoRA, niceleme, toplu işleme — hepsi halledilir
soup chat --model ./output # modelinizle konuşun
soup push --model ./output --repo you/my-model
soup merge --adapter ./output # LoRA'yı tabana birleştirin
soup export --model ./output --format gguf --quant q4_k_m # Ollama / llama.cpp için GGUF
Diğer dışa aktarma hedefleri (ONNX, TensorRT, BitNet) ve dağıtım seçenekleri
docs/serving-and-export.md içinde yer alır.
Web Arayüzü
Tarayıcı mı tercih edersiniz? soup ui; deneyler, eğitim kurulumu, canlı metrikler, veri kümesi
keşfi ve modelle sohbet için yerel bir pano sunar.
pip install "soup-cli[ui]"
soup ui
# http://127.0.0.1:7860/?token=<token> adresini açar

Yapılandırma
Eksiksiz bir soup.yaml:
base: meta-llama/Llama-3.1-8B-Instruct
task: sft
# backend: unsloth # 2-5 kat daha hızlı, pip install "soup-cli[fast]"
data:
train: ./data/train.jsonl
format: alpaca
val_split: 0.1
training:
epochs: 3
lr: 2e-5
batch_size: auto
lora:
r: 64
alpha: 16
quantization: 4bit
output: ./output
config/schema.py her alanın tek doğru kaynağıdır. Gelişmiş veri, eğitim ve PEFT seçenekleri
Belgeler altında belgelenmiştir.
Bilinmeyen yapılandırma anahtarları v0.75'ten beri reddediliyor. Hiçbir modelin tanımlamadığı bir anahtar —
quantizatongibi bir yazım hatası ya da yalnızca daha yeni bir Soup sürümünde bulunan bir alan — eskiden şema doğrulamasından sorunsuz geçip atılıyordu; yani çalıştırma, o ayar hiç uygulanmadan devam ediyordu. v0.74 bunu yükleme anında, muhtemelen kastettiğiniz alanı belirterek bildiriyordu; v0.75'ten itibaren aynı yapılandırma doğrudan reddediliyor; bu yüzden anahtarın yoksayılmasına güvenmek yerine onu düzeltin ya da kaldırın. Bkz. Bilinmeyen yapılandırma anahtarları.
Belgeler
Tam özellik başvurusu docs/ içinde. Buradan başlayın:
| Rehber | Kapsam |
|---|---|
| Eğitim görevleri ve yöntemleri | SFT, DPO/GRPO/PPO/KTO/ORPO/SimPO/IPO/BCO, araç çağırma, PRM, ön eğitim, damıtma, sınıflandırma, görsel/ses/TTS, unlearning (öğrenileni silme), RAFT/RA-DIT, döngü sertleştirme algılayıcıları |
| PEFT, uzun bağlam ve verimlilik | DoRA, LoRA+, rsLoRA, VeRA, OLoRA, NEFTune, PiSSA, ReLoRA, optimizer ve PEFT çeşitliliği, LLaMA Pro, GaLore, YaRN/LongLoRA, paketleme, müfredat, otomatik ayarlama |
| Performans ve niceleme | QAT, FP8, Niceleme Menüsü (I + II), KV önbelleği, NVFP4, kaydetme biçimleri, Cut Cross-Entropy, gradyan checkpointing'i (kontrol noktası), çekirdekler, aktivasyon boşaltma, katman akışı, çoklu GPU / DeepSpeed / FSDP |
| Veri mühendisliği | Biçimler, Axolotl/LF eşdeğeri ardışık düzen, veri araçları, sentetik üretim ve forge, kalite karneleri, iz (trace) araçları, uzak veri kümeleri, karıştırma, tarif DAG'ları |
| Değerlendirme ve sondalar | Değerlendirme tasarımı/kapısı, değerlendirme kapılı eğitim, kıyaslamalar, NLG metrikleri, kalibrasyon, Elo arenası, teşhis, eğitim sonrası X-ray sondaları, A/B, kayma, ayarlanabilirlik, soup advise |
| Model servisi ve dışa aktarma | OpenAI uyumlu sunucu, toplu çıkarım, kıyaslama, birleştirme/dışa aktarma, Anthropic Messages uç noktası, spekülatif kod çözme (kendi taslak modelinizi eğitin + ölçün), dağıtım otomatik pilotu, Web Arayüzü, Agent Forge |
| Adaptörler, model kayıt defteri ve yönetişim | Adaptör yaşam döngüsü/yönetimi, model kayıt defteri, Soup Cans, veri çarkı (soup loop), bilgi düzenleme, yönlendirme (steering), tedarik zinciri kontrolleri (scan/sign/BOM/attest/audit/airgap) |
| Uyumluluk ve yönetişim için hızlı başlangıç | HIPAA/SOC2/EU-AI-Act/SR-11-7 init şablonları, köken bilgisi (BOM/attest/repro-receipt), denetim günlüğü, air-gap, model kartı otomatik üretimi (soup card), CI kapısı (soup ci init) |
| Arka uçlar, platform ve operasyon | MLX/Unsloth arka uçları, alternatif hub'lar, HF Hub entegrasyonu, otomatik pilot, deney takibi, plan/apply, ortam kilit dosyaları, donanım uygunluğu, kabuk otomatik tamamlama, eklentiler (plugin), yardımcı komutlar |
| Komut başvurusu | Tam soup komut listesi |
| Desteklenen modeller ve ekler | Önerilen model aileleri, VRAM boyut rehberi, pip isteğe bağlı bağımlılık grupları (extras) matrisi |
Veri Biçimleri
Alpaca, ShareGPT, ChatML, tercih çiftleri (DPO / ORPO / SimPO / IPO / KTO), görü, ses, ASR, düz
metin, gömme (embedding), RAFT ve daha fazlası — hepsi JSONL, JSON, CSV, Parquet veya TXT'den
otomatik algılanır; bu yüzden çoğu durumda data.train'i bir dosyaya yöneltirsiniz ve başka hiçbir
şey değişmez. Her biçim için adım adım çözümlü bir örnekle şemalar ve veri ardışık düzeni (uzak URI'ler,
akış, parçalama, iç içe geçirme, sözcük dağarcığı genişletme, belge içe aktarma)
docs/data.md içinde; yerel Sesame CSM ses eğitimi ise ayrı belgelenmiştir.
Yaygın Komutlar
soup train --config soup.yaml # eğitin (SFT/DPO/GRPO/PPO/KTO/ORPO/SimPO/IPO/...)
soup infer --model ./output --input prompts.jsonl --output results.jsonl # toplu çıkarım
soup chat --model ./output # etkileşimli sohbet
soup serve --model ./output # OpenAI uyumlu API sunucusu
soup ui # yerel tarayıcı panosu
soup merge --adapter ./output # LoRA'yı taban modele birleştirin
soup export --model ./output --format gguf # dağıtım için dışa aktarın
soup eval benchmark --model ./output # değerlendirin
soup data inspect ./data/train.jsonl # veri kümesi istatistikleri
soup recipes list # 100+ hazır model tarifi
soup autopilot --model <id> --data d.jsonl --goal chat # sıfır yapılandırma
soup doctor # GPU / bağımlılıklar / ortamı denetleyin
Tam komut listesi docs/commands.md içinde.
Desteklenen Modeller
Soup, HuggingFace Hub üzerindeki
herhangi bir metin üretim modeliyle çalışır — AutoModelForCausalLM ile yükleniyorsa, sıfır
yapılandırma değişikliğiyle çalışır. Llama 3.x/4, Qwen 2.5/3, Gemma 3, Mistral, Mixtral, DeepSeek
R1/V3, Phi-4 ve 100'den fazlası hazır tarifler olarak gelir (soup recipes list).
| VRAM | En büyük model (QLoRA 4-bit) | Örnek |
|---|---|---|
| 8 GB | ~7B | Llama-3.1-8B, Mistral-7B |
| 16 GB | ~14B | Phi-4-14B, Qwen2.5-14B |
| 24 GB | ~34B | CodeLlama-34B, Yi-1.5-34B |
| 48 GB | ~70B | Llama-3.3-70B |
| 80 GB+ | 70B+ (tam) veya MoE | Mixtral-8x22B, DeepSeek-V3 |
Tam model + görü tabloları ve isteğe bağlı ekler matrisi docs/models.md içinde.
Docker
CUDA ya da PyTorch'u yerel olarak kurmadan Soup'u çalıştırın (imaj her sürümde GHCR'a yayımlanır):
docker pull ghcr.io/makazhanalpamys/soup:latest
docker run --gpus all -v $(pwd):/workspace ghcr.io/makazhanalpamys/soup train --config soup.yaml
docker compose up # ya da yerel olarak derleyin
Gereksinimler
- Python 3.11, 3.12 veya 3.13 (CI'ın test ettiği sürümler bunlar; PyTorch yığını orada henüz doğrulanmadığı için 3.14+ şimdilik desteklenmiyor)
- CUDA'lı GPU (önerilen), Apple Silicon (MPS) veya CPU (deneysel — çok yavaş)
- QLoRA ile 7B modeller için 8 GB+ VRAM
Tüm eğitim görevleri test amacıyla CPU'da çalışır (niceleme otomatik olarak kapatılır). İsteğe bağlı
ekler (train, all, fast, vision, qat, serve, serve-fast, ui, eval, deepspeed,
liger, mlx, onnx, tensorrt, …) docs/models.md içinde
listelenmiştir.
Sorun Giderme
soup doctor # GPU, sistem kaynakları, bağımlılıklar ve sürüm tek yerde
CUDA wheel paketleri, sürüm uyumsuzlukları: docs/backends-and-ops.md.
Geliştirme
git clone https://github.com/MakazhanAlpamys/Soup.git
cd Soup
pip install -e ".[dev]"
ruff check src/soup_cli/ tests/ # lint
pytest tests/ -v # birim testleri (hızlı, GPU yok)
pytest tests/ -m smoke -v # duman testleri (küçük bir model indirir, eğitir)
pytest tests/ -m gpu --no-cov -v # GPU testleri (CUDA kartı gerekir; sonuçları bildirin, bkz. CONTRIBUTING.md)
pre-commit install # isteğe bağlı: commit'te ruff lint+format
Tam iş akışı için CONTRIBUTING.md'ye, bir güvenlik açığı bildirmek için
SECURITY.md'ye bakın. Telemetri yalnızca siz açıkça etkinleştirirseniz çalışır (SOUP_TELEMETRY=1,
varsayılan olarak kapalı; bkz. Gizlilik Politikası).
Soup'u Destekleyin
Soup Apache-2.0 lisanslı ve ücretsizdir — ve öyle kalacak. Tek bir 4 GB dizüstü bilgisayarda, herkesin gözü önünde, açık kaynak olarak geliştirilir ve sürdürülür; bu belgelerdeki her performans rakamının iddia edilmek yerine ölçülmüş olmasının nedeni budur.
Soup size bir eğitim çalıştırması kazandırdıysa, depoya yıldız vermek en çok işe yarar ve hiçbir maliyeti yoktur. Çalışmayı doğrudan finanse etmek isterseniz:
❤️ Bağış yapın — tek seferlik, istediğiniz miktarda (ödeme sayfasında Tutarı değiştir / Change amount seçeneğini kullanın). Ödemeler, bakımcının kayıtlı işletmesi MePlay, Inc. adına Stripe tarafından işlenir — ödeme sayfasında ve kart ekstrenizde "Soup" değil, bu ad görünür.
Bağışlar, donanıma bağlı işler için GPU süresi satın alır — çoklu GPU, 8B+ doğrulama, Apple Silicon — tek bir 4 GB dizüstünün ulaşamadığı işler.
Tam da bu kalemleri ilerletmenin diğer yolu donanımın kendisidir. Bunlar doğrulanmamış iddialar
yerine dürüst "<donanım> gerektirir" kapılarının arkasında yayımlanır; dolayısıyla daha büyük bir
makineye — ya da kullanılmayan GPU kredilerine — erişiminiz varsa,
help wanted
issue'lardan birini çalıştırıp sayıları paylaşmak, GPU süresini finanse etmek kadar yardımcı olur.
Bu issue'lar, bugün donanım yüzünden tam olarak neyin engellendiğini söyler.
Katkıda Bulunanlar
Topluluk tarafından geliştirildi ❤️ — katkıda bulunan herkese teşekkürler. Bkz. CONTRIBUTORS.md.
İletişim
Hatalar ve özellik istekleri issue takipçisine, sorular Discussions'a aittir — ikisi de daha hızlı yanıtlanır ve aynı sorunu yaşayan bir sonraki kişiye yardım eder.
Canlı sohbet, kurulum yardımı ve karşılıklı konuşarak çözülmesi daha kolay olan her şey için Discord'a ya da Telegram topluluğuna katılın. Altı ay sonra hâlâ bulunabilir olması gereken her şey Issues'a ya da Discussions'a aittir — bir Discord yanıtı tek bir kişiye yardım eder, bir issue ise aynı şeyle karşılaşan herkese. Davranış Kuralları orada da geçerlidir.
Herkese açık olmaya uygun olmayan her şey için — güvenlik bildirimleri (bkz. SECURITY.md), Davranış Kuralları meseleleri ya da basın — [email protected] adresine e-posta gönderin. Bu, projenin adresidir ve Soup'la ilgili her şey için doğru adres budur. [email protected] bakımcının kişisel adresidir; aynı kişiye ulaşır ve iyi bir yedektir.
Soup'a Atıf
Katman akışı — dondurulmuş tabanı ana bilgisayar RAM'inden her seferinde bir kod çözücü katman olarak aktararak 4 GB dizüstü GPU'da 8B bir model eğitmek — bir ön baskıda, akışlı bir çalıştırmayı belleğe yerleşik bir çalıştırmaya karşı doğrulayan doğruluk protokolüyle birlikte anlatılır (ileri ve geri geçiş ayrı ayrı belirtilir; çünkü bunlar tek değil, iki iddiadır).
Makazhan, A. (2026). Exact Layer Streaming: LoRA Fine-Tuning of an 8B Model on a 4 GB Laptop GPU (v3). Zenodo. https://doi.org/10.5281/zenodo.21918325
Sürüm 3 (13 Ağustos 2026) günceldir. Başlık ve iddia değişmedi — 4 GB'da 8B — ve v1'den bu yana ölçülmüş hiçbir sayı değişmedi. v3'ün yaptığı şey yayımladığımız bir açıklamayı geri çekmektir; bu aynı zamanda makalenin ne işe yaradığını anlatmanın en kısa yoludur:
- v3'te geri çekildi: "katman akışını sınırlayan GPU değil, ana bilgisayardan cihaza aktarımdır." Bu, aşağıdaki H100 yeniden üretiminden yapılmış bir çıkarımdı ve hiç ölçülmemişti. 11 Ağustos'ta ölçtük ve yayımlanan yapılandırmada yanlış: ana bilgisayardan cihaza giden her baytı silmek %1.4 kazandırıyor, hesaplama akışı adımın %0.20'sinde bir kopyayı bekliyor ve adım, o kartın aynı oturumdaki GEMM tavanının %71.3'ünde çalışıyor. Akışa özgü en büyük maliyet, %9.8 ile katman başına NF4 ters nicelemesi (kayıt). Her ölçüm geçerliliğini koruyor; yeniden üretim daha zayıf bir biçimde ayakta kalıyor — kısıt her iki makinede ortak ve GPU'nun hesaplama gücü değil.
- Özgününe hiç benzemeyen donanımda yeniden üretim (v2'de eklendi): RTX 3050'de (952 MHz'de) 119.6 tok/s'ye karşı bir H100'de medyan 113.00, aynı 3.32 GB tepede. İkisi de #331 onarımından önce ölçüldü ve makalenin bildirdiği rakamlar bunlardır. #331 sonrası satır (@umran666, #1103), 1935–1957 MHz'de 208.6 tok/s ve 2.40 GB tepedir; aynı oturumda ölçülen GEMM tavanının %68'ine karşı %59'u. Ham 1.74x kazanç bir hızlanma değil, saat frekansı farkıdır; satırlar arasında bellek düzeni de değişti, bu yüzden bu oran bile bire bir karşılaştırma değildir (kayıt).
- Sessiz bir yanlış gradyan kusuru, bulundu ve onarıldı. Katman başına ~165 MiB'ın üzerindeki NF4'te ileri geçiş bit düzeyinde özdeş kaldı ve kayıp eğrisi sağlıklı göründü, ama gradyanlar yanlıştı. Neden, upstream kütüphanede adıyla belirtildi ve orada bildirildi; onarım, gerçek 32B ve 72B modellerde kontrol çalıştırmalarına karşı doğrulama kapısından geçirildi.
- Gerçek model boyutlarında bit düzeyinde özdeşlik, üç katmanlı oyuncak modeller yerine: ileri geçiş 0.5B'den 72B'ye, geri geçiş 8B ve 14B'de.
- Eğitilmiş model kalitesi, ilk kez ölçüldü ve belleğe yerleşik bir çalıştırmadan ayırt edilemiyor.
- DeepSpeed ile karşılaştırma — bizi pohpohlamayan sonuç dahil: sekiz kartlık ZeRO-3, belleğe yerleşik eğiten tek bir karttan daha yavaş.
- Sınırlamalar bölümü yeniden yazıldı: v1'in on maddesinden biri kapandı, dördü daha daraldı ve yedi yeni madde eklendi.
Kullandığınız sürüme atıf yapın. 10.5281/zenodo.21771064 kavram DOI'sidir ve her zaman en son
sürüme (bugün v3) çözümlenir; v1 ve v2 kendi sürüm DOI'leriyle atıf yapılabilir durumda kalır ve
düzenlenmez — yukarıdaki geri çekme, neyi ne zaman iddia ettiğimizin kaydı bozulmadan kalsın diye
tam da bu yüzden yeni bir sürümdür.
Makaledeki her sayının arkasındaki ölçüm kayıtları, yazıldığı haliyle benchmarks/
içinde yayımlanmıştır — başarısızlıklar, yanlış çıkan varsayımlar ve ölçülüp sonra atılan sayılar
dahil.
@misc{makazhan2026exact,
title = {Exact Layer Streaming: LoRA Fine-Tuning of an 8B Model on a 4 GB Laptop GPU},
author = {Makazhan, Alpamys},
year = {2026},
publisher = {Zenodo},
version = {v3},
doi = {10.5281/zenodo.21918325},
url = {https://doi.org/10.5281/zenodo.21918325}
}
Lisans
Apache-2.0. Copyright 2026 Makazhan Alpamys and the Soup contributors. Soup'u veya değiştirilmiş bir kopyasını yeniden dağıtırsanız lisansın 4. ve 6. maddeleri sizin için geçerlidir: her kopyayla birlikte LICENSE ve NOTICE dosyalarını koruyun, değiştirdiğiniz dosyaları işaretleyin ve Soup adını eserin kaynağını belirtmenin ötesinde kullanmayın.