Skip to content

armgit / Soup

Public Imported from GitHub
0

Fine-tune LLMs from one YAML. Layer streaming trains an 8B model on a 4 GB laptop GPU.

31.3 KB
Raw Blame

🌍 English | Türkçe | العربية | 日本語 | 中文

Soup

Soup

LLM'lere tek komutla ince ayar ve eğitim sonrası (post-training) uygulayın. SSH yok, yapılandırma cehennemi yok.

Web sitesi · Hızlı Başlangıç · Web Arayüzü · Yapılandırma · Belgeler · Komutlar · Modeller · Discord · Telegram · Product Hunt

PyPI İndirmeler Python 3.11-3.13 Apache-2.0 Lisansı Testler CI Web sitesi Discord Telegram DOI: 10.5281/zenodo.21771064

Soup CLI - 4 GB dizüstü GPU'da 8B bir LLM'e ince ayar | Product Hunt MakazhanAlpamys/Soup | Trendshift


Soup, LLM ince ayarının zahmetini basit bir iş akışına dönüştürür. Tek yapılandırma, tek komut, bitti.

pip install "soup-cli[train]"   # ince ayar için [train] ekleyin; yalın `soup-cli` hafif CLI'dır
soup init --template chat
soup train

4 GB dizüstü GPU'da 8B bir modele ince ayar yapın. Katman akışı, dondurulmuş tabanı VRAM'in dışında tutar ve GPU'ya her seferinde bir kod çözücü katman besler. RTX 3050 Laptop 4 GB üzerinde ölçüldü: Llama-3.1-8B-Instruct + NF4 ile 952 MHz'de 119.6 tok/s, 3.32 GB tepe (onarım öncesi) — normal, belleğe tamamen yerleşik bir çalıştırmayla bit düzeyinde özdeş ve bir H100 üzerinde aynı 3.32 GB'da 113.00 tok/s ile bağımsız olarak yeniden üretildi. (Her iki rakam da 32B'de %4.8 yavaşlamaya yol açan v0.73.0 sonuç-doğruluğu onarımından önce, v0.72.2'de ölçüldü. Onarım sonrası çalıştırma, başka bir RTX 3050 Laptop 4 GB üzerinde (@umran666, #1103), 1935–1957 MHz'de 208.6 tok/s, 2.40 GB tepe veriyor. Bu, aynı oturumda ölçülen GEMM tavanının %59'una denk geliyor; onarım öncesi satırda oran %68'di: birim saat frekansı başına yaklaşık %14 daha yavaş, yani ham 1.74x kazanç bir hızlanma değil, saat frekansı farkıdır. Büyük katman akışı da iki satır arasında bellek düzenini değiştirdi; bu yüzden bu oran bile bire bir karşılaştırma değildir — kayıt.) İsteğe bağlıdır (stream_layers: true) ve hâlâ BETA — nasıl çalışır · tüm ölçümler · makale · ücretsiz bir Colab T4'te kendiniz doğrulayın (süreci 4 GB ile sınırlar, ardından akışlı bir modelin normal bir modelle bit düzeyinde özdeş olduğunu doğrular)

4 GB bir kartta Llama-3.1-8B için soup train ön kontrolü: 32 katman boyunca RAM'e sabitlenmiş 3.60 GB'lık bir taban deposu ve iki adet 113 MB VRAM tamponu, ardından 119.6 tok/s'de ölçülen 3.32 GB tepe; 4 GB çizgisinin altında kalıyor (onarım öncesi satır, v0.72.2'de 952 MHz'de ölçüldü; #331 sonrası satır aşağıdaki açıklamada)
Llama-3.1-8B-Instruct + NF4, LoRA, batch boyutu 1, dizi uzunluğu 512, RTX 3050 Laptop 4 GB üzerinde — 3.32 GB tepe, 119.6 tok/s, 952 MHz'de (onarım öncesi, v0.72.2; #331 sonrası: 1935 MHz'de 208.6 tok/s, 2.40 GB, doğrudan karşılaştırılamaz, @umran666, #1103). Tam video (90 sn)

Neden Soup?

LLM eğitmek hâlâ zahmetli. Deneyimli ekipler bile zamanlarının %30-50'sini modelleri iyileştirmek yerine altyapıyla boğuşarak geçiriyor. Soup bunu çözer.

  • SSH yok. Bozuk bir GPU makinesine bir daha asla SSH ile bağlanmayın.
  • Tek yapılandırma. İhtiyacınız olan tek şey basit bir YAML dosyası.
  • Her şey otomatik. Toplu iş boyutu, GPU algılama, niceleme — halledilir.
  • Yerelde çalışır. QLoRA ile kendi GPU'nuzda eğitin. Bulut gerekmez.

Yenilikler

v0.76.0 — Soup'un kabul edip hiç uygulamadığı ayarlar artık yüklemeyi durduruyor. Doğrulanan ve belgelenen, ancak yapılandırdığını iddia ettikleri yolda hiçbir şey tarafından okunmayan seçenekler artık yükleme sırasında reddediliyor; ayarın adını ve neyin değiştirileceğini belirtiyor. Geri kalanlar uyarı veriyor ve onları reddedecek sürümü belirtiyor. Daha önce yüklenen bir yapılandırma artık yüklenmeyebilir: önce soup doctor --config soup.yaml komutunu çalıştırın.

  • Geriye dönük uyumsuz değişiklik: hiç etkili olmayan bir ayar yüklemede reddediliyor. Bunların arasında training.quantization_aware: true (nicelemeye duyarlı eğitimi hiç çalıştırmıyordu), training.use_longlora, training.ebft_variant, training.gdpo_variant, hiçbir hazırlık adımının okumadığı yerlerdeki training.rope_scaling_type, freeze_layers / freeze_ratio (transformers arka ucunda metin sft / tts yolunun dışında), auto_mixed_precision (sft / tts dışında) ve unsloth hazırlık adımı bulunmayan yedi görevde daha backend: unsloth var. Her mesaj alanın adını ve neyin değiştirileceğini belirtiyor. lr_groups, early_stop_patience, forgetting_eval_steps ve okunmayan diğer ayarlar artık yüklemede uyarı veriyor ve v0.77'den itibaren reddedilecek.
  • Doğrulama kaybı artık değerlendiriliyor. data.val_split, her çalıştırmada satırları eğitimin dışında tutuyordu ve transformers arka ucundaki hiçbir trainer bunları değerlendirmiyordu. Artık bir bölme alan her görev, onu her epoch sonunda ya da training.eval_steps ile her N adımda değerlendiriyor ve doğrulama kaybını kaydediyor; çalıştırmalar yüzde birkaç daha uzun sürüyor. grpo, ppo ve online_dpo için geriye dönük uyumsuz: varsayılan olarak artık satır ayırmıyorlar (data.val_split bir notla yok sayılıyor), dolayısıyla her satır eğitime giriyor.
  • Geriye dönük uyumsuz değişiklik: standart olmayan her grpo_variant, grpo_beta KL cezasını uyguluyor. gspo, dapo, dr_grpo, bnpo, two_sided ve rft, grpo_beta değerini doğrulayıp atıyordu; bu yüzden mevcut varyant yapılandırmaları önceki çalıştırmaları yeniden üretmeyecek. grpo_beta: 0 artık KL'siz çalışıyor ve referans modelin ileri geçişini atlıyor.
  • Katman akışı disk katmanını bir arka plan iş parçacığında, doğrudan G/Ç (direct I/O) ile okuyor ve onu NVMe sürücülere şeritleyebiliyor. RAM'den büyük, 36 GB'lık, 70B biçimli bir NF4 deposunda (tek bir RTX 5070 Laptop 8 GB makinesi), soğuk bir adım eşzamanlı okumada 110.5 s iken 16.2-17.3 s'ye düştü; SOUP_LAYER_STREAM_STRIPE_DIRS ile iki sürücüye yayıldığında ise 17.4 s'den 9.97 s'ye indi (sürekli yük altında bir sonda ölçümü: iki tur, 1.28x ve 1.41x, resmî bir hüküm yok; kayıt). RAM'e sığan bir depo RAM katmanında hâlâ daha hızlı ve stream_source: auto onu seçiyor. İsteğe bağlıdır (stream_layers: true) ve hâlâ BETA; kayıtlar: doğrudan G/Ç, şeritleme.
  • Yeni komutlar ve seçenekler. soup adapters check, bir LoRA adaptörünü sessiz arızalara karşı tarar; soup bench train, sabit sayıda adım eğitir ve model eğitilmiyorsa çıkış kodu 1 ile biter (transformers arka ucunda task: sft için geçerlidir; soup bench artık bir gruptur ve soup bench infer eski çıkarım kıyaslamasıdır); soup data clean, girdi dosyasına dokunmadan bir veri kümesini temizler ve onarır; soup recipes verify, meta aygıtında, hiçbir ağırlık indirmeden, gönderilen her tarifin bir LoRA adaptörü bağlayabildiğini denetler; soup rewind, bir kayıp sıçramasının arkasındaki veri kümesi satırlarını adlandırır. soup infer, isteğe bağlı --batch-size ve deneysel bir --cuda-graphs kazandı (PyTorch 2.14 veya daha yeni; tek bir RTX 5070 Laptop'ta, sabitlenmemiş, FP16'da Qwen2.5-1.5B ile, onunla yapılan en yavaş çalıştırma, onsuz yapılan en hızlı çalıştırmadan kod çözmede 2.9x daha hızlıydı). soup ab, iki yönlü, varyansa karşı dayanıklı bir test çalıştırır; soup adapters sign --backend sigstore ve soup attest emit --sign sigstore ise Sigstore anahtarsız OIDC ile imzalar (pip install "soup-cli[sigstore]").

v0.77'den itibaren yalnızca Python 3.11–3.13. Python 3.10, 2026-10-01'de kullanım ömrünün sonuna (end of life) ulaştı; 3.10 üzerinde pip v0.76'yı kurmaya devam eder. 3.14+ sürümlerinde pip, üst sınırı olmayan son sürüm olan v0.72.4'e geri döner ve orada test edilmemiş PyTorch wheel paketlerini seçer.

Eski sürümlerin öne çıkanları GitHub Releases sayfasında.

Hızlı Başlangıç

1. Kurulum

Soup bir komut satırı uygulamasıdır; bu yüzden en temiz kurulum ona kendi ortamını verir ve soup'u PATH'inize ekler:

# Hafif çekirdek: CLI + yapılandırma + veri araçları, PyTorch yok
pipx install soup-cli
uv tool install soup-cli          # aynı fikir, zaten uv kullanıyorsanız

# Eğitim yığınını ekleyin (torch, transformers, peft, trl, datasets, …)
pipx install "soup-cli[train]"

# Her şey (train + serve + ui + data) tek seferde
pipx install "soup-cli[all]"

# Ya da GitHub'dan (en son geliştirme sürümü)
pipx install "git+https://github.com/MakazhanAlpamys/Soup.git"

Zaten bir virtualenv'in, bir Colab not defterinin ya da bir Docker imajının içinde misiniz? Aynı adlar ve eklerle doğrudan pip kullanın:

pip install soup-cli
pip install "soup-cli[train]"
pip install "soup-cli[all]"
pip install git+https://github.com/MakazhanAlpamys/Soup.git

Kendi kodunuzdan da import soup_cli yapmak istiyorsanız pipx yerine pip kullanın; çünkü pipx uygulamayı kasıtlı olarak diğer her şeyden yalıtır.

Eklerin tam tablosu (fast, mlx, serve, eval, ui, vision, audio, …) docs/models.md içinde yer alır.

error: externally-managed-environment mı? Bu, PEP 668'dir; bir Soup sorunu değil. Debian 12, Ubuntu 23.04 ve sonrası pip'in sistem Python'una yazmasını engeller, çünkü bu dosyaları apt de yönetir. pipx ve uv tool, Soup'a kendi ortamını vererek bunu aşar; yukarıda ilk sırada yer almalarının nedeni budur. python3 -m venv .venv && source .venv/bin/activate ardından düz pip de aynı ölçüde işe yarar.

Tek tırnak değil, çift tırnak. "soup-cli[train]" her kabukta çalışan tek yazımdır — cmd.exe, PowerShell, bash ve zsh. 'soup-cli[train]' biçimini eski bir öğreticiden (tutorial) kopyaladıysanız ve pip reddettiyse, nedeni budur: nedeni ve hatanın tam metni.

soup init, soup data … ve diğer veri/inceleme komutları hafif kurulumda çalışır. İnce ayar (soup train) [train] ekini gerektirir.

2. Bir yapılandırma oluşturun

soup init                       # etkileşimli sihirbaz
soup init --template chat       # ya da bir şablondan başlayın

Şablonlar: chat, code, tool-calling, medical, reasoning, vision, kto, orpo, simpo, ipo, bco, rlhf, pretrain, moe, longcontext, embedding, audio.

3. Eğitin, test edin, yayınlayın

soup train --config soup.yaml                 # LoRA, niceleme, toplu işleme — hepsi halledilir
soup chat  --model ./output                    # modelinizle konuşun
soup push  --model ./output --repo you/my-model

soup merge  --adapter ./output                              # LoRA'yı tabana birleştirin
soup export --model ./output --format gguf --quant q4_k_m   # Ollama / llama.cpp için GGUF

Diğer dışa aktarma hedefleri (ONNX, TensorRT, BitNet) ve dağıtım seçenekleri docs/serving-and-export.md içinde yer alır.

Web Arayüzü

Tarayıcı mı tercih edersiniz? soup ui; deneyler, eğitim kurulumu, canlı metrikler, veri kümesi keşfi ve modelle sohbet için yerel bir pano sunar.

pip install "soup-cli[ui]"
soup ui
# http://127.0.0.1:7860/?token=<token> adresini açar

Soup Web Arayüzü — Yeni Eğitim

Web Arayüzü belgeleri

Yapılandırma

Eksiksiz bir soup.yaml:

base: meta-llama/Llama-3.1-8B-Instruct
task: sft
# backend: unsloth  # 2-5 kat daha hızlı, pip install "soup-cli[fast]"

data:
  train: ./data/train.jsonl
  format: alpaca
  val_split: 0.1

training:
  epochs: 3
  lr: 2e-5
  batch_size: auto
  lora:
    r: 64
    alpha: 16
  quantization: 4bit

output: ./output

config/schema.py her alanın tek doğru kaynağıdır. Gelişmiş veri, eğitim ve PEFT seçenekleri Belgeler altında belgelenmiştir.

Bilinmeyen yapılandırma anahtarları v0.75'ten beri reddediliyor. Hiçbir modelin tanımlamadığı bir anahtar — quantizaton gibi bir yazım hatası ya da yalnızca daha yeni bir Soup sürümünde bulunan bir alan — eskiden şema doğrulamasından sorunsuz geçip atılıyordu; yani çalıştırma, o ayar hiç uygulanmadan devam ediyordu. v0.74 bunu yükleme anında, muhtemelen kastettiğiniz alanı belirterek bildiriyordu; v0.75'ten itibaren aynı yapılandırma doğrudan reddediliyor; bu yüzden anahtarın yoksayılmasına güvenmek yerine onu düzeltin ya da kaldırın. Bkz. Bilinmeyen yapılandırma anahtarları.

Belgeler

Tam özellik başvurusu docs/ içinde. Buradan başlayın:

Rehber Kapsam
Eğitim görevleri ve yöntemleri SFT, DPO/GRPO/PPO/KTO/ORPO/SimPO/IPO/BCO, araç çağırma, PRM, ön eğitim, damıtma, sınıflandırma, görsel/ses/TTS, unlearning (öğrenileni silme), RAFT/RA-DIT, döngü sertleştirme algılayıcıları
PEFT, uzun bağlam ve verimlilik DoRA, LoRA+, rsLoRA, VeRA, OLoRA, NEFTune, PiSSA, ReLoRA, optimizer ve PEFT çeşitliliği, LLaMA Pro, GaLore, YaRN/LongLoRA, paketleme, müfredat, otomatik ayarlama
Performans ve niceleme QAT, FP8, Niceleme Menüsü (I + II), KV önbelleği, NVFP4, kaydetme biçimleri, Cut Cross-Entropy, gradyan checkpointing'i (kontrol noktası), çekirdekler, aktivasyon boşaltma, katman akışı, çoklu GPU / DeepSpeed / FSDP
Veri mühendisliği Biçimler, Axolotl/LF eşdeğeri ardışık düzen, veri araçları, sentetik üretim ve forge, kalite karneleri, iz (trace) araçları, uzak veri kümeleri, karıştırma, tarif DAG'ları
Değerlendirme ve sondalar Değerlendirme tasarımı/kapısı, değerlendirme kapılı eğitim, kıyaslamalar, NLG metrikleri, kalibrasyon, Elo arenası, teşhis, eğitim sonrası X-ray sondaları, A/B, kayma, ayarlanabilirlik, soup advise
Model servisi ve dışa aktarma OpenAI uyumlu sunucu, toplu çıkarım, kıyaslama, birleştirme/dışa aktarma, Anthropic Messages uç noktası, spekülatif kod çözme (kendi taslak modelinizi eğitin + ölçün), dağıtım otomatik pilotu, Web Arayüzü, Agent Forge
Adaptörler, model kayıt defteri ve yönetişim Adaptör yaşam döngüsü/yönetimi, model kayıt defteri, Soup Cans, veri çarkı (soup loop), bilgi düzenleme, yönlendirme (steering), tedarik zinciri kontrolleri (scan/sign/BOM/attest/audit/airgap)
Uyumluluk ve yönetişim için hızlı başlangıç HIPAA/SOC2/EU-AI-Act/SR-11-7 init şablonları, köken bilgisi (BOM/attest/repro-receipt), denetim günlüğü, air-gap, model kartı otomatik üretimi (soup card), CI kapısı (soup ci init)
Arka uçlar, platform ve operasyon MLX/Unsloth arka uçları, alternatif hub'lar, HF Hub entegrasyonu, otomatik pilot, deney takibi, plan/apply, ortam kilit dosyaları, donanım uygunluğu, kabuk otomatik tamamlama, eklentiler (plugin), yardımcı komutlar
Komut başvurusu Tam soup komut listesi
Desteklenen modeller ve ekler Önerilen model aileleri, VRAM boyut rehberi, pip isteğe bağlı bağımlılık grupları (extras) matrisi

Veri Biçimleri

Alpaca, ShareGPT, ChatML, tercih çiftleri (DPO / ORPO / SimPO / IPO / KTO), görü, ses, ASR, düz metin, gömme (embedding), RAFT ve daha fazlası — hepsi JSONL, JSON, CSV, Parquet veya TXT'den otomatik algılanır; bu yüzden çoğu durumda data.train'i bir dosyaya yöneltirsiniz ve başka hiçbir şey değişmez. Her biçim için adım adım çözümlü bir örnekle şemalar ve veri ardışık düzeni (uzak URI'ler, akış, parçalama, iç içe geçirme, sözcük dağarcığı genişletme, belge içe aktarma) docs/data.md içinde; yerel Sesame CSM ses eğitimi ise ayrı belgelenmiştir.

Yaygın Komutlar

soup train  --config soup.yaml        # eğitin (SFT/DPO/GRPO/PPO/KTO/ORPO/SimPO/IPO/...)
soup infer  --model ./output --input prompts.jsonl --output results.jsonl   # toplu çıkarım
soup chat   --model ./output          # etkileşimli sohbet
soup serve  --model ./output          # OpenAI uyumlu API sunucusu
soup ui                               # yerel tarayıcı panosu
soup merge  --adapter ./output        # LoRA'yı taban modele birleştirin
soup export --model ./output --format gguf           # dağıtım için dışa aktarın
soup eval   benchmark --model ./output               # değerlendirin
soup data   inspect ./data/train.jsonl               # veri kümesi istatistikleri
soup recipes list                     # 100+ hazır model tarifi
soup autopilot --model <id> --data d.jsonl --goal chat  # sıfır yapılandırma
soup doctor                           # GPU / bağımlılıklar / ortamı denetleyin

Tam komut listesi docs/commands.md içinde.

Desteklenen Modeller

Soup, HuggingFace Hub üzerindeki herhangi bir metin üretim modeliyle çalışır — AutoModelForCausalLM ile yükleniyorsa, sıfır yapılandırma değişikliğiyle çalışır. Llama 3.x/4, Qwen 2.5/3, Gemma 3, Mistral, Mixtral, DeepSeek R1/V3, Phi-4 ve 100'den fazlası hazır tarifler olarak gelir (soup recipes list).

VRAM En büyük model (QLoRA 4-bit) Örnek
8 GB ~7B Llama-3.1-8B, Mistral-7B
16 GB ~14B Phi-4-14B, Qwen2.5-14B
24 GB ~34B CodeLlama-34B, Yi-1.5-34B
48 GB ~70B Llama-3.3-70B
80 GB+ 70B+ (tam) veya MoE Mixtral-8x22B, DeepSeek-V3

Tam model + görü tabloları ve isteğe bağlı ekler matrisi docs/models.md içinde.

Docker

CUDA ya da PyTorch'u yerel olarak kurmadan Soup'u çalıştırın (imaj her sürümde GHCR'a yayımlanır):

docker pull ghcr.io/makazhanalpamys/soup:latest
docker run --gpus all -v $(pwd):/workspace ghcr.io/makazhanalpamys/soup train --config soup.yaml
docker compose up   # ya da yerel olarak derleyin

Gereksinimler

  • Python 3.11, 3.12 veya 3.13 (CI'ın test ettiği sürümler bunlar; PyTorch yığını orada henüz doğrulanmadığı için 3.14+ şimdilik desteklenmiyor)
  • CUDA'lı GPU (önerilen), Apple Silicon (MPS) veya CPU (deneysel — çok yavaş)
  • QLoRA ile 7B modeller için 8 GB+ VRAM

Tüm eğitim görevleri test amacıyla CPU'da çalışır (niceleme otomatik olarak kapatılır). İsteğe bağlı ekler (train, all, fast, vision, qat, serve, serve-fast, ui, eval, deepspeed, liger, mlx, onnx, tensorrt, …) docs/models.md içinde listelenmiştir.

Sorun Giderme

soup doctor    # GPU, sistem kaynakları, bağımlılıklar ve sürüm tek yerde

CUDA wheel paketleri, sürüm uyumsuzlukları: docs/backends-and-ops.md.

Geliştirme

git clone https://github.com/MakazhanAlpamys/Soup.git
cd Soup
pip install -e ".[dev]"

ruff check src/soup_cli/ tests/    # lint
pytest tests/ -v                   # birim testleri (hızlı, GPU yok)
pytest tests/ -m smoke -v          # duman testleri (küçük bir model indirir, eğitir)
pytest tests/ -m gpu --no-cov -v   # GPU testleri (CUDA kartı gerekir; sonuçları bildirin, bkz. CONTRIBUTING.md)

pre-commit install                 # isteğe bağlı: commit'te ruff lint+format

Tam iş akışı için CONTRIBUTING.md'ye, bir güvenlik açığı bildirmek için SECURITY.md'ye bakın. Telemetri yalnızca siz açıkça etkinleştirirseniz çalışır (SOUP_TELEMETRY=1, varsayılan olarak kapalı; bkz. Gizlilik Politikası).

Soup'u Destekleyin

Soup Apache-2.0 lisanslı ve ücretsizdir — ve öyle kalacak. Tek bir 4 GB dizüstü bilgisayarda, herkesin gözü önünde, açık kaynak olarak geliştirilir ve sürdürülür; bu belgelerdeki her performans rakamının iddia edilmek yerine ölçülmüş olmasının nedeni budur.

Soup size bir eğitim çalıştırması kazandırdıysa, depoya yıldız vermek en çok işe yarar ve hiçbir maliyeti yoktur. Çalışmayı doğrudan finanse etmek isterseniz:

❤️ Bağış yapın — tek seferlik, istediğiniz miktarda (ödeme sayfasında Tutarı değiştir / Change amount seçeneğini kullanın). Ödemeler, bakımcının kayıtlı işletmesi MePlay, Inc. adına Stripe tarafından işlenir — ödeme sayfasında ve kart ekstrenizde "Soup" değil, bu ad görünür.

Bağışlar, donanıma bağlı işler için GPU süresi satın alır — çoklu GPU, 8B+ doğrulama, Apple Silicon — tek bir 4 GB dizüstünün ulaşamadığı işler.

Tam da bu kalemleri ilerletmenin diğer yolu donanımın kendisidir. Bunlar doğrulanmamış iddialar yerine dürüst "<donanım> gerektirir" kapılarının arkasında yayımlanır; dolayısıyla daha büyük bir makineye — ya da kullanılmayan GPU kredilerine — erişiminiz varsa, help wanted issue'lardan birini çalıştırıp sayıları paylaşmak, GPU süresini finanse etmek kadar yardımcı olur. Bu issue'lar, bugün donanım yüzünden tam olarak neyin engellendiğini söyler.

Katkıda Bulunanlar

Topluluk tarafından geliştirildi ❤️ — katkıda bulunan herkese teşekkürler. Bkz. CONTRIBUTORS.md.

Katkıda Bulunanlar

İletişim

Hatalar ve özellik istekleri issue takipçisine, sorular Discussions'a aittir — ikisi de daha hızlı yanıtlanır ve aynı sorunu yaşayan bir sonraki kişiye yardım eder.

Canlı sohbet, kurulum yardımı ve karşılıklı konuşarak çözülmesi daha kolay olan her şey için Discord'a ya da Telegram topluluğuna katılın. Altı ay sonra hâlâ bulunabilir olması gereken her şey Issues'a ya da Discussions'a aittir — bir Discord yanıtı tek bir kişiye yardım eder, bir issue ise aynı şeyle karşılaşan herkese. Davranış Kuralları orada da geçerlidir.

Herkese açık olmaya uygun olmayan her şey için — güvenlik bildirimleri (bkz. SECURITY.md), Davranış Kuralları meseleleri ya da basın — [email protected] adresine e-posta gönderin. Bu, projenin adresidir ve Soup'la ilgili her şey için doğru adres budur. [email protected] bakımcının kişisel adresidir; aynı kişiye ulaşır ve iyi bir yedektir.

Soup'a Atıf

Katman akışı — dondurulmuş tabanı ana bilgisayar RAM'inden her seferinde bir kod çözücü katman olarak aktararak 4 GB dizüstü GPU'da 8B bir model eğitmek — bir ön baskıda, akışlı bir çalıştırmayı belleğe yerleşik bir çalıştırmaya karşı doğrulayan doğruluk protokolüyle birlikte anlatılır (ileri ve geri geçiş ayrı ayrı belirtilir; çünkü bunlar tek değil, iki iddiadır).

Makazhan, A. (2026). Exact Layer Streaming: LoRA Fine-Tuning of an 8B Model on a 4 GB Laptop GPU (v3). Zenodo. https://doi.org/10.5281/zenodo.21918325

Sürüm 3 (13 Ağustos 2026) günceldir. Başlık ve iddia değişmedi — 4 GB'da 8B — ve v1'den bu yana ölçülmüş hiçbir sayı değişmedi. v3'ün yaptığı şey yayımladığımız bir açıklamayı geri çekmektir; bu aynı zamanda makalenin ne işe yaradığını anlatmanın en kısa yoludur:

  • v3'te geri çekildi: "katman akışını sınırlayan GPU değil, ana bilgisayardan cihaza aktarımdır." Bu, aşağıdaki H100 yeniden üretiminden yapılmış bir çıkarımdı ve hiç ölçülmemişti. 11 Ağustos'ta ölçtük ve yayımlanan yapılandırmada yanlış: ana bilgisayardan cihaza giden her baytı silmek %1.4 kazandırıyor, hesaplama akışı adımın %0.20'sinde bir kopyayı bekliyor ve adım, o kartın aynı oturumdaki GEMM tavanının %71.3'ünde çalışıyor. Akışa özgü en büyük maliyet, %9.8 ile katman başına NF4 ters nicelemesi (kayıt). Her ölçüm geçerliliğini koruyor; yeniden üretim daha zayıf bir biçimde ayakta kalıyor — kısıt her iki makinede ortak ve GPU'nun hesaplama gücü değil.
  • Özgününe hiç benzemeyen donanımda yeniden üretim (v2'de eklendi): RTX 3050'de (952 MHz'de) 119.6 tok/s'ye karşı bir H100'de medyan 113.00, aynı 3.32 GB tepede. İkisi de #331 onarımından önce ölçüldü ve makalenin bildirdiği rakamlar bunlardır. #331 sonrası satır (@umran666, #1103), 1935–1957 MHz'de 208.6 tok/s ve 2.40 GB tepedir; aynı oturumda ölçülen GEMM tavanının %68'ine karşı %59'u. Ham 1.74x kazanç bir hızlanma değil, saat frekansı farkıdır; satırlar arasında bellek düzeni de değişti, bu yüzden bu oran bile bire bir karşılaştırma değildir (kayıt).
  • Sessiz bir yanlış gradyan kusuru, bulundu ve onarıldı. Katman başına ~165 MiB'ın üzerindeki NF4'te ileri geçiş bit düzeyinde özdeş kaldı ve kayıp eğrisi sağlıklı göründü, ama gradyanlar yanlıştı. Neden, upstream kütüphanede adıyla belirtildi ve orada bildirildi; onarım, gerçek 32B ve 72B modellerde kontrol çalıştırmalarına karşı doğrulama kapısından geçirildi.
  • Gerçek model boyutlarında bit düzeyinde özdeşlik, üç katmanlı oyuncak modeller yerine: ileri geçiş 0.5B'den 72B'ye, geri geçiş 8B ve 14B'de.
  • Eğitilmiş model kalitesi, ilk kez ölçüldü ve belleğe yerleşik bir çalıştırmadan ayırt edilemiyor.
  • DeepSpeed ile karşılaştırma — bizi pohpohlamayan sonuç dahil: sekiz kartlık ZeRO-3, belleğe yerleşik eğiten tek bir karttan daha yavaş.
  • Sınırlamalar bölümü yeniden yazıldı: v1'in on maddesinden biri kapandı, dördü daha daraldı ve yedi yeni madde eklendi.

Kullandığınız sürüme atıf yapın. 10.5281/zenodo.21771064 kavram DOI'sidir ve her zaman en son sürüme (bugün v3) çözümlenir; v1 ve v2 kendi sürüm DOI'leriyle atıf yapılabilir durumda kalır ve düzenlenmez — yukarıdaki geri çekme, neyi ne zaman iddia ettiğimizin kaydı bozulmadan kalsın diye tam da bu yüzden yeni bir sürümdür.

Makaledeki her sayının arkasındaki ölçüm kayıtları, yazıldığı haliyle benchmarks/ içinde yayımlanmıştır — başarısızlıklar, yanlış çıkan varsayımlar ve ölçülüp sonra atılan sayılar dahil.

@misc{makazhan2026exact,
  title        = {Exact Layer Streaming: LoRA Fine-Tuning of an 8B Model on a 4 GB Laptop GPU},
  author       = {Makazhan, Alpamys},
  year         = {2026},
  publisher    = {Zenodo},
  version      = {v3},
  doi          = {10.5281/zenodo.21918325},
  url          = {https://doi.org/10.5281/zenodo.21918325}
}

Lisans

Apache-2.0. Copyright 2026 Makazhan Alpamys and the Soup contributors. Soup'u veya değiştirilmiş bir kopyasını yeniden dağıtırsanız lisansın 4. ve 6. maddeleri sizin için geçerlidir: her kopyayla birlikte LICENSE ve NOTICE dosyalarını koruyun, değiştirdiğiniz dosyaları işaretleyin ve Soup adını eserin kaynağını belirtmenin ötesinde kullanmayın.