Skip to content

armgit / Edge0

Public Imported from GitHub
0

Run 35B MoE models in ~2.5 GB of RAM. Weights stream from SSD; a trained router predicts loads a step ahead. Mac, iPhone, Android, Windows supported

Python
6.1 KB
Raw Blame

Edge0Phone

English | 中文 | 日本語 | Español | Français

Chat embarqué pour iPhone. L'application peut exécuter Edge0 8B, Edge0 35B, ou les deux, et seul le modèle que vous sélectionnez est chargé. Les poids des modèles ne sont pas dans ce dossier.

Démarrage rapide

Vous avez besoin d'un Mac Apple Silicon, de Xcode et d'un iPhone sous iOS 17 ou ultérieur avec le mode développeur activé. Python 3.10 ou ultérieur n'est nécessaire que pour télécharger les poids et pour convertir le 35B. Si Xcode signale un compilateur Metal manquant, exécutez xcodebuild -downloadComponent MetalToolchain.

Le répertoire Models/ est copié dans l'application au moment de la compilation. Placez-y un modèle avant de compiler si vous voulez que ce bouton soit sélectionnable. Un répertoire Models/ vide compile quand même ; le modèle manquant affiche Not included.

Télécharger un modèle

python3 -m venv .venv-tools
.venv-tools/bin/python -m pip install --upgrade pip huggingface_hub numpy

Le 8B peut être empaqueté tel que téléchargé. Il pèse environ 5 GB, l'application installée a donc à peu près cette taille.

.venv-tools/bin/hf download Edge0/Edge0-8B-A1B-preview \
  --local-dir Models/Edge0-8B-A1B-preview

Le 35B est un changement de disposition, pas une modification des poids. Le checkpoint publié stocke chaque expert sous forme de neuf lectures dispersées dans un fichier de 19 GB. Sur un iPhone, c'est trop lent, donc les outils ci-dessous réécrivent chaque expert en une seule lecture séquentielle et écrivent un fichier par couche. Conservez le téléchargement d'origine hors de Models/. Seul Models/repacked/ doit contenir ce que l'application doit embarquer. Une compilation 35B pèse environ 20 GB.

mkdir -p checkpoints
.venv-tools/bin/hf download Edge0/Edge0-35B-A3B-preview \
  --local-dir checkpoints/Edge0-35B-A3B-preview

SOURCE=checkpoints/Edge0-35B-A3B-preview
OUTPUT=Models/repacked

.venv-tools/bin/python tools/repack_experts.py pack "$SOURCE" "$OUTPUT"
.venv-tools/bin/python tools/repack_experts.py resident "$SOURCE" "$OUTPUT"
.venv-tools/bin/python tools/repack_experts.py verify "$SOURCE" "$OUTPUT"
.venv-tools/bin/python tools/convert_tokenizer.py "$SOURCE" "$OUTPUT/tokenizer.bin"
.venv-tools/bin/python tools/convert_pregate.py \
  "$SOURCE/prerouter_edge0_35b.safetensors" \
  "$OUTPUT/prerouter-stacked.safetensors"
cp "$SOURCE/lora_edge0_35b.safetensors" "$OUTPUT/"

Models/repacked/ doit contenir resident.safetensors, tokenizer.bin, ainsi que experts-L00.bin à experts-L39.bin. Vous pouvez empaqueter l'un ou l'autre modèle, ou les deux.

Checkpoints :

Compilation et installation

com.example.edge0phone dans le projet est un identifiant de bundle fictif. Avant de compiler ou de signer, remplacez-le par un identifiant de bundle unique que vous contrôlez. Dans Xcode, ouvrez Edge0PhoneProbe.xcodeproj, sélectionnez la cible Edge0Phone, puis modifiez Signing & Capabilities → Bundle Identifier. Choisissez votre équipe Apple Developer, connectez l'iPhone et lancez (Run).

Pour définir l'équipe depuis un fichier, copiez Config/Local.xcconfig.example vers Config/Local.xcconfig et renseignez DEVELOPMENT_TEAM.

La même compilation depuis la ligne de commande :

DEVICE_ID=<device id from `xcrun devicectl list devices`>
TEAM_ID=<your Apple Developer Team ID>
BUNDLE_ID=com.yourname.edge0phone # replace with your own unique bundle identifier

xcodebuild -project Edge0PhoneProbe.xcodeproj \
  -scheme Edge0Phone \
  -destination "id=$DEVICE_ID" \
  -derivedDataPath .build-device \
  -allowProvisioningUpdates \
  -skipPackagePluginValidation \
  CODE_SIGN_STYLE=Automatic \
  DEVELOPMENT_TEAM="$TEAM_ID" \
  PRODUCT_BUNDLE_IDENTIFIER="$BUNDLE_ID" \
  build

xcrun devicectl device install app \
  --device "$DEVICE_ID" \
  .build-device/Build/Products/Debug-iphoneos/Edge0Phone.app

Les poids se trouvent à l'intérieur de ce .app. Il n'y a pas de copie séparée vers le téléphone.

Tests

scripts/test.sh compile la bibliothèque MLX Metal avec Xcode, puis exécute les tests unitaires. La première exécution résout le paquet MLX Swift.

scripts/test.sh
EDGE0_TEST_GPU=1 scripts/test.sh

Utiliser l'application

Lancez l'application et choisissez Edge0 8B ou Edge0 35B. Un modèle qui n'était pas dans Models/ au moment de la compilation affiche Not included et ne peut pas être sélectionné. Saisissez une question ou touchez l'une des suggestions. La ligne sous une réponse affiche le nombre de tokens, le temps avant le premier token, le prefill, le decode et la mémoire de pointe. Changer de modèle décharge celui qui est chargé. New chat efface la conversation.

Performances

Modèle Appareil OS Prefill TTFT Decode
8B iPhone 16 Pro iOS 26.6.2 7.2 tok/s 3.6 s 10.9 tok/s
35B iPhone 16 Pro iOS 26.6.2 4.9 tok/s 2.1 s 6.4 tok/s

Détails techniques

L'application est en SwiftUI. Edge0MLX exécute le modèle. Edge0Core lit le checkpoint, le tokenizer et l'index de routage. Les calculs mathématiques passent par MLX Swift sur Metal. La cible de déploiement est iOS 17.

Edge0 8B comporte 24 couches, alternant Kimi Delta Attention et attention latente multi-têtes, Top-8, INT4. Le prefill du prompt exécute une couche entière à la fois, par blocs de 2048 tokens au plus. Le premier token est glouton (greedy). Les tokens suivants utilisent une température de 0,7, top-k 64, top-p 0,95 et une pénalité de répétition de 1,1.

Edge0 35B comporte 40 couches, 256 experts par couche, Top-4. Les poids résidents et les fichiers d'experts par couche sont lus séparément. Le cache de préfixes est stocké dans Application Support, car le bundle de l'application est en lecture seule. Les deux modèles ne sont jamais chargés en même temps.