Skip to content

armgit / Edge0

Public Imported from GitHub
0

Run 35B MoE models in ~2.5 GB of RAM. Weights stream from SSD; a trained router predicts loads a step ahead. Mac, iPhone, Android, Windows supported

Python
5.2 KB
Raw Blame

Edge0Phone

English | 中文 | 日本語 | Español | Français

面向 iPhone 的端侧对话 App。可运行 Edge0 8B、Edge0 35B 或两者兼备,且只加载你选中的模型。模型权重不在本目录内。

快速开始

你需要一台 Apple Silicon Mac、Xcode,以及一部开启开发者模式、运行 iOS 17 或更高版本的 iPhone。Python 3.10+ 仅用于下载权重与转换 35B。若 Xcode 提示缺少 Metal 编译器,运行 xcodebuild -downloadComponent MetalToolchain。

Models/ 目录会在构建时拷贝进 App。若希望对应按钮可选,请在构建前把模型放入其中。Models/ 为空也能构建;缺失的模型会显示 Not included。

下载模型

python3 -m venv .venv-tools
.venv-tools/bin/python -m pip install --upgrade pip huggingface_hub numpy

8B 下载后即可直接打包。它约 5 GB,因此安装后的 App 也约为该体积。

.venv-tools/bin/hf download Edge0/Edge0-8B-A1B-preview \
  --local-dir Models/Edge0-8B-A1B-preview

35B 只是布局变化,权重本身不变。发布的 checkpoint 把每个专家存为一个 19 GB 文件中的九次分散读取。这在 iPhone 上太慢,因此下面的工具会把每个专家重写为一次顺序读取,并按层各写一个文件。原始下载请放在 Models/ 之外。App 只应包含 Models/repacked/。35B 构建约 20 GB。

mkdir -p checkpoints
.venv-tools/bin/hf download Edge0/Edge0-35B-A3B-preview \
  --local-dir checkpoints/Edge0-35B-A3B-preview

SOURCE=checkpoints/Edge0-35B-A3B-preview
OUTPUT=Models/repacked

.venv-tools/bin/python tools/repack_experts.py pack "$SOURCE" "$OUTPUT"
.venv-tools/bin/python tools/repack_experts.py resident "$SOURCE" "$OUTPUT"
.venv-tools/bin/python tools/repack_experts.py verify "$SOURCE" "$OUTPUT"
.venv-tools/bin/python tools/convert_tokenizer.py "$SOURCE" "$OUTPUT/tokenizer.bin"
.venv-tools/bin/python tools/convert_pregate.py \
  "$SOURCE/prerouter_edge0_35b.safetensors" \
  "$OUTPUT/prerouter-stacked.safetensors"
cp "$SOURCE/lora_edge0_35b.safetensors" "$OUTPUT/"

Models/repacked/ 必须包含 resident.safetensors、tokenizer.bin 以及 experts-L00.bin 至 experts-L39.bin。可以只打包其中一个模型,也可以两个都打包。

Checkpoint:

构建与安装

项目中的 com.example.edge0phone 是占位 bundle identifier。构建或签名前,请替换为你自己掌控的唯一 bundle identifier。在 Xcode 中打开 Edge0PhoneProbe.xcodeproj,选择 Edge0Phone target,然后修改 Signing & Capabilities → Bundle Identifier。选择你的 Apple Developer Team,连接 iPhone 并运行。

也可以改用文件方式设置 team:把 Config/Local.xcconfig.example 复制为 Config/Local.xcconfig,填入 DEVELOPMENT_TEAM。

命令行执行同样的构建:

DEVICE_ID=<device id from `xcrun devicectl list devices`>
TEAM_ID=<your Apple Developer Team ID>
BUNDLE_ID=com.yourname.edge0phone # replace with your own unique bundle identifier

xcodebuild -project Edge0PhoneProbe.xcodeproj \
  -scheme Edge0Phone \
  -destination "id=$DEVICE_ID" \
  -derivedDataPath .build-device \
  -allowProvisioningUpdates \
  -skipPackagePluginValidation \
  CODE_SIGN_STYLE=Automatic \
  DEVELOPMENT_TEAM="$TEAM_ID" \
  PRODUCT_BUNDLE_IDENTIFIER="$BUNDLE_ID" \
  build

xcrun devicectl device install app \
  --device "$DEVICE_ID" \
  .build-device/Build/Products/Debug-iphoneos/Edge0Phone.app

权重就在该 .app 内部,不会另行拷贝到手机上。

测试

scripts/test.sh 会用 Xcode 构建 MLX Metal 库,然后运行单元测试。首次运行会解析 MLX Swift 包。

scripts/test.sh
EDGE0_TEST_GPU=1 scripts/test.sh

使用 App

启动 App,选择 Edge0 8B 或 Edge0 35B。构建时不在 Models/ 中的模型会显示 Not included 且不可选择。输入问题,或点按一条建议。回复下方一行显示 token 数、首 token 时间、prefill、decode 与峰值内存。切换模型会卸载当前已加载的模型。新对话会清空当前会话。

性能实测

模型 设备 系统 Prefill TTFT 解码
8B iPhone 16 Pro iOS 26.6.2 7.2 tok/s 3.6 s 10.9 tok/s
35B iPhone 16 Pro iOS 26.6.2 4.9 tok/s 2.1 s 6.4 tok/s

技术细节

App 采用 SwiftUI。Edge0MLX 负责运行模型。Edge0Core 读取 checkpoint、tokenizer 与路由索引。数学运算经由 Metal 上的 MLX Swift 完成。部署目标为 iOS 17。

Edge0 8B 为 24 层,Kimi Delta Attention 与多头潜在注意力(multi-head latent attention)交替,Top-8,INT4。Prompt prefill 以整层为单位运行,每块最多 2048 token。首 token 采用贪心解码,后续 token 使用 temperature 0.7、top-k 64、top-p 0.95 与 1.1 的重复惩罚。

Edge0 35B 为 40 层,每层 256 专家,Top-4。常驻权重与各层专家文件分开读取。前缀缓存存放在 Application Support 中,因为 App bundle 是只读的。两个模型绝不会同时加载。