Skip to content

Apple's open-source XNU kernel on Android phones: its own loader and drivers, Metal on the Adreno. Runs from RAM; a reboot gives the phone back to Android.

C

Merge main into air: the README's Metal section rewritten, because this branch made its claim false

vcvkk6134c4bd10c4
diff --cc README.md
index 6eea63d,373c8a6..ef4eac4
--- a/README.md
+++ b/README.md
@@@ -25,9 -25,9 +25,9 @@@
| Работает | Не работает |
|---|---|
- | Экран блокировки, разблокировка свайпом, домашний экран с полным набором значков (две страницы), стандартные обои iOS 16 | Звук, сотовая сеть, Bluetooth, камера |
+ | Экран блокировки, разблокировка свайпом, домашний экран с полным набором значков (две страницы), стандартные обои iOS 16 | Звук, сотовая сеть, Bluetooth |
| Системные жесты: свайп снизу — «домой» и переключатель приложений, свайп от левого края — «назад», Пункт управления | Без `gpu=1` (программный рендер; в QEMU всегда) часы экрана блокировки просто белые, без «вибрации» под цвет обоев, и верх обоев под ними не затемнён |
-| Запуск приложений: Настройки (вглубь), Часы, Календарь, Фото, Заметки и др.; расширения приложений (виджеты «Погода» и «Календарь» на домашнем экране рисуют своё содержимое — на телефоне; в QEMU им не хватает скорости) | Metal (приложения, рисующие через него сами); отрисовка самим Adreno есть, но пока опытная — см. «GPU» |
+| Запуск приложений: Настройки (вглубь), Часы, Календарь, Фото, Заметки и др.; расширения приложений (виджеты «Погода» и «Календарь» на домашнем экране рисуют своё содержимое — на телефоне; в QEMU им не хватает скорости) | Metal (приложения, рисующие через него сами; WebGL, видоискатель «Камеры», эффекты снимка) — и не предполагается: см. «Metal'я нет» в разделе «GPU» и `docs/metal.md`. Отрисовка самим Adreno есть, но пока опытная |
| Сенсорный экран телефона (Goodix GT9916), мультитач, пробуждение касанием | Без `cpus=N` работает одно ядро процессора |
| Несколько ядер процессора (`cpus=8`: все семь, что не заняты загрузчиком; малые — после больших) | |
| Кнопки: на телефоне настоящие — питание (боковая кнопка iPhone) и громкость; в QEMU — клавишами | Зарядка под нашим ядром (телефон только разряжается) |
@@@ -400,60 -451,137 +451,169 @@@ P3 поверхности кадров
пальцев); после паники следующий запуск сам останавливает его и запускает заново. Приложения, использующие Metal
сами, от этого ничего не получают.
- ### Metal'я нет
-
- Его и не предполагается: почему — разобрано в `docs/metal.md`. Коротко: граница, которую пришлось бы
- реализовать, — это одно имя класса в реестре IOKit (`IOAcceleratorES`) и бандл в
- `/System/Library/Extensions` с подклассом приватного `_MTLDevice`, а за ней не драйвер, а компилятор
- AIR (промежуточного языка шейдеров Metal), готового читателя которого в мире нет — хотя сам формат
- оказался покладистым: это обычный битовый код LLVM, и все 456 модулей системных `.metallib` читает
- готовый `llvm-dis` (`tools/metallib.py`, раздел 9 `docs/metal.md`; там же, почему «игры на Metal» —
- всё равно нет, а «системный шейдер на нашем GPU» — достижимо). Службу
- `IOAcceleratorES` ядро порта как раз публикует — пустую, нарочно, чтобы CoreAnimation не ждал
- полминуты и прошёл мимо (`iokit/Kernel/MiniIOMobileFramebuffer.cpp`), — так что
- `MTLCreateSystemDefaultDevice()` возвращает `nil` молча, без строки в журнале. Adreno же отдаётся
- Mesa отдельно, под именем `RedwoodGPU`.
-
- Metal загружают 153 библиотеки системы, но пользуются им по-разному. **Чего из-за этого нет:**
-
- - приложения, которые рисуют через Metal сами (игры и всё на `SceneKit`, `SpriteKit`, `RealityKit`,
- `ARKit`) — не получают ничего;
- - WebGL и WebGPU в Safari (они идут через ANGLE в Metal); сами страницы рисуются CoreGraphics и
- открываются как обычно;
- - живой видоискатель приложения «Камера» (`CAMMetalView`, `CAMMetalContext`, `CAMetalLayer`);
- - эффекты и фильтры снимка и видео, портретный режим и карта глубины (`CameraEffectsKit`,
- `AppleDepth`, `Portrait`);
- - разбор снимков в «Фото» — поиск лиц и сцен (`Vision`, `MediaAnalysis`, `Espresso` через MPS);
- - часть эффектов экрана блокировки и «постеров» (`WallpaperKit`, `PosterBoard`).
-
- **Чего это не касается вовсе** (всё это работает и сейчас):
-
- - весь интерфейс системы — экран блокировки, домашний экран, жесты, Пункт управления, запуск
- приложений, прокрутка и анимации: их рисует CoreAnimation своим рендером OpenGL ES (на телефоне с
- `gpu=1`, через Adreno и Mesa) или своим программным растеризатором;
- - Safari и открытие страниц, текст, шрифты, эмодзи, значки;
- - снимки и запись экрана;
- - всё, что к графике не относится: касания, кнопки, процессоры, флеш, Wi-Fi, звук.
-
- Важно, что **половина из «нет» — это «пока», а не «нельзя»**: у CoreImage в iOS 16.5 есть полный
- задний конец на OpenGL ES (`CI::GLContext` рядом с `CI::MetalContext`, открытое
- `+[CIContext contextWithEAGLContext:]`, шейдеры на GLSL, а не AIR), а у движка CoreML —
- процессорный движок (`force_engine_cpu`, 127 процессорных ядер против ни одного металлического в
- самом `Espresso`). Порт уже умеет то, чего CoreImage хочет от библиотеки OpenGL ES: точка входа
- `texImageIOSurface:…` написана в `src/eagl.c`.
-
- **И у CoreImage это уже работает.** Вход ровно один: `+[CIContext contextWithOptions:]` падает с
- SIGSEGV (и с `nil`, и с `kCIContextUseSoftwareRenderer`) — он идёт в `CI::GLContext::init()`, которому
- никто не дал контекста OpenGL ES. А `+[CIContext contextWithEAGLContext:]` с нашим `EAGLContext`
- работает: не хватало одного метода, `-sharegroup`, которого в `src/eagl.c` не было, потому что
- CoreAnimation о нём не спрашивает. С ним CoreImage создаёт контекст (`backend: OpenGL ES
- (CI::GLContext)`, `device: nil`), компилирует ядро фильтра и считает его — на Mesa, без всякого
- Metal. Разбор по каждому из шести мест — раздел 7 `docs/metal.md`.
-
- Что система думает про Metal, печатает `bin/metal_test` (`src/metal_test.m`,
- `RC_JOBS=rc.jobs.metal`): службы, которых Metal не находит, GPU, который есть под другим именем,
- загрузился бы ли плагин из этого образа, молчаливый `nil`, что при этом отвечает MobileGestalt и
- может ли CoreImage прогнать ядро фильтра без Metal.
++### Metal: компилятор шейдеров есть, Metal'я ещё нет
++
++Граница, которую надо перейти, разобрана в `docs/metal.md`: имя класса в реестре IOKit
++(`IOAcceleratorES`) и бандл в `/System/Library/Extensions` с подклассом приватного `_MTLDevice`, а за
++ними три подсистемы — компилятор шейдеров AIR, граф объектов `_MTLDevice`/`IOGPUMetalDevice`
++(53 класса и 1158 методов у `AGXMetalA11`) и ABI ядра для отправки работы.
++
++**Первая из трёх написана** (`docs/air.md`, ветка `air`): фронтенд AIR→NIR внутри Mesa, рядом с
++`src/compiler/spirv`. Прежняя формулировка «готового читателя AIR в мире нет» верна только про
++сегодняшний день чужих проектов; здесь он есть. По корпусу из 456 модулей системных `.metallib`:
++
++| что | сколько из 456 |
++| --- | --- |
++| читает наш собственный читатель битового кода, побайтово как `llvm-dis` | 456 |
++| транслируется в NIR и проходит `nir_validate` | 313 |
++| компилируется ir3 в машинный код Adreno | 313 |
++| совпадает с LLVM численно и **рисуется** (softpipe) | 255 |
++| запущено на самом Adreno | **0** |
++
++Из 321 точки входа (135 модулей — библиотечные функции `air.visible`, не точки входа) транслируется
++313, то есть 97,5 %. Смысл каждой операции `air.*` взят из словаря самого компилятора Apple
++(`AGXCompilerCore`, 137 строк-суффиксов), а не угадан — так нашлась и одна ошибка в наших догадках.
++
++Чего нет: ни одна операция `air.*` не проверена численно, состояние семплера (64-битное слово
++Metal'евского `constexpr sampler`) не разобрано, и **на GPU телефона не запускался ни один шейдер** —
++драйвер GPU поднимается, но `air_run` до отрисовки пока не доходил. Полная сводка — `docs/air-report.md`.
++
++**CoreImage при этом уже работает без всякого Metal** (раздел 7 `docs/metal.md`): нужен был один
++метод `-sharegroup` в `src/eagl.c`, и `+[CIContext contextWithEAGLContext:]` компилирует и считает
++ядро фильтра на Mesa. Что система думает про Metal, печатает `bin/metal_test`
++(`RC_JOBS=rc.jobs.metal`).
++
+ ## Sileo и пакеты
+
+ **На этом порте работает менеджер пакетов** — Sileo 2.5.1 и префикс Procursus с dpkg и apt: приложение
+ открывается, показывает витрину репозитория из сети и ставит пакеты.
+
+ `tools/mk-jb.sh` скачивает «rootless»-бутстрап Procursus (`bootstraps/1800/bootstrap-iphoneos-arm64.tar.zst`)
+ и `.deb` самого Sileo и собирает из них префикс в `jb/root/var/jb` (124 МБ, в git не попадает, как `fw-*`).
+ Rootless — единственное, что здесь подходит: корень — образ APFS только для чтения, а `/private/var` —
+ файловая система в памяти, так что весь префикс живёт под `/var/jb`. Дальше `userland/build.sh` кладёт его в
+ образ системы как `/jb` (только чтение), а init при каждой загрузке **приращивает** его к `/private/var/jb`:
+ каждый каталог делается настоящим, а каждый файл и ссылка становятся символической ссылкой на двойника в `/jb`
+ (431 каталог, 6361 ссылка) — так каталоги оказываются записываемыми, а 114 МБ программ и библиотек остаются
+ общими и не занимают памяти. То, что dpkg и apt перезаписывают целиком (их базы и настройки — `Library`, `etc`,
+ `var`, `tmp`), копируется по-настоящему; `/var/jb/var/mobile` принадлежит mobile (501) со всем, что внутри, —
+ Sileo работает от него и держит там свою базу.
+
+ Что пришлось сделать помимо этого:
+ - **`PATH`** для запускаемых команд: программы префикса зовут друг друга по имени (`dpkg` → `dpkg-query`).
+ - **подготовка бутстрапа один раз за загрузку** — `/var/jb/prep.sh` (его пишет `mk-jb.sh`): `usr/libexec/firmware`
+ заводит в базе dpkg пакет `firmware` с версией iOS, от которого зависят все остальные (у Sileo —
+ `firmware (>= 11.0)`), плюс `pwd_mkdb` и несколько postinst. Своя `prep_bootstrap.sh` бутстрапа не годится:
+ она спрашивает пароль терминала в своём окне и правит `/etc`, который здесь и так новый при каждой загрузке.
+ - **сертификаты для apt**: gnutls собран доверять `/var/jb/etc/ssl/certs/cacert.pem` из пакета `ca-certificates`,
+ но спрашивает их у системного хранилища, а `trustd` в этом порте уходит в сеть и не получает ответа
+ (5687 байт отправлено, 0 принято, перепосылки) — apt говорил `No system certificates available` и обрывал
+ рукопожатие. `etc/apt/apt.conf.d/10redwood.conf` указывает ему прямо на файл, и хранилище перестаёт быть нужно.
+ - **`libkrw0`, `libdimentio0` и `shshd` выброшены** из бутстрапа (файлы и записи в базе): первые два читают и
+ пишут ядро взломанного телефона через плагин, который даёт взлом (`libkrw0-plugin`), а `shshd` ими сохраняет
+ подписи; здесь ядро своё, плагина нет ни у кого, а apt с одной неудовлетворённой зависимостью в базе
+ отказывается ставить что угодно вообще.
+ - **режим каталога в приращённом префиксе**: обход каталогов в `init.c` в конце ставил каталогу режим последней
+ его записи (обычно файла, 644), и каталог становился `drw-r--r--` — в такой нельзя войти даже его владельцу.
+ Из-за этого apt под своим `_apt` не доходил ни до сертификата, ни до связки ключей, а Sileo (он работает от
+ mobile) не находил свои папки. Теперь режим каталога запоминается до обхода.
+
+ И ещё три, без которых Sileo открывается, но ничего не делает:
+ - **setuid-помощник**: всё, что Sileo меняет в системе (apt, dpkg, свой каталог индексов), он делает, запуская
+ `giveMeRoot` из своего бандла, а тот в пакете лежит как `-rwsr-xr-x root/root`. Распаковка архива обычным
+ пользователем бит setuid теряет, и без него Sileo читает репозитории, собирает очередь — и останавливается
+ на этом. `mk-jb.sh` возвращает бит (в образе файл принадлежит root, так что он значит ровно то, что написано).
+ - **свой каталог индексов**: Sileo зовёт apt с `-oDir::State::lists=sileolists/`, то есть
+ `/var/jb/var/lib/apt/sileolists`, которого в бутстрапе нет. Создаёт его init и отдаёт mobile, иначе Sileo
+ показывает «The folder … doesn't exist» и видит только установленные пакеты вместо витрины.
+ - **`nsurlsessiond`**: фоновые загрузки URLSession выполняет этот демон iOS, а он стоял в `DENY` в
+ `userland/mkjobs.py` вместе со службами Apple-аккаунта. Без него загрузка пакета не начинается и не
+ обрывается — Sileo вечно показывает «Queued», без единой ошибки.
+
+ И то, без чего Sileo доходил до установки, но не ставил:
+ - **`/bin/mv`, `cp`, `rm`, `mkdir`, `chmod`**: всё, что Sileo перекладывает от root (скачанный пакет — в архивы
+ apt, индексы — в `lists`), он перекладывает этими программами из `/bin`, а в `/bin` iOS только `df` и `ps`.
+ Каждый такой запуск молча не удавался, пакет до архивов apt не доходил, и apt с `--no-download` отвечал
+ «Unable to fetch some archives». Теперь это ссылки на программы префикса (`SILEO_BIN` в `build.sh`).
+ - **счёт процессов root**: Sileo запускает apt, dpkg и эти пять программ от root через «персону», которой здесь
+ нет; ядро давало процессу учётные данные root, но не переносило его в счёте процессов по uid. Пока `/bin/mv`
+ не запускался, это не было заметно; когда запустился, счёт root ушёл в ноль на первых десятках программ, и
+ ядро паниковало («chgproccnt: lost user», `kern_exec.c`).
+ - **страницы `ramfs`**: файлы в памяти лежали в зоне `data.kalloc.16384`, а у всех зон ядра один потолок: запись
+ кончалась ENOSPC задолго до собственного предела `ramfs` (так не записывалась база dpkg, и пакета `firmware`
+ не было — «Depends: firmware» почти у всех пакетов), а потом исчерпывалась карта зон. Теперь страница файла —
+ своя страница `kernel_map`, как у RAM-диска.
+
+ ### Sileo с корнем на флеше
+
+ С корнем на флеше (`FLASHBOOT=1 CRYPTEXES=flash`) префикс лежит в загрузочном томе: `/jb`, после смены корня —
+ `/private/preboot/jb`. Его записываемая копия — в отдельной файловой системе в памяти, смонтированной на
+ `/private/preboot/jb-rw`, как `procursus`, а `/var/jb` — ссылка туда: как на iPhone с rootless-взломом, где
+ `/var/jb` ведёт в `/private/preboot/…/procursus`. Ссылки на пять программ лежат в `jb-bin` загрузочного тома, и
+ `init` кладёт этот каталог поверх `/bin` тома iOS объединяющим монтированием (`MNT_UNION`): чего в нём нет
+ (`df`, `ps`), находится в `/bin` под ним. В памяти от префикса — 42 МБ сжатого образа.
+
+ Приложений префикса в `/Applications` тома iOS нет, поэтому их регистрирует `uicache`, как при взломе
+ (`prep.sh`, в фоне, с повторами: первые полминуты после SpringBoard LaunchServices занят системными
+ приложениями). Чтобы это заработало:
+ - **настоящий путь**: в приращённом префиксе файлы приложения — ссылки в загрузочный том, и такое приложение
+ LaunchServices не берёт; `prep.sh` регистрирует бандл там, где его файлы на самом деле.
+ - **номера файлов `ramfs`**: LaunchServices хранит приложение по номеру тома и файла и восстанавливает путь по
+ нему, а приложения с тома, который не заявляет постоянных номеров (`VOL_CAP_FMT_PERSISTENTOBJECTIDS`,
+ `VOL_CAP_FMT_PATH_FROM_ID`), не регистрирует вовсе, даже не заглянув в файлы. Всё, что пакет ставит в
+ `/var/jb/Applications`, было «Unable to register». Теперь `ramfs` находит узел по номеру (`vfs_vget`), отдаёт
+ имя каталога по записи в родителе и заявляет обе возможности.
+ - **`/var/mobile/tmp`**: у Sileo, зарегистрированного так, нет своего контейнера данных, и временные файлы — а с
+ ними каждая загрузка — идут в `$HOME/tmp`, которого в шаблоне `/private/var` iOS нет. Каждая загрузка
+ кончалась «No such file or directory». `build.sh` добавляет его в шаблон.
+
+ ```sh
+ CRYPTEXES=flash FLASHBOOT=1 GL=1 REST=1 QUIET=1 RC_JOBS=rc.jobs.jb \
+ INJECT="$(printf '%s\n' '/redwood/lib/libredwood.dylib backboardd containermanagerd containermanagerd_system' \
+ '/redwood/lib/libredwood-sb.dylib SpringBoard' '/redwood/lib/libredwood-media.dylib mediaserverd' \
+ '/redwood/lib/libredwood-app.dylib Sileo')" userland/build.sh
+ ./xl ramdisk userland/flashboot.apfs
+ XL_CMDLINE="root_apfs=ufs_darwin ufs=2 ufs_native=1 bootcpu=7 cpus=8 cpufreq=1 touchscreen=1 gpu=1 adsp=1 sound=4 wifi=1" XL_SECS=1800 ./xl run
+ ```
+
+ Проверено на телефоне с корнем на флеше: Sileo появляется на домашнем экране и открывается, обновляет
+ источники и ставит пакеты (`2048` — консольная игра, TrollStore Helper — с приложением); приложение TrollStore
+ Helper, поставленное `dpkg -i` (`rc.jobs.jbreg`), регистрируется, и его значок появляется рядом с Sileo. С
+ образом системы в памяти `tree` ставится из Sileo так же.
+
+ ### Твики
+
+ **Твики работают.** Твик — это библиотека, которую надо подгрузить внутрь чужой программы и дать ей
+ заменить там функции и методы. Ни того, ни другого в порте не было, поэтому пакеты с `Depends:
+ mobilesubstrate` (а это почти все твики, и `preferenceloader` среди них) даже не ставились.
+
+ - **ElleKit** — современная замена Cydia Substrate — теперь часть префикса (`tools/mk-jb.sh` берёт его с
+ собственного сайта: в репозитории apt такого пакета нет, его ставит сам взлом). Библиотеки у него
+ «толстые», arm64 и arm64e, и на этом телефоне работает срез arm64. В базе dpkg он объявляет, что
+ предоставляет `mobilesubstrate` и `org.coolstar.libhooker`, — это и есть зависимость почти всех твиков;
+ а его `libellekit` (он же `libsubstrate`, `libhooker` и `CydiaSubstrate.framework`) — тот самый движок,
+ который и выполняет перехват.
+ - **Загрузчик наш** (`src/inject_tweaks.c`, `libredwood-tweaks.dylib`): внутри программы он читает
+ `/var/jb/usr/lib/TweakInject`, берёт каждый список, чей `Filter` называет эту программу (`Bundles`,
+ `Executables`, `Classes`, `Mode`), и открывает лежащий рядом твик, записывая в журнал, что открыл. У
+ ElleKit свой такой есть (`ellekit/libinjector.dylib`), но здесь он открывается и молча не грузит ничего,
+ не говоря почему; наш виден в журнале.
+ - **Как он попадает в программу:** либо его вставляет ядро как единственную библиотеку
+ (`etc/inject.conf`, по умолчанию — Настройки), либо его открывает уже вставленная библиотека наша
+ (`src/inject_sb.c` для SpringBoard, у которого вставлена своя). Надёжно работает только одна вставленная
+ библиотека на программу. Чтобы твики работали ещё в какой-то программе, добавьте её имя в `INJECT`.
+ - **В ядре** `exec_inject` теперь склеивает библиотеки всех групп, назвавших программу, в один
+ `DYLD_INSERT_LIBRARIES` через `:` (`kern_exec.c`) — иначе программу нельзя было назвать дважды.
+
+ Проверено на телефоне с корнем на флеше: наш твик (`src/tweaks`) открывается в SpringBoard по своему
+ `Filter`, перехватывает `-[SBIconView setIcon:]` через `MSHookMessageEx`, и перехват срабатывает;
+ `apt-get install preferenceloader` проходит, а его `PreferenceLoader.dylib` открывается внутри Настроек
+ (`RC_JOBS=rc.jobs.pl`).
+
+ Проверки: `RC_JOBS=rc.jobs.sileo` — подготовка, `apt-get update`, затем весь путь человека в Sileo до установки
+ `tree` и что о нём говорит dpkg; `rc.jobs.jbreg` с `EXTRA=<пакет с приложением>.deb` — `dpkg -i` и регистрация
+ его приложения; `rc.jobs.jb` — ничего по сценарию, телефон ваш на `XL_SECS`. Поставленное не переживает
+ перезагрузку (как и всё в `/private/var`).
## Накопитель телефона (UFS)