Apple's open-source XNU kernel on Android phones: its own loader and drivers, Metal on the Adreno. Runs from RAM; a reboot gives the phone back to Android.
C
Merge main into air: the README's Metal section rewritten, because this branch made its claim false
vcvkk6134c4bd10c4
diff --cc README.mdindex 6eea63d,373c8a6..ef4eac4--- a/README.md+++ b/README.md@@@ -25,9 -25,9 +25,9 @@@| Работает | Не работает ||---|---|- | Экран блокировки, разблокировка свайпом, домашний экран с полным набором значков (две страницы), стандартные обои iOS 16 | Звук, сотовая сеть, Bluetooth, камера |+ | Экран блокировки, разблокировка свайпом, домашний экран с полным набором значков (две страницы), стандартные обои iOS 16 | Звук, сотовая сеть, Bluetooth || Системные жесты: свайп снизу — «домой» и переключатель приложений, свайп от левого края — «назад», Пункт управления | Без `gpu=1` (программный рендер; в QEMU всегда) часы экрана блокировки просто белые, без «вибрации» под цвет обоев, и верх обоев под ними не затемнён |-| Запуск приложений: Настройки (вглубь), Часы, Календарь, Фото, Заметки и др.; расширения приложений (виджеты «Погода» и «Календарь» на домашнем экране рисуют своё содержимое — на телефоне; в QEMU им не хватает скорости) | Metal (приложения, рисующие через него сами); отрисовка самим Adreno есть, но пока опытная — см. «GPU» |+| Запуск приложений: Настройки (вглубь), Часы, Календарь, Фото, Заметки и др.; расширения приложений (виджеты «Погода» и «Календарь» на домашнем экране рисуют своё содержимое — на телефоне; в QEMU им не хватает скорости) | Metal (приложения, рисующие через него сами; WebGL, видоискатель «Камеры», эффекты снимка) — и не предполагается: см. «Metal'я нет» в разделе «GPU» и `docs/metal.md`. Отрисовка самим Adreno есть, но пока опытная || Сенсорный экран телефона (Goodix GT9916), мультитач, пробуждение касанием | Без `cpus=N` работает одно ядро процессора || Несколько ядер процессора (`cpus=8`: все семь, что не заняты загрузчиком; малые — после больших) | || Кнопки: на телефоне настоящие — питание (боковая кнопка iPhone) и громкость; в QEMU — клавишами | Зарядка под нашим ядром (телефон только разряжается) |@@@ -400,60 -451,137 +451,169 @@@ P3 поверхности кадровпальцев); после паники следующий запуск сам останавливает его и запускает заново. Приложения, использующие Metalсами, от этого ничего не получают.- ### Metal'я нет-- Его и не предполагается: почему — разобрано в `docs/metal.md`. Коротко: граница, которую пришлось бы- реализовать, — это одно имя класса в реестре IOKit (`IOAcceleratorES`) и бандл в- `/System/Library/Extensions` с подклассом приватного `_MTLDevice`, а за ней не драйвер, а компилятор- AIR (промежуточного языка шейдеров Metal), готового читателя которого в мире нет — хотя сам формат- оказался покладистым: это обычный битовый код LLVM, и все 456 модулей системных `.metallib` читает- готовый `llvm-dis` (`tools/metallib.py`, раздел 9 `docs/metal.md`; там же, почему «игры на Metal» —- всё равно нет, а «системный шейдер на нашем GPU» — достижимо). Службу- `IOAcceleratorES` ядро порта как раз публикует — пустую, нарочно, чтобы CoreAnimation не ждал- полминуты и прошёл мимо (`iokit/Kernel/MiniIOMobileFramebuffer.cpp`), — так что- `MTLCreateSystemDefaultDevice()` возвращает `nil` молча, без строки в журнале. Adreno же отдаётся- Mesa отдельно, под именем `RedwoodGPU`.-- Metal загружают 153 библиотеки системы, но пользуются им по-разному. **Чего из-за этого нет:**-- - приложения, которые рисуют через Metal сами (игры и всё на `SceneKit`, `SpriteKit`, `RealityKit`,- `ARKit`) — не получают ничего;- - WebGL и WebGPU в Safari (они идут через ANGLE в Metal); сами страницы рисуются CoreGraphics и- открываются как обычно;- - живой видоискатель приложения «Камера» (`CAMMetalView`, `CAMMetalContext`, `CAMetalLayer`);- - эффекты и фильтры снимка и видео, портретный режим и карта глубины (`CameraEffectsKit`,- `AppleDepth`, `Portrait`);- - разбор снимков в «Фото» — поиск лиц и сцен (`Vision`, `MediaAnalysis`, `Espresso` через MPS);- - часть эффектов экрана блокировки и «постеров» (`WallpaperKit`, `PosterBoard`).-- **Чего это не касается вовсе** (всё это работает и сейчас):-- - весь интерфейс системы — экран блокировки, домашний экран, жесты, Пункт управления, запуск- приложений, прокрутка и анимации: их рисует CoreAnimation своим рендером OpenGL ES (на телефоне с- `gpu=1`, через Adreno и Mesa) или своим программным растеризатором;- - Safari и открытие страниц, текст, шрифты, эмодзи, значки;- - снимки и запись экрана;- - всё, что к графике не относится: касания, кнопки, процессоры, флеш, Wi-Fi, звук.-- Важно, что **половина из «нет» — это «пока», а не «нельзя»**: у CoreImage в iOS 16.5 есть полный- задний конец на OpenGL ES (`CI::GLContext` рядом с `CI::MetalContext`, открытое- `+[CIContext contextWithEAGLContext:]`, шейдеры на GLSL, а не AIR), а у движка CoreML —- процессорный движок (`force_engine_cpu`, 127 процессорных ядер против ни одного металлического в- самом `Espresso`). Порт уже умеет то, чего CoreImage хочет от библиотеки OpenGL ES: точка входа- `texImageIOSurface:…` написана в `src/eagl.c`.-- **И у CoreImage это уже работает.** Вход ровно один: `+[CIContext contextWithOptions:]` падает с- SIGSEGV (и с `nil`, и с `kCIContextUseSoftwareRenderer`) — он идёт в `CI::GLContext::init()`, которому- никто не дал контекста OpenGL ES. А `+[CIContext contextWithEAGLContext:]` с нашим `EAGLContext`- работает: не хватало одного метода, `-sharegroup`, которого в `src/eagl.c` не было, потому что- CoreAnimation о нём не спрашивает. С ним CoreImage создаёт контекст (`backend: OpenGL ES- (CI::GLContext)`, `device: nil`), компилирует ядро фильтра и считает его — на Mesa, без всякого- Metal. Разбор по каждому из шести мест — раздел 7 `docs/metal.md`.-- Что система думает про Metal, печатает `bin/metal_test` (`src/metal_test.m`,- `RC_JOBS=rc.jobs.metal`): службы, которых Metal не находит, GPU, который есть под другим именем,- загрузился бы ли плагин из этого образа, молчаливый `nil`, что при этом отвечает MobileGestalt и- может ли CoreImage прогнать ядро фильтра без Metal.++### Metal: компилятор шейдеров есть, Metal'я ещё нет++++Граница, которую надо перейти, разобрана в `docs/metal.md`: имя класса в реестре IOKit++(`IOAcceleratorES`) и бандл в `/System/Library/Extensions` с подклассом приватного `_MTLDevice`, а за++ними три подсистемы — компилятор шейдеров AIR, граф объектов `_MTLDevice`/`IOGPUMetalDevice`++(53 класса и 1158 методов у `AGXMetalA11`) и ABI ядра для отправки работы.++++**Первая из трёх написана** (`docs/air.md`, ветка `air`): фронтенд AIR→NIR внутри Mesa, рядом с++`src/compiler/spirv`. Прежняя формулировка «готового читателя AIR в мире нет» верна только про++сегодняшний день чужих проектов; здесь он есть. По корпусу из 456 модулей системных `.metallib`:++++| что | сколько из 456 |++| --- | --- |++| читает наш собственный читатель битового кода, побайтово как `llvm-dis` | 456 |++| транслируется в NIR и проходит `nir_validate` | 313 |++| компилируется ir3 в машинный код Adreno | 313 |++| совпадает с LLVM численно и **рисуется** (softpipe) | 255 |++| запущено на самом Adreno | **0** |++++Из 321 точки входа (135 модулей — библиотечные функции `air.visible`, не точки входа) транслируется++313, то есть 97,5 %. Смысл каждой операции `air.*` взят из словаря самого компилятора Apple++(`AGXCompilerCore`, 137 строк-суффиксов), а не угадан — так нашлась и одна ошибка в наших догадках.++++Чего нет: ни одна операция `air.*` не проверена численно, состояние семплера (64-битное слово++Metal'евского `constexpr sampler`) не разобрано, и **на GPU телефона не запускался ни один шейдер** —++драйвер GPU поднимается, но `air_run` до отрисовки пока не доходил. Полная сводка — `docs/air-report.md`.++++**CoreImage при этом уже работает без всякого Metal** (раздел 7 `docs/metal.md`): нужен был один++метод `-sharegroup` в `src/eagl.c`, и `+[CIContext contextWithEAGLContext:]` компилирует и считает++ядро фильтра на Mesa. Что система думает про Metal, печатает `bin/metal_test`++(`RC_JOBS=rc.jobs.metal`).+++ ## Sileo и пакеты++ **На этом порте работает менеджер пакетов** — Sileo 2.5.1 и префикс Procursus с dpkg и apt: приложение+ открывается, показывает витрину репозитория из сети и ставит пакеты.++ `tools/mk-jb.sh` скачивает «rootless»-бутстрап Procursus (`bootstraps/1800/bootstrap-iphoneos-arm64.tar.zst`)+ и `.deb` самого Sileo и собирает из них префикс в `jb/root/var/jb` (124 МБ, в git не попадает, как `fw-*`).+ Rootless — единственное, что здесь подходит: корень — образ APFS только для чтения, а `/private/var` —+ файловая система в памяти, так что весь префикс живёт под `/var/jb`. Дальше `userland/build.sh` кладёт его в+ образ системы как `/jb` (только чтение), а init при каждой загрузке **приращивает** его к `/private/var/jb`:+ каждый каталог делается настоящим, а каждый файл и ссылка становятся символической ссылкой на двойника в `/jb`+ (431 каталог, 6361 ссылка) — так каталоги оказываются записываемыми, а 114 МБ программ и библиотек остаются+ общими и не занимают памяти. То, что dpkg и apt перезаписывают целиком (их базы и настройки — `Library`, `etc`,+ `var`, `tmp`), копируется по-настоящему; `/var/jb/var/mobile` принадлежит mobile (501) со всем, что внутри, —+ Sileo работает от него и держит там свою базу.++ Что пришлось сделать помимо этого:+ - **`PATH`** для запускаемых команд: программы префикса зовут друг друга по имени (`dpkg` → `dpkg-query`).+ - **подготовка бутстрапа один раз за загрузку** — `/var/jb/prep.sh` (его пишет `mk-jb.sh`): `usr/libexec/firmware`+ заводит в базе dpkg пакет `firmware` с версией iOS, от которого зависят все остальные (у Sileo —+ `firmware (>= 11.0)`), плюс `pwd_mkdb` и несколько postinst. Своя `prep_bootstrap.sh` бутстрапа не годится:+ она спрашивает пароль терминала в своём окне и правит `/etc`, который здесь и так новый при каждой загрузке.+ - **сертификаты для apt**: gnutls собран доверять `/var/jb/etc/ssl/certs/cacert.pem` из пакета `ca-certificates`,+ но спрашивает их у системного хранилища, а `trustd` в этом порте уходит в сеть и не получает ответа+ (5687 байт отправлено, 0 принято, перепосылки) — apt говорил `No system certificates available` и обрывал+ рукопожатие. `etc/apt/apt.conf.d/10redwood.conf` указывает ему прямо на файл, и хранилище перестаёт быть нужно.+ - **`libkrw0`, `libdimentio0` и `shshd` выброшены** из бутстрапа (файлы и записи в базе): первые два читают и+ пишут ядро взломанного телефона через плагин, который даёт взлом (`libkrw0-plugin`), а `shshd` ими сохраняет+ подписи; здесь ядро своё, плагина нет ни у кого, а apt с одной неудовлетворённой зависимостью в базе+ отказывается ставить что угодно вообще.+ - **режим каталога в приращённом префиксе**: обход каталогов в `init.c` в конце ставил каталогу режим последней+ его записи (обычно файла, 644), и каталог становился `drw-r--r--` — в такой нельзя войти даже его владельцу.+ Из-за этого apt под своим `_apt` не доходил ни до сертификата, ни до связки ключей, а Sileo (он работает от+ mobile) не находил свои папки. Теперь режим каталога запоминается до обхода.++ И ещё три, без которых Sileo открывается, но ничего не делает:+ - **setuid-помощник**: всё, что Sileo меняет в системе (apt, dpkg, свой каталог индексов), он делает, запуская+ `giveMeRoot` из своего бандла, а тот в пакете лежит как `-rwsr-xr-x root/root`. Распаковка архива обычным+ пользователем бит setuid теряет, и без него Sileo читает репозитории, собирает очередь — и останавливается+ на этом. `mk-jb.sh` возвращает бит (в образе файл принадлежит root, так что он значит ровно то, что написано).+ - **свой каталог индексов**: Sileo зовёт apt с `-oDir::State::lists=sileolists/`, то есть+ `/var/jb/var/lib/apt/sileolists`, которого в бутстрапе нет. Создаёт его init и отдаёт mobile, иначе Sileo+ показывает «The folder … doesn't exist» и видит только установленные пакеты вместо витрины.+ - **`nsurlsessiond`**: фоновые загрузки URLSession выполняет этот демон iOS, а он стоял в `DENY` в+ `userland/mkjobs.py` вместе со службами Apple-аккаунта. Без него загрузка пакета не начинается и не+ обрывается — Sileo вечно показывает «Queued», без единой ошибки.++ И то, без чего Sileo доходил до установки, но не ставил:+ - **`/bin/mv`, `cp`, `rm`, `mkdir`, `chmod`**: всё, что Sileo перекладывает от root (скачанный пакет — в архивы+ apt, индексы — в `lists`), он перекладывает этими программами из `/bin`, а в `/bin` iOS только `df` и `ps`.+ Каждый такой запуск молча не удавался, пакет до архивов apt не доходил, и apt с `--no-download` отвечал+ «Unable to fetch some archives». Теперь это ссылки на программы префикса (`SILEO_BIN` в `build.sh`).+ - **счёт процессов root**: Sileo запускает apt, dpkg и эти пять программ от root через «персону», которой здесь+ нет; ядро давало процессу учётные данные root, но не переносило его в счёте процессов по uid. Пока `/bin/mv`+ не запускался, это не было заметно; когда запустился, счёт root ушёл в ноль на первых десятках программ, и+ ядро паниковало («chgproccnt: lost user», `kern_exec.c`).+ - **страницы `ramfs`**: файлы в памяти лежали в зоне `data.kalloc.16384`, а у всех зон ядра один потолок: запись+ кончалась ENOSPC задолго до собственного предела `ramfs` (так не записывалась база dpkg, и пакета `firmware`+ не было — «Depends: firmware» почти у всех пакетов), а потом исчерпывалась карта зон. Теперь страница файла —+ своя страница `kernel_map`, как у RAM-диска.++ ### Sileo с корнем на флеше++ С корнем на флеше (`FLASHBOOT=1 CRYPTEXES=flash`) префикс лежит в загрузочном томе: `/jb`, после смены корня —+ `/private/preboot/jb`. Его записываемая копия — в отдельной файловой системе в памяти, смонтированной на+ `/private/preboot/jb-rw`, как `procursus`, а `/var/jb` — ссылка туда: как на iPhone с rootless-взломом, где+ `/var/jb` ведёт в `/private/preboot/…/procursus`. Ссылки на пять программ лежат в `jb-bin` загрузочного тома, и+ `init` кладёт этот каталог поверх `/bin` тома iOS объединяющим монтированием (`MNT_UNION`): чего в нём нет+ (`df`, `ps`), находится в `/bin` под ним. В памяти от префикса — 42 МБ сжатого образа.++ Приложений префикса в `/Applications` тома iOS нет, поэтому их регистрирует `uicache`, как при взломе+ (`prep.sh`, в фоне, с повторами: первые полминуты после SpringBoard LaunchServices занят системными+ приложениями). Чтобы это заработало:+ - **настоящий путь**: в приращённом префиксе файлы приложения — ссылки в загрузочный том, и такое приложение+ LaunchServices не берёт; `prep.sh` регистрирует бандл там, где его файлы на самом деле.+ - **номера файлов `ramfs`**: LaunchServices хранит приложение по номеру тома и файла и восстанавливает путь по+ нему, а приложения с тома, который не заявляет постоянных номеров (`VOL_CAP_FMT_PERSISTENTOBJECTIDS`,+ `VOL_CAP_FMT_PATH_FROM_ID`), не регистрирует вовсе, даже не заглянув в файлы. Всё, что пакет ставит в+ `/var/jb/Applications`, было «Unable to register». Теперь `ramfs` находит узел по номеру (`vfs_vget`), отдаёт+ имя каталога по записи в родителе и заявляет обе возможности.+ - **`/var/mobile/tmp`**: у Sileo, зарегистрированного так, нет своего контейнера данных, и временные файлы — а с+ ними каждая загрузка — идут в `$HOME/tmp`, которого в шаблоне `/private/var` iOS нет. Каждая загрузка+ кончалась «No such file or directory». `build.sh` добавляет его в шаблон.++ ```sh+ CRYPTEXES=flash FLASHBOOT=1 GL=1 REST=1 QUIET=1 RC_JOBS=rc.jobs.jb \+ INJECT="$(printf '%s\n' '/redwood/lib/libredwood.dylib backboardd containermanagerd containermanagerd_system' \+ '/redwood/lib/libredwood-sb.dylib SpringBoard' '/redwood/lib/libredwood-media.dylib mediaserverd' \+ '/redwood/lib/libredwood-app.dylib Sileo')" userland/build.sh+ ./xl ramdisk userland/flashboot.apfs+ XL_CMDLINE="root_apfs=ufs_darwin ufs=2 ufs_native=1 bootcpu=7 cpus=8 cpufreq=1 touchscreen=1 gpu=1 adsp=1 sound=4 wifi=1" XL_SECS=1800 ./xl run+ ```++ Проверено на телефоне с корнем на флеше: Sileo появляется на домашнем экране и открывается, обновляет+ источники и ставит пакеты (`2048` — консольная игра, TrollStore Helper — с приложением); приложение TrollStore+ Helper, поставленное `dpkg -i` (`rc.jobs.jbreg`), регистрируется, и его значок появляется рядом с Sileo. С+ образом системы в памяти `tree` ставится из Sileo так же.++ ### Твики++ **Твики работают.** Твик — это библиотека, которую надо подгрузить внутрь чужой программы и дать ей+ заменить там функции и методы. Ни того, ни другого в порте не было, поэтому пакеты с `Depends:+ mobilesubstrate` (а это почти все твики, и `preferenceloader` среди них) даже не ставились.++ - **ElleKit** — современная замена Cydia Substrate — теперь часть префикса (`tools/mk-jb.sh` берёт его с+ собственного сайта: в репозитории apt такого пакета нет, его ставит сам взлом). Библиотеки у него+ «толстые», arm64 и arm64e, и на этом телефоне работает срез arm64. В базе dpkg он объявляет, что+ предоставляет `mobilesubstrate` и `org.coolstar.libhooker`, — это и есть зависимость почти всех твиков;+ а его `libellekit` (он же `libsubstrate`, `libhooker` и `CydiaSubstrate.framework`) — тот самый движок,+ который и выполняет перехват.+ - **Загрузчик наш** (`src/inject_tweaks.c`, `libredwood-tweaks.dylib`): внутри программы он читает+ `/var/jb/usr/lib/TweakInject`, берёт каждый список, чей `Filter` называет эту программу (`Bundles`,+ `Executables`, `Classes`, `Mode`), и открывает лежащий рядом твик, записывая в журнал, что открыл. У+ ElleKit свой такой есть (`ellekit/libinjector.dylib`), но здесь он открывается и молча не грузит ничего,+ не говоря почему; наш виден в журнале.+ - **Как он попадает в программу:** либо его вставляет ядро как единственную библиотеку+ (`etc/inject.conf`, по умолчанию — Настройки), либо его открывает уже вставленная библиотека наша+ (`src/inject_sb.c` для SpringBoard, у которого вставлена своя). Надёжно работает только одна вставленная+ библиотека на программу. Чтобы твики работали ещё в какой-то программе, добавьте её имя в `INJECT`.+ - **В ядре** `exec_inject` теперь склеивает библиотеки всех групп, назвавших программу, в один+ `DYLD_INSERT_LIBRARIES` через `:` (`kern_exec.c`) — иначе программу нельзя было назвать дважды.++ Проверено на телефоне с корнем на флеше: наш твик (`src/tweaks`) открывается в SpringBoard по своему+ `Filter`, перехватывает `-[SBIconView setIcon:]` через `MSHookMessageEx`, и перехват срабатывает;+ `apt-get install preferenceloader` проходит, а его `PreferenceLoader.dylib` открывается внутри Настроек+ (`RC_JOBS=rc.jobs.pl`).++ Проверки: `RC_JOBS=rc.jobs.sileo` — подготовка, `apt-get update`, затем весь путь человека в Sileo до установки+ `tree` и что о нём говорит dpkg; `rc.jobs.jbreg` с `EXTRA=<пакет с приложением>.deb` — `dpkg -i` и регистрация+ его приложения; `rc.jobs.jb` — ничего по сценарию, телефон ваш на `XL_SECS`. Поставленное не переживает+ перезагрузку (как и всё в `/private/var`).## Накопитель телефона (UFS)