Skip to content

Apple's open-source XNU kernel on Android phones: its own loader and drivers, Metal on the Adreno. Runs from RAM; a reboot gives the phone back to Android.

C

Merge main into camera: APFS images, the iOS root and the cryptexes on the flash

vcvkk5be8effd0442
diff --cc README.md
index 9ca2fe6,e7bb542..3f20a96
--- a/README.md
+++ b/README.md
@@@ -31,11 -31,10 +31,12 @@@
| Сенсорный экран телефона (Goodix GT9916), мультитач, пробуждение касанием | Без `cpus=N` работает одно ядро процессора |
| Несколько ядер процессора (`cpus=8`: все семь, что не заняты загрузчиком; малые — после больших) | |
| Кнопки: на телефоне настоящие — питание (боковая кнопка iPhone) и громкость; в QEMU — клавишами | Зарядка под нашим ядром (телефон только разряжается) |
- | Большое ядро на 2,4 ГГц, загрузка до экрана блокировки ~20 с (телефон) | Safari (лежит в отдельном «App cryptex», которого у нас нет) |
+ | Большое ядро на 2,4 ГГц, загрузка до экрана блокировки ~20 с (телефон) | |
+ | Safari: открывает страницы (на телефоне — через его Wi-Fi), его службы — из криптекса App, как на iPhone (см. «Только APFS, как на iPhone») | |
| Снимки экрана и запись экрана с телефона | Сохранение данных: /private/var в памяти, каждая загрузка — «новое устройство» |
| Звук iOS в QEMU (см. ниже; с громкостью; «Сейчас играет» — с оговоркой) | Динамики и микрофоны самого телефона: под нашим ядром они молчат |
+| Камера телефона в самой Camera.app: предпросмотр с задней камеры, ровный и живой (`cam=5`, см. «Камера») | Снимок по кнопке затвора: запрос сходит на нет внутри mediaserverd |
+| Sileo и префикс Procursus — dpkg и apt, установка пакетов из сети (`tools/mk-jb.sh`, см. «Sileo») | |
Это стенд для исследования, а не прошивка: сеанс длится заданное число секунд, потом ядро возвращается в загрузчик
и отдаёт журнал.
@@@ -400,57 -400,609 +402,660 @@@ P3 поверхности кадров
пальцев); после паники следующий запуск сам останавливает его и запускает заново. Приложения, использующие Metal
сами, от этого ничего не получают.
+## Sileo и пакеты
+
+**На этом порте работает менеджер пакетов** — Sileo 2.5.1 и префикс Procursus с dpkg и apt: приложение
+открывается, показывает витрину репозитория из сети и ставит пакеты.
+
+`tools/mk-jb.sh` скачивает «rootless»-бутстрап Procursus (`bootstraps/1800/bootstrap-iphoneos-arm64.tar.zst`)
+и `.deb` самого Sileo и собирает из них префикс в `jb/root/var/jb` (124 МБ, в git не попадает, как `fw-*`).
- Rootless — единственное, что здесь подходит: корень — образ packfs, в который нельзя писать, а `/private/var` —
++Rootless — единственное, что здесь подходит: корень — образ APFS только для чтения, а `/private/var` —
+файловая система в памяти, так что весь префикс живёт под `/var/jb`. Дальше `userland/build.sh` кладёт его в
+образ системы как `/jb` (только чтение), а init при каждой загрузке **приращивает** его к `/private/var/jb`:
+каждый каталог делается настоящим, а каждый файл и ссылка становятся символической ссылкой на двойника в `/jb`
+(431 каталог, 6361 ссылка) — так каталоги оказываются записываемыми, а 114 МБ программ и библиотек остаются
+общими и не занимают памяти. То, что dpkg и apt перезаписывают целиком (их базы и настройки — `Library`, `etc`,
+`var`, `tmp`), копируется по-настоящему; `/var/jb/var/mobile` принадлежит mobile (501) со всем, что внутри, —
+Sileo работает от него и держит там свою базу.
+
+Что пришлось сделать помимо этого:
+- **`PATH`** для запускаемых команд: программы префикса зовут друг друга по имени (`dpkg` → `dpkg-query`).
+- **подготовка бутстрапа один раз за загрузку** — `/var/jb/prep.sh` (его пишет `mk-jb.sh`): `usr/libexec/firmware`
+ заводит в базе dpkg пакет `firmware` с версией iOS, от которого зависят все остальные (у Sileo —
+ `firmware (>= 11.0)`), плюс `pwd_mkdb` и несколько postinst. Своя `prep_bootstrap.sh` бутстрапа не годится:
+ она спрашивает пароль терминала в своём окне и правит `/etc`, который здесь и так новый при каждой загрузке.
+- **сертификаты для apt**: gnutls собран доверять `/var/jb/etc/ssl/certs/cacert.pem` из пакета `ca-certificates`,
+ но спрашивает их у системного хранилища, а `trustd` в этом порте уходит в сеть и не получает ответа
+ (5687 байт отправлено, 0 принято, перепосылки) — apt говорил `No system certificates available` и обрывал
+ рукопожатие. `etc/apt/apt.conf.d/10redwood.conf` указывает ему прямо на файл, и хранилище перестаёт быть нужно.
+- **`libkrw0`, `libdimentio0` и `shshd` выброшены** из бутстрапа (файлы и записи в базе): первые два читают и
+ пишут ядро взломанного телефона через плагин, который даёт взлом (`libkrw0-plugin`), а `shshd` ими сохраняет
+ подписи; здесь ядро своё, плагина нет ни у кого, а apt с одной неудовлетворённой зависимостью в базе
+ отказывается ставить что угодно вообще.
+- **режим каталога в приращённом префиксе**: обход каталогов в `init.c` в конце ставил каталогу режим последней
+ его записи (обычно файла, 644), и каталог становился `drw-r--r--` — в такой нельзя войти даже его владельцу.
+ Из-за этого apt под своим `_apt` не доходил ни до сертификата, ни до связки ключей, а Sileo (он работает от
+ mobile) не находил свои папки. Теперь режим каталога запоминается до обхода.
+
+И ещё три, без которых Sileo открывается, но ничего не делает:
+- **setuid-помощник**: всё, что Sileo меняет в системе (apt, dpkg, свой каталог индексов), он делает, запуская
+ `giveMeRoot` из своего бандла, а тот в пакете лежит как `-rwsr-xr-x root/root`. Распаковка архива обычным
+ пользователем бит setuid теряет, и без него Sileo читает репозитории, собирает очередь — и останавливается
+ на этом. `mk-jb.sh` возвращает бит (в образе файл принадлежит root, так что он значит ровно то, что написано).
+- **свой каталог индексов**: Sileo зовёт apt с `-oDir::State::lists=sileolists/`, то есть
+ `/var/jb/var/lib/apt/sileolists`, которого в бутстрапе нет. Создаёт его init и отдаёт mobile, иначе Sileo
+ показывает «The folder … doesn't exist» и видит только установленные пакеты вместо витрины.
+- **`nsurlsessiond`**: фоновые загрузки URLSession выполняет этот демон iOS, а он стоял в `DENY` в
+ `userland/mkjobs.py` вместе со службами Apple-аккаунта. Без него загрузка пакета не начинается и не
+ обрывается — Sileo вечно показывает «Queued», без единой ошибки.
+
+Проверка: `RC_JOBS=rc.jobs.sileo` — подготовка, версии dpkg и apt, `apt-get update` и установка пакета из сети,
+потом свайп по локскрину и `uiopen sileo://`. Данные не переживают перезагрузку (как и всё в `/private/var`):
+поставленное в префикс после перезапуска ядра придётся ставить снова.
+
+ ## Накопитель телефона (UFS)
+
+ **Ядро читает флеш телефона** — все 112 разделов GPT шести логических единиц UFS, только чтение, до 920 МБ/с
+ запросами по 1 МБ (по 4 КБ — 31 мкс на запрос; см. ниже «Скорость: почтовый ящик»).
+ Своего драйвера UFS в ядре нет, и он не нужен: загрузчик никогда не выходит из UEFI, драйвер Qualcomm
+ (`UFSDxe`) уже поднял контроллер, его PHY, такты и питание и остаётся жить на ядре 0, где загрузчик и так
+ обслуживает ядро порта (батарея). С `ufs=2` загрузчик выкладывает общую страницу (`ufs_shared_pa=`) с таблицей
+ разделов, запросом и ответом и буфер на 4 МБ; ядро пишет запрос — какой раздел, какие блоки, — а ядро 0
+ читает их через `ReadBlocks` этого драйвера (`xnuloader/loader.c`, `block_poll`; ядро —
+ `bsd/dev/redwood_ufs.c`). Каждый раздел — `/dev/ufs_ИМЯ` (блочное) и `/dev/rufs_ИМЯ` (символьное), имя — как в
+ таблице разделов. Нужен `bootcpu=7`: служба живёт в цикле, которым ядро 0 следит за ядром порта, а он есть,
+ только когда ядро порта работает на другом ядре.
+
+ Только чтение — по построению: открытие на запись отказывается, запись, дошедшая до драйвера, отказывается,
+ а в странице просто нет поля, которым можно было бы попросить записать, — загрузчик зовёт `ReadBlocks` и
+ больше ничего. Поля, которые пишет ядро, и поля, которые пишет загрузчик, лежат в разных строках кэша, а в
+ буфер данных ядро 0 само не пишет никогда — поэтому очистка кэша одной стороны не затирает записи другой.
+
+ Проверка — `ufs=1` (только загрузчик) или `ufs=2 ufs_check=1` (и ядро), затем `tools/ufs-survey.py`:
+ - заголовок GPT каждой логической единицы сам себя проверяет (CRC-32 заголовка и таблицы разделов) — у всех
+ шести обе суммы верны: прочитанные байты — те, что на флеше, независимо от версии прошивки;
+ - шестнадцать разделов (`xbl`, `tz`, `hyp`, `abl`, `aop`, `bluetooth`, `dsp`, `modem`, оба слота) ядро
+ прочитало через почтовый ящик — 568 запросов, 586 735 616 байт, 0 ошибок — и их хеши совпали с тем, что
+ загрузчик прочитал сам до старта ядра. С образами из `fw/fw.zip` они **не** совпадают: на телефоне стоит
+ другая версия прошивки (начала разделов при этом верные — ELF у загрузчиков, FAT у `modem` и `bluetooth`).
+
+ Что лежит внутри `super` (8,5 ГБ, где у Android `system`, `vendor`, `product` и прочие логические разделы):
+ с `ufs=1` загрузчик выводит метаданные liblp как есть, `tools/ufs-super.py` проверяет их суммы SHA-256 (все
+ верны) и раскладывает. Телефон живёт на слоте `_b` (Virtual A/B: разделов `_a` в `super` нет вовсе), семь
+ логических разделов занимают 8,42 ГБ, и не покрыто ни одним экстентом **85 МБ** — 12 + 2,6 МБ дырами после
+ прошлого обновления и 70 МБ в хвосте. Своему тому порта места в `super` нет. Вне `super` на флеше свободного
+ места не было тоже: `userdata` доходил до конца единицы 0.
+
+ **Раздел порта — `darwin`, 20 ГиБ, отрезан от конца `userdata`** (тип — контейнер APFS, LUN 0, LBA
+ 25374720..30617594, под Android — `sda34`). `userdata` на этом телефоне — f2fs без шифрования (суперблок лежит на
+ флеше открытым текстом, `ro.crypto.state=unsupported`, в fstab нет `fileencryption`), а его последние ~51 ГиБ не
+ занимал ни один блок, так что ничего переносить не пришлось. Как это сделано, из root-шелла adb под Android, за
+ **один** сеанс — между шагами перезагружаться нельзя: при каждой загрузке `fs_mgr` запускает `resize.f2fs`, и тот
+ растягивает f2fs до размера раздела (сжатую f2fs в старом разделе он так и вернул обратно):
+ 1. `tools/android/f2fs-resize /data БЛОКОВ` — ядро Android само сжимает смонтированную f2fs (`F2FS_IOC_RESIZE_FS`);
+ 2. `tools/userdata-carve.py` по сохранённым копиям таблицы и суперблоку уже сжатой f2fs делает новую таблицу:
+ `userdata` ровно по f2fs, `darwin` — с ближайших 2 МБ до конца; меняются две записи и больше ничего, обе копии
+ таблицы проверяются здесь так же, как их проверит прошивка; записываются `dd` (у каждой копии сначала таблица,
+ потом заголовок) и читаются с флеша обратно.
+
+ После перезагрузки Android поднялся, `/data` — 89,6 ГБ, `resize.f2fs` ничего не тронул, загрузчик через UEFI видит
+ `darwin`, суммы GPT верны. В `darwin` записан корневой контейнер APFS iOS 16.5 (`rootfs.apfs`, 5 628 755 968 байт)
+ — из Android, `adb exec-in 'dd of=/dev/block/sda34 bs=4194304 conv=fsync'`, ~13 МБ/с; SHA-256 прочитанного с флеша
+ обратно (после сброса кешей) совпал с файлом. Резервные копии (обе копии старой таблицы, первые 458 МБ `userdata` — все метаданные
+ f2fs, файлы `/sdcard`) и то, как вернуть таблицу, — в `fw-backup/userdata-shrink/` основной копии репозитория,
+ вне git.
+
+ Загрузчик пишет на флеш с первого коммита проекта ровно одно — свой журнал, в служебный раздел `logdump`
+ (`write_logs`); к этому драйверу это не относится.
+
+ ### Скорость: почтовый ящик
+
+ `ufs=2 ufs_bench=1` (с `bootcpu=7`) читает раздел `darwin` с начала запросами разного размера, каждый размер —
+ по своему участку, и раскладывает запрос на три части: `ReadBlocks` на ядре 0 (по часам самого загрузчика в
+ странице), остальное ожидание ответа и копирование из буфера загрузчика. Микросекунд на запрос:
+
+ | размер | было: МБ/с | ReadBlocks | ожидание сверх | копирование | стало: МБ/с | на запрос | ReadBlocks | копирование |
+ |---|---|---|---|---|---|---|---|---|
+ | 4 КБ | 37 | 27 | 74 | 4 | **129** | 31 | 27 | 1 |
+ | 64 КБ | 275 | 85 | 76 | 74 | **677** | 96 | 88 | 5 |
+ | 1 МБ | 422 | 1213 | 68 | 1198 | **923** | 1134 | 1031 | 100 |
+ | 4 МБ | 365 | 6240 | 423 | 4810 | **831** | 5044 | 4197 | 607 |
+
+ Ни то ни другое не было флешем: ядро 0 смотрело в почтовый ящик раз за проход своего цикла (а в проходе ещё
+ опрос USB и пауза на 20 000 оборотов) — запрос ждал 60–75 мкс, пока его заметят; теперь пауза — это 64 взгляда
+ в ящик. И ядро порта копировало данные из некэшируемого отображения буфера со скоростью 870 МБ/с; теперь буфер
+ отображён кэшируемым, а то, что покрывает ответ, перед копированием выбрасывается из кэша (эта сторона в буфер не
+ пишет, ядро 0 после каждого чтения его чистит). Только чтение — по-прежнему по построению.
+ `kern.redwood.ufs_*` (и строки `ufs: … waiting … of it in ReadBlocks … copying` до и после обхода `apfs_check=6`)
+ говорят, куда ушло время. Остаётся сам `ReadBlocks`: около 25 мкс на запрос плюс около 1 мс на МБ, произвольное
+ чтение 4 КБ — около 110 мкс, и в полёте всегда один запрос (драйвер Qualcomm через `BlockIo`).
+
+ ### Корневой том iOS с флеша
+
+ Весь том за один проход, с `/dev/ufs_darwin` (`bootcpu=7 cpus=7 cpufreq=1 ufs=2 apfs_check=6 apfs_dev=ufs_darwin
+ apfs_mnt=/lib`; теперь — `apfs_mnt=/System/Volumes/iOS`, каталог образа системы): 318 098 записей, 8 285 771 220 байт, сумма `ceb8a53c349a011f` —
+ та же, что на компьютере, ошибок 0. Время по шагам:
+
+ | | обход | МБ/с содержимого |
+ |---|---|---|
+ | сразу после слияния | 83 982 мс | 98,7 |
+ | почтовый ящик: ответ сразу, кэшируемый буфер | 60 167 мс | 137,7 |
+ | 2048 блоков метаданных в кеше вместо 64 | 52 887 мс | 156,7 |
+ | соседние куски сжатых файлов — одним запросом | 46 275 мс | 179,1 |
+ | метаданные по 4 блока за запрос | **44 814 мс** | **184,9** |
+ | то же без хеша проверки (`apfs_hash=0`) | 34 367 мс | 241,1 |
+
+ Из 34,4 с без хеша 24,3 с — `ReadBlocks`: дальше упирается в флеш с одним запросом в полёте. Где запрос дорог
+ (флеш, virtio в QEMU), драйвер читает соседние куски и блоки метаданных вместе; с диска в памяти — нет
+ (`cheap_requests`; иначе один читатель ramdisk терял 8 %).
+
+ **В обычном сеансе том виден пользовательскому пространству:** с `apfs_volume=ufs_darwin` ядро монтирует его
+ только для чтения (и `nosuid,nodev`) на `/System/Volumes/iOS` — сразу после корня и devfs, до launchd
+ (`apfs_volume_at=` — другое место; каталог есть в образе системы). Корнем он не становится.
+
+ ```sh
+ SYSTEM=1 REST=1 RC_JOBS=rc.jobs.ios userland/build.sh
+ ./xl ramdisk userland/system.apfs
+ XL_CMDLINE="touchscreen=1 cpufreq=1 bootcpu=7 cpus=8 ufs=2 apfs_volume=ufs_darwin" XL_SECS=180 ./xl run
+ ```
+
+ iOS доходит до домашнего экрана как обычно, а `rc.jobs.ios` показывает из пространства пользователя:
+ `/dev/ufs_darwin on /System/Volumes/iOS (apfs, local, nodev, nosuid, read-only)` (`/sbin/mount`, `df` — 278 712
+ файлов), листинги `vol_ls ls` (своего `ls` в iOS нет: в `/bin` только `df` и `ps`) корня тома и
+ `/System/Library/CoreServices`, `SystemVersion.plist` целиком (iPhone OS 16.5, 20F66), хеши трёх файлов через
+ `read(2)` и через отображение — совпадают между собой и с компьютером, и все 32 файла `/usr/sbin` (50 096 208
+ байт) обоими способами — каждый размер и хеш как на компьютере, ошибок 0, 208 и 244 МБ/с. Путь отображения —
+ `vnop_pagein`: 227 подкачек, 50 МБ, 146 мс — на телефоне он впервые и отработал.
+
+ ### iOS с корнем на флеше
+
+ С `root_apfs=ufs_darwin` корень системы — сам том iOS на флеше, только для чтения, а в памяти телефона только то,
+ чего на нём нет: образ `flashboot.apfs` — загрузочный том (`stage0`, прошивки звукового процессора, точки
+ монтирования), 21 МБ. Оба криптекса — образы Apple как есть — лежат на флеше, в разделе `darwin` сразу за томом iOS
+ (см. «Криптексы на флеше»). Без `CRYPTEXES=flash` образ несёт их сам, тремя контейнерами подряд (994 МБ), — для
+ телефона, на флеше которого их нет; `init` берёт криптексы из памяти, если они там есть, иначе с флеша.
+
+ ```sh
+ CRYPTEXES=flash FLASHBOOT=1 GL=1 REST=1 RC_JOBS=rc.jobs.flashcheck userland/build.sh
+ ./xl ramdisk userland/flashboot.apfs
+ XL_CMDLINE="root_apfs=ufs_darwin ufs=2 ufs_native=1 bootcpu=7 cpus=8 cpufreq=1 touchscreen=1 gpu=1 adsp=1 sound=4 wifi=1" XL_SECS=180 ./xl run
+ ```
+
+ iOS доходит до того же домашнего экрана, что и с образа в памяти (SpringBoard готов через 6,1–6,3 с против
+ 4,5–4,6 с с образа в памяти; см. «Только APFS, как на iPhone»), и из пространства пользователя видно (`/sbin/mount`):
+
+ ```
+ /dev/ufs_darwin on / (apfs, local, read-only)
+ devfs on /dev (devfs, local, nobrowse)
+ root_device on /private/preboot (apfs, local, read-only)
+ /dev/md1 on /private/preboot/redwood (apfs, local, read-only)
+ /redwood/LaunchDaemons on /System/Library/LaunchDaemons (bindfs, local, nosuid, read-only, nobrowse)
+ /redwood/empty on /System/Library/NanoLaunchDaemons (bindfs, local, nosuid, read-only, nobrowse)
+ /redwood/empty on /System/Library/LaunchAngels (bindfs, local, nosuid, read-only, nobrowse)
+ /redwood/xpc on /System/Library/xpc (bindfs, local, nosuid, read-only, nobrowse)
+ /redwood/hal on /System/Library/Audio/Plug-Ins/HAL (bindfs, local, nosuid, read-only, nobrowse)
+ /fw on /fw (bindfs, local, nosuid, read-only, nobrowse)
+ /dev/ufs_darwin,c=1 on /private/preboot/Cryptexes/OS (apfs, local, read-only)
+ /dev/ufs_darwin,c=2 on /private/preboot/Cryptexes/App (apfs, local, read-only)
+ /private/preboot/redwood on /redwood (bindfs, local, nosuid, read-only, nobrowse)
+ ramfs on /private/var (ramfs, local)
+ ```
+
+ Как это устроено. На том ничего не пишется, поэтому то, что большой образ системы меняет в iOS, ставится вокруг
+ него при загрузке:
+
+ - ядро стартует как всегда, с образа в памяти (`rd=md0` — ровно по этой строке launchd понимает, что задачи
+ загрузки настоящего устройства не нужны: с `rd=md1` он выполнял их все и вставал на `keybag`); `stage0`
+ монтирует маленький образ на `/redwood` и запускает его `init`;
+ - `init` (`flash_root`) монтирует том на `/flash`, кладёт поверх его каталогов (bindfs) наш список заданий
+ launchd, пустые `NanoLaunchDaemons` и `LaunchAngels`, `xpc` без `launchd.plist` и только наш аудиоплагин,
+ даёт `/Applications` 32 приложения, которые iOS ставит при первом запуске, и просит ядро сделать том корнем
+ (`sysctl kern.redwood_switch_root`, внутри — `vfs_switch_root`);
+ - загрузочный том из памяти уезжает в `/private/preboot` тома, а `init` монтирует на его пустые `Cryptexes/OS` и
+ `Cryptexes/App` криптексы — контейнеры 1 и 2 раздела `darwin` (`/dev/ufs_darwin,c=1`, `c=2`) или, если образ в
+ памяти их несёт, его (`/dev/md0,c=1`, `c=2`); туда ведут `/System/Cryptexes/OS` и `App` самого тома, как на
+ iPhone, где их прививает `graftdmg`; кроме корня, ядро принимает общий кеш только
+ оттуда; маленький образ на загрузочном томе привязывается обратно на `/redwood`.
+
+ Для этого в драйвере APFS появились синтетические каталоги (`sysctl kern.apfs_synthetic=ПУТЬ`), как
+ `synthetic.conf` у macOS для запечатанного тома: пустые каталоги для точек монтирования (`/redwood`) или
+ `ПУТЬ=ЦЕЛЬ` — другое имя для каталога того же тома; так приложения из `staged_system_apps` и стоят в
+ `/Applications` (точками монтирования их тот, кто регистрирует системные приложения, пропускал). Ещё:
+ `lookup` APFS находит существующее при любой операции и отказывает (EROFS) только в создании нового имени, —
+ иначе `mkdir` существующего каталога давал EROFS вместо EEXIST, и xpcproxy отказывал всем службам;
+ ioctl отвечает ENOTTY; bindfs доступен процессу 1 без entitlement.
+
+ Проверено: SystemVersion.plist, `usr/lib/dyld`, `usr/sbin/mediaserverd` и все 32 файла `/usr/sbin` прямо с корня —
+ через `read(2)` и через отображение, каждый как на компьютере. Загрузка с образа в памяти работает как раньше.
+
+ **Звук при корне на флеше.** Прошивка звукового процессора и настройки усилителей лежат в `/fw` загрузочного тома
+ `flashboot.apfs`, как в образе системы (ядро читает прошивку, как только есть корень), а `flash_root` привязывает
+ этот `/fw` к синтетическому `/fw` тома до смены корня — для того, что читается после. На телефоне (`root_apfs=ufs_darwin
+ ufs_native=1 adsp=1 sound=4`, `RC_JOBS=rc.jobs.flashsound`): «[ ok ] the firmware on /fw», в записи (`rec_sound`)
+ тон `sound_test` — 3,00 с, 1000 Гц слева и 440 Гц справа, за ним системные звуки, усилители включаются и
+ выключаются вокруг каждого. В том же сеансе — чтение через отображение (подкачка страниц): `/usr/libexec`, 338
+ файлов, 209 950 173 байта, через `read(2)` по 64 КБ — 948 мс (211 МБ/с), через отображение — 1518 мс (132 МБ/с),
+ сумма у обоих `978ed0d4dda1a256`, как на компьютере; за всю загрузку iOS с флеша — 144 499 поисков имён, все по
+ хешу (`vol_ls sysctl kern.apfs_stats`).
+
+ **Несколько запросов к флешу сразу — через UEFI нельзя.** Block I/O 2 у драйвера Qualcomm есть (`ufs_probe=1`
+ загрузчику), и вызовы возвращаются сразу (восемь случайных чтений по 4 КБ — за 160 мкс), но завершаются все
+ восемь только через 61,5 мс против 1,0 мс подряд через Block I/O: асинхронные чтения драйвер доводит по таймеру
+ UEFI, а тот на ядре 0, пока работает ядро порта, и не тикает. Значит, один синхронный запрос за раз; больше —
+ только со своим драйвером контроллера UFS в ядре. Упреждающее чтение в этих рамках проверено и проигрывает: из
+ 154 275 запросов обхода тома 62 310 продолжают предыдущий, но между ними ядру нечего делать, а ненужное упреждение
+ задерживает следующий запрос (обход без хеша 35 132 → 36 172 мс); оно убрано.
+
+ ### Свой драйвер контроллера UFS: свой список запросов на время сеанса
+
+ `ufs_native=1` (`bsd/dev/redwood_ufshc.c`, со стороны загрузчика — `hc_*` в `xnuloader/loader.c`) читает флеш
+ самим ядром, многими запросами сразу, а не по одному через ядро 0. Контроллер остаётся у UEFI: ни сброса, ни
+ старта линка, ни UIC-команд, ни прерываний, агрегации, тактов, питания; список задач управления не трогается,
+ `IS` и `UTRLCNR` только читаются.
+
+ **Почему свой список.** Проба (`ufs_native=2`, ни одной команды): контроллер на `0x1d84000`, UFSHCI 3.0,
+ 32 слота, 64-битные адреса, `IE=0`, без агрегации и автоматического hibern8 — но список UEFI на `0xccf96000`
+ рассчитан на один запрос: дескриптор команды слота 0 лежит на `0xccf96100`, внутри килобайта, что заняли бы
+ остальные 31 («слоты» 8–14 — UPIU команды UEFI, его ответ и таблица PRD прямо в буфер загрузчика, 1–7 и 15–17 —
+ прочие данные драйвера). Поэтому на время сеанса ядро ставит в контроллер свой список:
+
+ - список (32 слота) и дескрипторы команд — в памяти **загрузчика** (`hc_area`, предлагается в его странице,
+ версия 3, вместе с адресом списка UEFI), так что возврат списка UEFI не зависит от памяти ядра; буферы данных —
+ страницы ядра;
+ - переключение — только когда `UTRLDBR == 0`, под замком почтового ящика: `UTRLRSR=0`, `UTRLBA/UTRLBAU` — свой
+ список, `UTRLRSR=1`, всё прочитано обратно и записано в журнал со старым и новым адресом; пока свой список
+ стоит, ядро не просит загрузчик ни о чём;
+ - обратно — в `loader_return` (и при `xl stop`, и при панике): дождаться своих запросов, остановить список,
+ записать адрес UEFI, запустить, прочитать обратно. Загрузчик запоминает адрес UEFI до первого сеанса и
+ проверяет его на каждом пути возврата (ядро вернулось, зависло, не стартовало, перед сбросом), а если там не
+ список UEFI, забирает контроллер сам: говорит ядру ничего больше не слать, ждёт 50 мс, ждёт пустого
+ `UTRLDBR` (1 с), при необходимости `UTRLCLR` на слотах ядра, останавливает список, пишет адрес, запускает,
+ читает обратно. Читать для ядра, писать журнал в `logdump` и опрашивать зарядку он соглашается только при
+ списке UEFI в контроллере.
+
+ **Только чтение по построению.** Команда собирается в своём буфере и попадает в слот, только если её пропускает
+ белый список; затем содержимое слота читается обратно, должно совпасть и снова пройти список — и только тогда
+ звонок, с выключенными прерываниями, после проверки, что в контроллере свой список, он запущен и загрузчик его
+ не забирает. Список проверяет у каждой команды: операцию SCSI (READ(10)/(16), TEST UNIT READY, REQUEST SENSE,
+ INQUIRY, READ CAPACITY — никаких QUERY, задач управления, NOP), направление данных в дескрипторе (от устройства
+ или нет данных — никогда к устройству), флаги UPIU (никогда W), логический блок (никаких W-LUN: REPORT LUNS,
+ BOOT, RPMB, устройство; и только разрешённые сейчас — обычные LUN 0–5, сопоставленные с блоками загрузчика)
+ и совпадение длины чтения. На старте он проверяется на 35 придуманных командах (WRITE(10)/(16),
+ UNMAP, READ с направлением «к устройству», READ с флагом W, все W-LUN, LUN 3, FORMAT, START STOP, SYNCHRONIZE
+ CACHE, WRITE BUFFER, SECURITY PROTOCOL, MODE SELECT, QUERY, задачи управления, NOP — отказ; чтения — проходят).
+ В каждом слоте всегда разрешённая команда (TEST UNIT READY, пока слот не занят чтением). После каждого
+ переключения, до первого чтения, — доказательство: TEST UNIT READY в слоте 0 своего списка должен вернуться в
+ свой список (если бы контроллер не заметил смены, он выполнил бы слот 0 UEFI — а там, как проверяется заранее,
+ тоже чтение: последнее, что загрузчик делает с флешем перед сеансом, — читает обратно записанный журнал).
+
+ **Как проверено (на телефоне, по шагам; после каждого шага — отпечаток флеша `tools/flash-fingerprint.sh`:
+ обзор загрузчика с CRC всех шести GPT, хешами разделов с образами, метаданными `super` и суперблоком userdata,
+ и из Android — концы GPT всех шести LUN, `sgdisk --android-dump`, первый МБ userdata, хеш образа `darwin`, число
+ файлов `/sdcard`; всё одинаково с исходным, кроме трёх новых журналов приложений Android в `/sdcard`):**
+
+ - холостые прогоны (`ufs_native=3`, ни одной команды) дважды: список туда-обратно и снова туда, назад — ядром в
+ конце сеанса и (`ufs_native_leave=1`) самим загрузчиком; пока стоял свой список, загрузчик дважды отказался
+ писать журнал; после — список UEFI, журнал записан и прочитан обратно тем же;
+ - `ufs_native_check=1`: чтения своим драйвером против почтового ящика байт в байт — основные и резервные GPT всех
+ шести LUN (unit k = LUN k по совпадению заголовка GPT), xbl, aop, tz, hyp, modem (469 МБ), bluetooth, abl, dsp
+ в обоих слотах целиком (FNV по длине образа — те же, что считает загрузчик), первые 8 МБ `super`, 32 МБ, 256
+ блоков и 32 невыровненных куска `darwin`: 377 кусков, 1 176 564 110 байт, различий 0, ошибок 0, до 31 запроса
+ в полёте, 61 переключение и 61 доказательство;
+ - плохие концовки посреди чтения тома: `xl stop` (в момент входа в `loader_return` в полёте был один запрос — он
+ дождан) и паника нарочно (`return_panic=1`): список UEFI на месте, журнал в `logdump`; после паники обычный
+ прогон через почтовый ящик (`ufs_bench=1`) — как всегда;
+ - весь том с `/dev/ufs_darwin` (`apfs_check=6`; `apfs_walkers=N` — N потоков обхода с общим стеком каталогов,
+ суммы построчных хешей складываются, так что итог тот же): 318 098 записей, 8 285 771 220 байт, сумма
+ `ceb8a53c349a011f`, ошибок 0 в каждом прогоне;
+
+ | путь | потоков обхода | время | в полёте не больше |
+ |---|---|---|---|
+ | почтовый ящик | 1 | 46 171 мс (раньше 44 814) | 1 |
+ | почтовый ящик | 4 | 40 313 мс | 1 |
+ | свой драйвер | 1 | 42 644 мс | 1 |
+ | свой драйвер | 4 | 22 265 мс | 4 |
+ | свой драйвер | 8 | 23 351 мс | 8 |
+
+ Так было после первого шага: сам по себе драйвер с одним читателем даёт около 8 %, выигрыш — когда запросов
+ много сразу, но 8 потоков не быстрее 4. Почему — ниже;
+ - обычная загрузка с корнем на флеше (`root_apfs=ufs_darwin ufs=2 ufs_native=1 …`, образ — тогда ещё `flashboot.packfs`):
+ домашний экран, `/dev/ufs_darwin on / (apfs, local, read-only)`, 32 файла `/usr/sbin` через `read(2)` и
+ через отображение — сумма `3095b9e298a4df17`, как раньше; своим драйвером 42 690 чтений, 965 МБ, ошибок 0,
+ до 7 в полёте, отказов 0, к загрузчику ни одного запроса;
+ - после всего Android загружается как обычно (`sys.boot_completed=1`, `/data` смонтирован), журнал последнего
+ прогона в `logdump` читается из Android целиком.
+
+ **Восемь быстрее четырёх.** Куда уходило время (по потокам обхода — на процессоре, поиск, чтение, хеш, ожидание
+ каталога; у замка тома — ожидания и удержания по длине; у драйвера — опросы `UTRLDBR`, ожидание слота, сколько в
+ полёте): не драйвер (ожиданий слота 0, замок слотов — 0,1 с) и не раздача каталогов (потоки ждали работу 0,1 с), а
+ единственный замок тома APFS. Его держали 12 с из 22,7 с обхода, и 9,2 с из них — чтение метаданных с устройства
+ под замком; с восемью потоками данные в полёте замедляли и эти чтения (147 → 223 мкс), а все остальные стояли в
+ очереди: ожидание замка 77–105 с на всех, 14–28 тыс. ожиданий дольше 1 мс (до 58 мс). Ещё каждый ждущий флеш крутился
+ на `UTRLDBR` до 5 мс, и восемь потоков занимали все 7 процессоров. Два изменения, по одному, каждое — с суммой
+ `ceb8a53c349a011f` и 0 ошибок:
+
+ 1. ждущий смотрит на свой бит 40 мкс, потом спит; один поток-опросчик будит тех, чьи слоты готовы. Ожиданий замка
+ дольше 1 мс стало вдвое меньше, самое долгое — 10 мс вместо 58, но время то же;
+ 2. блок метаданных, которого нет в кеше, читается **без замка тома** — в свою память, и вставляется, когда замок
+ снова взят (если его не вставил кто-то раньше). Безопасно по построению, а не по разбору всех мест: слот кеша,
+ в который приходит новый блок, получает новую память, а старая уходит в список «отставленных» с номером эпохи
+ и освобождается, только когда не осталось операции, начатой раньше (`apfs_lock`/`apfs_unlock` отмечают начало
+ и конец операций, `apfs_lib` отпускает замок посередине через `apfs_unlock_inner`). Места, которые что-то
+ вычисляли через чтение дерева и рассчитывали, что замок не отпускается, теперь так не делают: состояние
+ сжатого файла собирается в копии и ставится, только если его никто не поставил раньше, опережающее чтение
+ занимает свой буфер до планирования, синтетический каталог проверяется ещё раз, том при монтировании
+ открывается под замком. Сначала проверено на компьютере (`tools/apfs/apfs-tool` из той же библиотеки, замок —
+ pthread mutex, который падает, если его отпускают не взявши): обход образа тома 8 потоками —
+ `ceb8a53c349a011f`; под ThreadSanitizer ни одного сообщения (весь том, только метаданные, и новый `cfrace` —
+ сжатые файлы тома, каждый 8 потоками сразу через одно общее состояние, кеш пустеет каждый круг, 0 расхождений);
+ под AddressSanitizer утечек нет, а прежняя сборка состояния в `cfrace` теряет 120 выделений.
+
+ | потоков обхода | после шага 1, с хешем | после шага 2, с хешем | после шага 2, без хеша |
+ |---|---|---|---|
+ | 1 | 43 484 мс | 43 726 мс | 32 950 мс |
+ | 2 | 29 416 мс | 27 779 мс | 23 155 мс |
+ | 4 | 22 740 мс | 19 452 мс | 18 585 мс |
+ | 8 | 22 673 мс | **18 094 мс** | 17 929 мс |
+ | 16 | — | 18 537 мс | — |
+
+ Ожидание замка тома при 8 потоках — 5 с вместо 77, удержание 3,4 с вместо 12. Дальше упирается в сам флеш: потоки
+ на процессоре 42 с из 145, чтение данных ждёт в среднем 534 мкс (179 при одном потоке), 16 потоков не быстрее 8.
+ Что флеш даёт при N запросах в полёте (`ufs_native_bench=1`, случайные чтения из `darwin`), МБ/с:
+
+ | размер | 1 | 2 | 4 | 8 | 16 | 31 |
+ |---|---|---|---|---|---|---|
+ | 4 КБ | 83 | 140 | 201 | 247 | 261 | 267 |
+ | 32 КБ | 288 | 495 | 739 | 858 | 883 | 862 |
+ | 128 КБ | 511 | 862 | 1021 | 1047 | 1018 | 1027 |
+ | 512 КБ | 786 | 1094 | 1097 | 1094 | 1086 | 1089 |
+
+ Мелкие и средние чтения перестают прибавлять между 8 и 16 в полёте (около 65 тыс. чтений в секунду по 4 КБ),
+ крупные упираются в 1,1 ГБ/с — предел UFS 2.2 по двум линиям — уже при 2–4.
+
+ **Остальное.**
+
+ - `UTRLCNR` (уведомления о завершении) теперь возвращается: при возврате списка — ядром, а после зависания —
+ загрузчиком (ядро пишет в странице, каким он был) — пишутся единицы ровно в те биты, что выставили запросы ядра;
+ читается обратно `1`, как было. `IS` не меняется вовсе.
+ - LUN 1–5 тоже: `ufs_native=1` сопоставляет все блоки (unit k — LUN k, только если заголовок GPT читается обоими
+ путями одинаково), чтения идут в LUN 0–5, только обычные, особые по-прежнему отказываются. Проверено:
+ `ufs_native_check=1` — GPT всех шести, разделы с образами целиком, `super`, `darwin` — 377 кусков,
+ 1 176 564 110 байт, различий 0; `ufs_check=2` (проверка сразу и назад) обычным путём — хеши 16 разделов с
+ образами, в том числе xbl на LUN 1/2, как у загрузчика.
+ - Настоящее зависание: `ufs_native_hang=N` (проверка) — после N чтений поток, только что позвонивший в слот,
+ останавливает все процессоры с выключенными прерываниями. На телефоне при 8 потоках обхода: «slot 2 just rung,
+ doorbell de, 6 reads in flight»; через 50 с загрузчик сказал «THE KERNEL HUNG», нашёл в контроллере список ядра,
+ очистил биты завершения, вернул список UEFI (run 1, doorbell 0) и записал журнал в `logdump`, прочитан обратно
+ тем же; потом `xl` перезапустил телефон.
+ - Отпечаток флеша (`tools/flash-fingerprint.sh`) после каждого шага — тот же, кроме новых файлов самого Android
+ в `/sdcard` (журналы приложений, видео магазина Xiaomi; список файлов теперь тоже сохраняется).
+
+ Загрузчик после каждой записи журнала в `logdump` читает его обратно и пишет в копию для компьютера
+ `log: N bytes written to logdump (0), read back the same (0)`.
+
+ ### Замок тома при обычной загрузке с флеша
+
+ Как мерилось. `kern.apfs_stats` теперь разбирает единственный замок тома APFS: по тому, кто его берёт (функция:
+ взятий, повторных взятий из `apfs_lib`, ожидание и удержание — всего, самое долгое, сколько дольше 1 мс), сколько
+ других ждало в момент взятия, удержания по длине, ожидания по базовому приоритету ждущего, у ожиданий дольше
+ 1 мс — куда ушло время (заблокирован, замок не дают / в очереди, готов к работе без процессора / на процессоре;
+ по таймеру готовности потока и `recount`) и на каком процессоре кончилось, и по процессам — ожидания, вызовы
+ `read(2)` и `pagein`, байты и время в них. Список заданий `userland/rc.jobs.flashlock` делит прогон на три
+ отрезка: загрузка (до 25 с после начала списка — нашего ничего, чтобы не делить старт SpringBoard), следующие
+ 30 с (iOS сама по себе; `vol_ls cpuload 30` смотрит загрузку процессоров) и наши проходы. Счётчики после первого
+ отрезка обнуляются (`vol_ls zero kern.apfs_stats`), результаты копятся в `/private/var/results` (`>>` у `init`) и
+ показываются в конце (`vol_ls cat`): середину журнала ядра вытесняют строки `launchd`.
+
+ ```sh
+ FLASHBOOT=1 GL=1 REST=1 RC_JOBS=rc.jobs.flashlock userland/build.sh
+ ./xl ramdisk userland/flashboot.apfs
+ XL_CMDLINE="root_apfs=ufs_darwin ufs=2 ufs_native=1 bootcpu=7 cpus=8 cpufreq=1 touchscreen=1 gpu=1 adsp=1" XL_SECS=120 ./xl run
+ ```
+
+ Числа этого раздела и следующего сняты ещё с образами packfs, с `battery=1` и без `gpu=1` (программный рендер):
+ сравнивать их между собой можно, с нынешними — нет. Те же замеры с `gpu=1 adsp=1` — в «Только APFS, как на iPhone».
+
+ Прежние «~20 с ожидания за загрузку» — не загрузка: `apfs_mmap_test` обнуляет счётчики перед каждым проходом,
+ и то число было за время после загрузки. Сама загрузка ждёт замок 0,14–0,43 с — в сумме по всем потокам. После
+ загрузки (стартуют виджеты и постеры экрана блокировки: `WeatherWidget` читает 136 МБ через `read(2)`,
+ `CollectionsPoster`, `PosterBoard`…) за 30 с — от 3,7 до 44,6 с в сумме (до изменений — 69 с), и при одном и том
+ же ядре разброс в разы (3,7–20,1 с). Удержания короткие (93–99 % — до 100 мкс, самые долгие — 3,5–24 мс, когда
+ держащего вытесняют), а у ожиданий дольше 1 мс 75–99 % времени — очередь за процессором, не замок: поток,
+ уступивший процессор на замке, потом ждёт его в общей очереди, а окно после загрузки упирается в процессоры (у
+ фоновых потоков такие ожидания доходят до секунд). Поэтому меры — меньше взятий. Пять изменений, по одному,
+ каждое с загрузкой до домашнего экрана и суммами проходов:
+
+ | | взятий за загрузку | из них `read` / `pagein` / `lookup` / `readlink` / `inactive` | взятий за 30 с после | SpringBoard |
+ |---|---|---|---|---|
+ | до | 315 415 | 55 220 / 4 594 / 93 845 / 15 655 / 34 969 | 263 698 | 6,32–6,59 с |
+ | 1. цель ссылки хранится у узла | 301 310 | 55 819 / 4 592 / 93 857 / 19 / 35 469 | 195 333 | 6,06 с |
+ | 2. «имени нет» — в кеш имён, `vnop_lookup` сначала спрашивает его | 268 085 | 55 414 / 4 592 / 62 230 / 19 / 35 283 | 149 912 | 6,32 с |
+ | 3. `inactive` без сжатого состояния — без замка | 251 894 | 56 343 / 4 602 / 62 899 / 19 / 15 283 | 141 645 | 6,13 с |
+ | 4. учёт `read(2)` и `pagein` — без замка | 214 085–216 629 | 26 302 / 2 297 / 62 239 / 19 / 14 926 | 111 575–115 900 | 5,97–6,29 с |
+ | 5. найденный поиском vnode — в кеш имён | 213 935–216 624 | 26 277 / 2 297 / 62 178 / 19 / 15 030 | 113 726–118 674 | 6,18–6,61 с |
+
+ - 1: `readlink` читает цель один раз под замком и дальше без него; 2: пространство имён `namei` отдаёт
+ отрицательные записи файловой системе, так что без `cache_lookup` в `vnop_lookup` их никто не спрашивал (после
+ загрузки 36 тыс. ответов «нет» за 30 с); 3: у большинства файлов отдавать нечего; 4: буферы `read(2)` — со своим
+ спин-замком, счётчики атомарные, замок берётся снова, только если за `uiomove` следует ещё круг, `pagein` не
+ берёт его ради счётчиков; 5: около 700 на загрузку, заметного действия нет — до драйвера доходят поиски,
+ которые делают vnode впервые (25,8 тыс. новых на 6,8 тыс. найденных).
+ - Ожидание замка за 30 с после загрузки по прогонам: до изменений 69 с; с 1–3 — 7,5–44,6 с; с 4 — 3,7 / 20,1 / 5,6 с;
+ с 5 — 5,9 / 15,5 / 13,6 / 9,5 / 14,2 с. Из этого «заблокирован» — 0,04–2,2 с (один раз 5,1), остальное — очередь.
+ - SpringBoard с флеша — 5,97–6,61 с во всех 20 прогонах этой серии, ни одно изменение его заметно не сдвинуло. С
+ образа в памяти тем же ядром и теми же параметрами — 4,45 / 4,47 / 4,49 с. Разница — не замок, а чтения с
+ флеша; кто ждёт их за загрузку: `lsd` — 1 333 мс в 17 734 мелких `read(2)` (50,8 МБ, ~75 мкс на вызов) при 17 мс
+ ожидания замка, `UserEventAgent` — 466 мс в `read(2)` и 254 мс в `pagein`, `launchd` — 458 мс, `nanoregistryd` —
+ 450 мс в `pagein`. Это и есть следующая цель для времени до SpringBoard.
+
+ Проходы после 30 с покоя, во всех 17 прогонах с этим списком одинаково (`/usr/libexec`: 338 файлов, 209 950 173 байта,
+ сумма `978ed0d4dda1a256`; `/usr/sbin`: 32 файла, сумма `3095b9e298a4df17`):
+
+ | | `read(2)`, куски по 64 КБ | через отображение |
+ |---|---|---|
+ | `/usr/sbin` | 188–190 мс (253 МБ/с) | 208–212 мс (228 МБ/с) |
+ | `/usr/libexec`, первый проход | 847–854 мс (235 МБ/с) | 850–877 мс (229–235 МБ/с) |
+ | `/usr/libexec`, второй (тёплый) | 795–802 мс (250 МБ/с) | **302–306 мс (655–663 МБ/с)** |
+
+ Второй проход через отображение берёт страницы из кеша страниц; `read(2)` тогда кешем страниц не пользовался и
+ каждый раз читал с флеша и распаковывал заново — поэтому почти не быстрее. Теперь пользуется — следующий раздел.
+
+ Проверено с последним ядром: домашний экран (снимок с телефона), суммы проходов в каждом прогоне, обход всего тома
+ 8 потоками — 318 098 записей, `ceb8a53c349a011f`, 0 ошибок, 18,1 с (213 547 чтений своим драйвером, ошибок 0);
+ отпечаток флеша после серии тот же, что после прошлой (обзор загрузчика, список файлов `/sdcard`, данные Android).
+
+ Побочное: у медленных ядер (4–6) счётчик простоя (`PROCESSOR_CPU_LOAD_INFO`) идёт примерно в 56 раз быстрее
+ времени, так что их «99 % простоя» ничего не значит — IPI к ним идут (22–30 тыс. за 30 с на каждое), и половина
+ долгих ожиданий кончается на них.
+
+ ### read(2) через кеш страниц
+
+ Раньше `read(2)` шёл мимо кеша страниц: каждое чтение, тёплое или нет, читало файл с флеша и распаковывало заново в
+ буфер драйвера; `lsd` за загрузку делает 17,7 тыс. мелких `read(2)`, и все шли на флеш. Теперь — как decmpfs читает
+ сжатый файл HFS (`decmpfs_read_compressed`): что есть в кеше, копируется оттуда (`cluster_copy_ubc_data`); для
+ остального страницы файла берутся в UPL, ещё не действительные заполняются `apfs_read_file` — тем же, что у
+ `pagein`, — запрошенное копируется (`cluster_copy_upl_data`), и UPL фиксируется: страницы остаются и для
+ следующего `read(2)`, и для отображения того же файла — это те же страницы. Для простых и сжатых файлов одинаково,
+ не меньше 64 КБ с выравниванием (сжатый файл хранится кусками по 64 КБ), а читающему по порядку — вдвое больше
+ вперёд с каждым разом, до 1 МБ. `apfs_ubc_read=0` оставляет старый путь, чтобы сравнивать одним ядром.
+
+ Список `userland/rc.jobs.flashcache`: загрузка, 30 с покоя, потом для `/usr/sbin` и `/usr/libexec` — выбросить
+ страницы из кеша (`apfs_mmap_test drop`: `msync(MS_INVALIDATE)` на общем отображении каждого файла), `read(2)`
+ холодный и тёплый, отображение поверх того, что оставил `read(2)`, снова выбросить, отображение холодное и
+ тёплое, `read(2)` поверх страниц отображения. Каждый проход — со своей суммой (`3095b9e298a4df17`,
+ `978ed0d4dda1a256`), и все они сошлись: страницы, заполненные `read(2)`, верны для отображения, и наоборот.
+ `kern.redwood_memory` — строка ядра о памяти.
+
+ | | старый путь (`apfs_ubc_read=0`) | через кеш страниц |
+ |---|---|---|
+ | SpringBoard готов | 6,29 с (раньше 5,97–6,61 в 20 прогонах) | 5,43 / 5,44 / 5,72 / 5,56 с |
+ | `read(2)` за загрузку, всего | 2 831 мс | 1 036–1 117 мс |
+ | из них `lsd` | 1 343 мс | 716–736 мс |
+ | `read(2)` за 30 с после | 22 261 мс, замок взят 111 тыс. раз | 1 171–1 897 мс, 47–49 тыс. раз |
+ | `/usr/sbin`, `read(2)` холодный / тёплый | 222 / 194 мс | 205–208 / 71 мс |
+ | `/usr/sbin`, отображение холодное / тёплое | 213 / 73 мс | 214–215 / 73 мс |
+ | `/usr/libexec`, `read(2)` холодный / тёплый | 836 / 796 мс | 888–919 / 307–309 мс |
+ | `/usr/libexec`, отображение поверх `read(2)` | 926 мс | 437–761 мс |
+ | `/usr/libexec`, `read(2)` поверх отображения | 1 129 мс | 397–421 мс |
+ | память через 25 с: свободно / файлы / доступно | 1 869 / 986 / 2 856 МБ | 1 607–1 642 / 1 161–1 190 / 2 797–2 808 МБ |
+ | память в конце: свободно / доступно | 278 / 2 029 МБ | 162–187 / 2 024–2 043 МБ |
+
+ Холодный `read(2)` на 6 % медленнее: страницы кеша надо завести (под ядром это 600 мс против 543 у буфера, который
+ не меняется). Холодное отображение `/usr/libexec` в этом порядке проходов — 1,1–1,6 с при обоих путях: свободной
+ памяти к этому месту 0,2–0,5 ГБ, и страницы приходится отбирать. Доступной памяти (свободной и файловой) столько же,
+ кеш её не съедает — файловые страницы отдаются по первому требованию; в QEMU после обхода всех 8,29 ГБ тома через
+ `read(2)` строка памяти вернулась к 1,9 ГБ свободных.
+
+ Проверено: обход всего тома на телефоне — через тот же `read(2)` — 318 098 записей, `ceb8a53c349a011f`, 0 ошибок,
+ 18,0 с; в QEMU тоже; домашний экран; отпечаток флеша после сеанса тот же.
+
+ ### Только APFS, как на iPhone
+
+ Раньше образы порта были в своём формате packfs (`mkpackfs.py`: только чтение, сжатые куски по 64 КБ, целиком в
+ ОЗУ). Теперь packfs нет ни в ядре (`bsd/miscfs/packfs`, его строки в `vfs_conf.c` и `bsd/conf/files`, параметр
+ конфигурации, декодер Zstandard), ни в сборке (`mkpackfs.py`, `tools/mk-zstddec.sh`): каждый образ — контейнер
+ APFS, и все их читает тот же драйвер APFS ядра, что и том iOS на флеше. Раскладка — как у iPhone:
+
+ | | iPhone, iOS 16.5 | порт |
+ |---|---|---|
+ | системный том | System: запечатанный том на флеше | он же из раздела `darwin` (`root_apfs=ufs_darwin`, только чтение) или `system.apfs` в памяти — отобранная часть iOS 16.5 |
+ | криптекс OS (общий кеш dyld) | образ `Cryptex1,SystemOS` на томе Preboot, привит (`graftdmg`) на `/private/preboot/Cryptexes/OS`, куда ведёт `/System/Cryptexes/OS` | образ Apple как есть (2,5 ГБ) — контейнер 1 раздела `darwin` на флеше, на том же месте (или второй контейнер `flashboot.apfs`: пересобранный, 1 ГБ); в `system.apfs` — каталог `/System/Cryptexes/OS` |
+ | криптекс App (службы Safari) | `Cryptex1,AppOS` на `/private/preboot/Cryptexes/App`, куда ведёт `/System/Cryptexes/App` | образ Apple байт в байт (10 МБ) — контейнер 2 раздела `darwin`, на том же месте (или третий контейнер `flashboot.apfs`); в `system.apfs` — каталог `/System/Cryptexes/App` |
+ | Preboot | том Preboot | загрузочный том `flashboot.apfs` (`stage0`, прошивки звукового процессора, точки монтирования), после смены корня — на `/private/preboot` |
+ | Data (`/private/var`) | том Data | ramfs: каждая загрузка — «новое устройство» |
+ | — | — | `root.apfs` на `/redwood`: наш init, программы, библиотеки-вставки, задания launchd, прошивки GPU и Wi-Fi |
+
+ | образ | контейнеров | размер | был packfs |
+ |---|---|---|---|
+ | `root.apfs` | 1 | 13,4 МБ | 31,5 МБ |
+ | `system.apfs` | 1 | 2372 МБ, 62 299 записей, заливается за 77 с | 2170 МБ (Zstandard) или 2689 МБ (LZ4) |
+ | `flashboot.apfs` | 1 (`CRYPTEXES=flash`) или 3 | 21 МБ, заливается за 1 с; с криптексами — 994 МБ, 33 с | 881 МБ, с криптексом OS, без App |
+
+ **Сборка.** `tools/apfs/mkapfs.py -o ОБРАЗ [-z [--plain КАТАЛОГ]] ТОМ=КАТАЛОГ[,manifest=ФАЙЛ] …` пишет контейнер
+ одной транзакцией; раскладка объектов (контрольная точка, менеджер пространства, карта объектов, деревья тома) — как
+ у `mkapfs` из apfsprogs. `-z` — zlib, как Apple сжимает корень: маленький файл целиком в атрибуте
+ `com.apple.decmpfs` (тип 3), остальные кусками по 64 КБ в ресурсной вилке (тип 4) — там, где это экономит блоки;
+ `--plain fw` оставляет прошивки как есть, и драйверы ядра берут их прямо из памяти диска (`bsd/dev/redwood_image.c`;
+ то, что лежит не одним куском, копируется). Манифест (`ios165/system.manifest`) даёт владельцев и права. Хеш имён
+ каталога — CRC-32C по NFD, как у Apple. Жёстких ссылок нет: имя — отдельный файл.
+
+ **Проверка.** Каждый контейнер, который делает сборка (`CHECK=1`), проверяют два читателя, которые не он:
+ `apfsck -cw` из [apfsprogs](https://github.com/linux-apfs/apfsprogs) должен найти его чистым (контрольные суммы,
+ деревья, битовые карты пространства против каждого занятого блока, счётчики ссылок, экстенты), а библиотека APFS
+ ядра, собранная программой для компьютера (`apfs-tool census`), — прочитать каждый том ровно таким, каким был
+ каталог: путь, вид, права, владелец, размер и хеш содержимого каждой записи (`tools/apfs/check-image.sh`). Сейчас:
+ `root.apfs` — 476 записей, `system.apfs` — 62 299, загрузочный том — 45, криптекс OS — 2086, всё чисто и всё на
+ месте. Образы Apple (криптексы OS — в QEMU, App — и на телефоне) читаются ядром как есть: это запечатанные тома — узлы деревьев без
+ заголовка, SHA-256 каждого узла в родителе (ядро сверяет), экстенты в отдельном дереве `fext`, сжатие LZBITMAP
+ (`apfs_zbitmap.c`, libzbitmap); криптекс App библиотека ядра (`apfs-tool`) и 7-Zip с `unzbm` читают одинаково,
+ все 1047 записей.
+
+ **Ядро.**
+
+ - несколько контейнеров подряд на одном устройстве: ядро проходит их по `nx_block_count` × `nx_block_size`
+ суперблока; монтирование — `УСТРОЙСТВО[,c=N][,v=M]` (контейнер и том), корень — `apfs_root_c=`/`apfs_root_v=`;
+ второе монтирование уже открытого устройства (корень с `md0` и криптексы с `md0,c=1`, `c=2`) делит с первым его
+ vnode;
+ - общий кеш dyld ядро принимает (кроме корня) с тома, смонтированного в `/private/preboot/Cryptexes` — там, куда
+ iOS прививает криптекс OS (`bsd/vm/vm_unix.c`);
+ - `bsd/dev/redwood_image.c`: драйверы GPU, звукового процессора и Wi-Fi находят свои прошивки в образах APFS дисков
+ в памяти.
+
+ **Что проверено на телефоне** (`gpu=1 adsp=1`, образ `GL=1`; с корнем на флеше `root_apfs=ufs_darwin ufs=2
+ ufs_native=1`, `rc.jobs.flashcheck`):
+
+ - корень на флеше (прогоны 165449 и 172245 — криптексы в памяти, 175638 и 175933 — на флеше, см. «Криптексы на
+ флеше»): все проверки `init`, том iOS — корень, загрузочный том на `/private/preboot`, оба криптекса на своих
+ местах (`mount` выше); Wi-Fi (`wifi=1`) — адрес по DHCP через 12,4–12,9 с,
+ имя, две страницы по HTTPS (200); звук (`sound=4`) — тон, системные звуки, фанфары; батарея — 100 % от звукового
+ процессора; домашний экран рисует GPU; **Safari открывает example.com**, а его службы `SafariBookmarksSyncAgent`
+ и `com.apple.Safari.History` запускаются из `/System/Cryptexes/App` (раньше этих заданий не было вовсе: их
+ программ не было в системе);
+ - корень в памяти (165856; 172713 — ещё и с `wifi=1 sound=4`): домашний экран, батарея, Wi-Fi, звук, Safari со
+ службами из `/System/Cryptexes/App` — каталога образа системы;
+ - обход всего тома iOS с флеша (170142): 318 098 записей, 8 285 771 220 байт, `ceb8a53c349a011f`, ошибок 0, 17,2 с;
+ - отпечаток флеша после каждого сеанса — тот же, что до (на флеш ничего не пишется).
+
+ Цена — память. Одни и те же сеансы одним ядром (оно ещё знало packfs), образы packfs и APFS (`gpu=1 adsp=1`, без
+ Wi-Fi и звука):
+
+ | | packfs | APFS |
+ |---|---|---|
+ | корень в памяти: SpringBoard готов | 4,61 с | 4,53 с (и 4,50 / 4,59 в других прогонах) |
+ | корень в памяти: доступно памяти | 758–906 МБ | 618–765 МБ |
+ | корень в памяти: wired | 2769–2836 МБ | 3041–3108 МБ |
+ | корень на флеше: SpringBoard готов | 5,85 с | 6,28 с (и 6,52 / 5,89) |
+ | корень на флеше: доступно памяти | 1760–1930 МБ | 1611–1744 МБ |
+ | корень на флеше: wired | 1615–1651 МБ | 1759–1785 МБ |
+
+ Около 200 МБ — сам образ: zlib жмёт хуже Zstandard (2372 МБ против 2170), остальное — кеш метаданных каждого
+ смонтированного контейнера (2048 блоков, 8 МБ). Время до SpringBoard — по одному прогону на образ, а разброс
+ между прогонами доходит до 0,6 с (5,89–6,52 с у APFS с флеша).
+
+ Числа SpringBoard в разделах «Замок тома при обычной загрузке с флеша» и «read(2) через кеш страниц» сняты ещё с
+ `battery=1` и без `gpu=1`: `battery=1` — батарея через UEFI-драйверы загрузчика, и при нём ядро не спрашивает
+ батарею у звукового процессора (`adsp: battmgr: not with battery=1`), так что iOS показывала не тот заряд; без
+ `gpu=1` рисует программный рендер. Все прогоны этого раздела — `gpu=1 adsp=1`.
+
+ Дальше:
+
+ - кеш метаданных поменьше для дисков в памяти — вернуть часть памяти, когда корень в памяти;
+ - префикс Sileo (`/var/jb`) живёт в ветке `camera`; в этой ветке его нет, и с APFS он не проверялся.
+
+ ### Криптексы на флеше
+
+ На iPhone криптексы — файлы-образы на томе Preboot, которые iOS прививает (`graftdmg`) на
+ `/private/preboot/Cryptexes/OS` и `App`. У порта те же образы — байт в байт, их SHA-384 те же, что в BuildManifest
+ IPSW, — лежат в разделе `darwin` сразу за томом iOS, контейнерами подряд, и ядро монтирует их прямо с раздела тем
+ же способом, каким находит второй и третий контейнер образа в памяти (`/dev/ufs_darwin,c=1`, `c=2`). В памяти
+ остаётся только загрузочный том.
+
+ | блоки `darwin` (по 4 КБ) | с байта | что | sha256 |
+ |---|---|---|---|
+ | 0–1 374 207 | 0 | том iOS (`rootfs.apfs`), не тронут | `9f430a58…` |
+ | 1 374 208–2 039 807 | 5 628 755 968 | криптекс OS: `096-04666-078.dmg` (`Cryptex1,SystemOS`), том `SydneyF20F66.D22D221SystemCryptex` | `2279bf44…` |
+ | 2 039 808–2 042 367 | 8 355 053 568 | криптекс App: `096-03536-083.dmg` (`Cryptex1,AppOS`), том `AppCryptex` | `6b9d1f09…` |
+ | 2 042 368–5 242 874 | 8 365 539 328 | нули: контейнера 3 нет, ядро отвечает `EINVAL` | |
+
+ **Как записано.** Только из Android и только `tools/darwin-write.py`. Перед каждой записью он читает с телефона
+ заново и сверяет с константами: GPT логического устройства 0 (CRC заголовка и таблицы, запись 34 «darwin», её GUID
+ типа и уникальный, LBA 25374720..30617594, ничья другая запись не заходит на неё); что `sda` — логическое
+ устройство 0 контроллера UFS; что `/dev/block/by-name/darwin` — `sda34` с теми же номером, именем, началом и
+ размером в sysfs и у `blockdev`. Пишет только `dd` в `/dev/block/by-name/darwin` (имя проверяется ещё раз в той же
+ оболочке прямо перед `dd`), только в блоки внутри `darwin` и после тома iOS, с копии образа на телефоне, чья sha256
+ проверена, и читает записанное обратно. Без `DARWIN_WRITE=yes` не пишет ничего, `plan` показывает, что было бы
+ сделано, `selftest` проверяет отказы (диапазоны, номера, GPT с изменённым полем), каждая попытка — в
+ `logs/darwin-write.log`. Порядок был такой: отпечаток флеша; `check` и `selftest`; четыре запроса за пределы (в том
+ iOS, на блок за концом раздела, нули в суперблок тома, криптекс OS, не помещающийся до конца) — все отказаны до
+ обращения к телефону; пробная запись 1 МБ в середину свободного места, чтение обратно (и после сброса кешей),
+ возврат нулей; оба криптекса (2,5 ГБ за 11,3 с) с чтением обратно; отпечаток флеша. Всё за пределами `darwin` —
+ как было, том iOS — `9f430a58…`. Ядро на флеш по-прежнему не пишет ничего.
+
+ **Что это дало.** Корень на флеше, `gpu=1 adsp=1 sound=4 wifi=1`, `rc.jobs.flashcheck`, тот же `root.apfs`:
+
+ | | криптексы в памяти (`flashboot.apfs`, 994 МБ) | криптексы на флеше (21 МБ) |
+ |---|---|---|
+ | прогоны | 172245, 174603 | 175638, 175933 |
+ | SpringBoard готов | 5,89 / 6,50 с | 6,08 / 6,28 с |
+ | доступно памяти | 1312–1378 МБ | 2239–2310 МБ |
+ | wired | 1855–1899 МБ | 892–959 МБ |
+ | Wi-Fi: адрес по DHCP | 12,2–12,4 с | 11,9–12,2 с |
+
+ Около 930 МБ памяти вернулось системе; время до SpringBoard — в пределах разброса. В обоих случаях одинаково: все
+ проверки `init`, звук (тон, системные звуки), батарея 100 % от звукового процессора, две страницы по HTTPS, Safari
+ открывает example.com, а `SafariBookmarksSyncAgent` и `com.apple.Safari.History` работают из `/System/Cryptexes/App`.
+
+ Обход ядром прямо с флеша (`apfs_check=6 apfs_dev=ufs_darwin[,c=N] apfs_mnt=/flash apfs_walkers=8`), против того же
+ на компьютере (`verify.py sum` для тома iOS, `apfs-tool census` для образов Apple), ошибок 0:
+
+ | | записей | сумма с флеша | на компьютере | время |
+ |---|---|---|---|---|
+ | том iOS (контейнер 0) | 318 098 | `ceb8a53c349a011f` | `ceb8a53c349a011f` | 17,6 с |
+ | криптекс OS (контейнер 1) | 2093 | `25a8c994a06a8b7b` | `25a8c994a06a8b7b` | 10,8 с |
+ | криптекс App (контейнер 2) | 1047 | `df01e45a334513ee` | `df01e45a334513ee` | 0,05 с |
+
+ Отпечаток флеша после всех этих загрузок (обзор загрузчика и сторона Android) — тот же, что до записи.
+
## Снимки экрана
Всё снято с экрана телефона за один сеанс: образ `GL=1 REST=1`, запуск с `gpu=1`, касания подаёт сценарий
@@@ -595,12 -1153,10 +1206,11 @@@ fastboot boot ──► UEFI (Mu-Silici
| `xnu-build.sh`, `xnu-env.sh` | сборка ядра |
| `userland/` | наш init, вставки (`src/inject.c` — backboardd, `src/inject_sb.c` — SpringBoard, `src/inject_media.c` — mediaserverd), звуковое устройство (`src/audio_plugin.c`), тесты, сборка образов |
| `ios165/` | добыча файлов iOS из IPSW и выбор того, что идёт в образ |
- | `mkpackfs.py` | сборщик образов packfs (формат описан в `bsd/miscfs/packfs/packfs.h` ядра) |
| `qemu/` | запуск в QEMU, касания, снимки экрана, разбор стеков |
| `uefi/`, `mkxnuimg.py` | порт UEFI на redwood и упаковка загрузочного образа для `fastboot boot` |
- | `tools/` | `recording.py` (запись экрана → mp4), `sound.py` (запись звука → wav), `update-prebuilt.sh`, `new-workspace.sh` (вторая рабочая копия со своим ядром и QEMU), `mk-zstddec.sh`, `mk-mesa.sh` (Mesa для `GL=1`), `mk-ath11k.sh` (драйвер Wi-Fi для ядра), `mk-jb.sh` (бутстрап Procursus и Sileo, см. «Sileo и пакеты»), `qmi-test/` и `wpa-test/` (проверки на компьютере) |
-| `tools/` | `recording.py` (запись экрана → mp4), `sound.py` (запись звука → wav), `update-prebuilt.sh`, `new-workspace.sh` (вторая рабочая копия со своим ядром и QEMU), `mk-mesa.sh` (Mesa для `GL=1`), `mk-ath11k.sh` (драйвер Wi-Fi для ядра), `apfs/` (APFS на компьютере: чтение — «Чтение APFS», сборка образов `mkapfs.py` и их проверка `check-image.sh` — «Только APFS, как на iPhone»), `darwin-write.py` (запись в раздел `darwin` и только в него — «Криптексы на флеше»), `qmi-test/` и `wpa-test/` (проверки на компьютере) |
++| `tools/` | `recording.py` (запись экрана → mp4), `sound.py` (запись звука → wav), `update-prebuilt.sh`, `new-workspace.sh` (вторая рабочая копия со своим ядром и QEMU), `mk-mesa.sh` (Mesa для `GL=1`), `mk-ath11k.sh` (драйвер Wi-Fi для ядра), `mk-jb.sh` (бутстрап Procursus и Sileo, см. «Sileo и пакеты»), `apfs/` (APFS на компьютере: чтение — «Чтение APFS», сборка образов `mkapfs.py` и их проверка `check-image.sh` — «Только APFS, как на iPhone»), `darwin-write.py` (запись в раздел `darwin` и только в него — «Криптексы на флеше»), `qmi-test/` и `wpa-test/` (проверки на компьютере) |
| `wifi/lx/` | прослойка, на которой драйвер Wi-Fi из Linux собирается для нашего ядра (см. «Драйвер Wi-Fi») |
+| `jb/` | префикс менеджера пакетов: бутстрап Procursus с Sileo (`tools/mk-jb.sh`), в git не попадает |
| `prebuilt/` | собранные ядро, загрузчик, наши программы и куски UEFI |
Скрипты не зависят от того, куда склонирован репозиторий.
diff --cc prebuilt/SHA256SUMS
index 801c5b5,9e789e8..309dbd5
--- a/prebuilt/SHA256SUMS
+++ b/prebuilt/SHA256SUMS
@@@ -1,14 -1,14 +1,14 @@@
- Built 2026-10-17 20:32 from this tree.
-Built 2026-10-18 18:05 from this tree.
++Built 2026-10-18 18:16 from this tree.
- 9d021e94b58c0d2d29a97266fc51d85a03801a60fbf2b925137c6b0891b68821 prebuilt/mach.development.bcm2837
- be79494078fff9c94e2747838388c759cef8318a2ba4d943380245a0744d00ef prebuilt/loader.efi
-a160f7e9b63d4be54622d203dd7805fc38a326055a1d01018e55628edb916b64 prebuilt/mach.development.bcm2837
++c3e7b0a7984edeb272cbcee69c41653563842bc144a6c3809577a4680856b226 prebuilt/mach.development.bcm2837
+ b5e7f750a9cfd497817e8adb5d7bdb259556914e096ae340447c0ba5a5e66356 prebuilt/loader.efi
d2a35a4a1d6658ffb3696914f727661b52c9333de8a3af8a31642b8023ce03ac prebuilt/userland/child
1a413befd511384052e1962c1394adce20f718e1f2657ce63ab09828ebc4bd1b prebuilt/userland/cpu_test
db564073effc31e7ab1679a7ffe0631ec22c3030ad347c927028f3e53c8583c3 prebuilt/userland/hello
a8baa9ab38333280369b0824aafaf92c7aa6a85851ff0b2551a4c711dbe59cfd prebuilt/userland/hello_dyn
- 3c6dbc99774d6c58981e80deaffa2937846fe37dfa5f7458bef525d447cdcbf0 prebuilt/userland/init
-ccd7849541f698e45f828cf9e00792d0bded62fa47583e5968a7b9bcccc2f3e0 prebuilt/userland/init
++49232fcf1e0cb336fca9ebf626329ea5867b8d3f12f8a82a7a48915ccfc74ddf prebuilt/userland/init
e7bfd718aeef8340d3cf087973b2cf2f8c30022336478179a44287cf612ee410 prebuilt/userland/libredwood.dylib
-7ce7cdabeae87985c687bb2b83130f317fa49ee18ca411484896b3540b71e059 prebuilt/userland/libredwood-media.dylib
+740cad8601732d327715ff7babb5233717bd7c0d50787a61c4c72c48170f4f40 prebuilt/userland/libredwood-media.dylib
2e367913df16cb8daee0e9cba7e59ac70b26b25b490376fe2edb7a005eaf4393 prebuilt/userland/libredwood-sb.dylib
07642c790f9a9d12274f11471a33e16cb5d81232052efa37c8069b64f16aa10a prebuilt/userland/mg_test
40a44d0c39a9d768b5acf39b78b36f68bf33aa998cacb429655d54dab6616eae prebuilt/userland/RedwoodAudio
diff --cc prebuilt/mach.development.bcm2837
index c48a6ec,ea247df..ff48deb
Binary files differ
diff --cc prebuilt/userland/init
index 8bcdfe5,0d1a8d2..5fc0de1
Binary files differ
diff --cc userland/src/init.c
index 8fd173b,6482ce3..97a4479
--- a/userland/src/init.c
+++ b/userland/src/init.c
@@@ -789,11 -795,9 +1011,12 @@@ static voi
run_command(char *line)
{
char *argv[64];
- char *envp[] = { "PATH=/bin:/sbin:/usr/bin:/usr/sbin", "HOME=/", "TERM=dumb", NULL };
+ /* /var/jb/... first: a package manager's own programs call one another by name (dpkg, dpkg-query) */
+ char *envp[] = { "PATH=/var/jb/usr/bin:/var/jb/bin:/var/jb/usr/sbin:/var/jb/sbin:/bin:/sbin:/usr/bin:/usr/sbin",
+ "HOME=/var/mobile", "TERM=dumb", NULL };
+ const char *append_to = NULL;
int argc = 0, status = 0, background = 0;
+ struct stat st;
pid_t pid;
for (char *p = line; *p && argc < 63;) {
@@@ -825,21 -848,9 +1067,24 @@@
/* "exec program args": become that program, keeping process number 1 */
if (strcmp(argv[0], "exec") == 0 && argc > 1) {
+ /*
+ * With etc/quiet in our image (build.sh QUIET=1), what this program says on its
+ * standard error is dropped. It is meant for launchd, which says a few thousand lines
+ * about its own business in a couple of minutes and pushes everything else out of the
+ * kernel's log; the daemons it starts keep their own standard error on the console
+ * (mkjobs.py sets it), and so does everything the job runner runs.
+ */
+ if (stat(in_image("/etc/quiet"), &st) == 0) {
+ int null = open("/dev/null", O_WRONLY, 0);
+
+ if (null >= 0) {
+ dup2(null, 2);
+ close(null);
+ }
+ }
+ if (flash_root_mode && strcmp(argv[1], "/sbin/launchd.ios") == 0) {
+ argv[1] = "/sbin/launchd"; /* the root is iOS's own volume: its launchd is that */
+ }
execve(argv[1], argv + 1, envp);
printf("%s: %s\n", argv[1], strerror(errno));
return;