Skip to content

Apple's open-source XNU kernel on Android phones: its own loader and drivers, Metal on the Adreno. Runs from RAM; a reboot gives the phone back to Android.

C

README: 8 walkers faster than 4 and why, the flash with N in flight, LUN 1-5, the real hang, names by hash, sound off the flash

vcvkkc6eb8e0b375f
diff --git a/README.md b/README.md
index 1c5c80d..10a2bf9 100644
--- a/README.md
+++ b/README.md
@@ -561,6 +561,16 @@ ioctl отвечает ENOTTY; bindfs доступен процессу 1 без
Проверено: SystemVersion.plist, `usr/lib/dyld`, `usr/sbin/mediaserverd` и все 32 файла `/usr/sbin` прямо с корня —
через `read(2)` и через отображение, каждый как на компьютере. Загрузка с образа в памяти работает как раньше.
+**Звук при корне на флеше.** Прошивка звукового процессора и настройки усилителей лежат в `/fw` образа
+`flashboot.packfs`, как в образе системы (ядро читает прошивку, как только есть корень), а `flash_root` привязывает
+этот `/fw` к синтетическому `/fw` тома до смены корня — для того, что читается после. На телефоне (`root_apfs=ufs_darwin
+ufs_native=1 adsp=1 sound=4`, `RC_JOBS=rc.jobs.flashsound`): «[ ok ] the firmware on /fw», в записи (`rec_sound`)
+тон `sound_test` — 3,00 с, 1000 Гц слева и 440 Гц справа, за ним системные звуки, усилители включаются и
+выключаются вокруг каждого. В том же сеансе — чтение через отображение (подкачка страниц): `/usr/libexec`, 338
+файлов, 209 950 173 байта, через `read(2)` по 64 КБ — 948 мс (211 МБ/с), через отображение — 1518 мс (132 МБ/с),
+сумма у обоих `978ed0d4dda1a256`, как на компьютере; за всю загрузку iOS с флеша — 144 499 поисков имён, все по
+хешу (`vol_ls sysctl kern.apfs_stats`).
+
**Несколько запросов к флешу сразу — через UEFI нельзя.** Block I/O 2 у драйвера Qualcomm есть (`ufs_probe=1`
загрузчику), и вызовы возвращаются сразу (восемь случайных чтений по 4 КБ — за 160 мкс), но завершаются все
восемь только через 61,5 мс против 1,0 мс подряд через Block I/O: асинхронные чтения драйвер доводит по таймеру
@@ -602,8 +612,8 @@ UEFI, а тот на ядре 0, пока работает ядро порта,
не забирает. Список проверяет у каждой команды: операцию SCSI (READ(10)/(16), TEST UNIT READY, REQUEST SENSE,
INQUIRY, READ CAPACITY — никаких QUERY, задач управления, NOP), направление данных в дескрипторе (от устройства
или нет данных — никогда к устройству), флаги UPIU (никогда W), логический блок (никаких W-LUN: REPORT LUNS,
-BOOT, RPMB, устройство; и только разрешённые сейчас — LUN 0, где том iOS, остальные только для сравнения в
-`ufs_native_check=1`) и совпадение длины чтения. На старте он проверяется на 35 придуманных командах (WRITE(10)/(16),
+BOOT, RPMB, устройство; и только разрешённые сейчас — обычные LUN 0–5, сопоставленные с блоками загрузчика)
+и совпадение длины чтения. На старте он проверяется на 35 придуманных командах (WRITE(10)/(16),
UNMAP, READ с направлением «к устройству», READ с флагом W, все W-LUN, LUN 3, FORMAT, START STOP, SYNCHRONIZE
CACHE, WRITE BUFFER, SECURITY PROTOCOL, MODE SELECT, QUERY, задачи управления, NOP — отказ; чтения — проходят).
В каждом слоте всегда разрешённая команда (TEST UNIT READY, пока слот не занят чтением). После каждого
@@ -636,15 +646,11 @@ CACHE, WRITE BUFFER, SECURITY PROTOCOL, MODE SELECT, QUERY, задачи упр
| почтовый ящик | 1 | 46 171 мс (раньше 44 814) | 1 |
| почтовый ящик | 4 | 40 313 мс | 1 |
| свой драйвер | 1 | 42 644 мс | 1 |
-| свой драйвер | 4 | **22 265 мс** | 4 |
+| свой драйвер | 4 | 22 265 мс | 4 |
| свой драйвер | 8 | 23 351 мс | 8 |
-| свой драйвер, без хеша проверки | 4 | 21 430 мс | 4 |
- Сам по себе драйвер с одним читателем даёт около 8 % (накладные расходы ядра 0 малы, а запросы APFS идут
- по одному: соседние куски файла он склеивает в один запрос, параллельны только распаковка и чтения разных
- читателей). Выигрыш — когда запросов много сразу: с 4 потоками обхода том читается вдвое быстрее, чем через
- почтовый ящик с теми же 4 потоками (там они всё равно встают в очередь по одному); дальше упирается уже не во
- флеш (8 потоков не быстрее 4, хеш проверки почти ничего не стоит);
+ Так было после первого шага: сам по себе драйвер с одним читателем даёт около 8 %, выигрыш — когда запросов
+ много сразу, но 8 потоков не быстрее 4. Почему — ниже;
- обычная загрузка с корнем на флеше (`root_apfs=ufs_darwin ufs=2 ufs_native=1 …`, образ `flashboot.packfs`):
домашний экран, `/dev/ufs_darwin on / (apfs, local, read-only)`, 32 файла `/usr/sbin` через `read(2)` и
через отображение — сумма `3095b9e298a4df17`, как раньше; своим драйвером 42 690 чтений, 965 МБ, ошибок 0,
@@ -652,15 +658,70 @@ CACHE, WRITE BUFFER, SECURITY PROTOCOL, MODE SELECT, QUERY, задачи упр
- после всего Android загружается как обычно (`sys.boot_completed=1`, `/data` смонтирован), журнал последнего
прогона в `logdump` читается из Android целиком.
-Что меняется в контроллере и не возвращается: биты `UTRLCNR` (уведомления о завершении) слотов, которыми
-пользовалось ядро, остаются выставленными (было `1` — бит слота 0 UEFI, стал `0xff`): по правилам этот регистр
-не пишется; UEFI его не смотрит (его бит 0 стоит всё время), запись журнала и чтение для загрузчика после этого
-идут как обычно, а при перезагрузке XBL инициализирует контроллер заново. `IS` не меняется.
+**Восемь быстрее четырёх.** Куда уходило время (по потокам обхода — на процессоре, поиск, чтение, хеш, ожидание
+каталога; у замка тома — ожидания и удержания по длине; у драйвера — опросы `UTRLDBR`, ожидание слота, сколько в
+полёте): не драйвер (ожиданий слота 0, замок слотов — 0,1 с) и не раздача каталогов (потоки ждали работу 0,1 с), а
+единственный замок тома APFS. Его держали 12 с из 22,7 с обхода, и 9,2 с из них — чтение метаданных с устройства
+под замком; с восемью потоками данные в полёте замедляли и эти чтения (147 → 223 мкс), а все остальные стояли в
+очереди: ожидание замка 77–105 с на всех, 14–28 тыс. ожиданий дольше 1 мс (до 58 мс). Ещё каждый ждущий флеш крутился
+на `UTRLDBR` до 5 мс, и восемь потоков занимали все 7 процессоров. Два изменения, по одному, каждое — с суммой
+`ceb8a53c349a011f` и 0 ошибок:
+
+1. ждущий смотрит на свой бит 40 мкс, потом спит; один поток-опросчик будит тех, чьи слоты готовы. Ожиданий замка
+ дольше 1 мс стало вдвое меньше, самое долгое — 10 мс вместо 58, но время то же;
+2. блок метаданных, которого нет в кеше, читается **без замка тома** — в свою память, и вставляется, когда замок
+ снова взят (если его не вставил кто-то раньше). Безопасно по построению, а не по разбору всех мест: слот кеша,
+ в который приходит новый блок, получает новую память, а старая уходит в список «отставленных» с номером эпохи
+ и освобождается, только когда не осталось операции, начатой раньше (`apfs_lock`/`apfs_unlock` отмечают начало
+ и конец операций, `apfs_lib` отпускает замок посередине через `apfs_unlock_inner`). Места, которые что-то
+ вычисляли через чтение дерева и рассчитывали, что замок не отпускается, теперь так не делают: состояние
+ сжатого файла собирается в копии и ставится, только если его никто не поставил раньше, опережающее чтение
+ занимает свой буфер до планирования, синтетический каталог проверяется ещё раз, том при монтировании
+ открывается под замком. Сначала проверено на компьютере (`tools/apfs/apfs-tool` из той же библиотеки, замок —
+ pthread mutex, который падает, если его отпускают не взявши): обход образа тома 8 потоками —
+ `ceb8a53c349a011f`; под ThreadSanitizer ни одного сообщения (весь том, только метаданные, и новый `cfrace` —
+ сжатые файлы тома, каждый 8 потоками сразу через одно общее состояние, кеш пустеет каждый круг, 0 расхождений);
+ под AddressSanitizer утечек нет, а прежняя сборка состояния в `cfrace` теряет 120 выделений.
+
+| потоков обхода | после шага 1, с хешем | после шага 2, с хешем | после шага 2, без хеша |
+|---|---|---|---|
+| 1 | 43 484 мс | 43 726 мс | 32 950 мс |
+| 2 | 29 416 мс | 27 779 мс | 23 155 мс |
+| 4 | 22 740 мс | 19 452 мс | 18 585 мс |
+| 8 | 22 673 мс | **18 094 мс** | 17 929 мс |
+| 16 | — | 18 537 мс | — |
+
+Ожидание замка тома при 8 потоках — 5 с вместо 77, удержание 3,4 с вместо 12. Дальше упирается в сам флеш: потоки
+на процессоре 42 с из 145, чтение данных ждёт в среднем 534 мкс (179 при одном потоке), 16 потоков не быстрее 8.
+Что флеш даёт при N запросах в полёте (`ufs_native_bench=1`, случайные чтения из `darwin`), МБ/с:
-Чего нет: путь загрузчика при настоящем зависании ядра (`hc_take_back` на `OTHER_CPU_HUNG`) настоящим зависанием
-не проверен — проверен тот же возврат после сеанса (`ufs_native_leave=1`). С `ufs_native=1` своим драйвером
-читаются только разделы LUN 0; остальные, пока стоит свой список, отвечают ошибкой (`kern.redwood.ufs_native=0`
-возвращает список UEFI и почтовый ящик).
+| размер | 1 | 2 | 4 | 8 | 16 | 31 |
+|---|---|---|---|---|---|---|
+| 4 КБ | 83 | 140 | 201 | 247 | 261 | 267 |
+| 32 КБ | 288 | 495 | 739 | 858 | 883 | 862 |
+| 128 КБ | 511 | 862 | 1021 | 1047 | 1018 | 1027 |
+| 512 КБ | 786 | 1094 | 1097 | 1094 | 1086 | 1089 |
+
+Мелкие и средние чтения перестают прибавлять между 8 и 16 в полёте (около 65 тыс. чтений в секунду по 4 КБ),
+крупные упираются в 1,1 ГБ/с — предел UFS 2.2 по двум линиям — уже при 2–4.
+
+**Остальное.**
+
+- `UTRLCNR` (уведомления о завершении) теперь возвращается: при возврате списка — ядром, а после зависания —
+ загрузчиком (ядро пишет в странице, каким он был) — пишутся единицы ровно в те биты, что выставили запросы ядра;
+ читается обратно `1`, как было. `IS` не меняется вовсе.
+- LUN 1–5 тоже: `ufs_native=1` сопоставляет все блоки (unit k — LUN k, только если заголовок GPT читается обоими
+ путями одинаково), чтения идут в LUN 0–5, только обычные, особые по-прежнему отказываются. Проверено:
+ `ufs_native_check=1` — GPT всех шести, разделы с образами целиком, `super`, `darwin` — 377 кусков,
+ 1 176 564 110 байт, различий 0; `ufs_check=2` (проверка сразу и назад) обычным путём — хеши 16 разделов с
+ образами, в том числе xbl на LUN 1/2, как у загрузчика.
+- Настоящее зависание: `ufs_native_hang=N` (проверка) — после N чтений поток, только что позвонивший в слот,
+ останавливает все процессоры с выключенными прерываниями. На телефоне при 8 потоках обхода: «slot 2 just rung,
+ doorbell de, 6 reads in flight»; через 50 с загрузчик сказал «THE KERNEL HUNG», нашёл в контроллере список ядра,
+ очистил биты завершения, вернул список UEFI (run 1, doorbell 0) и записал журнал в `logdump`, прочитан обратно
+ тем же; потом `xl` перезапустил телефон.
+- Отпечаток флеша (`tools/flash-fingerprint.sh`) после каждого шага — тот же, кроме новых файлов самого Android
+ в `/sdcard` (журналы приложений, видео магазина Xiaomi; список файлов теперь тоже сохраняется).
Загрузчик после каждой записи журнала в `logdump` читает его обратно и пишет в копию для компьютера
`log: N bytes written to logdump (0), read back the same (0)`.
@@ -1235,8 +1296,16 @@ cpufreq=1` и нынешним драйвером те же части прох
- **Поиск имени по хешу**: `apfs_lookup` читал каталог с начала до совпадения. На iOS у записи каталога в ключе
22-битный хеш имени, и записи по нему отсортированы; для имени из ASCII это CRC-32C по имени в UTF-32LE от
всех единиц без инверсии в конце — сверено со всеми 317 749 ASCII-именами корневого тома
- (`tools/apfs/test_namehash.py`). Остальные имена (351; их хеш берётся после канонической декомпозиции Unicode)
- и тома без учёта регистра по-прежнему ищутся чтением каталога. Плюс деление пополам внутри узлов B-деревьев
+ (`tools/apfs/test_namehash.py`). Теперь и остальные: хеш любого имени — после канонической декомпозиции Unicode
+ (NFD), на томе без учёта регистра — от канонической формы без регистра, тем же кодом ядра, что у Apple для APFS
+ (`utf8_normalizeOptCaseFoldAndHash`, `bsd/vfs/vfs_unicode.c`, Unicode 9.0), и найденное под хешем сравнивается так
+ же (`utf8_normalizeOptCaseFoldAndCompare`): другая композиция того же имени находит его. Каталог читается, только
+ если имя не хешируется (не UTF-8). Проверено по всем 318 100 записям каталогов тома (`apfs-tool namehash`, 351 —
+ не ASCII): хеш как записанный у всех; `tools/apfs/test_namenorm.py` считает их по-своему (`unicodedata` Python:
+ NFD и NFD-casefold-NFD) — совпадает у всех, и с учётом регистра, и без; 14 018 поисков (`apfs-tool lookupnames`)
+ — каждое не-ASCII имя в NFC, NFD, верхнем, нижнем, перевёрнутом регистре и с «#», и выборка остальных — все как
+ ожидалось, все по хешу. Тома без учёта регистра нет, чтобы сверить с записанными хешами: его хеш сверен с
+ независимым расчётом. Плюс деление пополам внутри узлов B-деревьев
вместо перебора с начала и кеш ответов карты объектов (виртуальный id узла → блок). На компьютере обход всего
тома без содержимого 2,1 → 0,59 с, все 318 098 поисков 762 → 142 мс; на телефоне часть C без содержимого
1972 → 857 мс.