Skip to content

Apple's open-source XNU kernel on Android phones: its own loader and drivers, Metal on the Adreno. Runs from RAM; a reboot gives the phone back to Android.

C

README: запись в APFS — чего стоит транзакция, что сделано и чем это проверено

vcvkk0e2cc8a94233
diff --git a/README.md b/README.md
index e7bb542..61c416e 100644
--- a/README.md
+++ b/README.md
@@ -1155,7 +1155,7 @@ fastboot boot ──► UEFI (Mu-Silicium, redwood) ──► xnuloader (EFI-п
| `ios165/` | добыча файлов iOS из IPSW и выбор того, что идёт в образ |
| `qemu/` | запуск в QEMU, касания, снимки экрана, разбор стеков |
| `uefi/`, `mkxnuimg.py` | порт UEFI на redwood и упаковка загрузочного образа для `fastboot boot` |
-| `tools/` | `recording.py` (запись экрана → mp4), `sound.py` (запись звука → wav), `update-prebuilt.sh`, `new-workspace.sh` (вторая рабочая копия со своим ядром и QEMU), `mk-mesa.sh` (Mesa для `GL=1`), `mk-ath11k.sh` (драйвер Wi-Fi для ядра), `apfs/` (APFS на компьютере: чтение — «Чтение APFS», сборка образов `mkapfs.py` и их проверка `check-image.sh` — «Только APFS, как на iPhone»), `darwin-write.py` (запись в раздел `darwin` и только в него — «Криптексы на флеше»), `qmi-test/` и `wpa-test/` (проверки на компьютере) |
+| `tools/` | `recording.py` (запись экрана → mp4), `sound.py` (запись звука → wav), `update-prebuilt.sh`, `new-workspace.sh` (вторая рабочая копия со своим ядром и QEMU), `mk-mesa.sh` (Mesa для `GL=1`), `mk-ath11k.sh` (драйвер Wi-Fi для ядра), `apfs/` (APFS на компьютере: чтение — «Чтение APFS», запись — «Запись в APFS», сборка образов `mkapfs.py` и их проверка `check-image.sh` — «Только APFS, как на iPhone»), `darwin-write.py` (запись в раздел `darwin` и только в него — «Криптексы на флеше»), `qmi-test/` и `wpa-test/` (проверки на компьютере) |
| `wifi/lx/` | прослойка, на которой драйвер Wi-Fi из Linux собирается для нашего ядра (см. «Драйвер Wi-Fi») |
| `prebuilt/` | собранные ядро, загрузчик, наши программы и куски UEFI |
@@ -1220,6 +1220,8 @@ mac80211 из Linux стоит наша станция (`wifi/lx/src/lx_80211.c`
| `apfs.py` | контейнер → контрольная точка → карта объектов → том → B-деревья → inode, каталоги, экстенты, расширенные атрибуты, дырки, сжатие `decmpfs`. Fletcher-64 проверяется у каждого прочитанного блока метаданных. Команды: `info`, `ls`, `tree`, `cat`, `stat`, `census` |
| `verify.py` | сверка с чужим читателем: тот же образ при распаковке читал 7-Zip, и от него остались `ios165/rootfs.slt` (список всего тома) и `ios165/rootfs/` (распакованные файлы) |
| `run-tests.sh` | всё, что проверяется на компьютере, одной командой |
+| `write-tests.sh` | то же для записи: 62 проверки apfs_write.c против apfsck, apfs.py, 7-Zip и списка изменившихся блоков — «Запись в APFS» |
+| `txn-probe.py` | настоящая транзакция APFS на образе `mkapfs.py`: одна запись изменена и зафиксирована новой контрольной точкой — «Запись в APFS» |
Распаковать раздел и проверить (образ нужен целиком, около 5,3 ГБ, в git он не кладётся):
@@ -1618,6 +1620,173 @@ cpufreq=1` и нынешним драйвером те же части прох
читателях — +19 % и +15 %;
- имена не из ASCII и тома без учёта регистра ищутся по-старому, чтением каталога.
+## Запись в APFS
+
+Драйвер APFS читает и не пишет, и из этого растёт остальное: `/private/var` — файловая система в памяти
+(`bsd/miscfs/ramfs`), которую каждая загрузка создаёт заново пустой, а чтобы хоть что-то пережило перезагрузку,
+дерево приходится паковать в архив и класть в раздел `darwin` мимо всякой файловой системы (ветка `persist`,
+`userland/src/var_store.c`). Если APFS научится писать, не нужно ни то ни другое, а у iOS появится том данных,
+которого она и ждёт. Здесь — первый шаг к этому и честная мера того, сколько до остального.
+
+### Чего стоит транзакция
+
+APFS никогда не перезаписывает уже опубликованную структуру. Изменение — это транзакция: свежие копии всего от
+изменённой записи до суперблока контейнера, в свободном месте, и один блок, который делает их все живыми сразу.
+Для одной записи одного файла, снизу вверх:
+
+| что нужно обновить | в заголовке драйвера |
+|---|---|
+| блоки данных файла | ни в одном дереве |
+| лист дерева файловой системы и каждый узел над ним до корня | `apfs_btree_node_phys`, виртуальные объекты |
+| по записи на каждый новый узел в карте объектов тома, ключ — (объект, транзакция); сама карта — дерево из физических узлов, значит и её путь до корня | `apfs_omap_phys`, `apfs_omap_key`, `apfs_omap_val` |
+| дерево ссылок на экстенты — если набор физических экстентов изменился | `apfs_j_phys_ext_val` |
+| новая копия суперблока тома и запись о ней в карте объектов контейнера | `apfs_superblock` |
+| менеджер пространства, на каждый выделенный и освобождённый блок: битовые карты чанков во внутреннем пуле, блоки сведений о чанках с их счётчиками свободного, итоги в самом менеджере и две очереди освобождения, которые держат освобождённые блоки, пока их может хотеть более старая контрольная точка | тип `APFS_OBJECT_TYPE_SPACEMAN` |
+| эфемерные объекты (менеджер пространства, reaper, очереди) — копиями в кольцо данных контрольной точки, и карта контрольной точки в кольцо описателей, которая говорит, куда каждый из них лёг | `apfs_checkpoint_map_phys` |
+| суперблок контейнера — последним, в следующий блок кольца описателей, с `nx_next_xid` на единицу больше и суммой Флетчера поверх всего | `apfs_nx_superblock` |
+
+Последний шаг и есть фиксация — только потому, что `apfs_nx_open` перебирает всё кольцо описателей и берёт
+суперблок с самым большим номером транзакции, чья контрольная сумма сходится, молча проходя мимо всего
+остального (`apfs_lib.c`). Пока новый суперблок не лёг целиком, живёт прежняя контрольная точка и ничего из
+предыдущих шагов недостижимо; как только лёг — живо всё сразу. Это и вся защита APFS от пропадания питания, и
+она дешёвая — но лишь если все предыдущие шаги легли в блоки, которых прежняя контрольная точка не занимает, а
+за это отвечает менеджер пространства.
+
+Что читатель уже понимает: заголовок объекта и его сумму Флетчера; кольцо описателей и выбор живого суперблока
+из него; обе карты объектов (только поиск по (объект, транзакция)); узлы B-дерева всех форм, что встречаются у
+томов; записи дерева файловой системы — иноды, записи каталогов, атрибуты, потоки данных, экстенты; отдельное
+дерево экстентов запечатанного тома; дыры; содержимое сжатых файлов.
+
+Чего он не моделирует вовсе — даже определением структуры: менеджер пространства и каждую его часть (битовые
+карты чанков, блоки сведений о чанках, внутренний пул и его кольцо копий битовой карты, очереди освобождения) —
+слово встречается в `apfs_format.h` дважды, оба раза как константа типа объекта; кольцо данных контрольной
+точки; саму карту контрольной точки (в заголовке так и написано: нужна только менеджеру пространства, и путь
+чтения её пропускает); дерево метаданных снимков; дерево ссылок на экстенты; метаданные целостности и хеши
+файлов запечатанного тома. И никакого понятия о «грязном» объекте, о выделении блока, о транзакции: ничто в
+`apfs_lib.c` не держит блок, чтобы записать его позже.
+
+Значит, самое малое изменение одной записи метаданных требует менеджера пространства, колец контрольной точки и
+транзакции — то есть почти всего записываемого APFS. Это и есть настоящая цена, и поэтому первый шаг сделан в
+другом месте.
+
+### Содержимое файла поверх себя самого
+
+`bsd/miscfs/apfs/apfs_write.c` заменяет байты внутри уже существующего файла, не меняя ни его длины, ни его
+экстентов, ни какой бы то ни было другой структуры. Из таблицы выше не происходит ничего, кроме первой строки:
+пишутся только блоки, про которые экстенты самого файла и дерево ссылок на экстенты вместе говорят, что это
+содержимое именно этого одного файла.
+
+Поэтому это безопасно при пропадании питания — и не потому, что атомарно: все структуры контейнера остаются
+точно такими, какими были, том монтируется, каждое дерево и каждая сумма сходятся, любой другой файл побайтово
+тот же. Единственное, что может остаться, — смесь старого и нового содержимого того файла, который писали; это
+потеря, которую вызывающая сторона в состоянии заметить и обработать, как `var_store.c` уже делает со своими
+сырыми блоками: два слота и сумма, записанная последней. Блоки идут по возрастанию смещения, и каждый читается
+обратно и сравнивается до того, как пойдёт следующий, — так что тот, кто кладёт свою сумму в последние байты,
+узнает, доехала ли она.
+
+Отказывается — и всё это читается с самого тома до первого записанного байта:
+
+- устройство не умеет писать (`dev.write` = NULL, как при каждом монтировании этого драйвера);
+- том запечатан, имеет снимки или метаданные целостности (у запечатанного есть хеш содержимого каждого файла,
+ а мы его не обновляем);
+- у тома нет дерева ссылок на экстенты — тогда ничто не может сказать, что блоки ни с кем не разделены;
+- это не обычный файл, или у него нет потока данных, или он сжат (его байты лежат в атрибуте или в ветви
+ ресурсов, а размер объявлен в заголовке decmpfs);
+- запись вышла бы за конец файла (увеличение файла меняет его записи);
+- в диапазоне дыра (заполнить её — значит выделить блок, то есть всё из таблицы выше);
+- запись дерева ссылок на экстенты начинается не с первого блока экстента, покрывает меньше, чем экстент, названа
+ принадлежащей другому потоку или имеет больше одной ссылки — клон, снимок или дерево, прочитанное не так;
+- блок вне контейнера или внутри блока 0, колец контрольной точки, карты объектов контейнера — граница, которая
+ держит даже если дерево прочитано неверно.
+
+Границ, таким образом, три, как у записей на флеш (`bsd/dev/redwood_ufs.c`): экстенты файла говорят, какие блоки
+его содержимое; дерево ссылок на экстенты говорит, что эти же блоки принадлежат этому потоку и больше никому;
+простая проверка диапазона отказывает всему вблизи собственных структур контейнера, что бы деревья ни сказали. И
+потом — чтение обратно.
+
+Ещё одно правило — порта, а не APFS: том с ролью системного или preboot отвергается. Это стоит сказать вслух,
+потому что остальные проверки его не ловят. Корневой том iOS 16.5 в том виде, в каком его берёт порт
+(`ios165/rootfs.dmg`, он же записанный в `darwin`), **не запечатан**, без снимков и без метаданных целостности
+(`incompatible 0x8` — только нечувствительность к нормализации, роль `0x0001`): он прошёл бы любую проверку APFS,
+какая здесь есть. На телефоне его хранит не она, а то, куда записи вообще разрешено идти: `BLOCK_WRITE_FIRST`
+загрузчика и ядро, у которого блочные устройства отказывают в любой записи.
+
+Чего здесь нет: время изменения файла не трогается (устаревшее время — неправда, но не порча, а поставить его —
+это транзакция), а в ядре страницы файла в кеше пришлось бы выбросить тому, кто вызывает, — в ядре вызывающего
+пока нет, поэтому этого и не делается.
+
+### Чем это проверяется
+
+`tools/apfs/write-tests.sh` — 62 проверки на этой машине, где испорченный образ ничего не стоит, и ни одна не на
+слово той программы, которую проверяют: образ собирается `mkapfs.py`, пишется ядерным же `apfs_write.c`
+(`apfs-tool write`, собранный для этой машины), а дальше спрашиваются все остальные.
+
+| кто смотрит | что он такое |
+|---|---|
+| `apfsck -cw` | linux-apfs/apfsprogs: суммы, все деревья, битовые карты менеджера пространства против каждого блока, на который хоть что-то ссылается, счётчики ссылок, экстенты. О нас не знает ничего |
+| `tools/apfs/apfs.py` | свой читатель на Python, уже сверенный с 7-Zip по всему корневому тому iOS (`verify.py`) |
+| 7-Zip | третья реализация целиком |
+| `apfs-tool` | ядерный `apfs_lib.c`; единственный, кто частью и есть проверяемое, поэтому никогда не свидетель в одиночку |
+| какие блоки образа изменились | свидетель, которому читатель вообще не нужен: запись поверх себя обязана изменить блоки названного файла и ни одного блока больше |
+
+Семь групп. Записи: целый блок, пролёт через границу блока, середина мегабайта, один байт, последний байт файла
+нецелой длины. Отказы: за конец, в каталог, в сжатый файл, в файл нулевой длины. Запреты по тому — каждый
+ставится правкой суперблока тома: запечатан, снимки, метаданные целостности, роли системного и preboot. Запреты
+по блокам — каждый ставится правкой записи дерева так, чтобы она говорила то, чего здоровый том не говорит: дыра
+там, где лягут байты; экстент, переставленный в кольцо описателей; экстент, который дерево ссылок называет
+разделённым; экстент, который оно отдаёт другому потоку. Настоящие образы — что о них говорят запреты.
+
+И пропадание питания, ради которого всё и делалось: `--fail-after N` останавливает устройство после N блоков, и
+запись в двенадцать блоков прогоняется остановленной после каждого из них. После каждой `apfsck` по-прежнему
+находит контейнер чистым, любой другой файл побайтово тот же, а новые байты лежат ровно в тех блоках, которые уже
+успели записаться.
+
+### Транзакция: измерено, а не оценено
+
+`tools/apfs/txn-probe.py` меняет одно поле одного инода и фиксирует это новой контрольной точкой на образе
+`mkapfs.py`; `apfsck -cw` после этого находит контейнер чистым. Двадцать таких подряд — тоже чистые, и это как раз
+то, что важно: в кольце описателей таких контрольных точек четыре, в кольце битовой карты внутреннего пула —
+шестнадцать, и там, где они заворачиваются, недопонятый менеджер пространства и разваливается.
+
+Во что обошлась одна изменённая запись на самом простом томе, какой бывает (один чанк пространства, один блок
+сведений о чанках, по единственному узлу в каждом дереве) — **15 блоков** и ещё один после:
+
+| | блоков |
+|---|---|
+| узел дерева файловой системы | 1 |
+| узел и объект карты объектов тома | 2 |
+| суперблок тома | 1 |
+| узел и объект карты объектов контейнера | 2 |
+| битовая карта чанка и блок сведений о чанках — копиями внутри внутреннего пула | 2 |
+| копия битовой карты внутреннего пула — в следующий слот кольца из 16 | 1 |
+| эфемерные объекты — копиями в кольцо данных | 3 |
+| менеджер пространства — туда же | 1 |
+| карта контрольной точки | 1 |
+| **суперблок контейнера — фиксация** | **1** |
+| копия в блоке 0, какую оставляет чистое размонтирование (не часть фиксации) | 1 |
+
+Фиксация держится: питание, пропавшее после каждого из шестнадцати блоков по очереди, каждый раз оставляет
+контейнер здоровым, и пока суперблок не лёг — живёт прежняя контрольная точка и том читается точно как раньше.
+Со старой копией в блоке 0 `apfsck -w` всё ещё находит контейнер здоровым, и только `-c` говорит — и правильно, —
+что том не был размонтирован чисто.
+
+Чего проба не делает, и это и есть оставшееся расстояние: блоки, которыми пользовалась прежняя контрольная точка,
+помечаются свободными сразу, а не уходят в очередь освобождения с номером транзакции, — живая контрольная точка
+согласована, но к предыдущей вернуться уже небезопасно; и проба знает только ту форму, какую делает `mkapfs.py`,
+так что здесь ничто не делит и не сливает узел дерева, не выделяет из нескольких чанков и не ведёт reaper.
+Поэтому 15 блоков — это пол, а не оценка.
+
+### Что дальше
+
+Полезное подмножество достижимо, общая реализация — нет, по крайней мере не как побочная работа. Ближайшая
+ступень, которая что-то даёт: том данных из заранее выделенных файлов постоянной длины, которые перезаписываются
+поверх себя, — тогда `var_store` пишет не в сырые блоки раздела по фиксированному смещению, а в файлы тома APFS,
+и то же самое кладётся на флеш через ту же проверенную границу. Том данных iOS, которого она ждёт, — это уже
+другое: создание, удаление и переименование файлов, то есть транзакция на каждую операцию, менеджер пространства
+с очередями освобождения, деление и слияние узлов деревьев, и всё это под замком тома, в ядре, с кешем страниц,
+который надо согласовать. Проба говорит, что формат для этого понят; объём — порядка того же, что сам читатель
+APFS, и браться за него стоит отдельной работой, а не продолжением этой.
+
## Про файлы Apple и лицензии
- Файлов iOS в репозитории нет: `ios165/fetch.sh` скачивает их из IPSW с CDN Apple на вашу машину.