Apple's open-source XNU kernel on Android phones: its own loader and drivers, Metal on the Adreno. Runs from RAM; a reboot gives the phone back to Android.
C
README: запись в APFS — чего стоит транзакция, что сделано и чем это проверено
vcvkk0e2cc8a94233
diff --git a/README.md b/README.mdindex e7bb542..61c416e 100644--- a/README.md+++ b/README.md@@ -1155,7 +1155,7 @@ fastboot boot ──► UEFI (Mu-Silicium, redwood) ──► xnuloader (EFI-п| `ios165/` | добыча файлов iOS из IPSW и выбор того, что идёт в образ || `qemu/` | запуск в QEMU, касания, снимки экрана, разбор стеков || `uefi/`, `mkxnuimg.py` | порт UEFI на redwood и упаковка загрузочного образа для `fastboot boot` |-| `tools/` | `recording.py` (запись экрана → mp4), `sound.py` (запись звука → wav), `update-prebuilt.sh`, `new-workspace.sh` (вторая рабочая копия со своим ядром и QEMU), `mk-mesa.sh` (Mesa для `GL=1`), `mk-ath11k.sh` (драйвер Wi-Fi для ядра), `apfs/` (APFS на компьютере: чтение — «Чтение APFS», сборка образов `mkapfs.py` и их проверка `check-image.sh` — «Только APFS, как на iPhone»), `darwin-write.py` (запись в раздел `darwin` и только в него — «Криптексы на флеше»), `qmi-test/` и `wpa-test/` (проверки на компьютере) |+| `tools/` | `recording.py` (запись экрана → mp4), `sound.py` (запись звука → wav), `update-prebuilt.sh`, `new-workspace.sh` (вторая рабочая копия со своим ядром и QEMU), `mk-mesa.sh` (Mesa для `GL=1`), `mk-ath11k.sh` (драйвер Wi-Fi для ядра), `apfs/` (APFS на компьютере: чтение — «Чтение APFS», запись — «Запись в APFS», сборка образов `mkapfs.py` и их проверка `check-image.sh` — «Только APFS, как на iPhone»), `darwin-write.py` (запись в раздел `darwin` и только в него — «Криптексы на флеше»), `qmi-test/` и `wpa-test/` (проверки на компьютере) || `wifi/lx/` | прослойка, на которой драйвер Wi-Fi из Linux собирается для нашего ядра (см. «Драйвер Wi-Fi») || `prebuilt/` | собранные ядро, загрузчик, наши программы и куски UEFI |@@ -1220,6 +1220,8 @@ mac80211 из Linux стоит наша станция (`wifi/lx/src/lx_80211.c`| `apfs.py` | контейнер → контрольная точка → карта объектов → том → B-деревья → inode, каталоги, экстенты, расширенные атрибуты, дырки, сжатие `decmpfs`. Fletcher-64 проверяется у каждого прочитанного блока метаданных. Команды: `info`, `ls`, `tree`, `cat`, `stat`, `census` || `verify.py` | сверка с чужим читателем: тот же образ при распаковке читал 7-Zip, и от него остались `ios165/rootfs.slt` (список всего тома) и `ios165/rootfs/` (распакованные файлы) || `run-tests.sh` | всё, что проверяется на компьютере, одной командой |+| `write-tests.sh` | то же для записи: 62 проверки apfs_write.c против apfsck, apfs.py, 7-Zip и списка изменившихся блоков — «Запись в APFS» |+| `txn-probe.py` | настоящая транзакция APFS на образе `mkapfs.py`: одна запись изменена и зафиксирована новой контрольной точкой — «Запись в APFS» |Распаковать раздел и проверить (образ нужен целиком, около 5,3 ГБ, в git он не кладётся):@@ -1618,6 +1620,173 @@ cpufreq=1` и нынешним драйвером те же части прохчитателях — +19 % и +15 %;- имена не из ASCII и тома без учёта регистра ищутся по-старому, чтением каталога.+## Запись в APFS++Драйвер APFS читает и не пишет, и из этого растёт остальное: `/private/var` — файловая система в памяти+(`bsd/miscfs/ramfs`), которую каждая загрузка создаёт заново пустой, а чтобы хоть что-то пережило перезагрузку,+дерево приходится паковать в архив и класть в раздел `darwin` мимо всякой файловой системы (ветка `persist`,+`userland/src/var_store.c`). Если APFS научится писать, не нужно ни то ни другое, а у iOS появится том данных,+которого она и ждёт. Здесь — первый шаг к этому и честная мера того, сколько до остального.++### Чего стоит транзакция++APFS никогда не перезаписывает уже опубликованную структуру. Изменение — это транзакция: свежие копии всего от+изменённой записи до суперблока контейнера, в свободном месте, и один блок, который делает их все живыми сразу.+Для одной записи одного файла, снизу вверх:++| что нужно обновить | в заголовке драйвера |+|---|---|+| блоки данных файла | ни в одном дереве |+| лист дерева файловой системы и каждый узел над ним до корня | `apfs_btree_node_phys`, виртуальные объекты |+| по записи на каждый новый узел в карте объектов тома, ключ — (объект, транзакция); сама карта — дерево из физических узлов, значит и её путь до корня | `apfs_omap_phys`, `apfs_omap_key`, `apfs_omap_val` |+| дерево ссылок на экстенты — если набор физических экстентов изменился | `apfs_j_phys_ext_val` |+| новая копия суперблока тома и запись о ней в карте объектов контейнера | `apfs_superblock` |+| менеджер пространства, на каждый выделенный и освобождённый блок: битовые карты чанков во внутреннем пуле, блоки сведений о чанках с их счётчиками свободного, итоги в самом менеджере и две очереди освобождения, которые держат освобождённые блоки, пока их может хотеть более старая контрольная точка | тип `APFS_OBJECT_TYPE_SPACEMAN` |+| эфемерные объекты (менеджер пространства, reaper, очереди) — копиями в кольцо данных контрольной точки, и карта контрольной точки в кольцо описателей, которая говорит, куда каждый из них лёг | `apfs_checkpoint_map_phys` |+| суперблок контейнера — последним, в следующий блок кольца описателей, с `nx_next_xid` на единицу больше и суммой Флетчера поверх всего | `apfs_nx_superblock` |++Последний шаг и есть фиксация — только потому, что `apfs_nx_open` перебирает всё кольцо описателей и берёт+суперблок с самым большим номером транзакции, чья контрольная сумма сходится, молча проходя мимо всего+остального (`apfs_lib.c`). Пока новый суперблок не лёг целиком, живёт прежняя контрольная точка и ничего из+предыдущих шагов недостижимо; как только лёг — живо всё сразу. Это и вся защита APFS от пропадания питания, и+она дешёвая — но лишь если все предыдущие шаги легли в блоки, которых прежняя контрольная точка не занимает, а+за это отвечает менеджер пространства.++Что читатель уже понимает: заголовок объекта и его сумму Флетчера; кольцо описателей и выбор живого суперблока+из него; обе карты объектов (только поиск по (объект, транзакция)); узлы B-дерева всех форм, что встречаются у+томов; записи дерева файловой системы — иноды, записи каталогов, атрибуты, потоки данных, экстенты; отдельное+дерево экстентов запечатанного тома; дыры; содержимое сжатых файлов.++Чего он не моделирует вовсе — даже определением структуры: менеджер пространства и каждую его часть (битовые+карты чанков, блоки сведений о чанках, внутренний пул и его кольцо копий битовой карты, очереди освобождения) —+слово встречается в `apfs_format.h` дважды, оба раза как константа типа объекта; кольцо данных контрольной+точки; саму карту контрольной точки (в заголовке так и написано: нужна только менеджеру пространства, и путь+чтения её пропускает); дерево метаданных снимков; дерево ссылок на экстенты; метаданные целостности и хеши+файлов запечатанного тома. И никакого понятия о «грязном» объекте, о выделении блока, о транзакции: ничто в+`apfs_lib.c` не держит блок, чтобы записать его позже.++Значит, самое малое изменение одной записи метаданных требует менеджера пространства, колец контрольной точки и+транзакции — то есть почти всего записываемого APFS. Это и есть настоящая цена, и поэтому первый шаг сделан в+другом месте.++### Содержимое файла поверх себя самого++`bsd/miscfs/apfs/apfs_write.c` заменяет байты внутри уже существующего файла, не меняя ни его длины, ни его+экстентов, ни какой бы то ни было другой структуры. Из таблицы выше не происходит ничего, кроме первой строки:+пишутся только блоки, про которые экстенты самого файла и дерево ссылок на экстенты вместе говорят, что это+содержимое именно этого одного файла.++Поэтому это безопасно при пропадании питания — и не потому, что атомарно: все структуры контейнера остаются+точно такими, какими были, том монтируется, каждое дерево и каждая сумма сходятся, любой другой файл побайтово+тот же. Единственное, что может остаться, — смесь старого и нового содержимого того файла, который писали; это+потеря, которую вызывающая сторона в состоянии заметить и обработать, как `var_store.c` уже делает со своими+сырыми блоками: два слота и сумма, записанная последней. Блоки идут по возрастанию смещения, и каждый читается+обратно и сравнивается до того, как пойдёт следующий, — так что тот, кто кладёт свою сумму в последние байты,+узнает, доехала ли она.++Отказывается — и всё это читается с самого тома до первого записанного байта:++- устройство не умеет писать (`dev.write` = NULL, как при каждом монтировании этого драйвера);+- том запечатан, имеет снимки или метаданные целостности (у запечатанного есть хеш содержимого каждого файла,+ а мы его не обновляем);+- у тома нет дерева ссылок на экстенты — тогда ничто не может сказать, что блоки ни с кем не разделены;+- это не обычный файл, или у него нет потока данных, или он сжат (его байты лежат в атрибуте или в ветви+ ресурсов, а размер объявлен в заголовке decmpfs);+- запись вышла бы за конец файла (увеличение файла меняет его записи);+- в диапазоне дыра (заполнить её — значит выделить блок, то есть всё из таблицы выше);+- запись дерева ссылок на экстенты начинается не с первого блока экстента, покрывает меньше, чем экстент, названа+ принадлежащей другому потоку или имеет больше одной ссылки — клон, снимок или дерево, прочитанное не так;+- блок вне контейнера или внутри блока 0, колец контрольной точки, карты объектов контейнера — граница, которая+ держит даже если дерево прочитано неверно.++Границ, таким образом, три, как у записей на флеш (`bsd/dev/redwood_ufs.c`): экстенты файла говорят, какие блоки+его содержимое; дерево ссылок на экстенты говорит, что эти же блоки принадлежат этому потоку и больше никому;+простая проверка диапазона отказывает всему вблизи собственных структур контейнера, что бы деревья ни сказали. И+потом — чтение обратно.++Ещё одно правило — порта, а не APFS: том с ролью системного или preboot отвергается. Это стоит сказать вслух,+потому что остальные проверки его не ловят. Корневой том iOS 16.5 в том виде, в каком его берёт порт+(`ios165/rootfs.dmg`, он же записанный в `darwin`), **не запечатан**, без снимков и без метаданных целостности+(`incompatible 0x8` — только нечувствительность к нормализации, роль `0x0001`): он прошёл бы любую проверку APFS,+какая здесь есть. На телефоне его хранит не она, а то, куда записи вообще разрешено идти: `BLOCK_WRITE_FIRST`+загрузчика и ядро, у которого блочные устройства отказывают в любой записи.++Чего здесь нет: время изменения файла не трогается (устаревшее время — неправда, но не порча, а поставить его —+это транзакция), а в ядре страницы файла в кеше пришлось бы выбросить тому, кто вызывает, — в ядре вызывающего+пока нет, поэтому этого и не делается.++### Чем это проверяется++`tools/apfs/write-tests.sh` — 62 проверки на этой машине, где испорченный образ ничего не стоит, и ни одна не на+слово той программы, которую проверяют: образ собирается `mkapfs.py`, пишется ядерным же `apfs_write.c`+(`apfs-tool write`, собранный для этой машины), а дальше спрашиваются все остальные.++| кто смотрит | что он такое |+|---|---|+| `apfsck -cw` | linux-apfs/apfsprogs: суммы, все деревья, битовые карты менеджера пространства против каждого блока, на который хоть что-то ссылается, счётчики ссылок, экстенты. О нас не знает ничего |+| `tools/apfs/apfs.py` | свой читатель на Python, уже сверенный с 7-Zip по всему корневому тому iOS (`verify.py`) |+| 7-Zip | третья реализация целиком |+| `apfs-tool` | ядерный `apfs_lib.c`; единственный, кто частью и есть проверяемое, поэтому никогда не свидетель в одиночку |+| какие блоки образа изменились | свидетель, которому читатель вообще не нужен: запись поверх себя обязана изменить блоки названного файла и ни одного блока больше |++Семь групп. Записи: целый блок, пролёт через границу блока, середина мегабайта, один байт, последний байт файла+нецелой длины. Отказы: за конец, в каталог, в сжатый файл, в файл нулевой длины. Запреты по тому — каждый+ставится правкой суперблока тома: запечатан, снимки, метаданные целостности, роли системного и preboot. Запреты+по блокам — каждый ставится правкой записи дерева так, чтобы она говорила то, чего здоровый том не говорит: дыра+там, где лягут байты; экстент, переставленный в кольцо описателей; экстент, который дерево ссылок называет+разделённым; экстент, который оно отдаёт другому потоку. Настоящие образы — что о них говорят запреты.++И пропадание питания, ради которого всё и делалось: `--fail-after N` останавливает устройство после N блоков, и+запись в двенадцать блоков прогоняется остановленной после каждого из них. После каждой `apfsck` по-прежнему+находит контейнер чистым, любой другой файл побайтово тот же, а новые байты лежат ровно в тех блоках, которые уже+успели записаться.++### Транзакция: измерено, а не оценено++`tools/apfs/txn-probe.py` меняет одно поле одного инода и фиксирует это новой контрольной точкой на образе+`mkapfs.py`; `apfsck -cw` после этого находит контейнер чистым. Двадцать таких подряд — тоже чистые, и это как раз+то, что важно: в кольце описателей таких контрольных точек четыре, в кольце битовой карты внутреннего пула —+шестнадцать, и там, где они заворачиваются, недопонятый менеджер пространства и разваливается.++Во что обошлась одна изменённая запись на самом простом томе, какой бывает (один чанк пространства, один блок+сведений о чанках, по единственному узлу в каждом дереве) — **15 блоков** и ещё один после:++| | блоков |+|---|---|+| узел дерева файловой системы | 1 |+| узел и объект карты объектов тома | 2 |+| суперблок тома | 1 |+| узел и объект карты объектов контейнера | 2 |+| битовая карта чанка и блок сведений о чанках — копиями внутри внутреннего пула | 2 |+| копия битовой карты внутреннего пула — в следующий слот кольца из 16 | 1 |+| эфемерные объекты — копиями в кольцо данных | 3 |+| менеджер пространства — туда же | 1 |+| карта контрольной точки | 1 |+| **суперблок контейнера — фиксация** | **1** |+| копия в блоке 0, какую оставляет чистое размонтирование (не часть фиксации) | 1 |++Фиксация держится: питание, пропавшее после каждого из шестнадцати блоков по очереди, каждый раз оставляет+контейнер здоровым, и пока суперблок не лёг — живёт прежняя контрольная точка и том читается точно как раньше.+Со старой копией в блоке 0 `apfsck -w` всё ещё находит контейнер здоровым, и только `-c` говорит — и правильно, —+что том не был размонтирован чисто.++Чего проба не делает, и это и есть оставшееся расстояние: блоки, которыми пользовалась прежняя контрольная точка,+помечаются свободными сразу, а не уходят в очередь освобождения с номером транзакции, — живая контрольная точка+согласована, но к предыдущей вернуться уже небезопасно; и проба знает только ту форму, какую делает `mkapfs.py`,+так что здесь ничто не делит и не сливает узел дерева, не выделяет из нескольких чанков и не ведёт reaper.+Поэтому 15 блоков — это пол, а не оценка.++### Что дальше++Полезное подмножество достижимо, общая реализация — нет, по крайней мере не как побочная работа. Ближайшая+ступень, которая что-то даёт: том данных из заранее выделенных файлов постоянной длины, которые перезаписываются+поверх себя, — тогда `var_store` пишет не в сырые блоки раздела по фиксированному смещению, а в файлы тома APFS,+и то же самое кладётся на флеш через ту же проверенную границу. Том данных iOS, которого она ждёт, — это уже+другое: создание, удаление и переименование файлов, то есть транзакция на каждую операцию, менеджер пространства+с очередями освобождения, деление и слияние узлов деревьев, и всё это под замком тома, в ядре, с кешем страниц,+который надо согласовать. Проба говорит, что формат для этого понят; объём — порядка того же, что сам читатель+APFS, и браться за него стоит отдельной работой, а не продолжением этой.+## Про файлы Apple и лицензии- Файлов iOS в репозитории нет: `ios165/fetch.sh` скачивает их из IPSW с CDN Apple на вашу машину.