Skip to content

Apple's open-source XNU kernel on Android phones: its own loader and drivers, Metal on the Adreno. Runs from RAM; a reboot gives the phone back to Android.

C

README: настоящий том на телефоне по частям, и несколько читателей сразу

vcvkkac4c31cb38ac
diff --git a/README.md b/README.md
index fdba5eb..b3b4eb4 100644
--- a/README.md
+++ b/README.md
@@ -796,7 +796,7 @@ python3 tools/apfs/verify.py sum /куда/rootfs.apfs # с чем срав
### На живом железе
-Том на 5,6 ГБ на телефоне смонтировать нельзя, и не из-за APFS: **в ядре нет драйвера собственного накопителя
+Целиком том на 5,6 ГБ на телефоне не удержать (по частям его прочитать можно — см. ниже), и не из-за APFS: **в ядре нет драйвера собственного накопителя
телефона** — блочных устройств в нём всего два, диск в памяти и virtio (а он только в QEMU), — а самая большая
пригодная область памяти телефона, по его же прошивке (`xl memmap`), 4288 МБ против 5368 МБ у тома. Передним
куском тоже не обойтись: `apfs-tool` печатает, до какого блока дотягивается чтение, и даже один небольшой каталог
@@ -852,6 +852,60 @@ python3 tools/apfs/verify.py sum /куда/ramdisk.apfs # с чем сра
одном ядре, около 157 МБ/с, — это и есть скорость драйвера сейчас. Этим же закрыт и откаченный `5258aa2` для
этого устройства: чтение целыми экстентами не может помочь, когда на устройство уходит 3,4 % времени.
+### Несколько читателей сразу
+
+`apfs_check=5 apfs_threads=N` — N потоков обходят том одновременно, каждый целиком. На телефоне, тот же том,
+`cpus=8`:
+
+| читателей | всё вместе | вместе | замок: ожидание | замок: удержание | удержание / время |
+|---|---|---|---|---|---|
+| 1 | 5917 мс | 204 МБ/с | 15 мс | 4092 мс | 69 % |
+| 2 | 9998 мс | 242 МБ/с | 8060 мс | 8016 мс | 80 % |
+| 4 | 16 733 мс | 289 МБ/с | 42 795 мс | 15 677 мс | 94 % |
+
+Правильность: каждый читатель в каждом прогоне вернул 2386 записей, 1 239 229 501 байт и сумму
+`56dfa19788c9fd6d` при 0 ошибок — замок своё дело делает. Но выигрыша почти нет: четыре читателя делают на 42 %
+больше одного, потому что весь `apfs_lib` идёт под одним замком, а при четырёх читателях он занят 94 % времени,
+и из 15 677 мс удержания 14 580 мс — это zlib. Распаковка идёт под замком. Чтобы читатели масштабировались, её надо
+вынести из-под него (распаковывать в свой буфер и класть кусок в кеш vnode уже под замком); не сделано.
+
+### Настоящий том на телефоне — по частям
+
+Целиком том на телефон не помещается, но обход читает не все его блоки, а те, что читает, можно сложить отдельно.
+`tools/apfs/mksparse.py` проходит нужную часть тома читалкой на компьютере, записывает каждый тронутый блок и
+выкладывает их вместе с таблицей «какой блок контейнера где»; `bsd/dev/redwood_sparse.c` (`/dev/rsp0`, параметр
+`apfs_sparse=<смещение>`) отдаёт их по их настоящим адресам, а драйвер APFS разницы не видит. Образ едет в хвосте
+резидентного диска в памяти, за образом packfs, который корень (packfs читает ровно столько, сколько сказано в его
+суперблоке); `apfs_check=6` монтирует `/dev/rsp0` на каталог корня (`apfs_mnt=/lib`) и обходит его. Блок, которого
+в образе нет, читается нулями и считается — таких не было ни одного.
+
+Всего обход тома трогает 1 282 462 блока, 5,25 ГБ, а у телефона 4,49 ГБ. Поэтому части: `apfs_subtree` — откуда
+начинать, `apfs_skip` — в какие каталоги не входить (их собственная строка считается), `apfs_depth` — до какой
+глубины; у `mksparse.py` и `verify.py` то же самое. Проверка — сумма хешей строк, так что части просто складываются:
+
+| часть | записей | байт содержимого | сумма хешей строк | образ |
+|---|---|---|---|---|
+| A: `/`, без `/System` | 26 400 | 1 378 199 574 | `5bd06e9e45a89ce0` | 0,88 ГБ |
+| B: `/System`, без `PrivateFrameworks` | 192 769 | 3 990 734 011 | `1145708680be3303` | 2,40 ГБ |
+| C: `/System/Library/PrivateFrameworks` | 98 929 | 2 916 837 635 | `61a2c6176e33313c` | 2,02 ГБ |
+| **телефон, вместе** | **318 098** | **8 285 771 220** | **`ceb8a53c349a011f`** | |
+| хост, весь том | 318 098 | 8 285 771 220 | `ceb8a53c349a011f` | |
+
+Все три части сняты на телефоне одним и тем же ядром, ошибок 0, недостающих блоков 0; 24,5 с, 98,5 с и 61,6 с.
+То есть настоящий корневой том iOS 16.5 — тот, что нужен порту, — прочитан на живом железе целиком и совпал с хостом
+до байта.
+
+Чтобы до этого дойти, пришлось выяснить, почему любой обход дольше полминуты сбрасывал телефон без следа в журнале.
+Не память (при обходе на 30 000 записей свободно 2229–2238 МБ, wired 2048–2058 МБ, ровно) и не драйвер: обход шёл
+прямо в загрузочном потоке, а тот стоит выше потоков, обслуживающих thread call, и обход с диска в памяти ни разу
+не засыпает — так что, пока он шёл, не выполнялся ни один thread call, включая тот, что раз в 10 с кормит сторожевой
+таймер телефона. В QEMU сторожа нет, поэтому там те же обходы проходили; проверено прямо там: таймер, который
+должен срабатывать раз в 6 с, за 72 с обхода не сработал ни разу. Теперь обход идёт в своём потоке обычного
+приоритета, а загрузочный спит, пока он не кончится: тот же таймер срабатывает 12 раз в QEMU и 10 и 16 раз в
+частях C и B на телефоне. Заодно остались `apfs_max=N` (остановиться после N записей), строка хода каждые 10 000
+записей (время, память, vnode) и детектор зависания: если обход 6 с не двигается, он говорит, на какой записи и в
+какой операции, и возвращается в загрузчик с журналом раньше сторожа.
+
На телефоне не пробовалось вообще.
## Про файлы Apple и лицензии