Skip to content

Apple's open-source XNU kernel on Android phones: its own loader and drivers, Metal on the Adreno. Runs from RAM; a reboot gives the phone back to Android.

C

README: отображение в память с тома APFS и что дало кеширование

vcvkkcf001ee4da67
diff --git a/README.md b/README.md
index 7f03e2c..f1323bf 100644
--- a/README.md
+++ b/README.md
@@ -697,8 +697,50 @@ python3 tools/apfs/verify.py sum /куда/rootfs.apfs # с чем срав
свободно, 2803 МБ wired) — то есть чтение 8,29 ГБ не течёт ни блоками, ни vnode. iOS рядом с этим монтированием
продолжала загружаться до backboardd как обычно.
-Чего этим не проверено: `vnop_pagein`. Обход читает через `vnop_read` (`vn_rdwr`), а ничего с тома APFS не
-исполняется и не отображается в память — система сама грузится с `packfs`. На телефоне не пробовалось вообще.
+### Отображение в память и скорость
+
+`vnop_pagein` обходом внутри ядра не задействуется: тот читает через `vnop_read`, а система грузится с `packfs`,
+так что с тома APFS ничего не исполняется. Чтобы страничная дорога заработала, файлы нужно отобразить в память из
+пространства пользователя: это делает `userland/src/apfs_mmap_test.c` — проходит каталог на монтировании и считает
+хеш каждого обычного файла либо через отображение (тогда байты приносит `vnop_pagein`), либо через `read(2)`
+кусками заданного размера. Печатает строку на файл, так что строки сверяются с хостовой читалкой.
+`userland/rc.jobs.apfs` запускает его тремя способами по одному набору файлов; в ядре для этого есть
+`apfs_check=3` — смонтировать и не обходить, оставив том пространству пользователя.
+
+Проверено этим: через отображение прочитаны 1189 файлов и 567 629 521 байт каталога `/usr`, и путь, размер и хеш
+содержимого у каждого совпали с тем, что даёт `verify.py clines`; то же для 23 файлов, прочитанных кусками по
+4096 байт. Ошибок 0 в обоих случаях. То есть `vnop_pagein` не только вызывается, но и приносит верные байты.
+
+Скорость мерилась по одному набору (`/usr/sbin`: 32 файла, 50 096 208 байт в распакованном виде) на трёх ядрах,
+отличающихся только кешированием, на одной машине и с одним образом:
+
+| дорога | без кешей | кеш куска и таблицы | плюс кеш inode |
+|---|---|---|---|
+| отображение (`vnop_pagein`) | 23 761 мс | 30 885 мс | 24 530 / 23 151 мс |
+| `read(2)` по 4096 байт | 54 469 мс | 48 815 мс | 35 254 / 38 206 мс |
+| `read(2)` по 65 536 байт | 17 330 мс | 29 456 мс | 17 140 / 15 947 мс |
+
+Во всех прогонах прочитаны одни и те же байты: сумма хешей строк всюду `3095b9e298a4df17`, ошибок 0. Два числа в
+последнем столбце — два прогона одного и того же ядра: разброс от прогона к прогону около ±8 %, потому что машина
+общая. На этом фоне:
+
+- мелкие чтения стали быстрее на треть (54 469 → 35 254…38 206 мс) — это единственная дорога, которая и правда
+ делала одну работу много раз; больше половины выигрыша даёт кеш inode, а не куска;
+- крупные чтения не изменились (17 330 → 15 947…17 140 мс), и так и должно быть: чтение на 64 КБ всегда накрывало
+ кусок целиком, повторять было нечего;
+- отображение тоже не изменилось (23 761 → 23 151…24 530 мс). Значит, опасение, с которого всё началось — будто
+ подкачка распаковывает кусок заново на каждую страницу, — было неверным: ядро просит у `vnop_pagein` по 32 768
+ байт за раз при странице 16 384 (драйвер печатает это один раз за сеанс), то есть 64-КБ кусок закрывается двумя
+ запросами, и кеш может убрать самое большее одну распаковку из двух. Время уходит не туда;
+- средний столбец веры не заслуживает: его 17 330 → 29 456 → 17 140 по крупным чтениям не может быть следствием
+ добавления кеша, тот прогон делил машину с чужой работой.
+
+Куда уходит время на дороге отображения — не измерено. Наиболее вероятное: `apfs_read_stream` берёт данные файла
+блоками через кеш блоков, то есть по 4096 байт на запрос virtio, а у virtio-blk в полёте один запрос. Чтение
+целого экстента одним запросом сократило бы их число до шестнадцати раз — это следующее, что стоит попробовать,
+и мерить так же до и после.
+
+На телефоне не пробовалось вообще.
## Про файлы Apple и лицензии