Skip to content

Apple's open-source XNU kernel on Android phones: its own loader and drivers, Metal on the Adreno. Runs from RAM; a reboot gives the phone back to Android.

C

Camera, the kernel: the sensors' colour order, the wide camera's lens motor, a chart for QEMU

vcvkke4374f388066
diff --git a/README.md b/README.md
index 3f20a96..aa37755 100644
--- a/README.md
+++ b/README.md
@@ -291,7 +291,7 @@ XL_SECS=900 XL_CMDLINE="touchscreen=1 cpufreq=1 bootcpu=7 cpus=8" ./xl run #
| `sound=N` | с `adsp=1`, шаг 3 звука, путь к динамикам, как его строит Android (числа — из живого дерева устройств телефона, его путей микшера и его ядра): `sound=1` — ножки TDM (GPIO 97–100) отданы интерфейсу, звуковой процессор включает его тактовую частоту (3,072 МГц), группу и порт 0x9000 (PRI_TDM_RX_0) и запускает его; по ножкам видно, что тактовый сигнал и синхронизация кадров идут. `sound=2` — ещё и поток: наша память видна процессору через SMMU (поток 0x1801), путь ADM к порту, поток ASM, и в него 3 с пишется тон 1 кГц −20 дБ полной шкалы; процессор забирает его с частотой 48 кГц. Усилители выключены. `sound=3` — ещё и усилители: настраиваются из профиля «Music» конфигурации Android (`/vendor/etc/aw882xx_acf.bin` телефона в `fw-audio/`, в git не попадает, `userland/build.sh` кладёт её в `/fw` образа системы), каждая запись читается обратно, при любом расхождении или сбое оба сразу выключаются; громкость плавно поднимается до `sound_below` восьмых долей дБ ниже уровня Android (по умолчанию 240, то есть на 30 дБ тише; выше уровня Android — никогда), тон звучит 3 с, потом всё затихает, выключается и возвращается как было. `sound=4` — то, что играет iOS (`/dev/redwood-audio`), до конца сеанса: порт и поток работают всё время (без звука в них идёт тишина), усилители настраиваются один раз и выключены, а когда в записи iOS появляется не тишина, включаются и быстро (как у драйвера Android) выводятся на `sound_below`; после трёх секунд тишины снова выключаются. Звук доходит до усилителей через 160 мс после записи, усилители готовы через 65 мс. У динамика в модуле HAL есть регулятор громкости, его значение уходит в ядро (`ioctl` `REDWOOD_AUDIO_SET_VOLUME`) и задаёт уровень усилителей ниже потолка (0 — усилители не включаются), но iOS ставит его только раз, на максимум, а громкость кнопок и Пункта управления применяет к самим отсчётам (программная громкость для динамика iPhone X в таблицах VirtualAudio); при громкости 0 iOS пишет тишину, и усилители тоже не включаются. Проверка — `RC_JOBS=rc.jobs.volume`. По пути к усилителям — сторож (см. выше): `sound_gain=N` (восьмые доли дБ, 0–96), `sound_guard_as=N` (для проверки: сторож считает усилители на N ниже уровня Android и сдерживает, как сдерживал бы там). `sound_secs=S` (не больше 3 с тоном), `sound_pause=MS`. Подробности в начале `bsd/dev/redwood_sound.c` и `bsd/dev/redwood_speaker.c` |
| `haptic=N` | моторчик вибрации: Awinic AW86927 на I2C (шина QUP SE9, GPIO 36/37, адрес 0x5a; сброс — GPIO 35), линейный мотор с резонансом 175,5 Гц; всё — из живого дерева устройств Android, его журнала и регистров (`bsd/dev/redwood_haptic.c`). `haptic=1` — только читать: из загрузчика Android сброс держит чип выключенным, он не отвечает. `haptic=2` — сброс отпущен, как это делает драйвер Android, регистры прочитаны и сравнены с Android. `haptic=3` — ещё и настройка Android (каждая запись читается обратно; аналоговые регистры — за разблокировкой 0x5b) и волновые формы Android (`/vendor/firmware/aw8697_haptic.bin` телефона в `fw-haptic/`, в git не попадает; `userland/build.sh` кладёт его в `fw/` малого образа) в ОЗУ чипа, с проверкой чтением. `haptic=4` — ещё и одна короткая форма (`haptic_effect=1…10`) один раз, с усилением Android. `haptic=5` — моторчик для iOS до конца сеанса: всё, что iOS играет на своём устройстве «Actuator» (системные отклики и вибрация звонка, CoreHaptics приложений, отклики UIKit — например, меню иконки по долгому нажатию), звуковой модуль HAL отдаёт в `/dev/redwood-haptic`, и ядро играет по нему формы Android: каждую волну iOS — коротким толчком (форма 1), а длинную — повтором формы 11, пока iOS играет, но не дольше 1 с, после чего мотор столько же отдыхает; усиление — по громкости волны iOS: от трети полной шкалы и выше — усиление Android (0x80), ниже — до пяти восьмых его у самых тихих, и никогда не выше Android (волны iOS для Taptic Engine почти всегда гораздо тише полной шкалы, и в прямой пропорции большинство откликов выходило на десятой доле усиления Android — их было не почувствовать). Проверка обычных касаний: `RC_JOBS=rc.jobs.haptic2` (долгое нажатие на иконку, переключатель в Настройках). Без `haptic=5` iOS играет на «Actuator» как обычно, но в мотор ничего не идёт. Проверка: `RC_JOBS=rc.jobs.haptic`. Любая неисправность, о которой говорит чип, несовпадение при чтении или неотвеченный байт — чип снова в сброс до конца сеанса; не дольше 1 с на эффект; в конце сеанса и при панике — сброс |
| `torch=N` | фонарик: светодиодный модуль вспышки PM8350C (SPMI, ведомый 2, регистры 0xee00; задний светодиод — канал 0), значения Android: его фонарик горит на 125 мА через канал 0 (прочитано у включённого фонарика Android), шаг тока 12,5 мА, порядок записей — драйвера Xiaomi `leds-qti-flash.c` (`bsd/dev/redwood_torch.c`). `torch=1` — только читать: канал арбитра, тип модуля, регистры, температурная тревога PMIC. `torch=2` — ещё и зажечь один раз на 125 мА на `torch_secs` (по умолчанию 2 с). `torch=3` — фонарик для iOS: `/dev/redwood-torch` принимает уровень 0…1000 (тысячные тока Android, не выше 125 мА); загрузчик с `torch=N` добавляет в дерево `/product/camera` со свойством `flash` айфона (кнопка фонарика в Пункте управления), а `libredwood-media.dylib` отдаёт FigFlashlight в mediaserverd своё «устройство» вместо отсутствующей камеры (`userland/src/inject_media.c`). Пределы: записи — только в шесть регистров этого модуля, каждая читается обратно, канал арбитра перепроверяется; не дольше `torch_max_s` подряд (по умолчанию 30 с, не больше 120), потом темно, пока iOS не попросит снова; 10 раз в секунду — флаги неисправности и перегрева модуля, температурная тревога PMIC и температура батареи (не выше 45 °C; из battmgr при `adsp=1` или из `battery=1`) — что-то не так, и фонарик гаснет до конца сеанса; в конце сеанса и при панике — погашен. Проверка: `RC_JOBS=rc.jobs.torch` (`torch_test` — как программа, через AVFlashlight; потом кнопка в Пункте управления) |
-| `cam=N` | камеры: все четыре — макро, широкая, фронтальная и сверхширокая (`cam_sensor=macro|wide|front|ultra`, по умолчанию — макро, при `cam=5` — широкая); макрокамера — OmniVision OV02B10 (2 Мп, камера 2 Android, «redwood_aac_ov02b10_macro»); всё — из живого дерева устройств (cam-sensor2), файла модуля камеры Android (`/vendor/lib64/camera/com.qti.sensormodule.redwood_aac_ov02b10_macro.bin`: адрес, где и как читается ID чипа, порядок включения) и драйверов ядра Android (`bsd/dev/redwood_camera.c`). Датчик — на CCI 1, ведущий 0 (GPIO 73/74, здесь I2C вручную, как у других драйверов), адрес 0x3c; сброс — GPIO 77; MCLK — mclk2 camcc на 19,2 МГц на GPIO 66 (у Android эти 19,2 МГц — от PLL2 camcc, здесь — от самого кварца, без PLL); питание — LDO6 (1,8 В, DOVDD) и LDO7 (2,8 В, AVDD) PM8008i, который на I2C последовательного движка 1 (GPIO 4/5, адреса 0x08 и 0x09) и выходит из сброса по GPIO 3 PM8350C, как его выводит Android. `cam=1` — только смотреть: тактовые частоты и домен питания камеры, ножки, сброс PM8008i и, если он не в сбросе, сам PM8008i. `cam=2` — ещё и включить датчик в порядке файла модуля (у макрокамеры: сброс низкий, 1 мс; DOVDD; AVDD, 2 мс; верхний домен питания камеры и MCLK, 4 мс; сброс высокий, 9 мс), прочитать ID чипа так, как читает Android (16-битный регистр по 16-битному адресу 0x0203; ждёт 0x002b), и выключить в обратном порядке. Пределы: напряжения — только Android (1,8 и 2,8 В у макрокамеры, 1,0 и 1,8 В у широкой), записи — только в перечисленные регистры (у каждого устройства — список, проверяется при каждой записи), каждая читается обратно; неотвеченный байт, регулятор не готов вовремя или сообщает о перегрузке по току, запись не читается обратно — всё выключается и больше ничего не пишется; в конце сеанса и при панике включённое выключается, найденное включённым остаётся включённым. `cam_after=S` — через сколько секунд после старта (по умолчанию 20). `cam=3` — путь кадра без датчика: генератор тестовой картинки CSID-lite 0 (RAW10 1600×1200, цветные полосы) → его путь RDI 0 → IFE-lite 0, чей мастер записи 0 пишет кадр в память через SMMU (поток 0x800, маска 0x4e0, в свободный контекст с нашими таблицами); для этого — голоса RPMh за CX на SVS и MX на SVS_L1 (через вторую TCS DRV 2, в конце отдаются), PLL0 camcc (1,2 ГГц), RCG и ветви камеры на частотах уровня «svs» из дерева устройств (cphy_rx, CSID, IFE-lite — 400 МГц, таймер PHY — 300, camnoc — 150, slow_ahb — 80), всё — по драйверам Android (`camcc-yupik.c`, `cam_ife_csid_lite17x.h`, `cam_vfe_lite16x.h`, `cam_vfe_bus_ver2.c`). `cam=4` — кадры самого датчика: питание и ID, как при `cam=2`, его таблицы Android — инициализация (108 записей), режим (1600×1200 RAW10, одна линия, 665,6 Мбит/с, 30 кадров/с), «пуск», таблица экспозиции; CSIPHY 2 (v1.2.1, D-PHY, линия данных 0 и линия такта; число отсчётов установления — из файла модуля для этого режима, 20, `cam_settle=N` — своё), приёмник CSID-lite 0 от PHY 2 и тот же путь RDI 0 → IFE-lite 0 → SMMU → память; несколько кадров подряд в два места, последний остаётся; потом «стоп» и всё выключается. Таблицы читаются при запуске из `fw/camera-ov02b10.tab` малого образа: его делает `tools/camsensor.py` из файла модуля датчика Android (`fw-camera/com.qti.sensormodule.redwood_aac_ov02b10_macro.bin` с телефона; ни он, ни таблицы в git не попадают). `cam_pattern=1` — тестовые полосы самого датчика вместо изображения, `cam_frames=N` — сколько кадров (по умолчанию 8), `cam_shutter=СТРОК`, `cam_gain=N` — своя экспозиция и усиление. Память с кадрами загрузчик отдаёт после сеанса: `./xl camera [префикс]` забирает её и через `tools/camraw.py` делает картинки (`префикс-N.png` — по пикселю на ячейку 2×2 Байера, серый мир, гамма 2,2; `префикс-N-raw.png` — сырые значения; порядок Байера изображения датчика — RGGB: в снимке комнаты друг за другом следуют второй и третий отсчёты ячейки, то есть зелёные; его собственные полосы приходят со сдвигом на строку, как GBRG; `--bayer N` — другой порядок; `cam_vblank=СТРОК` — удлинить кадр для выдержки длиннее 1200 строк). `cam_sensor=wide` — то же для основной широкоугольной камеры, Samsung S5KHM2SD (108 Мп, камера 0 Android, «redwood_sunny_s5khm2sd_wide», cam-sensor0): CCI 0, ведущий 1 (GPIO 71/72), адрес 0x20, ID чипа 0xfad2 по адресу 0x0000; сброс — GPIO 21; MCLK — mclk1 camcc (19,2 МГц, GPIO 65); питание — LDO1 (1,0 В, VDIG) и LDO5 (1,8 В, VIO) PM8008i и VANA 2,8 В от постоянного регулятора, который включает GPIO 106 (всё — напряжения дерева устройств); порядок включения и выключения, ID, таблицы и режимы — из её файла модуля (`fw-camera/com.qti.sensormodule.redwood_sunny_s5khm2sd_wide.bin` → `fw/camera-s5khm2sd.tab`, формат RWCTAB02 — все режимы, порядок питания, назначение линий; инициализация — 1441 запись; шесть режимов, от 12000×9000 до 1920×1080 на 240 кадрах/с). Кадры — по трём трио C-PHY в CSIPHY 1 (трёхфазные таблицы v1.2.1 Android и строка таблицы скоростей, покрывающая скорость трио; число отсчётов установления — из файла модуля, 34), CSID-lite 0 — в режиме C-PHY. `cam_mode=N` — режим из таблицы датчика (по умолчанию — с наименьшим числом пикселей: у широкой — 1920×1080 RAW10 на 120 кадрах/с, 3,11 Гбит/с на трио). Порядок Байера широкой — GBRG (в снимке комнаты друг за другом следуют первый и четвёртый отсчёты; красный против синего — по сырым уровням обеих камер при одном тёплом свете), заголовок кадра говорит его сам. Экспозиция широкой — регистры SMIA внутри group hold 0x0104: `cam_vblank` — длина кадра 0x0340, `cam_shutter` — выдержка 0x0202, `cam_gain` — аналоговое усиление 0x0204 (32 — 1×). `cam_sensor=front` — фронтальная камера, OmniVision OV16A1Q (16 Мп, cam-sensor1, «redwood_aac_ov16a1q_front»): CCI 0, ведущий 0 (GPIO 69/70), адрес 0x10, ID чипа 0x1641 по адресу 0x300b; сброс — GPIO 20; MCLK — mclk0 (19,2 МГц, GPIO 64); питание — LDO3 (2,8 В, VANA), LDO2 (1,2 В, VDIG), LDO5 (1,8 В, VIO) PM8008i; четыре линии D-PHY в CSIPHY 0 (по умолчанию — режим 1920×1080 на 120 кадрах/с, 1,44 Гбит/с на линию). `cam_sensor=ultra` — сверхширокая, Samsung S5K4H7 (8 Мп, cam-sensor3, «redwood_sunny_s5k4h7_ultra»): CCI 1, ведущий 1 (GPIO 75/76), адрес 0x2d, ID чипа 0x487b по адресу 0; сброс — GPIO 78; MCLK — mclk3 на 24 МГц, как просит её файл модуля: от PLL2 camcc (Zonda, 1440 МГц, настройки `cam_cc_pll2_config` Android, запуск — как `clk_zonda_pll_enable()`), делитель 10 и M/N 1/6 (`ftbl_cam_cc_mclk0_clk_src`); питание — LDO4 (2,8 В, VANA), LDO5 (1,8 В, VIO) и VDIG 1,2 В от постоянного регулятора (`camera_ultra_dvdd_ldo`, от PM7325 S8), который включает GPIO 108; четыре линии D-PHY в CSIPHY 3. Собственных цветных полос (таблицы «tpgon» в файле модуля) нет ни у широкой, ни у фронтальной, ни у сверхширокой — только у макрокамеры; `cam_pattern=1` для остальных даёт их изображение (при `cam=4`) или полосы CSID (при `cam=5`). Выдержка по `cam_shutter`/`cam_gain`/`cam_vblank` при `cam=4` — только у макро и широкой; фронтальная и сверхширокая при `cam=4` снимают с выдержкой своих таблиц. Порядок Байера: макро и фронтальная — RGGB, широкая и сверхширокая — GBRG (зелёные — два равных по уровню отсчёта ячейки; красный против синего — по отношениям R/G и B/G, одинаковым у всех четырёх при одном свете). Память под два кадра `cam=3`/`cam=4` (до 12 МБ каждый) берётся одним куском при загрузке (`cam_keep_mb`). `cam=5` — широкая камера для iOS: устройство `/dev/redwood-camera` (`bsd/sys/redwood_camera.h`); первое чтение после открытия включает датчик и запускает кадры (режим — `cam_mode`, по умолчанию 1: 4000×3000 RAW10, 30 кадров/с), последнее закрытие, секунда без чтения или любая неисправность всё выключают (после неисправности — до конца сеанса). Кадры идут по кругу в три места памяти ядра (отображённые через SMMU постранично): одно пишет IFE, одно может копировать чтение, одно готово; в каждом начале кадра адрес места для следующего кадра уходит мастеру записи, который берёт его в следующем начале кадра (на это есть целый кадр, а не промежуток между кадрами); кадр, для которого адреса не оказалось, считается переписанным. Строка RAW10 у мастера записи выровнена на 16 байт (4000 пикселей — 5008 байт, а не 5000). `read()` отдаёт заголовок (номер, время, выдержка, усиление, длина кадра и строки) и сам кадр; `write()` принимает другой датчик (`REDWOOD_CAMERA_SENSOR`: кадры останавливаются, всё выключается, следующее чтение включает другой; номер датчика — в заголовке кадра; режим по умолчанию — самый крупный 4:3 не быстрее 30 кадров/с и не больше 13 Мп: широкая 4000×3000, фронтальная 2304×1728, сверхширокая 3264×2448, макро 1600×1200; выдержка из `write()` пишется каждому его способом в его group hold: SMIA у широкой и сверхширокой — 0x0340/0x0202/0x0204, у фронтальной OV16A1Q — 0x380e/0x380f, 0x3500…0x3502, 0x3508/0x3509 (0x100 — 1×), у макро OV02B10 — страница 1: 0x14/0x15, 0x0e/0x0f, 0x22 (16 — 1×); предел усиления — свой у каждого: 64× у широкой, 16× у сверхширокой, 15,5× у фронтальной и макро), выдержку и усиление (пишутся между кадрами в group hold, с пределами: усиление от 1× до предела датчика, кадр не длиннее 0xfff0 строк) или картинку для хоста (память под неё — `cam_keep_mb`, по умолчанию 24, берётся при загрузке одним куском; `./xl camera` её забирает, `tools/camraw.py` понимает NV12 и BGRA). Проверка всех четырёх по очереди — `RC_JOBS=rc.jobs.cameras` (`camera_test cycle`); `camera_test noise` — уровень чёрного и шум каждого датчика в темноте (временной, фиксированный, строк) при усилении 1×…максимум. `camera_test raw` — кадры через `src/camera_isp.c` (замер, автоэкспозиция, баланс белого, цветовая матрица, гамма, NV12 BT.601 с округлением до ближайшего: полосы CSID `cam_pattern=2` с `noae noawb` выходят основными цветами с точностью до шага — точнее 8-битный YCbCr красный и синий не передаёт); `full` — каждый пиксель (билинейная демозаика в размер датчика, 8 потоков; на резких цветовых границах — кайма в 1–2 пикселя от демозаики и общей цветности 2×2), `ccm M` — своя цветовая матрица (девять чисел через запятую; по умолчанию единичная: настоящей нужна цветовая мишень). Устройство появляется сразу при старте ядра (раньше mediaserverd, который ищет камеры один раз, при старте); чтения ждут, пока датчик не включится. `cam_pattern=1` — цветные полосы: собственные полосы датчика, если в файле модуля есть их таблица, иначе — генератора CSID (у широкой камеры таблица пустая, поэтому — CSID, как при `cam=3`, датчик тогда не включается вовсе); `cam_pattern=2` — всегда CSID. Для iOS: `libredwood-media.dylib` в mediaserverd даёт его `BWFigCaptureDeviceVendor` наше устройство захвата (`src/camera_device.c`: FigCaptureDevice и FigCaptureStream, производные объекты CoreMedia, как у H10ISP.mediacapture; форматы названы, как «Photo» и «Video-60» задней камеры в `D22/AVCaptureSession.plist`); AVFoundation перечисляет «Back Camera» с 16 форматами (`camera_avtest`), а сама Camera.app показывает живой предпросмотр с задней камеры телефона, ровный и без перерывов (`RC_JOBS=rc.jobs.camera`). Чтобы граф захвата встал: узлу стабилизации (VIS) отказываем на уровне соединения — ему нужна сессия обработки ISP айфона, которой нет (`video_stabilization_method/_type` → 0 в `inject_media.c`); потоку отвечаем на чтение `VideoOutputsColorInfo` (без ответа сессия не запускается) и принимаем `TimeMachineSuspendNow`/`ResumeNow`; кадры отдаём не своей памятью, а из пула (`BufferPool` в настройках выхода), который даёт сам граф — ширины и высоты в настройках нет, только пул; отдавать их начинаем лишь после того, как граф запущен (раньше mediaserverd падал по SIGSEGV). Ровным предпросмотр стал после трёх починок: аудиовходу сессии (`BWAudioSourceNode start:`) отвечаем «запустился», глотая только ошибку `'nope'` отсутствующего аудио-HAL — иначе сессия слала приложению `AVCaptureSessionRuntimeError` и оно пересобирало её каждые 2 с; PM8008i остаётся поднятым между включениями камеры (возвращённый в сброс, он потом отвечал ревизией, но его регуляторы молчали) и приводится в исходное состояние только при выходе ядра; обе программные шины I2C повторяют посылку, оставшуюся без ответа (PMIC — 4 попытки, датчик — до 40 мс). НЕ ГОТОВО: снимок по кнопке затвора. Запрос доходит до mediaserverd и тихо сходит на нет внутри `-[BWFigVideoCaptureDevice _captureStillImageNowWithSettings:]`: `_convertStillImageCaptureSettings:toStillImageCaptureNowOptions:captureStreamPropertyValues:` не даёт настроек потока для нашего порта, поэтому до устройства `StillImageCaptureNow` не доходит (само устройство его обрабатывает — один полный кадр в выход StillImage). Эти методы — `objc_direct`, подменить их нельзя; дальше нужен патчер кода. Проверять: `RC_JOBS=rc.jobs.photo` |
+| `cam=N` | камеры: все четыре — макро, широкая, фронтальная и сверхширокая (`cam_sensor=macro|wide|front|ultra`, по умолчанию — макро, при `cam=5` — широкая); макрокамера — OmniVision OV02B10 (2 Мп, камера 2 Android, «redwood_aac_ov02b10_macro»); всё — из живого дерева устройств (cam-sensor2), файла модуля камеры Android (`/vendor/lib64/camera/com.qti.sensormodule.redwood_aac_ov02b10_macro.bin`: адрес, где и как читается ID чипа, порядок включения) и драйверов ядра Android (`bsd/dev/redwood_camera.c`). Датчик — на CCI 1, ведущий 0 (GPIO 73/74, здесь I2C вручную, как у других драйверов), адрес 0x3c; сброс — GPIO 77; MCLK — mclk2 camcc на 19,2 МГц на GPIO 66 (у Android эти 19,2 МГц — от PLL2 camcc, здесь — от самого кварца, без PLL); питание — LDO6 (1,8 В, DOVDD) и LDO7 (2,8 В, AVDD) PM8008i, который на I2C последовательного движка 1 (GPIO 4/5, адреса 0x08 и 0x09) и выходит из сброса по GPIO 3 PM8350C, как его выводит Android. `cam=1` — только смотреть: тактовые частоты и домен питания камеры, ножки, сброс PM8008i и, если он не в сбросе, сам PM8008i. `cam=2` — ещё и включить датчик в порядке файла модуля (у макрокамеры: сброс низкий, 1 мс; DOVDD; AVDD, 2 мс; верхний домен питания камеры и MCLK, 4 мс; сброс высокий, 9 мс), прочитать ID чипа так, как читает Android (16-битный регистр по 16-битному адресу 0x0203; ждёт 0x002b), и выключить в обратном порядке. Пределы: напряжения — только Android (1,8 и 2,8 В у макрокамеры, 1,0 и 1,8 В у широкой), записи — только в перечисленные регистры (у каждого устройства — список, проверяется при каждой записи), каждая читается обратно; неотвеченный байт, регулятор не готов вовремя или сообщает о перегрузке по току, запись не читается обратно — всё выключается и больше ничего не пишется; в конце сеанса и при панике включённое выключается, найденное включённым остаётся включённым. `cam_after=S` — через сколько секунд после старта (по умолчанию 20). `cam=3` — путь кадра без датчика: генератор тестовой картинки CSID-lite 0 (RAW10 1600×1200, цветные полосы) → его путь RDI 0 → IFE-lite 0, чей мастер записи 0 пишет кадр в память через SMMU (поток 0x800, маска 0x4e0, в свободный контекст с нашими таблицами); для этого — голоса RPMh за CX на SVS и MX на SVS_L1 (через вторую TCS DRV 2, в конце отдаются), PLL0 camcc (1,2 ГГц), RCG и ветви камеры на частотах уровня «svs» из дерева устройств (cphy_rx, CSID, IFE-lite — 400 МГц, таймер PHY — 300, camnoc — 150, slow_ahb — 80), всё — по драйверам Android (`camcc-yupik.c`, `cam_ife_csid_lite17x.h`, `cam_vfe_lite16x.h`, `cam_vfe_bus_ver2.c`). `cam=4` — кадры самого датчика: питание и ID, как при `cam=2`, его таблицы Android — инициализация (108 записей), режим (1600×1200 RAW10, одна линия, 665,6 Мбит/с, 30 кадров/с), «пуск», таблица экспозиции; CSIPHY 2 (v1.2.1, D-PHY, линия данных 0 и линия такта; число отсчётов установления — из файла модуля для этого режима, 20, `cam_settle=N` — своё), приёмник CSID-lite 0 от PHY 2 и тот же путь RDI 0 → IFE-lite 0 → SMMU → память; несколько кадров подряд в два места, последний остаётся; потом «стоп» и всё выключается. Таблицы читаются при запуске из `fw/camera-ov02b10.tab` малого образа: его делает `tools/camsensor.py` из файла модуля датчика Android (`fw-camera/com.qti.sensormodule.redwood_aac_ov02b10_macro.bin` с телефона; ни он, ни таблицы в git не попадают). `cam_pattern=1` — тестовые полосы самого датчика вместо изображения, `cam_frames=N` — сколько кадров (по умолчанию 8), `cam_shutter=СТРОК`, `cam_gain=N` — своя экспозиция и усиление. Память с кадрами загрузчик отдаёт после сеанса: `./xl camera [префикс]` забирает её и через `tools/camraw.py` делает картинки (`префикс-N.png` — по пикселю на ячейку 2×2 Байера, серый мир, гамма 2,2; `префикс-N-raw.png` — сырые значения; порядок Байера изображения датчика — BGGR (см. ниже); его собственные полосы читаются как GBRG; `--bayer N` — другой порядок; `cam_vblank=СТРОК` — удлинить кадр для выдержки длиннее 1200 строк). `cam_sensor=wide` — то же для основной широкоугольной камеры, Samsung S5KHM2SD (108 Мп, камера 0 Android, «redwood_sunny_s5khm2sd_wide», cam-sensor0): CCI 0, ведущий 1 (GPIO 71/72), адрес 0x20, ID чипа 0xfad2 по адресу 0x0000; сброс — GPIO 21; MCLK — mclk1 camcc (19,2 МГц, GPIO 65); питание — LDO1 (1,0 В, VDIG) и LDO5 (1,8 В, VIO) PM8008i и VANA 2,8 В от постоянного регулятора, который включает GPIO 106 (всё — напряжения дерева устройств); порядок включения и выключения, ID, таблицы и режимы — из её файла модуля (`fw-camera/com.qti.sensormodule.redwood_sunny_s5khm2sd_wide.bin` → `fw/camera-s5khm2sd.tab`, формат RWCTAB02 — все режимы, порядок питания, назначение линий; инициализация — 1441 запись; шесть режимов, от 12000×9000 до 1920×1080 на 240 кадрах/с). Кадры — по трём трио C-PHY в CSIPHY 1 (трёхфазные таблицы v1.2.1 Android и строка таблицы скоростей, покрывающая скорость трио; число отсчётов установления — из файла модуля, 34), CSID-lite 0 — в режиме C-PHY. `cam_mode=N` — режим из таблицы датчика (по умолчанию — с наименьшим числом пикселей: у широкой — 1920×1080 RAW10 на 120 кадрах/с, 3,11 Гбит/с на трио). Порядок Байера широкой — GRBG (см. ниже), заголовок кадра говорит его сам. Экспозиция широкой — регистры SMIA внутри group hold 0x0104: `cam_vblank` — длина кадра 0x0340, `cam_shutter` — выдержка 0x0202, `cam_gain` — аналоговое усиление 0x0204 (32 — 1×). `cam_sensor=front` — фронтальная камера, OmniVision OV16A1Q (16 Мп, cam-sensor1, «redwood_aac_ov16a1q_front»): CCI 0, ведущий 0 (GPIO 69/70), адрес 0x10, ID чипа 0x1641 по адресу 0x300b; сброс — GPIO 20; MCLK — mclk0 (19,2 МГц, GPIO 64); питание — LDO3 (2,8 В, VANA), LDO2 (1,2 В, VDIG), LDO5 (1,8 В, VIO) PM8008i; четыре линии D-PHY в CSIPHY 0 (по умолчанию — режим 1920×1080 на 120 кадрах/с, 1,44 Гбит/с на линию). `cam_sensor=ultra` — сверхширокая, Samsung S5K4H7 (8 Мп, cam-sensor3, «redwood_sunny_s5k4h7_ultra»): CCI 1, ведущий 1 (GPIO 75/76), адрес 0x2d, ID чипа 0x487b по адресу 0; сброс — GPIO 78; MCLK — mclk3 на 24 МГц, как просит её файл модуля: от PLL2 camcc (Zonda, 1440 МГц, настройки `cam_cc_pll2_config` Android, запуск — как `clk_zonda_pll_enable()`), делитель 10 и M/N 1/6 (`ftbl_cam_cc_mclk0_clk_src`); питание — LDO4 (2,8 В, VANA), LDO5 (1,8 В, VIO) и VDIG 1,2 В от постоянного регулятора (`camera_ultra_dvdd_ldo`, от PM7325 S8), который включает GPIO 108; четыре линии D-PHY в CSIPHY 3. Собственных цветных полос (таблицы «tpgon» в файле модуля) нет ни у широкой, ни у фронтальной, ни у сверхширокой — только у макрокамеры; `cam_pattern=1` для остальных даёт их изображение (при `cam=4`) или полосы CSID (при `cam=5`). Выдержка по `cam_shutter`/`cam_gain`/`cam_vblank` при `cam=4` — только у макро и широкой; фронтальная и сверхширокая при `cam=4` снимают с выдержкой своих таблиц. Порядок Байера: макро и фронтальная — BGGR, широкая и сверхширокая — GRBG. Так его задаёт файл модуля каждого датчика: первое слово элемента режима `resolutionData` — `colorFilterArrangement` в нумерации CamX (0 BGGR, 1 GBRG, 2 GRBG, 3 RGGB; `TranslateColorFilterArrangement` в `camera.qcom.so` переводит его в нумерацию Android таблицей 3, 2, 1, 0), `tools/camsensor.py` печатает его у каждого режима. Раньше красный против синего угадывался по сырым уровням при тёплом свете — наоборот, и у всех четырёх камер красный и синий были переставлены (в Camera.app бежевое выходило голубым); зелёные (два отсчёта ячейки, что идут друг за другом в снимке комнаты) были на месте. Память под два кадра `cam=3`/`cam=4` (до 12 МБ каждый) берётся одним куском при загрузке (`cam_keep_mb`). `cam=5` — широкая камера для iOS: устройство `/dev/redwood-camera` (`bsd/sys/redwood_camera.h`); первое чтение после открытия включает датчик и запускает кадры (режим — `cam_mode`, по умолчанию 1: 4000×3000 RAW10, 30 кадров/с), последнее закрытие, секунда без чтения или любая неисправность всё выключают (после неисправности — до конца сеанса). Кадры идут по кругу в три места памяти ядра (отображённые через SMMU постранично): одно пишет IFE, одно может копировать чтение, одно готово; в каждом начале кадра адрес места для следующего кадра уходит мастеру записи, который берёт его в следующем начале кадра (на это есть целый кадр, а не промежуток между кадрами); кадр, для которого адреса не оказалось, считается переписанным. Строка RAW10 у мастера записи выровнена на 16 байт (4000 пикселей — 5008 байт, а не 5000). `read()` отдаёт заголовок (номер, время, выдержка, усиление, длина кадра и строки) и сам кадр; `write()` принимает другой датчик (`REDWOOD_CAMERA_SENSOR`: кадры останавливаются, всё выключается, следующее чтение включает другой; номер датчика — в заголовке кадра; режим по умолчанию — самый крупный 4:3 не быстрее 30 кадров/с и не больше 13 Мп: широкая 4000×3000, фронтальная 2304×1728, сверхширокая 3264×2448, макро 1600×1200; выдержка из `write()` пишется каждому его способом в его group hold: SMIA у широкой и сверхширокой — 0x0340/0x0202/0x0204, у фронтальной OV16A1Q — 0x380e/0x380f, 0x3500…0x3502, 0x3508/0x3509 (0x100 — 1×), у макро OV02B10 — страница 1: 0x14/0x15, 0x0e/0x0f, 0x22 (16 — 1×); предел усиления — свой у каждого: 64× у широкой, 16× у сверхширокой, 15,5× у фронтальной и макро), выдержку и усиление (пишутся между кадрами в group hold, с пределами: усиление от 1× до предела датчика, кадр не длиннее 0xfff0 строк) или картинку для хоста (память под неё — `cam_keep_mb`, по умолчанию 24, берётся при загрузке одним куском; `./xl camera` её забирает, `tools/camraw.py` понимает NV12 и BGRA). Проверка всех четырёх по очереди — `RC_JOBS=rc.jobs.cameras` (`camera_test cycle`); `camera_test noise` — уровень чёрного и шум каждого датчика в темноте (временной, фиксированный, строк) при усилении 1×…максимум. `camera_test raw` — кадры через `src/camera_isp.c` (замер, автоэкспозиция, баланс белого, цветовая матрица, гамма, NV12 BT.601 с округлением до ближайшего: полосы CSID `cam_pattern=2` с `noae noawb` выходят основными цветами с точностью до шага — точнее 8-битный YCbCr красный и синий не передаёт); `full` — каждый пиксель (билинейная демозаика в размер датчика, 8 потоков; на резких цветовых границах — кайма в 1–2 пикселя от демозаики и общей цветности 2×2), `ccm M` — своя цветовая матрица (девять чисел через запятую; по умолчанию единичная: настоящей нужна цветовая мишень). Устройство появляется сразу при старте ядра (раньше mediaserverd, который ищет камеры один раз, при старте); чтения ждут, пока датчик не включится. `cam_pattern=1` — цветные полосы: собственные полосы датчика, если в файле модуля есть их таблица, иначе — генератора CSID (у широкой камеры таблица пустая, поэтому — CSID, как при `cam=3`, датчик тогда не включается вовсе); `cam_pattern=2` — всегда CSID. Для iOS: `libredwood-media.dylib` в mediaserverd даёт его `BWFigCaptureDeviceVendor` наше устройство захвата (`src/camera_device.c`: FigCaptureDevice и FigCaptureStream, производные объекты CoreMedia, как у H10ISP.mediacapture; форматы названы, как «Photo» и «Video-60» задней камеры в `D22/AVCaptureSession.plist`); AVFoundation перечисляет «Back Camera» с 16 форматами (`camera_avtest`), а сама Camera.app показывает живой предпросмотр с задней камеры телефона, ровный и без перерывов (`RC_JOBS=rc.jobs.camera`). Чтобы граф захвата встал: узлу стабилизации (VIS) отказываем на уровне соединения — ему нужна сессия обработки ISP айфона, которой нет (`video_stabilization_method/_type` → 0 в `inject_media.c`); потоку отвечаем на чтение `VideoOutputsColorInfo` (без ответа сессия не запускается) и принимаем `TimeMachineSuspendNow`/`ResumeNow`; кадры отдаём не своей памятью, а из пула (`BufferPool` в настройках выхода), который даёт сам граф — ширины и высоты в настройках нет, только пул; отдавать их начинаем лишь после того, как граф запущен (раньше mediaserverd падал по SIGSEGV). Ровным предпросмотр стал после трёх починок: аудиовходу сессии (`BWAudioSourceNode start:`) отвечаем «запустился», глотая только ошибку `'nope'` отсутствующего аудио-HAL — иначе сессия слала приложению `AVCaptureSessionRuntimeError` и оно пересобирало её каждые 2 с; PM8008i остаётся поднятым между включениями камеры (возвращённый в сброс, он потом отвечал ревизией, но его регуляторы молчали) и приводится в исходное состояние только при выходе ядра; обе программные шины I2C повторяют посылку, оставшуюся без ответа (PMIC — 4 попытки, датчик — до 40 мс). НЕ ГОТОВО: снимок по кнопке затвора. Запрос доходит до mediaserverd и тихо сходит на нет внутри `-[BWFigVideoCaptureDevice _captureStillImageNowWithSettings:]`: `_convertStillImageCaptureSettings:toStillImageCaptureNowOptions:captureStreamPropertyValues:` не даёт настроек потока для нашего порта, поэтому до устройства `StillImageCaptureNow` не доходит (само устройство его обрабатывает — один полный кадр в выход StillImage). Эти методы — `objc_direct`, подменить их нельзя; дальше нужен патчер кода. Проверять: `RC_JOBS=rc.jobs.photo` |
| `mic=N` | с `adsp=1`, основной микрофон (`bsd/dev/redwood_mic.c`, значения Android). `mic=1` — только посмотреть: звуковой процессор голосует за блоки LPASS и даёт тактовые частоты макроса TX (19,2 МГц), регистры макросов TX и VA, ведущего SoundWire, ножек LPASS и сброса кодека читаются; без всех четырёх ни один регистр не трогается. `mic=2` — ещё и кодек поднят настолько, чтобы ответить по SoundWire: сброс (GPIO83) отпущен, как это делает Android, ножки ведущего (LPASS GPIO 0, 1, 2, 14) — в активное состояние Android, тактовые частоты макроса TX, ведущий запущен, устройство TX кодека перечислено и его номер прочитан. `mic=3` — ещё и запись с микрофона `mic_secs` секунд (по умолчанию 10, не больше 600): настройка кодека, как в `wcd938x_init_reg()`, смещение микрофона 2750 мВ, ADC1 в режиме «low power», «ADC1 Volume» 6, дециматор 1 и порт codec DMA, шина SoundWire как на пути Android «handset-mic» (выше). Каждая запись читается обратно, любое расхождение или отказ звукового процессора — всё останавливается. Для проверки: `mic_input=0` (дециматор слушает ноль — точная тишина), `mic_adc=0`, `mic_test=1` (без смещения), `mic_test=2` (вход ADC1 удержан), `mic_main=1`, `mic_tap=1` с `haptic=5`. `mic=4` — микрофон для iOS: путь до кодека поднимается, только пока iOS записывает (пока открыт `/dev/redwood-mic`, кольцо на 341 мс, чтение никогда не ждёт и держится в 40 мс за звуковым процессором), а в плагине звука `RedwoodAudio.driver` есть устройство «Codec» с одним входом и источником данных `imic` («Bottom»), из которого VirtualAudio, как на iPhone, делает «iPhone Microphone» (Built-In Microphone). Приложения записывают с него: «Диктофон» пишет и рисует волну (`RC_JOBS=rc.jobs.voicememos`), `record_test` (AVAudioRecorder) — 6,00 с из 6,00, на частоте мотора 175,5 Гц с `haptic=5` уровень растёт с −68 до −29 дБFS (`RC_JOBS=rc.jobs.mic`, с `sound=4 sound_below=720` — сначала беззвучная проверка динамиков). Программа без интерфейса, записывающая в фоне, получает оранжевую точку, но не плашку записи в строке состояния, и MediaSafetyNet в mediaserverd, как на iPhone, через девять секунд такой записи останавливает mediaserverd; записи `record_test` поэтому короче и с паузой между ними. В конце и при выключении звукового процессора всё возвращается как было: кодек снова в сбросе, ножки и регистры как были |
| `battmgr=0` | с `adsp=1` батарея не спрашивается. Без него (по умолчанию) ядро раз в 10 с спрашивает у звукового процессора, который у этого телефона и ведёт батарею с зарядкой (как Android — `qti_battery_charger`, Linux — `qcom_battmgr` поверх `pmic_glink`), по каналу `PMIC_RTR_ADSP_APPS` процент заряда, зарядку, напряжение, ток, температуру, заряд в мА·ч, ёмкость, циклы и что даёт порт USB — только читает, ни пределов, ни токов не задаёт — и показывает это iOS так же, как батарея iPhone: службой `RedwoodBattery` класса `IOPMPowerSource` (`iokit/Kernel/RedwoodBattery.cpp`). Её читает powerd, и дальше всё делает сама iOS: батарея с процентом и молнией в строке состояния, «58% Charged» на экране блокировки, виджет «Батареи», Настройки → Аккумулятор (переключатель «Заряд в процентах» работает; в образе он включён); перехваты батареи в SpringBoard при этой службе уступают iOS. Сверено с Android (`dumpsys battery` и `/sys/class/power_supply/battery` сразу после): 56 % и 58 %, «заряжается», напряжение, температура, заряд, ёмкость 3677 из 5000 мА·ч, 890 циклов совпадают. Номера свойств — этой прошивки: до 9-го как у Linux, дальше на один больше; `battmgr=2` пишет в журнал все. Те же числа — в `kern.redwood.battery_*`. С `battery=1` (путь загрузчика через UEFI) не включается. Историю заряда и расход по приложениям iOS 16 берёт из журнала энергии, который ведёт aggregated (`com.apple.powerlog.plxpclogger.xpc` и другие службы; база `CurrentPowerlog.PLSQL`); раньше он был в списке не запускаемых (`userland/mkjobs.py`), и страница «Аккумулятор» вечно крутила колёсико. Теперь она открывается сразу: в первые минуты — «As you use your iPhone, battery usage will be reported here» (так iOS говорит, пока данных о расходе нет), через час — график уровня заряда за 24 часа и список приложений («Connected to Charger», пока телефон на зарядке); экран всё это время iOS считала выключенным («Screen On 0m»), отчего — ещё не разобрано. Расход в процентах по приложениям iOS считает из энергии частей системы на кристалле, которую на iPhone сообщают счётчики IOReport («Energy Model»); их здесь нет. Не показывается износ в «Состоянии аккумулятора» (powerd ждёт серийный номер батареи, а его прошивка не даёт; вместо цифры колёсико). Проверка — `RC_JOBS=rc.jobs.battery` (`battery_test`), `RC_JOBS=rc.jobs.battery2` (страницы Настроек, в конце `battery_test powerlog`: что журнал энергии собрал — таблицы, строки, время), `RC_JOBS=rc.jobs.battery3` (то же после часа работы приложений) |
diff --git a/tools/camraw.py b/tools/camraw.py
index 79c864e..5dad503 100755
--- a/tools/camraw.py
+++ b/tools/camraw.py
@@ -13,12 +13,11 @@ interpolation -- with a plain grey-world white balance and a gamma of 2.2: a fir
finished photograph; PREFIX-N-raw.png is the frame's raw values as they are (grey, 8 bits).
Formats 2 and 3 are a picture iOS made of a frame (cam=5): NV12 (full-range YCbCr 4:2:0, the chroma plane
after the luma one, both of the stride) or BGRA, which becomes PREFIX.png as it is.
---bayer N takes the frames for that order instead of the header's. The OV02B10's picture is RGGB
-here (in a picture of a room the second and third sites of each cell track each other, the
-greens; red against blue by plausible colours); its own colour bars (cam_pattern=1) come a line
-off that, GBRG, and the header says so for them. The S5KHM2SD's picture is GBRG (its greens are
-the first and fourth sites; red against blue by the two sensors' raw levels under the same warm
-light), and the header says so too.
+--bayer N takes the frames for that order instead of the header's. The header's is the one each
+sensor's module file gives (tools/camsensor.py lists it): the OV02B10's and the OV16A1Q's picture is
+BGGR, the S5KHM2SD's and the S5K4H7's GRBG. The OV02B10's own colour bars (cam_pattern=1) are taken
+for GBRG, and the header says so for them. (Frames taken before the kernel had this right say
+RGGB for BGGR and GBRG for GRBG: --bayer 3 and --bayer 1 for them.)
"""
import struct
import sys
diff --git a/tools/camsensor.py b/tools/camsensor.py
index 299ba41..3849b01 100755
--- a/tools/camsensor.py
+++ b/tools/camsensor.py
@@ -26,6 +26,11 @@ count x { kind u16 (0 MCLK, 1 VANA, 2 VDIG, 3 VIO, 8 RESET; Android's cam_sensor
(MCLK in kHz), 0 u32, delay in us u32 }; the number of tables, and each table: name[8], count, then
count x { address u16, data u16, address bytes u8, data bytes u8, operation u8, 0 u8, delay in us
u32 }. The modes' own tables are res0, res1, ...
+
+The listing also gives each mode's colour filter order: the first word of its resolution element,
+colorFilterArrangement in CamX's order (0 BGGR, 1 GBRG, 2 GRBG, 3 RGGB, 4 mono; camera.qcom.so's
+TranslateColorFilterArrangement makes Android's of it by the table 3, 2, 1, 0, 5). It is not in the
+table: the kernel's sensors[] carries it (bsd/dev/redwood_camera.c).
"""
import struct
import sys
@@ -73,7 +78,7 @@ def main():
# the resolutions: a 196-byte element each
res_sid = next(s for s in order if syms[s][0] == 'resolutionData')
raw = value(res_sid)
- modes, mode_tables = [], []
+ modes, mode_tables, cfa = [], [], []
for k in range(len(raw) // 196):
w = struct.unpack_from('<49I', raw, 196 * k)
fps = struct.unpack_from('<d', raw, 196 * k + 40)[0]
@@ -81,6 +86,7 @@ def main():
data_type, x, y, width, height = stream[1:6]
lanes, settle, cphy, writes_sid = w[14], w[17], w[18], w[24]
modes.append((width, height, x, y, lanes, cphy, settle, w[7], w[3], w[4], int(fps * 1000), data_type))
+ cfa.append(CFA.get(w[0], str(w[0])))
mode_tables.append(('res%d' % k, regsetting(data, pool, syms, value, writes_sid)))
lane_sid = next((s for s in order if syms[s][0] == 'laneAssign'), None)
lane_assign = struct.unpack('<H', value(lane_sid))[0] if lane_sid is not None and syms[lane_sid][2] == 2 else 0
@@ -109,7 +115,7 @@ def main():
print(f' {name}: ' + ' '.join(f'{TYPES.get(t, t)}={v}+{d}ms' for t, v, d in power[name]))
for k, m in enumerate(modes):
print(f' mode {k}: {m[0]}x{m[1]} at {m[2]},{m[3]} dt {m[11]:#x}, {m[4]} {"trio(s), C-PHY" if m[5] else "lane(s), D-PHY"}, '
- f'settle {m[6]}, pixel clock {m[7]}, line {m[8]}, frame {m[9]}, {m[10] / 1000:.2f} fps')
+ f'settle {m[6]}, pixel clock {m[7]}, line {m[8]}, frame {m[9]}, {m[10] / 1000:.2f} fps, {cfa[k]}')
for name, writes in tables:
print(f' {name}: {len(writes)} writes: ' + ' '.join(f'{a:x}={v:x}' + (f'+{d}us' if d else '') for a, v, _, _, _, d in writes[:10]) +
(' ...' if len(writes) > 10 else ''))
@@ -133,6 +139,7 @@ def main():
TYPES = {0: 'MCLK', 1: 'VANA', 2: 'VDIG', 3: 'VIO', 4: 'VAF', 8: 'RESET', 9: 'STANDBY'}
+CFA = {0: 'BGGR', 1: 'GBRG', 2: 'GRBG', 3: 'RGGB', 4: 'mono'}
def regsetting(data, pool, syms, value, sid):
diff --git a/userland/src/redwood_camera.h b/userland/src/redwood_camera.h
index 72a63b9..f6ceb92 100644
--- a/userland/src/redwood_camera.h
+++ b/userland/src/redwood_camera.h
@@ -39,15 +39,20 @@ struct redwood_camera_frame {
uint32_t frame_lines_max; /* the longest frame it may be given */
uint32_t margin; /* exposure_lines is at most frame_lines - margin */
uint32_t sensor; /* which: 0 the macro, 1 the wide, 2 the front, 3 the ultra-wide camera */
- uint32_t reserved[6];
+ uint32_t focus; /* the lens's position as last set, 0 (the furthest) to 1023: REDWOOD_CAMERA_NO_FOCUS where it
+ * has no motor (or it does not answer) */
+ uint32_t reserved[5];
};
+#define REDWOOD_CAMERA_NO_FOCUS 0xffffffffu
+
enum {
REDWOOD_CAMERA_EXPOSURE = 1, /* a: lines, b: gain, c: frame lines (0: the shortest that holds the exposure) */
REDWOOD_CAMERA_KEEP = 2, /* a picture for the host: a width, b height, c stride, d format (1 the frame's RAW10, 2 NV12,
* 3 BGRA); bytes follow */
REDWOOD_CAMERA_SENSOR = 3, /* another sensor: a which (as in the frames' header), b its mode (~0: the usual one);
* the frames stop, everything goes down, and the next read starts the other one */
+ REDWOOD_CAMERA_FOCUS = 4, /* the lens to a: 0 (the furthest) to 1023, from the next frame or so */
};
struct redwood_camera_command {
diff --git a/xnu/files/bsd/dev/redwood_camera.c b/xnu/files/bsd/dev/redwood_camera.c
index f3b5703..5acaea4 100644
--- a/xnu/files/bsd/dev/redwood_camera.c
+++ b/xnu/files/bsd/dev/redwood_camera.c
@@ -198,7 +198,7 @@ struct sensor_hw {
unsigned csiphy;
uint32_t phy_cbcr, timer_cmd, timer_cbcr;
uint8_t regs; /* the exposure registers: REGS_OV_PAGED, REGS_SMIA or REGS_OV16 */
- uint8_t bayer; /* the picture's order as it comes here (camraw.py's codes: 0 RGGB, 2 GBRG) */
+ uint8_t bayer; /* the picture's order as it comes here (camraw.py's codes: 1 GRBG, 3 BGGR) */
uint8_t pattern_bayer; /* ... and its own colour bars' (its module file's "tpgon") */
const char * chip; /* for the frames' header */
uint16_t gain_unity, gain_max; /* the analog gain register's 1x, and the most it is given */
@@ -213,7 +213,7 @@ static const struct sensor_hw sensors[] = {
.name = "macro (OV02B10)", .tab = "camera-ov02b10.tab", .bus_name = "CCI 1 master 0", .sda = 73, .scl = 74, .reset = 77,
.mclk_cmd = 0xe038, .mclk_cbcr = 0xe050, .mclk_pin = 66,
.vana = { SUPPLY_LDO, 7, 2800, 0, 0 }, .vdig = { SUPPLY_LDO, 6, 1800, 0, 0 }, .vio = { SUPPLY_NONE, 0, 0, 0, 0 },
- .csiphy = 2, .phy_cbcr = 0xe110, .timer_cmd = 0xe0f4, .timer_cbcr = 0xe10c, .regs = REGS_OV_PAGED, .bayer = 0,
+ .csiphy = 2, .phy_cbcr = 0xe110, .timer_cmd = 0xe0f4, .timer_cbcr = 0xe10c, .regs = REGS_OV_PAGED, .bayer = 3,
.pattern_bayer = 2, .chip = "OV02B10", .gain_unity = 16, .gain_max = 0xf8,
},
{ /* cam-sensor0: S5KHM2SD, CCI 0 master 1 (GPIO 71/72), reset GPIO 21, MCLK1 (GPIO 65), csiphy 1;
@@ -221,14 +221,14 @@ static const struct sensor_hw sensors[] = {
.name = "wide (S5KHM2SD)", .tab = "camera-s5khm2sd.tab", .bus_name = "CCI 0 master 1", .sda = 71, .scl = 72, .reset = 21,
.mclk_cmd = 0xe01c, .mclk_cbcr = 0xe034, .mclk_pin = 65,
.vana = { SUPPLY_GPIO, 0, 2800, 106, 135 }, .vdig = { SUPPLY_LDO, 1, 1000, 0, 0 }, .vio = { SUPPLY_LDO, 5, 1800, 0, 0 },
- .csiphy = 1, .phy_cbcr = 0xe0ec, .timer_cmd = 0xe0d0, .timer_cbcr = 0xe0e8, .regs = REGS_SMIA, .bayer = 2,
+ .csiphy = 1, .phy_cbcr = 0xe0ec, .timer_cmd = 0xe0d0, .timer_cbcr = 0xe0e8, .regs = REGS_SMIA, .bayer = 1,
.pattern_bayer = 2, .chip = "S5KHM2SD", .gain_unity = 32, .gain_max = 0x800,
},
{ /* cam-sensor1: OV16A1Q, CCI 0 master 0 (GPIO 69/70), reset GPIO 20, MCLK0 (GPIO 64), csiphy 0 */
.name = "front (OV16A1Q)", .tab = "camera-ov16a1q.tab", .bus_name = "CCI 0 master 0", .sda = 69, .scl = 70, .reset = 20,
.mclk_cmd = 0xe000, .mclk_cbcr = 0xe018, .mclk_pin = 64,
.vana = { SUPPLY_LDO, 3, 2800, 0, 0 }, .vdig = { SUPPLY_LDO, 2, 1200, 0, 0 }, .vio = { SUPPLY_LDO, 5, 1800, 0, 0 },
- .csiphy = 0, .phy_cbcr = 0xe0c8, .timer_cmd = 0xe0ac, .timer_cbcr = 0xe0c4, .regs = REGS_OV16, .bayer = 0,
+ .csiphy = 0, .phy_cbcr = 0xe0c8, .timer_cmd = 0xe0ac, .timer_cbcr = 0xe0c4, .regs = REGS_OV16, .bayer = 3,
.pattern_bayer = 0, .chip = "OV16A1Q", .gain_unity = 0x100, .gain_max = 0xf80,
},
{ /* cam-sensor3: S5K4H7, CCI 1 master 1 (GPIO 75/76), reset GPIO 78, MCLK3 (GPIO 67, 24 MHz: camcc's PLL2), csiphy 3;
@@ -236,7 +236,7 @@ static const struct sensor_hw sensors[] = {
.name = "ultra-wide (S5K4H7)", .tab = "camera-s5k4h7.tab", .bus_name = "CCI 1 master 1", .sda = 75, .scl = 76, .reset = 78,
.mclk_cmd = 0xe054, .mclk_cbcr = 0xe06c, .mclk_pin = 67,
.vana = { SUPPLY_LDO, 4, 2800, 0, 0 }, .vdig = { SUPPLY_GPIO, 0, 1200, 108, 135 }, .vio = { SUPPLY_LDO, 5, 1800, 0, 0 },
- .csiphy = 3, .phy_cbcr = 0xe138, .timer_cmd = 0xe11c, .timer_cbcr = 0xe134, .regs = REGS_SMIA, .bayer = 2,
+ .csiphy = 3, .phy_cbcr = 0xe138, .timer_cmd = 0xe11c, .timer_cbcr = 0xe134, .regs = REGS_SMIA, .bayer = 1,
.pattern_bayer = 2, .chip = "S5K4H7", .gain_unity = 32, .gain_max = 0x200,
},
};
@@ -1396,15 +1396,34 @@ read_chip_id(void)
return (chip & ctab->id_mask) == (ctab->id & ctab->id_mask);
}
-/* While powered up: the LDOs switched on still ready and not over their current. */
+/*
+ * While powered up: the LDOs switched on still ready and not over their current. An over-current is
+ * asked again 2 ms on before it counts: the lens motor's moves show one on LDO5 for an instant (at a
+ * move of a few hundred steps, now and then), and the camera went on as before every time it was not
+ * looked at then.
+ */
static bool
healthy(void)
{
for (unsigned n = 1; n <= 7; n++) {
uint8_t status = 0;
- if (ldo_switched[n] && (!pm8008_get(PM8008_REGULATORS, (uint16_t)(LDO_BASE(n) + LDO_STATUS1), &status, 1) ||
- !(status & 0x80) || (status & 0x20))) {
+ if (!ldo_switched[n]) {
+ continue;
+ }
+ for (int look = 0; look < 2; look++) {
+ if (!pm8008_get(PM8008_REGULATORS, (uint16_t)(LDO_BASE(n) + LDO_STATUS1), &status, 1) || !(status & 0x80)) {
+ break;
+ }
+ if (!(status & 0x20)) {
+ break;
+ }
+ if (look == 0) {
+ say("camera: PM8008i LDO%u: status %#04x, asked again\n", n, status);
+ wait_ms(2);
+ }
+ }
+ if (!(status & 0x80) || (status & 0x20)) {
say("camera: PM8008i LDO%u: status %#04x\n", n, status);
give_up("an LDO that is no longer well");
return false;
@@ -1697,52 +1716,68 @@ rail_position(const char *name, uint32_t level, uint32_t *address)
return -1;
}
-/* CX and MX at the camera's levels, or given back (`on' false). True: RPMh has said done. */
+/* Up to three writes to RPMh's resources through the camera's TCS, waited for. True: RPMh has said done. */
static bool
-rails(bool on)
+rpmh_write(unsigned n, const uint32_t *addresses, const uint32_t *values)
{
- uint32_t addresses[2], values[2], done = 0;
- int cx = rail_position("cx.lvl", CX_LEVEL, &addresses[0]), mx = rail_position("mx.lvl", MX_LEVEL, &addresses[1]);
vm_offset_t tcs = rsc + RSC_TCS(CAMERA_TCS);
+ uint32_t done = 0, all = (1u << n) - 1;
- if (cx < 0 || mx < 0) {
- say("camera: RPMh has no position for CX %u or MX %u\n", CX_LEVEL, MX_LEVEL);
- return false;
- }
- values[0] = on ? (uint32_t)cx : 0;
- values[1] = on ? (uint32_t)mx : 0;
if (rd(tcs + TCS_STATUS) == 0) {
say("camera: TCS %u of the sequencer is busy (control %#x)\n", CAMERA_TCS, rd(tcs + TCS_CONTROL));
return false;
}
wr(rsc + RSC_IRQ_CLEAR, 1u << CAMERA_TCS);
- for (unsigned r = 0; r < 2; r++) {
+ for (unsigned r = 0; r < n; r++) {
wr(tcs + TCS_COMMAND(r), MSGID_WRITE_WAITED);
wr(tcs + TCS_COMMAND(r) + 4, addresses[r]);
wr(tcs + TCS_COMMAND(r) + 8, values[r]);
}
- wr(tcs + TCS_WAIT_FOR_DONE, 3);
- wr(tcs + TCS_ENABLED, 3);
+ wr(tcs + TCS_WAIT_FOR_DONE, all);
+ wr(tcs + TCS_ENABLED, all);
wr(tcs + TCS_CONTROL, rd(tcs + TCS_CONTROL) & ~TCS_TRIGGER);
wr(tcs + TCS_CONTROL, rd(tcs + TCS_CONTROL) | TCS_ACTIVE_MODE);
wr(tcs + TCS_CONTROL, rd(tcs + TCS_CONTROL) | TCS_TRIGGER);
- rails_voted |= on;
/* (each command's status: [8] issued, [16] completed -- the TCS's interrupt may not be enabled for this one) */
for (unsigned waited = 0; waited < 100000 && !done; waited += 50) {
- done = (rd(rsc + RSC_IRQ_STATUS) & (1u << CAMERA_TCS)) ||
- ((rd(tcs + TCS_COMMAND(0) + 12) & 1u << 16) && (rd(tcs + TCS_COMMAND(1) + 12) & 1u << 16));
+ unsigned completed = 0;
+
+ for (unsigned r = 0; r < n; r++) {
+ completed += (rd(tcs + TCS_COMMAND(r) + 12) >> 16) & 1;
+ }
+ done = (rd(rsc + RSC_IRQ_STATUS) & (1u << CAMERA_TCS)) || completed == n;
if (!done) {
spin_us(50);
}
}
- say("camera: RPMh's TCS %u: interrupt status %#x (enabled %#x), the commands' status %#x %#x\n", CAMERA_TCS,
- rd(rsc + RSC_IRQ_STATUS), rd(rsc + RSC_TCS_BASE), rd(tcs + TCS_COMMAND(0) + 12), rd(tcs + TCS_COMMAND(1) + 12));
+ say("camera: RPMh's TCS %u: interrupt status %#x (enabled %#x), the commands' status %#x %#x %#x\n", CAMERA_TCS,
+ rd(rsc + RSC_IRQ_STATUS), rd(rsc + RSC_TCS_BASE), rd(tcs + TCS_COMMAND(0) + 12), n > 1 ? rd(tcs + TCS_COMMAND(1) + 12) : 0,
+ n > 2 ? rd(tcs + TCS_COMMAND(2) + 12) : 0);
wr(rsc + RSC_IRQ_CLEAR, 1u << CAMERA_TCS);
wr(tcs + TCS_CONTROL, rd(tcs + TCS_CONTROL) & ~(TCS_TRIGGER | TCS_ACTIVE_MODE));
wr(tcs + TCS_ENABLED, 0);
+ return done != 0;
+}
+
+/* CX and MX at the camera's levels, or given back (`on' false). True: RPMh has said done. */
+static bool
+rails(bool on)
+{
+ uint32_t addresses[2], values[2];
+ int cx = rail_position("cx.lvl", CX_LEVEL, &addresses[0]), mx = rail_position("mx.lvl", MX_LEVEL, &addresses[1]);
+ bool done;
+
+ if (cx < 0 || mx < 0) {
+ say("camera: RPMh has no position for CX %u or MX %u\n", CX_LEVEL, MX_LEVEL);
+ return false;
+ }
+ values[0] = on ? (uint32_t)cx : 0;
+ values[1] = on ? (uint32_t)mx : 0;
+ rails_voted |= on;
+ done = rpmh_write(2, addresses, values);
say("camera: RPMh %s CX (%#x) position %u and MX (%#x) position %u%s\n", done ? "took" : "DID NOT SAY IT TOOK", addresses[0],
values[0], addresses[1], values[1], on ? "" : " (given back)");
- return done != 0;
+ return done;
}
/* camcc's PLL0 (Lucid): the registers of clk-alpha-pll.c's Lucid layout */
@@ -2823,6 +2858,162 @@ sensor_write(uint16_t address, uint16_t value, bool sixteen)
i2c_transfer(&cci_bus, sensor_address(), (uint8_t[]){ out[0], out[1], out[3] }, 3, NULL, 0);
}
+/*
+ * The wide camera's lens: a voice-coil motor driven by a Dongwoon DW9800 on the sensor's own I2C at
+ * 0x0c (the module file's actuatorDriver, "redwood_sunny_s5khm2sd_dw9800_wide"), powered by the
+ * PM8350C's L9 (the device tree's actuator0: cam_vaf at 2.8 V, a regulator the SD card's slot has as
+ * its vdd too; RPMh's "ldoc9"). The module file's initialisation, as it is: 0x02 = 0x01 (power down),
+ * 0x02 = 0x00 and 1 ms, 0x02 = 0x02 (ring control), 0x06 = 0x40 (SAC3), 0x07 = 0x07 (its timing), the
+ * position 0x190 and 20 ms, then 0x12c. The position is ten bits, 0x03 (the high two) and 0x04 written
+ * together (its registerParam). Those registers only are written. The other three cameras' lenses
+ * are fixed. When the motor does not answer, L9 is switched on (and back off at the end) and it is
+ * asked again; at the end the lens is let down to 0 and the chip powered down.
+ */
+#define AF_ADDRESS 0x0c
+#define AF_CONTROL 0x02 /* [0] power down, [1] ring control */
+#define AF_POSITION 0x03 /* and 0x04: ten bits */
+#define AF_MODE 0x06
+#define AF_TIMING 0x07
+#define VAF_MV 2800
+#define VRM_VOLTAGE 0x0 /* an RPMh VRM resource's registers (rpmh-regulator.c) */
+#define VRM_ENABLE 0x4
+#define VRM_MODE 0x8
+#define VRM_MODE_HPM 7 /* a PMIC5 LDO's high power mode */
+
+static bool vaf_voted;
+static uint32_t af_position = REDWOOD_CAMERA_NO_FOCUS;
+
+/* (a look, for now: what the LDOs say after the motor does something; said only when not all is well) */
+static void
+af_look(const char *when)
+{
+ for (unsigned n = 1; n <= 7; n++) {
+ uint8_t status = 0;
+
+ if (ldo_switched[n] && pm8008_get(PM8008_REGULATORS, (uint16_t)(LDO_BASE(n) + LDO_STATUS1), &status, 1) &&
+ (status & 0xb8) != 0x80) {
+ say("camera: %s: PM8008i LDO%u status %#04x\n", when, n, status);
+ }
+ }
+}
+
+static bool
+af_write(uint8_t reg, uint16_t value)
+{
+ uint8_t out[3] = { reg, (uint8_t)value, 0 };
+
+ if (reg != AF_CONTROL && reg != AF_POSITION && reg != AF_MODE && reg != AF_TIMING) {
+ return false;
+ }
+ if (reg == AF_POSITION) {
+ out[1] = (uint8_t)(value >> 8 & 3);
+ out[2] = (uint8_t)value;
+ }
+ return i2c_transfer(&cci_bus, AF_ADDRESS, out, reg == AF_POSITION ? 3 : 2, NULL, 0);
+}
+
+/* L9C at 2.8 V in high power mode, or given back. True: RPMh has said done. */
+static bool
+vaf(bool on)
+{
+ uint16_t levels[1];
+ unsigned count;
+ uint32_t base = rpmh_resource("ldoc9", levels, 1, &count), addresses[3], values[3];
+ bool done;
+
+ if (base == 0) {
+ say("camera: RPMh has no ldoc9 (the lens motor's supply)\n");
+ return false;
+ }
+ addresses[0] = base + VRM_VOLTAGE;
+ values[0] = VAF_MV;
+ addresses[1] = base + VRM_MODE;
+ values[1] = VRM_MODE_HPM;
+ addresses[2] = base + VRM_ENABLE;
+ values[2] = on;
+ done = on ? rpmh_write(3, addresses, values) : rpmh_write(1, &addresses[2], &values[2]);
+ vaf_voted = on && done;
+ say("camera: RPMh %s L9C (%#x) %s\n", done ? "took" : "DID NOT SAY IT TOOK", base, on ? "on at 2800 mV" : "off");
+ return done;
+}
+
+static void
+af_up(bool sensor_frames)
+{
+ af_position = REDWOOD_CAMERA_NO_FOCUS;
+ if (hw != &sensors[1] || !sensor_frames) {
+ return;
+ }
+ if (!af_write(AF_CONTROL, 0x01)) {
+ say("camera: the lens motor (DW9800 at 0x0c) does not answer: its supply on\n");
+ if (!vaf(true)) {
+ return;
+ }
+ wait_ms(2);
+ af_look("the lens motor's supply on");
+ if (!af_write(AF_CONTROL, 0x01)) {
+ say("camera: the lens motor does not answer with its supply on either: no focus in this session\n");
+ (void)vaf(false);
+ return;
+ }
+ }
+ if (!af_write(AF_CONTROL, 0x00)) {
+ goto failed;
+ }
+ wait_ms(1);
+ if (!af_write(AF_CONTROL, 0x02) || !af_write(AF_MODE, 0x40) || !af_write(AF_TIMING, 0x07) || !af_write(AF_POSITION, 0x190)) {
+ goto failed;
+ }
+ wait_ms(20);
+ if (!af_write(AF_POSITION, 0x12c)) {
+ goto failed;
+ }
+ af_position = 0x12c;
+ af_look("the lens motor initialised");
+ say("camera: the lens motor (DW9800) is up, the lens at %u\n", af_position);
+ return;
+failed:
+ say("camera: the lens motor stopped answering during its initialisation: no focus in this session\n");
+}
+
+static void
+af_move(uint32_t position)
+{
+ if (af_position == REDWOOD_CAMERA_NO_FOCUS) {
+ return;
+ }
+ position = position > 1023 ? 1023 : position;
+ if (position != af_position && af_write(AF_POSITION, (uint16_t)position)) {
+ char when[48];
+
+ snprintf(when, sizeof(when), "the lens from %u to %u", af_position, position);
+ af_position = position;
+ af_look(when);
+ }
+}
+
+static void
+af_down(void)
+{
+ if (af_position != REDWOOD_CAMERA_NO_FOCUS) {
+ /* down in steps, not to knock the lens against its stop */
+ while (af_position > 0) {
+ uint32_t was = af_position;
+
+ af_move(af_position > 48 ? af_position - 48 : 0);
+ if (af_position == was) {
+ break;
+ }
+ wait_ms(10);
+ }
+ (void)af_write(AF_CONTROL, 0x01);
+ af_position = REDWOOD_CAMERA_NO_FOCUS;
+ }
+ if (vaf_voted) {
+ (void)vaf(false);
+ }
+}
+
static bool
exposure(const struct ctab_mode *mode)
{
@@ -2923,11 +3114,16 @@ capture_sensor(void)
h = (struct cam_header *)frames;
(void)PE_parse_boot_argn("cam_pattern", &pattern, sizeof(pattern));
/*
- * In a picture of a room the two sites of a 2x2 cell that track each other are the greens: the
- * OV02B10's second and third, the S5KHM2SD's first and fourth; red against blue by the two
- * cameras' raw levels under the same warm light (red the higher of the two). The OV02B10's own
- * colour bars (cam_pattern=1) come a line off its picture: GBRG. A sensor whose module file has
- * no colour bars (the wide one's and the ultra-wide's have none) gives its picture instead.
+ * The picture's order is the one each sensor's module file gives its modes (resolutionData's
+ * colorFilterArrangement, in CamX's order: 0 BGGR, 1 GBRG, 2 GRBG, 3 RGGB -- camera.qcom.so's
+ * TranslateColorFilterArrangement turns it into Android's by the table 3, 2, 1, 0): the OV02B10's
+ * and the OV16A1Q's BGGR, the S5KHM2SD's and the S5K4H7's GRBG (tools/camsensor.py lists it).
+ * Their greens are where a picture of a room has them (the sites of a cell that track each
+ * other); red against blue had been guessed from raw levels under a warm light, the other way
+ * round, and every picture had the two swapped. The OV02B10's own colour bars (cam_pattern=1)
+ * are still taken for GBRG, as before: the module file says nothing of them. A sensor whose
+ * module file has no colour bars (the wide one's and the ultra-wide's have none) gives its
+ * picture instead.
*/
uint32_t tpg_count = 0;
const struct ctab_entry *tpgon = ctab_find("tpgon", &tpg_count);
@@ -3028,7 +3224,7 @@ static const struct ctab_mode *ios_mode;
static uint32_t ios_mode_n, ios_line_ns;
static volatile bool ios_open, ios_streaming, ios_wanted; /* open; frames coming; a read wants them */
static uint64_t ios_last_read, ios_given, ios_frames_done, ios_writes_late;
-static struct { uint32_t lines, gain, frame_lines; bool pending; } ios_ask;
+static struct { uint32_t lines, gain, frame_lines; bool pending; uint32_t focus; bool focus_pending; } ios_ask;
static struct { uint32_t lines, gain, frame_lines; uint64_t from; } ios_now, ios_next;
/*
* What the frames are (boot-arg cam_pattern): 0 the sensor's picture; 1 colour bars -- the sensor's own,
@@ -3160,7 +3356,11 @@ ios_stop(const char *why)
if (!broken && ios_source != SOURCE_CSID_TPG) {
(void)sensor_table("off");
}
- show_paths("at the end");
+ af_down();
+ /* (only when the paths were set up: a start that failed before them -- a PMIC that did not answer -- has no CSID mapped) */
+ if (csid_running || ife_running) {
+ show_paths("at the end");
+ }
smmu_faults();
csiphy_down();
titan_down();
@@ -3227,6 +3427,7 @@ ios_start(void)
if (!sensor_table("on") || !exposure_write(lines, gain, frame_lines)) {
return false;
}
+ af_up(ios_source == SOURCE_SENSOR);
ios_now.lines = ios_next.lines = lines;
ios_now.gain = ios_next.gain = gain;
ios_now.frame_lines = ios_next.frame_lines = frame_lines;
@@ -3320,11 +3521,15 @@ ios_session(void)
blk_put(ife, "IFE", IFE_REG_UPDATE, 0x2, false);
}
}
- bool ask = (bus & WM0_DONE) && ios_ask.pending;
- uint32_t lines = ios_ask.lines, gain = ios_ask.gain, frame_lines = ios_ask.frame_lines;
+ bool ask = (bus & WM0_DONE) && ios_ask.pending, focus = (bus & WM0_DONE) && ios_ask.focus_pending;
+ uint32_t lines = ios_ask.lines, gain = ios_ask.gain, frame_lines = ios_ask.frame_lines, position = ios_ask.focus;
ios_ask.pending = ios_ask.pending && !ask;
+ ios_ask.focus_pending = ios_ask.focus_pending && !focus;
lck_mtx_unlock(&ios_lock);
+ if (focus) {
+ af_move(position);
+ }
if (bus & WM0_DONE) {
wakeup(&ios_frames_done);
}
@@ -3359,6 +3564,158 @@ ios_session(void)
ios_stop(broken ? "a fault" : !ios_open ? "closed" : ios_switch_to != 0 ? "another sensor asked for" : "nobody reads");
}
+/*
+ * cam_fake=1 (with cam=5; for QEMU): /dev/redwood-camera without the phone's camera. The sessions,
+ * sensors, modes and frame headers are cam=5's, from the same tables in fw/, but nothing of the phone
+ * is touched: the frames are a colour chart made here -- eight bars (white, beige, red, yellow, green,
+ * cyan, blue, 18 % grey) over a grey ramp -- in RAW10 in the sensor's own Bayer order, as bright as the
+ * exposure asked for makes them, so that everything above the kernel (the ISP of camera_test and of
+ * the media library, the capture graph, Camera.app) runs as it does on the phone and has a known
+ * picture to show. cam_fake_fps: frames a second (default 5: QEMU's processor is slow).
+ */
+static bool fake;
+
+/* the bars' linear reflectance, R, G, B in thousandths */
+static const uint16_t fake_bars[8][3] = {
+ { 900, 900, 900 }, { 730, 550, 300 }, { 600, 50, 50 }, { 750, 650, 50 },
+ { 80, 450, 100 }, { 50, 500, 600 }, { 50, 100, 550 }, { 180, 180, 180 },
+};
+
+/* one line of the chart, RAW10: `ramp' the grey ramp's, else the bars'; `odd' the second line of the cells */
+static void
+fake_line(uint8_t *out, uint32_t width, bool odd, bool ramp, uint64_t light)
+{
+ static const int red[4] = { 0, 1, 2, 3 }, blue[4] = { 3, 2, 1, 0 };
+ int r = red[hw->bayer & 3], b = blue[hw->bayer & 3];
+ uint32_t v[4];
+
+ for (uint32_t x = 0; x < width; x += 4) {
+ for (int i = 0; i < 4; i++) {
+ uint32_t px = x + (uint32_t)i, site = (odd ? 2u : 0u) + (px & 1), c = site == (uint32_t)r ? 0 : site == (uint32_t)b ? 2 : 1;
+ uint64_t refl = ramp ? (uint64_t)px * 1000 / width : fake_bars[px * 8 / width][c];
+ /* (2/15 of a 10-bit step per thousandth of reflectance and line at 1x: 18 % grey at AE's 15 % of white near 6000) */
+ uint64_t level = 64 + refl * light * 2 / 15000;
+
+ v[i] = level > 1023 ? 1023 : (uint32_t)level;
+ }
+ uint8_t *g = out + (x / 4) * 5;
+
+ g[0] = (uint8_t)(v[0] >> 2);
+ g[1] = (uint8_t)(v[1] >> 2);
+ g[2] = (uint8_t)(v[2] >> 2);
+ g[3] = (uint8_t)(v[3] >> 2);
+ g[4] = (uint8_t)((v[0] & 3) | (v[1] & 3) << 2 | (v[2] & 3) << 4 | (v[3] & 3) << 6);
+ }
+}
+
+/* place p filled with the chart as an exposure of `lines' at `gain' shows it */
+static void
+fake_fill(int p, uint32_t lines, uint32_t gain)
+{
+ uint8_t *at = (uint8_t *)(ring + (uint64_t)p * ring_place_bytes);
+ uint32_t width = ios_mode->width, height = ios_mode->height, stride = RAW10_STRIDE(width), ramp_from = height * 3 / 4 & ~1u;
+ uint64_t light = (uint64_t)lines * gain / GAIN_UNITY;
+
+ fake_line(at, width, false, false, light);
+ fake_line(at + stride, width, true, false, light);
+ fake_line(at + (uint64_t)ramp_from * stride, width, false, true, light);
+ fake_line(at + (uint64_t)(ramp_from + 1) * stride, width, true, true, light);
+ for (uint32_t y = 2; y < height; y++) {
+ if (y != ramp_from && y != ramp_from + 1) {
+ memcpy(at + (uint64_t)y * stride, at + (uint64_t)((y & 1) + (y >= ramp_from ? ramp_from : 0)) * stride, stride);
+ }
+ }
+}
+
+/* a session of cam_fake: ios_session()'s, with the chart for the sensor and a timer for its frames */
+static void
+fake_session(void)
+{
+ uint32_t fps = 5, lines, gain, frame_lines, filled_lines[RING] = { 0 }, filled_gain[RING] = { 0 };
+
+ (void)PE_parse_boot_argn("cam_fake_fps", &fps, sizeof(fps));
+ fps = fps < 1 ? 1 : fps > 30 ? 30 : fps;
+ ios_frames_done = ios_given = ios_writes_late = 0;
+ if (!ring_alloc(RAW10_STRIDE(ios_mode->width) * ios_mode->height)) {
+ return;
+ }
+ lck_mtx_lock(&ios_lock);
+ for (int i = 0; i < RING; i++) {
+ place[i].state = PLACE_FREE;
+ place[i].sequence = 0;
+ }
+ lines = ios_ask.lines;
+ gain = ios_ask.gain;
+ frame_lines = ios_ask.frame_lines;
+ ios_ask.pending = false;
+ exposure_limits(&lines, &gain, &frame_lines);
+ ios_now.lines = lines;
+ ios_now.gain = gain;
+ ios_now.frame_lines = frame_lines;
+ ios_streaming = true;
+ ios_last_read = ios_ms();
+ lck_mtx_unlock(&ios_lock);
+ say("camera: the frames for iOS: cam_fake's colour chart, %ux%u in %s's order, %u a second\n", ios_mode->width, ios_mode->height,
+ hw->chip, fps);
+ while (ios_open && ios_switch_to == 0) {
+ int p = -1;
+
+ wait_ms(1000 / fps);
+ lck_mtx_lock(&ios_lock);
+ if (ios_ms() - ios_last_read > IDLE_MS) {
+ lck_mtx_unlock(&ios_lock);
+ break;
+ }
+ if (ios_ask.pending) {
+ lines = ios_ask.lines;
+ gain = ios_ask.gain;
+ frame_lines = ios_ask.frame_lines;
+ ios_ask.pending = false;
+ exposure_limits(&lines, &gain, &frame_lines);
+ ios_now.lines = lines;
+ ios_now.gain = gain;
+ ios_now.frame_lines = frame_lines;
+ }
+ for (int i = 0; i < RING; i++) {
+ if (place[i].state != PLACE_READING && (p < 0 || place[i].sequence < place[p].sequence)) {
+ p = i;
+ }
+ }
+ if (p >= 0) {
+ place[p].state = PLACE_WRITING;
+ }
+ lck_mtx_unlock(&ios_lock);
+ if (p < 0) {
+ ios_writes_late++;
+ continue;
+ }
+ if (filled_lines[p] != ios_now.lines || filled_gain[p] != ios_now.gain) {
+ fake_fill(p, ios_now.lines, ios_now.gain);
+ filled_lines[p] = ios_now.lines;
+ filled_gain[p] = ios_now.gain;
+ }
+ lck_mtx_lock(&ios_lock);
+ place[p].state = PLACE_READY;
+ place[p].sequence = ++ios_frames_done;
+ place[p].time = mach_absolute_time();
+ place[p].exposure_lines = ios_now.lines;
+ place[p].gain = ios_now.gain;
+ place[p].frame_lines = ios_now.frame_lines;
+ lck_mtx_unlock(&ios_lock);
+ wakeup(&ios_frames_done);
+ }
+ lck_mtx_lock(&ios_lock);
+ ios_streaming = false;
+ for (int i = 0; i < RING; i++) {
+ place[i].state = PLACE_FREE;
+ }
+ lck_mtx_unlock(&ios_lock);
+ wakeup(&ios_frames_done);
+ ring_free();
+ say("camera: the frames for iOS stopped (%s): %llu done, %llu given\n", !ios_open ? "closed" : ios_switch_to != 0 ?
+ "another sensor asked for" : "nobody reads", ios_frames_done, ios_given);
+}
+
static const char *
ios_res(void)
{
@@ -3454,6 +3811,7 @@ camdev_read(__unused dev_t dev, struct uio *uio, __unused int ioflag)
f.frame_lines_max = FRAME_LINES_MAX;
f.margin = EXPOSURE_MARGIN;
f.sensor = hw_index;
+ f.focus = af_position;
lck_mtx_unlock(&ios_lock);
error = uiomove((caddr_t)&f, (int)MIN(sizeof(f), (size_t)uio_resid(uio)), uio);
@@ -3547,6 +3905,13 @@ camdev_write(__unused dev_t dev, struct uio *uio, __unused int ioflag)
if (c.command == REDWOOD_CAMERA_KEEP) {
return keep_picture(&c, uio);
}
+ if (c.command == REDWOOD_CAMERA_FOCUS) {
+ lck_mtx_lock(&ios_lock);
+ ios_ask.focus = c.a;
+ ios_ask.focus_pending = true;
+ lck_mtx_unlock(&ios_lock);
+ return 0;
+ }
if (c.command == REDWOOD_CAMERA_SENSOR) {
if (c.a >= sizeof(sensors) / sizeof(sensors[0])) {
return EINVAL;
@@ -3591,7 +3956,9 @@ static bool
ios_select(unsigned index, uint32_t mode_n)
{
select_sensor(index);
- find_pins();
+ if (!fake) {
+ find_pins();
+ }
if (!ctab_load()) {
return false;
}
@@ -3676,7 +4043,11 @@ serve_ios(void)
lck_mtx_lock(&ios_lock);
ios_wanted = false;
lck_mtx_unlock(&ios_lock);
- ios_session();
+ if (fake) {
+ fake_session();
+ } else {
+ ios_session();
+ }
}
say("camera: /dev/redwood-camera: no more frames in this run\n");
}
@@ -3737,13 +4108,6 @@ camera_thread(__unused void *parameter, __unused wait_result_t result)
if (level == 5) {
camdev_make();
}
- wait_ms(secs * 1000); /* (the system up first: nothing else is on these buses then) */
- tlmm = ml_io_map(TLMM_PHYS, TLMM_SIZE);
- gcc = ml_io_map(GCC_PHYS, 0x30000);
- camcc = ml_io_map(CAMCC_PHYS, CAMCC_SIZE);
- arb_core = ml_io_map(ARB_CORE_PHYS, ARB_CORE_SIZE);
- arb_cnfg = ml_io_map(ARB_CNFG_PHYS, ARB_CNFG_SIZE);
- arb_observer = ml_io_map(ARB_OBSERVER_PHYS, ARB_OBSERVER_SIZE);
select_sensor(level == 5 ? 1 : 0);
if (PE_parse_boot_arg_str("cam_sensor", which, sizeof(which))) {
for (unsigned i = 0; i < sizeof(sensors) / sizeof(sensors[0]); i++) {
@@ -3753,6 +4117,20 @@ camera_thread(__unused void *parameter, __unused wait_result_t result)
}
}
}
+ if (fake) {
+ say("camera: cam=5 cam_fake=1: the %s camera's frames for iOS are a chart made here; nothing of the phone is touched\n",
+ hw->name);
+ serve_ios();
+ say("camera: done\n");
+ thread_terminate(current_thread());
+ }
+ wait_ms(secs * 1000); /* (the system up first: nothing else is on these buses then) */
+ tlmm = ml_io_map(TLMM_PHYS, TLMM_SIZE);
+ gcc = ml_io_map(GCC_PHYS, 0x30000);
+ camcc = ml_io_map(CAMCC_PHYS, CAMCC_SIZE);
+ arb_core = ml_io_map(ARB_CORE_PHYS, ARB_CORE_SIZE);
+ arb_cnfg = ml_io_map(ARB_CNFG_PHYS, ARB_CNFG_SIZE);
+ arb_observer = ml_io_map(ARB_OBSERVER_PHYS, ARB_OBSERVER_SIZE);
say("camera: cam=%u: the %s camera%s\n", level, hw->name, level == 5 ? ": its frames for iOS" :
level == 4 ? ": its frames through its CSIPHY and RDI 0 into memory" :
level == 3 ? ": the CSID's test pattern through RDI 0 into memory" :
@@ -3792,6 +4170,9 @@ redwood_camera_init(void)
return;
}
level = level > 5 ? 5 : level;
+ uint32_t fake_n = 0;
+
+ fake = level == 5 && PE_parse_boot_argn("cam_fake", &fake_n, sizeof(fake_n)) && fake_n != 0;
if (level >= 3) {
/*
* Memory in one piece for the host (cam_keep_mb, default 24: a 12-megapixel NV12 picture of cam=5,
diff --git a/xnu/files/bsd/sys/redwood_camera.h b/xnu/files/bsd/sys/redwood_camera.h
index 9174265..9cbd416 100644
--- a/xnu/files/bsd/sys/redwood_camera.h
+++ b/xnu/files/bsd/sys/redwood_camera.h
@@ -38,15 +38,20 @@ struct redwood_camera_frame {
uint32_t frame_lines_max; /* the longest frame it may be given */
uint32_t margin; /* exposure_lines is at most frame_lines - margin */
uint32_t sensor; /* which: 0 the macro, 1 the wide, 2 the front, 3 the ultra-wide camera */
- uint32_t reserved[6];
+ uint32_t focus; /* the lens's position as last set, 0 (the furthest) to 1023: REDWOOD_CAMERA_NO_FOCUS where it
+ * has no motor (or it does not answer) */
+ uint32_t reserved[5];
};
+#define REDWOOD_CAMERA_NO_FOCUS 0xffffffffu
+
enum {
REDWOOD_CAMERA_EXPOSURE = 1, /* a: lines, b: gain, c: frame lines (0: the shortest that holds the exposure) */
REDWOOD_CAMERA_KEEP = 2, /* a picture for the host: a width, b height, c stride, d format (1 the frame's RAW10, 2 NV12,
* 3 BGRA); bytes follow */
REDWOOD_CAMERA_SENSOR = 3, /* another sensor: a which (as in the frames' header), b its mode (~0: the usual one);
* the frames stop, everything goes down, and the next read starts the other one */
+ REDWOOD_CAMERA_FOCUS = 4, /* the lens to a: 0 (the furthest) to 1023, from the next frame or so */
};
struct redwood_camera_command {