Retarget human motion from video to an Adobe Mixamo-rigged 3D character.
Motion2MixamoRig для Blender — руководство пользователя
简体中文 · 繁體中文 · English · 한국어 · 日本語 · Deutsch · Русский · العربية · Tiếng Việt · Filipino · ไทย · Français · Español · Türkçe · नेपाली · Bahasa Indonesia · Polski · Nederlands · Italiano · Português (Brasil) · Українська · Čeština · हिन्दी · Svenska
Превратите видео с одним человеком в анимированного персонажа Mixamo прямо в Blender. Ни программирования, ни терминала не нужно.
Пока проверено только на macOS (Apple Silicon). Сборка для Windows скоро появится.
Что понадобится
- Blender 4.2 или новее
- Подключение к интернету для первой настройки
- Около 8 ГБ свободного места на диске (среда ~1.3 ГБ + модели ~5.6 ГБ)
- Бесплатная учётная запись SMPL-X и бесплатная учётная запись Adobe (для Mixamo); см. шаги 4 и 5
1. Скачайте аддон
Откройте последний релиз и скачайте zip для своего компьютера:
| Ваш компьютер | Файл |
|---|---|
| Mac с Apple Silicon (M1/M2/M3/M4) | motion2mixamorig-<version>-macos-arm64.zip |
| Windows | Скоро |
Например, motion2mixamorig-0.1.8-macos-arm64.zip: 0.1.8 — версия аддона,
macos-arm64 — платформа. Если выбрать не тот файл, Blender откажется его
устанавливать и назовёт ожидаемую платформу.
Не распаковывайте его. Blender сам устанавливает zip.
2. Установите его в Blender
- Edit → Preferences → Get Extensions
- Нажмите маленькую ∨ справа вверху → Install from Disk…
- Выберите zip. Motion2MixamoRig появится в списке уже включённым.
- Закройте Preferences. В 3D Viewport нажмите N, затем откройте вкладку Motion2MixamoRig справа.
3. Установите среду (один раз)
На панели нажмите Установить среду (в один клик) (Install Runtime (one click)).
Аддон скачивает собственный Python и библиотеки (1.4 ГБ) в
`/Motion2MixamoRig/`. Больше ничего на компьютере он не трогает. Это занимает
несколько минут; индикатор прогресса показывает текущий шаг.
4. Получите модель тела SMPL-X
SMPL-X — бесплатная модель тела, которая нужна аддону. Её лицензия не позволяет нам распространять её, поэтому скачайте её сами, один раз:
- Откройте smpl-x.is.tue.mpg.de и нажмите Register. Примите лицензию и подтвердите e-mail.
- Войдите, откройте Download и скачайте модель SMPL-X (версию NPZ).
- Распакуйте архив и найдите
SMPLX_NEUTRAL.npz. - В Blender нажмите Выбрать модель SMPL-X… (Choose SMPL-X Model…) и укажите этот файл. На панели появится Модель SMPL-X: найдена (SMPL-X model: found).
5. Получите персонажа Mixamo
- Откройте mixamo.com и войдите с учётной записью Adobe.
- Вкладка Characters → выберите персонажа (например, Y Bot).
- Download → Format FBX Binary (.fbx), Pose T-pose → Download.
6. Сгенерируйте движение
В блоке Ввод (Input):
- Тип источника (Source Type): Видео (Video) (или Изображение (Image) для одной позы)
- Файл источника (Source File): ваш ролик. В нём должен быть ровно один человек, с головы до ног в кадре всё время.
- Mixamo Rig FBX: персонаж из шага 5
- Определять кисти (Detect Hands) выключено. Включайте его, только если
должны двигаться пальцы. Затем нажмите Выбрать модель кисти MANO…
(Choose MANO Hand Model…) и укажите
MANO_RIGHT.pkl. Файл берётся так же, как SMPL-X: зарегистрируйтесь на mano.is.tue.mpg.de, скачайте Models & Code и распакуйте. Первый проход кистей один раз докачивает около 2,7 ГБ и занимает примерно вдвое больше времени, чем прогон только тела. Когда он включён, появляется Finger Smoothing (seconds). Оно сглаживает движение пальцев. По умолчанию 0,08 секунды; 0 оставляет то, что было распознано. - Нажмите Сгенерировать движение (Generate Motion)
Когда всё закончится, анимированный персонаж автоматически импортируется в сцену. Опирающаяся стопа остаётся там, где встала, а подошва ставится на пол Blender. На этот пол добавляется меш Метки на полу (Floor Markers) (крест каждые 0,5 м). Флажок Метки на полу (Floor Markers) в блоке Прогресс / результат показывает или скрывает его.
Первый запуск занимает больше времени — это нормально
При первом запуске аддон скачивает около 5.6 ГБ моделей. Панель показывает размер загрузки, скорость и оставшееся время. Модели скачиваются только один раз.
Затем видео обрабатывается на вашем компьютере. На CPU Mac 10-секундный ролик обрабатывается несколько минут. Blender в это время остаётся доступным, а Отмена (Cancel) останавливает задачу.
Советы для хорошего результата
- Только один человек, тело видно целиком, не обрезано по краям
- Неподвижная камера, хороший свет, облегающая одежда, а не свободная или развевающаяся
- Короткие ролики (5–20 секунд) — для первых проб они быстрее
Обновление до новой версии
Аддон обновляется часто. Чтобы обновить:
- Скачайте новейший zip из последнего релиза.
- Get Extensions → удалите старый Motion2MixamoRig, полностью закройте Blender (Cmd+Q), откройте снова и установите новый zip.
- На панели нажмите Обновить среду (Update Runtime).
При обновлении скачанные модели сохраняются, поэтому оно проходит быстро. Установленная версия показана рядом с аддоном в Get Extensions.
Панель
- ⚙ рядом с заголовком показывает или скрывает блок Настройка (Setup).
- Настройка: язык, среда, SMPL-X, Устройство (Device) (CPU — надёжный выбор) и Проверить среду (Check Environment).
- Ввод: что анимировать, Модель тела (Body Model, GVHMR) и Определять кисти (Detect Hands).
- Прогресс / результат (Progress / Result): ход работы, последние строки журнала, а после задачи — Импортировать персонажа (Import Generated Character), Метки на полу (Floor Markers), Открыть папку результатов (Open Output Folder), Полный журнал (View Full Log).
- Диагностика (Diagnostics): места, где части тела персонажа входят друг в
друга (рука в голове, скрещённые руки). Красные ячейки на полосе — кадры с
проблемой; щелчок переносит туда. Треугольник под полосой следует за текущим
кадром, а ниже показано, какие части пересекаются и насколько глубоко.
Назад / Вперёд (Previous / Next) переходят между проблемами.
Открыть HTML-отчёт (Open HTML Report) открывает в браузере отчёт с
исходным видео рядом с персонажем (в первый раз он создаётся около 15
секунд). Исходное видео требует ffmpeg на компьютере (на Mac:
brew install ffmpeg). Без него персонаж на месте, а видео рядом пустое. Персонаж стоит на неподвижных крестах пола, по одному каждые 0,5 м, чтобы было видно, скользит ли он. Янтарная дорожка над красными дорожками — для заметок, которые вы видите глазом. Они в списке Notes справа; щелчок по строке переходит к ней. Download notes сохраняет эти заметки вместе со временем пересечений. Файл называется как исходное видео.
Аддон говорит на 19 языках. Авто (Auto) следует языку Blender; изменить его можно в блоке Настройка в пункте Язык интерфейса (UI Language).
Если что-то пошло не так
| Что вы видите | Что делать |
|---|---|
| Не удалось установить среду (Runtime installation failed) | Проверьте подключение к интернету и нажмите кнопку ещё раз. Журнал: ~/Motion2MixamoRig/logs/setup.log |
| Модель SMPL-X: нет (SMPL-X model: missing) | Повторите шаг 4 и выберите SMPLX_NEUTRAL.npz |
| Модель кисти MANO: нет (MANO hand model: missing) | Включите Определять кисти, затем Выбрать модель кисти MANO… и укажите MANO_RIGHT.pkl |
| Некорректный Mixamo FBX (Mixamo FBX invalid) | Скачайте персонажа заново как FBX Binary, T-pose |
| Во входе несколько людей (Input contains multiple people) | Используйте ролик только с одним человеком |
| Человек во входе не обнаружен (No person was detected in the input) | Убедитесь, что тело видно целиком и хорошо освещено |
| Процесс конвейера неожиданно завершился (Pipeline process exited unexpectedly) | Нажмите Полный журнал |
Обращаясь за помощью, приложите журнал и укажите версию аддона.
Удаление
- Get Extensions → удалите Motion2MixamoRig.
- Удалите папку
~/Motion2MixamoRig(домашняя папка →Motion2MixamoRig). Удаление аддона её не удаляет, а в ней около 7 ГБ среды и моделей, плюс ваши сгенерированные результаты вapp/outputs/.
Лицензия
Motion2MixamoRig — только для некоммерческого использования: он опирается на
исследовательские модели (например, GVHMR и SMPL-X), лицензии которых не
допускают коммерческого использования. См. NOTICE.md.