Skip to content

Retarget human motion from video to an Adobe Mixamo-rigged 3D character.

Python
14.2 KB
Raw Blame

Motion2MixamoRig для Blender — руководство пользователя

简体中文 · 繁體中文 · English · 한국어 · 日本語 · Deutsch · Русский · العربية · Tiếng Việt · Filipino · ไทย · Français · Español · Türkçe · नेपाली · Bahasa Indonesia · Polski · Nederlands · Italiano · Português (Brasil) · Українська · Čeština · हिन्दी · Svenska

Превратите видео с одним человеком в анимированного персонажа Mixamo прямо в Blender. Ни программирования, ни терминала не нужно.

Пока проверено только на macOS (Apple Silicon). Сборка для Windows скоро появится.

Что понадобится

  • Blender 4.2 или новее
  • Подключение к интернету для первой настройки
  • Около 8 ГБ свободного места на диске (среда ~1.3 ГБ + модели ~5.6 ГБ)
  • Бесплатная учётная запись SMPL-X и бесплатная учётная запись Adobe (для Mixamo); см. шаги 4 и 5

1. Скачайте аддон

Откройте последний релиз и скачайте zip для своего компьютера:

Ваш компьютер Файл
Mac с Apple Silicon (M1/M2/M3/M4) motion2mixamorig-<version>-macos-arm64.zip
Windows Скоро

Например, motion2mixamorig-0.1.8-macos-arm64.zip: 0.1.8 — версия аддона, macos-arm64 — платформа. Если выбрать не тот файл, Blender откажется его устанавливать и назовёт ожидаемую платформу.

Не распаковывайте его. Blender сам устанавливает zip.

2. Установите его в Blender

  1. Edit → Preferences → Get Extensions
  2. Нажмите маленькую ∨ справа вверху → Install from Disk…
  3. Выберите zip. Motion2MixamoRig появится в списке уже включённым.
  4. Закройте Preferences. В 3D Viewport нажмите N, затем откройте вкладку Motion2MixamoRig справа.

3. Установите среду (один раз)

На панели нажмите Установить среду (в один клик) (Install Runtime (one click)).

Аддон скачивает собственный Python и библиотеки (1.4 ГБ) в `/Motion2MixamoRig/`. Больше ничего на компьютере он не трогает. Это занимает несколько минут; индикатор прогресса показывает текущий шаг.

4. Получите модель тела SMPL-X

SMPL-X — бесплатная модель тела, которая нужна аддону. Её лицензия не позволяет нам распространять её, поэтому скачайте её сами, один раз:

  1. Откройте smpl-x.is.tue.mpg.de и нажмите Register. Примите лицензию и подтвердите e-mail.
  2. Войдите, откройте Download и скачайте модель SMPL-X (версию NPZ).
  3. Распакуйте архив и найдите SMPLX_NEUTRAL.npz.
  4. В Blender нажмите Выбрать модель SMPL-X… (Choose SMPL-X Model…) и укажите этот файл. На панели появится Модель SMPL-X: найдена (SMPL-X model: found).

5. Получите персонажа Mixamo

  1. Откройте mixamo.com и войдите с учётной записью Adobe.
  2. Вкладка Characters → выберите персонажа (например, Y Bot).
  3. Download → Format FBX Binary (.fbx), Pose T-pose → Download.

6. Сгенерируйте движение

В блоке Ввод (Input):

  1. Тип источника (Source Type): Видео (Video) (или Изображение (Image) для одной позы)
  2. Файл источника (Source File): ваш ролик. В нём должен быть ровно один человек, с головы до ног в кадре всё время.
  3. Mixamo Rig FBX: персонаж из шага 5
  4. Определять кисти (Detect Hands) выключено. Включайте его, только если должны двигаться пальцы. Затем нажмите Выбрать модель кисти MANO… (Choose MANO Hand Model…) и укажите MANO_RIGHT.pkl. Файл берётся так же, как SMPL-X: зарегистрируйтесь на mano.is.tue.mpg.de, скачайте Models & Code и распакуйте. Первый проход кистей один раз докачивает около 2,7 ГБ и занимает примерно вдвое больше времени, чем прогон только тела. Когда он включён, появляется Finger Smoothing (seconds). Оно сглаживает движение пальцев. По умолчанию 0,08 секунды; 0 оставляет то, что было распознано.
  5. Нажмите Сгенерировать движение (Generate Motion)

Когда всё закончится, анимированный персонаж автоматически импортируется в сцену. Опирающаяся стопа остаётся там, где встала, а подошва ставится на пол Blender. На этот пол добавляется меш Метки на полу (Floor Markers) (крест каждые 0,5 м). Флажок Метки на полу (Floor Markers) в блоке Прогресс / результат показывает или скрывает его.

Первый запуск занимает больше времени — это нормально

При первом запуске аддон скачивает около 5.6 ГБ моделей. Панель показывает размер загрузки, скорость и оставшееся время. Модели скачиваются только один раз.

Затем видео обрабатывается на вашем компьютере. На CPU Mac 10-секундный ролик обрабатывается несколько минут. Blender в это время остаётся доступным, а Отмена (Cancel) останавливает задачу.

Советы для хорошего результата

  • Только один человек, тело видно целиком, не обрезано по краям
  • Неподвижная камера, хороший свет, облегающая одежда, а не свободная или развевающаяся
  • Короткие ролики (5–20 секунд) — для первых проб они быстрее

Обновление до новой версии

Аддон обновляется часто. Чтобы обновить:

  1. Скачайте новейший zip из последнего релиза.
  2. Get Extensions → удалите старый Motion2MixamoRig, полностью закройте Blender (Cmd+Q), откройте снова и установите новый zip.
  3. На панели нажмите Обновить среду (Update Runtime).

При обновлении скачанные модели сохраняются, поэтому оно проходит быстро. Установленная версия показана рядом с аддоном в Get Extensions.

Панель

  • ⚙ рядом с заголовком показывает или скрывает блок Настройка (Setup).
  • Настройка: язык, среда, SMPL-X, Устройство (Device) (CPU — надёжный выбор) и Проверить среду (Check Environment).
  • Ввод: что анимировать, Модель тела (Body Model, GVHMR) и Определять кисти (Detect Hands).
  • Прогресс / результат (Progress / Result): ход работы, последние строки журнала, а после задачи — Импортировать персонажа (Import Generated Character), Метки на полу (Floor Markers), Открыть папку результатов (Open Output Folder), Полный журнал (View Full Log).
  • Диагностика (Diagnostics): места, где части тела персонажа входят друг в друга (рука в голове, скрещённые руки). Красные ячейки на полосе — кадры с проблемой; щелчок переносит туда. Треугольник под полосой следует за текущим кадром, а ниже показано, какие части пересекаются и насколько глубоко. Назад / Вперёд (Previous / Next) переходят между проблемами. Открыть HTML-отчёт (Open HTML Report) открывает в браузере отчёт с исходным видео рядом с персонажем (в первый раз он создаётся около 15 секунд). Исходное видео требует ffmpeg на компьютере (на Mac: brew install ffmpeg). Без него персонаж на месте, а видео рядом пустое. Персонаж стоит на неподвижных крестах пола, по одному каждые 0,5 м, чтобы было видно, скользит ли он. Янтарная дорожка над красными дорожками — для заметок, которые вы видите глазом. Они в списке Notes справа; щелчок по строке переходит к ней. Download notes сохраняет эти заметки вместе со временем пересечений. Файл называется как исходное видео.

Аддон говорит на 19 языках. Авто (Auto) следует языку Blender; изменить его можно в блоке Настройка в пункте Язык интерфейса (UI Language).

Если что-то пошло не так

Что вы видите Что делать
Не удалось установить среду (Runtime installation failed) Проверьте подключение к интернету и нажмите кнопку ещё раз. Журнал: ~/Motion2MixamoRig/logs/setup.log
Модель SMPL-X: нет (SMPL-X model: missing) Повторите шаг 4 и выберите SMPLX_NEUTRAL.npz
Модель кисти MANO: нет (MANO hand model: missing) Включите Определять кисти, затем Выбрать модель кисти MANO… и укажите MANO_RIGHT.pkl
Некорректный Mixamo FBX (Mixamo FBX invalid) Скачайте персонажа заново как FBX Binary, T-pose
Во входе несколько людей (Input contains multiple people) Используйте ролик только с одним человеком
Человек во входе не обнаружен (No person was detected in the input) Убедитесь, что тело видно целиком и хорошо освещено
Процесс конвейера неожиданно завершился (Pipeline process exited unexpectedly) Нажмите Полный журнал

Обращаясь за помощью, приложите журнал и укажите версию аддона.

Удаление

  1. Get Extensions → удалите Motion2MixamoRig.
  2. Удалите папку ~/Motion2MixamoRig (домашняя папка → Motion2MixamoRig). Удаление аддона её не удаляет, а в ней около 7 ГБ среды и моделей, плюс ваши сгенерированные результаты в app/outputs/.

Лицензия

Motion2MixamoRig — только для некоммерческого использования: он опирается на исследовательские модели (например, GVHMR и SMPL-X), лицензии которых не допускают коммерческого использования. См. NOTICE.md.