Retarget human motion from video to an Adobe Mixamo-rigged 3D character.
Python
Document planted feet, floor markers, and hand detection in the guides.
MaxLiu60d91cea54e4
diff --git a/CHANGELOG.md b/CHANGELOG.mdindex 5549712..547ff83 100644--- a/CHANGELOG.md+++ b/CHANGELOG.md@@ -15,6 +15,10 @@ All notable changes to this project will be documented in this file.- `--hand-smooth SECONDS` smooths the finger rotations (default `0.08`; `0` keeps the raw estimate). It applies whenever the skeleton file already contains hand motion, including a later `--skeleton` reuse. A reused skeleton that already has hand motion drives the fingers without `--detect-hands`. If it does not, `--detect-hands` can add them only while that run's body cache is still beside the file; otherwise run the video or still again with the flag.- The README quick start documents `--detect-hands`, the MANO file, the extra runtime, and how reuse behaves.- Blender add-on: the Input section has a **Body Model** menu (`--set-extractor`, currently GVHMR) and **Detect Hands** (`--detect-hands`, off by default). Turning hands on shows the about-twice runtime, finger smoothing, and **Choose MANO Hand Model…**. **Check Environment** runs `m2mr doctor` with the same two choices.+- Planted feet are pinned by default. GVHMR's foot contact chooses the supporting part: the ball when the ball is down, the heel only when the toes are up. When a straight leg cannot reach, the hips shift. `--no-foot-lock` keeps the raw retarget, so the feet may slide. The summary is in `run.json` under `foot_lock`.+- After that pin, the hips shift vertically so the lowest frame of each plant sits on y = 0. The summary is in `run.json` under `ground`. This shift still runs with `--no-foot-lock`.+- `diagnostics.html` draws fixed floor markers on y = 0 (0.5 m crosses, larger marks each metre, green origin) so movement can be judged against the floor. Suggested by [Eddie (@_____eddie_____)](https://x.com/_____eddie_____) in [this reply](https://x.com/_____eddie_____/status/2113685850907123736).+- Blender import adds a **Floor Markers** mesh on the viewport floor (z = 0), covering the hips' travel. The **Floor Markers** checkbox under Progress / Result shows or hides it. The next import into that collection replaces the mesh. Suggested by [Eddie (@_____eddie_____)](https://x.com/_____eddie_____) in [this reply](https://x.com/_____eddie_____/status/2113685850907123736).### Fixeddiff --git a/README.md b/README.mdindex 5a5f28e..f77be9b 100644--- a/README.md+++ b/README.md@@ -118,6 +118,8 @@ This is the slow step. The first run downloads ~5 GB of inference weights (onceOn CPU, a ~30 second clip takes about 8–15 minutes to extract; later runs of similar length, with weights already there, take about 3–5 minutes.Retargeting and rendering are usually a minute or two. Reusing a skeleton with `--skeleton` in the next section skips extraction entirely and finishes in tens of seconds.+A planted foot is pinned by default: the ball when the ball is down, the heel only when the toes are up. If a straight leg cannot reach that point, the hips move. The sole is then set on the floor (y = 0). `--no-foot-lock` keeps the raw retarget, so the feet may slide; the sole is still set on the floor.+### 3. Same motion, different characterDownload another character from Mixamo into `assets/mixamo/`. **Do not rerun with only `--rig`** — that repeats the slow extraction.@@ -158,7 +160,7 @@ m2mr diagnose outputs/<run> --visualize # also diagnostics.html: source vidm2mr diagnose outputs/<run> --threshold-cm 2 # report only penetrations deeper than 2 cm (default 1)```-Each issue in `diagnostics.json` is a pair of body parts with the frame ranges where they intersect, the worst frame, and its depth. Frame numbers count from 0, as the Blender timeline does after a glTF import. Parts joined at a joint (upper arm and forearm, torso and thigh, …) are not compared: their skins overlap around the joint in any pose. `diagnostics.html` embeds the source video (needs `ffmpeg`) and loads three.js from a CDN, so its 3D view needs an internet connection.+Each issue in `diagnostics.json` is a pair of body parts with the frame ranges where they intersect, the worst frame, and its depth. Frame numbers count from 0, as the Blender timeline does after a glTF import. Parts joined at a joint (upper arm and forearm, torso and thigh, …) are not compared: their skins overlap around the joint in any pose. `diagnostics.html` embeds the source video (needs `ffmpeg`) and loads three.js from a CDN, so its 3D view needs an internet connection. That view keeps fixed floor markers on y = 0 — a cross every 0.5 m, a larger one each metre, and a green cross at the origin — so you can judge whether the character is moving.### 7. Fingers (`--detect-hands`)diff --git a/blender_extension/README.md b/blender_extension/README.mdindex 6adc890..a1c3aeb 100644--- a/blender_extension/README.md+++ b/blender_extension/README.md@@ -137,10 +137,12 @@ shows or hides **Setup**; Setup stays visible while the runtime installs.- **Setup**: UI Language (19 languages; Auto follows Blender / the system),Install / Update Runtime, Choose SMPL-X Model, Device, **Check Environment**,and **Advanced** (External Python, Project Directory).-- **Input**: Source Type, Source File, Mixamo Rig FBX, Generate Preview Videos,- **Generate Motion**.+- **Input**: Source Type, Source File, Mixamo Rig FBX, **Body Model**,+ **Detect Hands** (off by default; on shows finger smoothing and+ **Choose MANO Hand Model…**), Generate Preview Videos, **Generate Motion**.- **Progress / Result**: stage, a bar, the first-run download, recent log- lines, and **Cancel** (only the process this add-on started).+ lines, and **Cancel** (only the process this add-on started). After a job,+ **Floor Markers** shows or hides the floor crosses added on import.## Generate@@ -149,13 +151,17 @@ In **Input**:1. Source Type: Video or Image2. Source File: **one** clearly visible person, head to toe3. Mixamo Rig FBX-4. Leave **Generate Preview Videos** off unless you want extra renders-5. **Generate Motion**+4. Leave **Detect Hands** off unless the fingers should move. Turning it on+ needs `MANO_RIGHT.pkl` via **Choose MANO Hand Model…** and about doubles+ the runtime. The first such run also downloads the HaMeR weights (~2.7 GB).+5. Leave **Generate Preview Videos** off unless you want extra renders+6. **Generate Motion**Blender stays interactive. On success the add-on imports`mixamo_character.glb` into a collection `M2MR_<source-name>`, hides thejoint-bubble objects, frames the visible mesh, and sets timeline FPS / start /-end from the clip.+end from the clip. Import also adds a **Floor Markers** mesh on Blender's+floor (z = 0); the checkbox under Progress / Result shows or hides it.If import fails, generation still succeeded: use **Import Generated Character**.**Open Output Folder** and **View Full Log** are always available after a job.diff --git a/docs/blender-extension.md b/docs/blender-extension.mdindex d8da3fd..93bb373 100644--- a/docs/blender-extension.md+++ b/docs/blender-extension.md@@ -32,6 +32,10 @@ Run this on a clean user state: move `~/Motion2MixamoRig` aside firstre-downloading the weights.12. Switch **UI Language** to a few languages, including ไทย, नेपाली, andالعربية, and check that the text renders.+13. **Detect Hands** is off. Turning it on shows the twice-as-long note,+ finger smoothing, and **Choose MANO Hand Model…**.+14. After import, a **Floor Markers** mesh sits on the floor. The checkbox+ under Progress / Result hides it and shows it again.### macOS (Apple Silicon): own venv@@ -50,7 +54,8 @@ Run this on a clean user state: move `~/Motion2MixamoRig` aside first**Previous** and **Next** move the playhead; during playback the trianglestays under the current cell. **Open HTML Report** builds the report on thefirst click (Blender opened from the Dock, so the source video is embedded- via Homebrew `ffmpeg`) and opens it at once on the second.+ via Homebrew `ffmpeg`) and opens it at once on the second. The report's+ 3D view shows fixed 0.5 m floor crosses.12. Start a second job and click **Cancel**. Only that job should stop.13. Disable and re-enable the add-on without a crash.diff --git a/docs/i18n/README.ar.md b/docs/i18n/README.ar.mdindex e47e502..5aa8220 100644--- a/docs/i18n/README.ar.md+++ b/docs/i18n/README.ar.md@@ -65,7 +65,7 @@ pip install --upgrade pip setuptools wheel \&& pip install -e .```-أوزان الاستدلال (GVHMR وغيرها) لا تُنزَّل في هذه الخطوة. أول `m2mr run` يسحبها إلى `weights/` (حوالي 5 غيغابايت، مرة واحدة فقط).+أوزان الاستدلال (GVHMR وغيرها) لا تُنزَّل في هذه الخطوة. أول `m2mr run` يسحبها إلى `weights/` (حوالي 5 غيغابايت، مرة واحدة فقط). أول `m2mr run --detect-hands` يسحب أيضًا أوزان يد HaMeR إلى `weights/hamer/` (حوالي 2.7 غيغابايت، مرة واحدة فقط).يُفضَّل تثبيت ffmpeg (macOS: `brew install ffmpeg`، Ubuntu: `apt install ffmpeg`).يعمل مسار المعالجة بدونه، لكن مقاطع الإخراج ستكون **صامتة** ولن تُشغَّل في المتصفح.@@ -80,6 +80,7 @@ pip install --upgrade pip setuptools wheel \| ملف FBX لشخصية Mixamo | `assets/mixamo/Y_Bot.fbx` | بحساب Adobe نزّل Y Bot (أو أي شخصية بهيكل Mixamo) من [Mixamo](https://www.mixamo.com) || فيديو الحركة | `assets/video/<your_clip>.mp4` | مقطع فيه **شخص واحد بالضبط** ظاهر بوضوح، **من الرأس إلى القدمين داخل الإطار طوال المقطع** (يمكن وضع عدة ملفات؛ كل تشغيل يستخدم آخر ملف أُضيف) || صورة وضعية (اختياري) | `assets/image/<your_photo>.jpg` | صورة فيها **شخص واحد بالضبط** ظاهر بوضوح، **من الرأس إلى القدمين داخل الإطار**. مع `--image` |+| اليد اليمنى MANO (فقط مع `--detect-hands`) | `assets/body_models/mano/MANO_RIGHT.pkl` | سجّل في [MANO](https://mano.is.tue.mpg.de/) ونزّل **Models & Code**. تشغيل الجسم وحده لا يحتاج هذا الملف |ملاحظة: ملف التنزيل من Mixamo اسمه `Y Bot.fbx` (**مسافة**)، ويختلف بحرف واحد عن `Y_Bot.fbx` (**شرطة سفلية**) في الجدول.أعد تسميته بالشرطة السفلية فيصبح الهيكل الافتراضي (`m2mr run` دون `--rig`). الإبقاء على المسافة جائز أيضًا — إن غاب `Y_Bot.fbx` يُستخدم أول `.fbx` في `assets/mixamo/`.@@ -99,6 +100,12 @@ pip install --upgrade pip setuptools wheel \m2mr doctor```+يفحص `m2mr doctor` تشغيل الجسم. لا يطلب نموذج يد MANO. للتحقق أيضًا من الملف الإضافي وحزم بايثون التي يستخدمها اكتشاف الأصابع:++```bash+m2mr doctor --detect-hands+```+### 2. أول تشغيل: إظهار نتيجة على الشاشةدون خيارات، يُستخدم **أحدث ملف في `assets/video/`** و`assets/mixamo/Y_Bot.fbx`.@@ -111,6 +118,8 @@ m2mr runعلى المعالج المركزي (CPU)، يستغرق استخراج مقطع مدته نحو 30 ثانية حوالي 8–15 دقيقة؛ التشغيلات اللاحقة بطول مشابه مع وجود الأوزان تستغرق حوالي 3–5 دقائق.إعادة توجيه الحركة والتصيير عادة دقيقة أو دقيقتان. إعادة استخدام الهيكل بـ `--skeleton` في القسم التالي تتخطى الاستخراج بالكامل وتنتهي خلال عشرات الثواني.+القدم المرتكزة تُثبَّت افتراضيًا: مشط القدم حين يكون المشط على الأرض، والكعب فقط حين تكون الأصابع مرفوعة. إذا لم تبلغ الساق الممدودة تلك النقطة، يتحرك الحوض. ثم تُوضع أخمص القدم على الأرض (y = 0). يُبقي `--no-foot-lock` إعادة التوجيه الخام، فقد تنزلق القدمان؛ وتُوضع الأخمص على الأرض رغم ذلك.+### 3. الحركة نفسها، شخصية مختلفةنزّل شخصية أخرى من Mixamo إلى `assets/mixamo/`. **لا تُعِد التشغيل باستخدام `--rig` فقط** — ذلك يكرر الاستخراج البطيء.@@ -151,7 +160,31 @@ m2mr diagnose outputs/<run> --visualize # وأيضًا diagnostics.html: اm2mr diagnose outputs/<run> --threshold-cm 2 # يبلّغ فقط عن التداخلات الأعمق من 2 cm (الافتراضي 1)```-كل مشكلة في `diagnostics.json` هي زوج من أجزاء الجسم مع نطاقات الإطارات التي يتداخلان فيها، وأسوأ إطار، وعمقه. تبدأ أرقام الإطارات من 0، كما في الخط الزمني لـ Blender بعد استيراد glTF. لا تُقارَن الأجزاء المتصلة بمفصل (العضد والساعد، الجذع والفخذ، …): جلدها يتداخل حول المفصل في أي وضعية. يضمّن `diagnostics.html` الفيديو المصدر (يتطلب `ffmpeg`) ويحمّل three.js من CDN، لذا يحتاج العرض ثلاثي الأبعاد إلى اتصال بالإنترنت.+كل مشكلة في `diagnostics.json` هي زوج من أجزاء الجسم مع نطاقات الإطارات التي يتداخلان فيها، وأسوأ إطار، وعمقه. تبدأ أرقام الإطارات من 0، كما في الخط الزمني لـ Blender بعد استيراد glTF. لا تُقارَن الأجزاء المتصلة بمفصل (العضد والساعد، الجذع والفخذ، …): جلدها يتداخل حول المفصل في أي وضعية. يضمّن `diagnostics.html` الفيديو المصدر (يتطلب `ffmpeg`) ويحمّل three.js من CDN، لذا يحتاج العرض ثلاثي الأبعاد إلى اتصال بالإنترنت. يرسم هذا العرض علامات أرضية ثابتة على y = 0: صليب كل 0.5 م، وآخر أكبر كل متر، وصليب أخضر عند الأصل، لمعرفة ما إذا كانت الشخصية تتحرك.++### 7. الأصابع (`--detect-hands`)++تشغيل `m2mr run` العادي يحرّك الجسم ويترك عظام أصابع Mixamo في وضع الراحة. يفتح `--detect-hands` نموذج اليد الذي يرافق مستخرج الجسم. مع المستخرج الافتراضي GVHMR، هذا النموذج هو [HaMeR](https://github.com/geopavlakos/hamer). يقتطع HaMeR المعصمين من الشخص والإطارات التي اختارها GVHMR مسبقًا. لا يبحث في المقطع عن شخص ثانٍ.++**يتضاعف الوقت تقريبًا.** المقطع الذي ينتهي في بضع دقائق من دون الخيار يستغرق مع `--detect-hands` نحو ضعف ذلك، لأن مرور اليد يجري فوق استخراج الجسم. في فيديو طويل، احسب هذا الوقت قبل أن تبدأ.++ضع `MANO_RIGHT.pkl` كما في الجدول أعلاه، ثم:++```bash+m2mr doctor --detect-hands+m2mr run --detect-hands+m2mr run --video assets/video/dance.mp4 --detect-hands --hand-smooth 0.08+```++أول تشغيل بـ `--detect-hands` ينزّل أوزان HaMeR إلى `weights/hamer/` (حوالي 2.7 غيغابايت، مرة واحدة). تُكتب دورانات الأصابع في `skeleton_motion.npz` وتقود عظام أصابع Mixamo الثلاثين على الشخصية ذات الجلد. المعصم الذي لم يره مرور الجسم بوضوح يبقى في وضع الراحة لتلك اليد.++`--hand-smooth` هو عدد ثواني التنعيم المطبَّق على هذه الدورانات. القيمة الافتراضية `0.08`. يُبقي `0` التقدير الخام. يعمل التنعيم كلما احتوى ملف الهيكل على حركة يد مسبقًا، بما في ذلك تشغيل لاحق يعيد استخدام هذا الملف فقط.++عند إعادة استخدام هيكل سابق:++- الملف يحتوي مسبقًا على حركة اليد: `--skeleton` يقود الأصابع بنفسه. لا حاجة إلى `--detect-hands` مرة أخرى.+- لا يحتويها، لكن ذاكرة الجسم المؤقتة لذلك التشغيل ما زالت بجانبه (`cache/<clip>/0_input_video.mp4` مع `preprocess/vitpose.pt` و`preprocess/bbx.pt`): يضيف `--skeleton ... --detect-hands` الأصابع من دون استخراج الجسم من جديد.+- ذهبت تلك الذاكرة المؤقتة: شغّل الفيديو أو الصورة مرة أخرى مع `--detect-hands`.## المخرجات@@ -192,6 +225,8 @@ images/# اليمين: مدار 10° حول الهيكل (دورة كاملة)```+مع `--detect-hands` يخزّن `skeleton_motion.npz` دورانات الأصابع أيضًا، ويضم `mixamo_rotations.npz` و`mixamo_character.glb` عظام الأصابع الثلاثين. من دون هذا الخيار، ومن دون حركة يد مخزّنة مسبقًا في هيكل يُعاد استخدامه، تبقى هذه العظام في وضع الراحة.+افتح `mixamo_character.glb` في Blender: File → Import → glTF 2.0 (.glb/.gltf). إن وُجّهت الكاميرا إلى فراغ، حدّد شبكة الشخصية ثم View → Frame Selected. مجموعة الكرات على الرأس واليدين هي عرض للعظام وليست الشبكة: في Outliner أخفِ **Icosphere** و**armature** واترك الشبكة المكسوّة ظاهرة. اضبط FPS المشهد من `run.json` (`fps`) والخط الزمني على الإطارات من 0 إلى `n_frames` − 1 حتى يطابق التشغيل المصدر وتطابق أرقام الإطارات `diagnostics.json`. في تشغيل الفيديو قارن مع `videos/mixamo_character.mp4`، وفي تشغيل الصورة مع `images/mixamo_character.png` أو مقطع المدار.## الرخصة@@ -199,8 +234,10 @@ images/شيفرة هذا المستودع Apache-2.0. للأصول التي تنزّلها شروطها الخاصة، ويجب ألا تُعاد توزيعها مع هذا المستودع:- **SMPL-X**: يخضع لقيود MPI؛ الاستخدام الافتراضي بحث / تعليم / فن غير تجاري؛ الاستخدام التجاري يحتاج اتفاقًا منفصلًا+- **MANO** (فقط مع `--detect-hands`): يخضع لقيود MPI، والتنزيل من نوع تنزيل SMPL-X نفسه؛ ضع `MANO_RIGHT.pkl` محليًا ولا تعِد توزيعه- **Mixamo FBX**: جائز في منتج نهائي؛ يُحظر إعادة توزيع ملف FBX الخام كحزمة أصول- **GVHMR وأوزان الاستدلال الأخرى**: تُنزَّل تلقائيًا إلى `weights/` عند أول `m2mr run`، وفق رخصة كل مصدر+- **HaMeR**: شيفرة الاستدلال في هذا المستودع برخصة MIT؛ تُنزَّل الأوزان إلى `weights/hamer/` عند أول `m2mr run --detect-hands`، وفق شروط إصدار المصدر## التواصلdiff --git a/docs/i18n/README.de.md b/docs/i18n/README.de.mdindex 76d71e0..8fef21d 100644--- a/docs/i18n/README.de.md+++ b/docs/i18n/README.de.md@@ -65,7 +65,7 @@ pip install --upgrade pip setuptools wheel \&& pip install -e .```-Inferenzgewichte (GVHMR usw.) werden hier nicht geladen. Der erste `m2mr run` zieht sie nach `weights/` (~5 GB, nur einmal).+Inferenzgewichte (GVHMR usw.) werden hier nicht geladen. Der erste `m2mr run` zieht sie nach `weights/` (~5 GB, nur einmal). Der erste `m2mr run --detect-hands` holt zusätzlich die HaMeR-Handgewichte nach `weights/hamer/` (~2,7 GB, nur einmal).ffmpeg wird empfohlen (macOS: `brew install ffmpeg`, Ubuntu: `apt install ffmpeg`).Ohne ffmpeg läuft die Pipeline, aber die Ausgabevideos sind **stumm** und spielen im Browser nicht.@@ -80,6 +80,7 @@ Dieses Repository enthält diese Dateien nicht; sie müssen selbst besorgt werde| Mixamo-Charakter-FBX | `assets/mixamo/Y_Bot.fbx` | Mit Adobe-Konto Y Bot (oder einen anderen Mixamo-geriggten Charakter) von [Mixamo](https://www.mixamo.com) laden || Bewegungsvideo | `assets/video/<your_clip>.mp4` | Clip mit **genau einer** klar sichtbaren Person, **Kopf bis Fuß die ganze Zeit im Bild** (mehrere Dateien möglich; jeder Lauf nimmt die zuletzt hinzugefügte) || Pose-Foto (optional) | `assets/image/<your_photo>.jpg` | Foto mit **genau einer** klar sichtbaren Person, **Kopf bis Fuß im Bild**. Mit `--image` |+| MANO-rechte Hand (nur für `--detect-hands`) | `assets/body_models/mano/MANO_RIGHT.pkl` | Bei [MANO](https://mano.is.tue.mpg.de/) registrieren und **Models & Code** laden. Ein reiner Körperlauf braucht diese Datei nicht |Hinweis: Der Download von Mixamo heißt `Y Bot.fbx` (**Leerzeichen**) und weicht um ein Zeichen von `Y_Bot.fbx` (**Unterstrich**) in der Tabelle ab.Umbenennen zum Unterstrich macht es zum Standard-Rig (`m2mr run` ohne `--rig`). Der Name mit Leerzeichen ist ebenfalls in Ordnung — fehlt `Y_Bot.fbx`, wird die erste `.fbx` in `assets/mixamo/` verwendet.@@ -99,6 +100,12 @@ Fehlendes wird mit Download-Ort und Zielpfad ausgegeben.m2mr doctor```+`m2mr doctor` prüft den Körperlauf. Das MANO-Handmodell verlangt es nicht. So prüfst du die zusätzliche Datei und die Python-Pakete für die Fingererkennung:++```bash+m2mr doctor --detect-hands+```+### 2. Erster Lauf: etwas auf dem BildschirmOhne Flags: die **neueste Datei in `assets/video/`** und `assets/mixamo/Y_Bot.fbx`.@@ -111,6 +118,8 @@ Das ist der langsame Schritt. Der erste Lauf lädt ~5 GB Inferenzgewichte (nur eAuf CPU dauert ein ~30-Sekunden-Clip etwa 8–15 Minuten; spätere Läufe ähnlicher Länge mit vorhandenen Gewichten etwa 3–5 Minuten.Retargeting und Rendering dauern meist ein bis zwei Minuten. Mit `--skeleton` im nächsten Abschnitt entfällt die Extraktion komplett, fertig in wenigen zehn Sekunden.+Ein aufgesetzter Fuß wird standardmäßig festgehalten: der Ballen, wenn der Ballen unten ist, die Ferse nur, wenn die Zehen oben sind. Reicht ein gestrecktes Bein nicht, verschiebt sich die Hüfte. Danach liegt die Sohle auf dem Boden (y = 0). `--no-foot-lock` behält das rohe Retargeting, die Füße können also rutschen; die Sohle wird trotzdem auf den Boden gesetzt.+### 3. Gleiche Bewegung, anderer CharakterEinen weiteren Charakter von Mixamo nach `assets/mixamo/` legen. **Nicht nur mit `--rig` neu starten** — das wiederholt die langsame Extraktion.@@ -151,7 +160,31 @@ m2mr diagnose outputs/<run> --visualize # zusätzlich diagnostics.html: Quem2mr diagnose outputs/<run> --threshold-cm 2 # nur Durchdringungen tiefer als 2 cm melden (Standard 1)```-Jedes Problem in `diagnostics.json` ist ein Paar von Körperteilen mit den Frame-Bereichen, in denen sie sich durchdringen, dem schlimmsten Frame und dessen Tiefe. Frame-Nummern zählen ab 0, wie die Blender-Timeline nach einem glTF-Import. Durch ein Gelenk verbundene Teile (Ober- und Unterarm, Rumpf und Oberschenkel, …) werden nicht verglichen: Ihre Haut überlappt am Gelenk in jeder Pose. `diagnostics.html` bettet das Quellvideo ein (braucht `ffmpeg`) und lädt three.js von einem CDN, daher braucht die 3D-Ansicht eine Internetverbindung.+Jedes Problem in `diagnostics.json` ist ein Paar von Körperteilen mit den Frame-Bereichen, in denen sie sich durchdringen, dem schlimmsten Frame und dessen Tiefe. Frame-Nummern zählen ab 0, wie die Blender-Timeline nach einem glTF-Import. Durch ein Gelenk verbundene Teile (Ober- und Unterarm, Rumpf und Oberschenkel, …) werden nicht verglichen: Ihre Haut überlappt am Gelenk in jeder Pose. `diagnostics.html` bettet das Quellvideo ein (braucht `ffmpeg`) und lädt three.js von einem CDN, daher braucht die 3D-Ansicht eine Internetverbindung. Diese Ansicht zeichnet feste Bodenmarkierungen auf y = 0: ein Kreuz alle 0,5 m, ein größeres jeden Meter, am Ursprung ein grünes, damit du sehen kannst, ob sich der Charakter bewegt.++### 7. Finger (`--detect-hands`)++Ein schlichtes `m2mr run` bewegt den Körper und lässt die Mixamo-Fingerknochen in Ruhepose. `--detect-hands` schaltet das Handmodell ein, das zum Körper-Extraktor gehört. Beim Standard-Extraktor GVHMR ist das [HaMeR](https://github.com/geopavlakos/hamer). HaMeR schneidet die Handgelenke aus der Person und den Frames, die GVHMR schon gewählt hat. Es sucht im Clip nicht nach einer zweiten Person.++**Das verdoppelt die Laufzeit ungefähr.** Ein Clip, der ohne das Flag in wenigen Minuten fertig ist, braucht mit `--detect-hands` etwa doppelt so lang, weil der Handdurchlauf auf der Körperextraktion sitzt. Bei einem langen Video plane diese Zeit ein, bevor du startest.++Lege `MANO_RIGHT.pkl` wie in der Tabelle oben ab, dann:++```bash+m2mr doctor --detect-hands+m2mr run --detect-hands+m2mr run --video assets/video/dance.mp4 --detect-hands --hand-smooth 0.08+```++Der erste Lauf mit `--detect-hands` lädt die HaMeR-Gewichte nach `weights/hamer/` (~2,7 GB, einmal). Die Fingerrotationen landen in `skeleton_motion.npz` und treiben die 30 Mixamo-Fingerknochen am geskinnten Charakter. Ein Handgelenk, das der Körperdurchlauf nicht klar gesehen hat, bleibt für diese Hand in Ruhepose.++`--hand-smooth` ist, wie viele Sekunden Glättung auf diese Rotationen kommen. Der Standard ist `0.08`. `0` behält die rohe Schätzung. Die Glättung läuft, sobald die Skelettdatei schon Handbewegung enthält, auch bei einem späteren Lauf, der nur diese Datei wiederverwendet.++Ein früheres Skelett wiederverwenden:++- Die Datei enthält schon Handbewegung: `--skeleton` treibt die Finger von selbst. `--detect-hands` ist nicht noch einmal nötig.+- Sie enthält keine, aber der Körper-Cache dieses Laufs liegt noch daneben (`cache/<clip>/0_input_video.mp4` plus `preprocess/vitpose.pt` und `preprocess/bbx.pt`): `--skeleton ... --detect-hands` ergänzt die Finger, ohne den Körper neu zu extrahieren.+- Dieser Cache ist weg: Video oder Foto noch einmal mit `--detect-hands` laufen lassen.## Ausgaben@@ -192,6 +225,8 @@ images/# rechts: 10°-Orbit um den Rig (eine volle Umdrehung)```+Mit `--detect-hands` stehen in `skeleton_motion.npz` auch die Fingerrotationen, und `mixamo_rotations.npz` sowie `mixamo_character.glb` enthalten die 30 Fingerknochen. Ohne dieses Flag, und ohne schon gespeicherte Handbewegung in einem wiederverwendeten Skelett, bleiben diese Knochen in Ruhepose.+`mixamo_character.glb` in Blender öffnen: File → Import → glTF 2.0 (.glb/.gltf). Zeigt die Kamera ins Leere, das Charakter-Mesh wählen und View → Frame Selected. Die Kugeln an Kopf und Händen sind die Knochenanzeige, nicht das Mesh: im Outliner **Icosphere** und die **Armature** ausblenden, das Mesh mit Skinning sichtbar lassen. Szene-FPS aus `run.json` (`fps`) und die Timeline auf die Frames 0 bis `n_frames` − 1 setzen, damit die Wiedergabe zur Quelle passt und die Frame-Nummern zu `diagnostics.json`. Videolauf mit `videos/mixamo_character.mp4` vergleichen, Fotolauf mit `images/mixamo_character.png` oder dem Orbit-Clip.## Lizenz@@ -199,8 +234,10 @@ images/Der Code dieses Repositories ist Apache-2.0. Die selbst beschafften Assets haben eigene Bedingungen und dürfen nicht mit diesem Repo weitergegeben werden:- **SMPL-X**: MPI-Zugang; Standard nichtkommerziell Forschung / Bildung / Kunst; kommerzielle Nutzung braucht eine eigene Vereinbarung+- **MANO** (nur mit `--detect-hands`): MPI-Zugang, dieselbe Art Download wie SMPL-X; `MANO_RIGHT.pkl` lokal ablegen und nicht weitergeben- **Mixamo FBX**: in einem Produkt erlaubt; das rohe FBX nicht als Asset-Pack weitergeben- **GVHMR und andere Inferenzgewichte**: beim ersten `m2mr run` automatisch nach `weights/`, jeweils unter der Upstream-Lizenz+- **HaMeR**: der Inferenzcode in diesem Repository ist MIT; die Gewichte landen beim ersten `m2mr run --detect-hands` in `weights/hamer/`, unter den Bedingungen der Upstream-Veröffentlichung## Kontaktdiff --git a/docs/i18n/README.es-MX.md b/docs/i18n/README.es-MX.mdindex bb5c101..1cacc29 100644--- a/docs/i18n/README.es-MX.md+++ b/docs/i18n/README.es-MX.md@@ -65,7 +65,7 @@ pip install --upgrade pip setuptools wheel \&& pip install -e .```-Los pesos de inferencia (GVHMR, etc.) no se descargan aquí. El primer `m2mr run` los descarga en `weights/` (~5 GB, solo una vez).+Los pesos de inferencia (GVHMR, etc.) no se descargan aquí. El primer `m2mr run` los descarga en `weights/` (~5 GB, solo una vez). El primer `m2mr run --detect-hands` también descarga los pesos de mano de HaMeR en `weights/hamer/` (~2.7 GB, solo una vez).Se recomienda instalar ffmpeg (macOS: `brew install ffmpeg`, Ubuntu: `apt install ffmpeg`).El pipeline funciona sin él, pero los videos de salida quedarán **sin audio** y no se podrán reproducir en el navegador.@@ -80,6 +80,7 @@ Este repositorio no incluye estos archivos; tienes que conseguirlos tú. El nomb| FBX del personaje de Mixamo | `assets/mixamo/Y_Bot.fbx` | Con una cuenta de Adobe, descarga Y Bot (o cualquier otro personaje riggeado con Mixamo) desde [Mixamo](https://www.mixamo.com) || Video de acción | `assets/video/<your_clip>.mp4` | Un clip con **exactamente una** persona bien visible, **de pies a cabeza dentro del cuadro todo el tiempo** (puedes guardar varios archivos; cada ejecución usa el que se agregó más recientemente) || Foto de pose (opcional) | `assets/image/<your_photo>.jpg` | Una foto con **exactamente una** persona bien visible, **de pies a cabeza dentro del cuadro**. Úsala con `--image` |+| Mano derecha MANO (solo para `--detect-hands`) | `assets/body_models/mano/MANO_RIGHT.pkl` | Regístrate en [MANO](https://mano.is.tue.mpg.de/) y descarga **Models & Code**. Una ejecución solo del cuerpo no necesita este archivo |Nota: el archivo que descargas de Mixamo se llama `Y Bot.fbx` (**con espacio**), un carácter distinto de `Y_Bot.fbx` (**con guion bajo**) en la tabla.Cámbiale el nombre a la forma con guion bajo y se convertirá en el rig predeterminado (`m2mr run` sin `--rig`). Dejar el espacio también funciona — si no existe `Y_Bot.fbx`, se usa el primer `.fbx` de `assets/mixamo/`.@@ -99,6 +100,12 @@ Todo lo que falte se muestra junto con dónde descargarlo y dónde colocarlo.m2mr doctor```+`m2mr doctor` revisa la ejecución del cuerpo. No exige el modelo de mano MANO. Para revisar también el archivo extra y los paquetes de Python que usa la detección de dedos:++```bash+m2mr doctor --detect-hands+```+### 2. Primera ejecución: ver algo en pantallaSin opciones, usa **el archivo más reciente de `assets/video/`** y `assets/mixamo/Y_Bot.fbx`.@@ -111,6 +118,8 @@ Este es el paso lento. La primera ejecución descarga ~5 GB de pesos de inferencEn CPU, la extracción de un clip de ~30 segundos tarda unos 8–15 minutos; las ejecuciones posteriores de duración similar, con los pesos ya descargados, tardan unos 3–5 minutos.El retargeting y el render suelen tardar uno o dos minutos. Reutilizar un esqueleto con `--skeleton` en la siguiente sección se salta por completo la extracción y termina en unas decenas de segundos.+Un pie apoyado se fija de forma predeterminada: el metatarso cuando el metatarso está abajo, el talón solo cuando los dedos están arriba. Si una pierna estirada no alcanza ese punto, la cadera se mueve. Después la planta queda sobre el piso (y = 0). `--no-foot-lock` conserva el retarget en bruto, así que los pies pueden deslizarse; la planta igual se coloca sobre el piso.+### 3. El mismo movimiento, otro personajeDescarga otro personaje de Mixamo en `assets/mixamo/`. **No vuelvas a ejecutar solo con `--rig`** — eso repite la extracción lenta.@@ -151,7 +160,31 @@ m2mr diagnose outputs/<run> --visualize # además diagnostics.html: video fm2mr diagnose outputs/<run> --threshold-cm 2 # reporta solo penetraciones de más de 2 cm (por defecto 1)```-Cada problema en `diagnostics.json` es un par de partes del cuerpo con los rangos de frames en que se intersectan, el peor frame y su profundidad. Los números de frame empiezan en 0, como la timeline de Blender después de importar un glTF. Las partes unidas por una articulación (brazo y antebrazo, torso y muslo, …) no se comparan: su piel se traslapa alrededor de la articulación en cualquier pose. `diagnostics.html` incrusta el video fuente (requiere `ffmpeg`) y carga three.js desde un CDN, así que su vista 3D necesita conexión a internet.+Cada problema en `diagnostics.json` es un par de partes del cuerpo con los rangos de frames en que se intersectan, el peor frame y su profundidad. Los números de frame empiezan en 0, como la timeline de Blender después de importar un glTF. Las partes unidas por una articulación (brazo y antebrazo, torso y muslo, …) no se comparan: su piel se traslapa alrededor de la articulación en cualquier pose. `diagnostics.html` incrusta el video fuente (requiere `ffmpeg`) y carga three.js desde un CDN, así que su vista 3D necesita conexión a internet. Esa vista dibuja marcas de piso fijas en y = 0: una cruz cada 0.5 m, una más grande cada metro y una cruz verde en el origen, para ver si el personaje se está moviendo.++### 7. Dedos (`--detect-hands`)++Un `m2mr run` normal mueve el cuerpo y deja los huesos de los dedos de Mixamo en reposo. `--detect-hands` enciende el modelo de mano que acompaña al extractor del cuerpo. Con el extractor predeterminado, GVHMR, ese modelo es [HaMeR](https://github.com/geopavlakos/hamer). HaMeR recorta las muñecas a partir de la persona y los frames que GVHMR ya eligió. No busca a otra persona en el clip.++**Esto casi duplica el tiempo.** Un clip que termina en unos minutos sin la opción tarda aproximadamente el doble con `--detect-hands`, porque el pase de las manos corre encima de la extracción del cuerpo. En un video largo, toma en cuenta ese tiempo antes de empezar.++Coloca `MANO_RIGHT.pkl` como en la tabla de arriba y luego:++```bash+m2mr doctor --detect-hands+m2mr run --detect-hands+m2mr run --video assets/video/dance.mp4 --detect-hands --hand-smooth 0.08+```++La primera ejecución con `--detect-hands` descarga los pesos de HaMeR en `weights/hamer/` (~2.7 GB, una vez). Las rotaciones de los dedos se escriben en `skeleton_motion.npz` y mueven los 30 huesos de los dedos de Mixamo del personaje con skin. Una muñeca que el pase del cuerpo no vio con claridad se queda en reposo en esa mano.++`--hand-smooth` es cuántos segundos de suavizado se aplican a esas rotaciones. El valor predeterminado es `0.08`. `0` conserva la estimación en bruto. El suavizado corre siempre que el archivo del esqueleto ya contiene movimiento de manos, incluso en una ejecución posterior que solo reutiliza ese archivo.++Al reutilizar un esqueleto anterior:++- El archivo ya contiene movimiento de manos: `--skeleton` mueve los dedos por sí solo. `--detect-hands` no hace falta otra vez.+- No lo contiene, pero el caché del cuerpo de esa ejecución sigue al lado (`cache/<clip>/0_input_video.mp4`, más `preprocess/vitpose.pt` y `preprocess/bbx.pt`): `--skeleton ... --detect-hands` agrega los dedos sin extraer el cuerpo de nuevo.+- Ese caché ya no está: vuelve a correr el video o la foto con `--detect-hands`.## Salidas@@ -192,6 +225,8 @@ images/# derecha: órbita del rig en pasos de 10° (una vuelta completa)```+Con `--detect-hands`, `skeleton_motion.npz` también guarda las rotaciones de los dedos, y `mixamo_rotations.npz` y `mixamo_character.glb` incluyen los 30 huesos de los dedos. Sin esa opción, y sin movimiento de manos ya guardado en un esqueleto reutilizado, esos huesos se quedan en reposo.+Abre `mixamo_character.glb` en Blender: File → Import → glTF 2.0 (.glb/.gltf). Si la cámara apunta a un espacio vacío, selecciona el mesh del personaje y usa View → Frame Selected. El grupo de esferas en la cabeza y las manos es la visualización de los huesos, no el mesh: en el Outliner, oculta **Icosphere** y la **armature**; deja visible el mesh con skinning. Ajusta los FPS de la escena según `run.json` (`fps`) y la timeline a los frames 0 a `n_frames` − 1 para que la reproducción coincida con la fuente y los números de frame con `diagnostics.json`. Compara una ejecución con video contra `videos/mixamo_character.mp4`, y una con foto contra `images/mixamo_character.png` o el clip orbital.## Licencia@@ -199,8 +234,10 @@ Abre `mixamo_character.glb` en Blender: File → Import → glTF 2.0 (.glb/.gltfEl código de este repositorio es Apache-2.0. Los recursos que descargues tienen sus propios términos y no deben redistribuirse junto con este repositorio:- **SMPL-X**: acceso controlado por el MPI; por defecto, investigación / educación / arte sin fines comerciales; el uso comercial requiere un acuerdo aparte+- **MANO** (solo si usas `--detect-hands`): acceso controlado por el MPI, el mismo tipo de descarga que SMPL-X; deja `MANO_RIGHT.pkl` en local y no lo redistribuyas- **Mixamo FBX**: se puede usar en un producto publicado; no redistribuyas el FBX original como paquete de recursos- **GVHMR y otros pesos de inferencia**: se descargan automáticamente en `weights/` en el primer `m2mr run`, bajo la licencia de cada proyecto original+- **HaMeR**: el código de inferencia de este repositorio es MIT; los pesos se descargan en `weights/hamer/` en el primer `m2mr run --detect-hands`, bajo las condiciones de publicación del proyecto original## Contactodiff --git a/docs/i18n/README.fil.md b/docs/i18n/README.fil.mdindex 62d828e..77c4d84 100644--- a/docs/i18n/README.fil.md+++ b/docs/i18n/README.fil.md@@ -65,7 +65,7 @@ pip install --upgrade pip setuptools wheel \&& pip install -e .```-Hindi dina-download dito ang mga inference weight (GVHMR at iba pa). Ang unang `m2mr run` ang magda-download ng mga ito sa `weights/` (~5 GB, isang beses lang).+Hindi dina-download dito ang mga inference weight (GVHMR at iba pa). Ang unang `m2mr run` ang magda-download ng mga ito sa `weights/` (~5 GB, isang beses lang). Ang unang `m2mr run --detect-hands` ay magda-download din ng mga HaMeR hand weight sa `weights/hamer/` (~2.7 GB, isang beses lang).Inirerekomenda ang ffmpeg (macOS: `brew install ffmpeg`, Ubuntu: `apt install ffmpeg`).Tatakbo ang pipeline kahit wala ito, pero **walang tunog** ang mga output video at hindi ito mapapatugtog sa browser.@@ -80,6 +80,7 @@ Hindi kasama sa repository na ito ang mga file na ito; kailangan mo silang kunin| Mixamo character FBX | `assets/mixamo/Y_Bot.fbx` | Gamit ang Adobe account, i-download ang Y Bot (o ibang character na naka-rig sa Mixamo) mula sa [Mixamo](https://www.mixamo.com) || Action video | `assets/video/<your_clip>.mp4` | Isang clip na may **eksaktong isang** taong malinaw na nakikita, **mula ulo hanggang paa na nasa frame sa buong video** (puwedeng maglagay ng ilang file; ang pinakahuling idinagdag ang gagamitin sa bawat run) || Still ng pose (opsyonal) | `assets/image/<your_photo>.jpg` | Isang larawan na may **eksaktong isang** taong malinaw na nakikita, **mula ulo hanggang paa na nasa frame**. Gamitin kasama ng `--image` |+| Kanang kamay ng MANO (para lang sa `--detect-hands`) | `assets/body_models/mano/MANO_RIGHT.pkl` | Magrehistro sa [MANO](https://mano.is.tue.mpg.de/) at i-download ang **Models & Code**. Hindi kailangan ang file na ito sa body-only na run |Paalala: `Y Bot.fbx` (**may space**) ang pangalan ng file na dina-download mula sa Mixamo, isang character lang ang pagkakaiba sa `Y_Bot.fbx` (**may underscore**) sa table.Palitan ito ng pangalang may underscore para ito ang maging default na rig (`m2mr run` nang walang `--rig`). Ayos lang din kung iiwan ang space — kapag walang `Y_Bot.fbx`, ang unang `.fbx` sa `assets/mixamo/` ang gagamitin.@@ -99,6 +100,12 @@ Ipi-print ang anumang kulang, kasama kung saan ito ida-download at kung saan ilam2mr doctor```+Tinitingnan ng `m2mr doctor` ang body run. Hindi nito hinihingi ang MANO hand model. Para tingnan din ang dagdag na file at ang mga Python package na ginagamit ng pag-detect ng mga daliri:++```bash+m2mr doctor --detect-hands+```+### 2. Unang run: magpakita ng resulta sa screenKapag walang flag, gagamitin nito ang **pinakabagong file sa `assets/video/`** at ang `assets/mixamo/Y_Bot.fbx`.@@ -111,6 +118,8 @@ Ito ang mabagal na hakbang. Sa unang run, magda-download ito ng ~5 GB na inferenSa CPU, mga 8–15 minuto ang extraction ng ~30 segundong clip; ang mga susunod na run na kapareho ang haba, kapag nandiyan na ang mga weight, ay mga 3–5 minuto.Karaniwang isa o dalawang minuto ang retargeting at rendering. Kapag ginamit muli ang skeleton gamit ang `--skeleton` sa susunod na seksyon, nilalaktawan nang buo ang extraction at matatapos ito sa loob ng ilang sampung segundo.+Naka-pin nang default ang nakalapag na paa: ang bola ng paa kapag nasa baba ito, ang sakong lang kapag nakataas ang mga daliri. Kapag hindi umabot ang nakaunat na binti, gumagalaw ang balakang. Pagkatapos, inilalagay ang talampakan sa sahig (y = 0). Pinapanatili ng `--no-foot-lock` ang hilaw na retarget, kaya maaaring dumulas ang mga paa; inilalagay pa rin ang talampakan sa sahig.+### 3. Parehong galaw, ibang characterMag-download ng isa pang character mula sa Mixamo papunta sa `assets/mixamo/`. **Huwag patakbuhin muli gamit lang ang `--rig`** — uulitin nito ang mabagal na extraction.@@ -151,7 +160,31 @@ m2mr diagnose outputs/<run> --visualize # pati diagnostics.html: source vidm2mr diagnose outputs/<run> --threshold-cm 2 # iulat lang ang pagpasok na mas malalim sa 2 cm (default 1)```-Ang bawat problema sa `diagnostics.json` ay isang pares ng bahagi ng katawan, kasama ang mga frame range kung saan sila nagsasalubong, ang pinakamalalang frame, at ang lalim nito. Nagsisimula sa 0 ang bilang ng frame, gaya ng timeline ng Blender pagkatapos mag-import ng glTF. Hindi pinaghahambing ang mga bahaging pinagdugtong ng kasukasuan (upper arm at forearm, torso at hita, …): nagpapatong ang balat nila sa paligid ng kasukasuan sa anumang pose. Ini-embed ng `diagnostics.html` ang source video (kailangan ng `ffmpeg`) at nilo-load ang three.js mula sa CDN, kaya kailangan ng internet ang 3D view nito.+Ang bawat problema sa `diagnostics.json` ay isang pares ng bahagi ng katawan, kasama ang mga frame range kung saan sila nagsasalubong, ang pinakamalalang frame, at ang lalim nito. Nagsisimula sa 0 ang bilang ng frame, gaya ng timeline ng Blender pagkatapos mag-import ng glTF. Hindi pinaghahambing ang mga bahaging pinagdugtong ng kasukasuan (upper arm at forearm, torso at hita, …): nagpapatong ang balat nila sa paligid ng kasukasuan sa anumang pose. Ini-embed ng `diagnostics.html` ang source video (kailangan ng `ffmpeg`) at nilo-load ang three.js mula sa CDN, kaya kailangan ng internet ang 3D view nito. Gumuguhit ang view na iyon ng mga nakapirming marka sa sahig sa y = 0: isang krus kada 0.5 m, mas malaki kada metro, at berdeng krus sa origin, para makita kung gumagalaw ang character.++### 7. Mga daliri (`--detect-hands`)++Ang ordinaryong `m2mr run` ay ginagalaw ang katawan at iniiwan sa rest ang mga buto ng daliri ng Mixamo. Binubuksan ng `--detect-hands` ang hand model na kasama ng body extractor. Sa default na extractor, ang GVHMR, ang model na iyon ay [HaMeR](https://github.com/geopavlakos/hamer). Kinukuha ng HaMeR ang mga pulso mula sa tao at sa mga frame na pinili na ng GVHMR. Hindi ito naghahanap ng pangalawang tao sa clip.++**Halos dumodoble ang oras.** Ang clip na matatapos sa loob ng ilang minuto kung walang flag ay aabot nang halos doble kapag may `--detect-hands`, dahil tumatakbo ang hand pass sa ibabaw ng body extraction. Sa mahabang video, isama ang oras na iyon bago magsimula.++Ilagay ang `MANO_RIGHT.pkl` gaya ng nasa talahanayan sa itaas, tapos:++```bash+m2mr doctor --detect-hands+m2mr run --detect-hands+m2mr run --video assets/video/dance.mp4 --detect-hands --hand-smooth 0.08+```++Ang unang run na may `--detect-hands` ay nagda-download ng mga HaMeR weight sa `weights/hamer/` (~2.7 GB, isang beses). Isinusulat ang mga rotation ng daliri sa `skeleton_motion.npz` at minamaneho nito ang 30 buto ng daliri ng Mixamo sa skinned na character. Ang pulsong hindi malinaw na nakita ng body pass ay nananatili sa rest para sa kamay na iyon.++Sinasabi ng `--hand-smooth` kung ilang segundo ng smoothing ang ilalapat sa mga rotation na iyon. `0.08` ang default. Pinapanatili ng `0` ang hilaw na estimate. Tumatakbo ang smoothing kapag may galaw na ng kamay ang skeleton file, kasama ang susunod na run na ang file lang na iyon ang gagamitin muli.++Kapag ginamit muli ang isang dating skeleton:++- May galaw na ng kamay ang file: minamaneho ng `--skeleton` ang mga daliri nang mag-isa. Hindi na kailangan ulit ang `--detect-hands`.+- Wala, pero naroon pa ang body cache ng run na iyon (`cache/<clip>/0_input_video.mp4`, at `preprocess/vitpose.pt` at `preprocess/bbx.pt`): nagdaragdag ng mga daliri ang `--skeleton ... --detect-hands` nang hindi kinukuha muli ang katawan.+- Wala na ang cache na iyon: patakbuhin muli ang video o ang still gamit ang `--detect-hands`.## Mga Output@@ -192,6 +225,8 @@ images/# kanan: 10° na orbit ng rig (isang buong ikot)```+Kapag may `--detect-hands`, may mga rotation din ng daliri sa `skeleton_motion.npz`, at kasama sa `mixamo_rotations.npz` at `mixamo_character.glb` ang 30 buto ng daliri. Kung wala ang flag na iyon, at wala ring galaw ng kamay na naka-store na sa muling ginamit na skeleton, nananatili sa rest ang mga butong iyon.+Buksan ang `mixamo_character.glb` sa Blender: File → Import → glTF 2.0 (.glb/.gltf). Kung nakatutok ang camera sa bakanteng espasyo, piliin ang character mesh at gamitin ang View → Frame Selected. Ang kumpol ng mga sphere sa ulo at mga kamay ay display ng buto, hindi ang mesh: sa Outliner, itago ang **Icosphere** at ang **armature**; hayaang nakikita ang skinned na mesh. Itakda ang FPS ng scene mula sa `run.json` (`fps`) at ang timeline sa mga frame 0 hanggang `n_frames` − 1 para tumugma ang playback sa source at ang mga numero ng frame sa `diagnostics.json`. Ikumpara ang video run sa `videos/mixamo_character.mp4`, at ang still run sa `images/mixamo_character.png` o sa orbit clip.## Lisensya@@ -199,8 +234,10 @@ Buksan ang `mixamo_character.glb` sa Blender: File → Import → glTF 2.0 (.glbApache-2.0 ang code ng repository na ito. May sariling mga tuntunin ang mga asset na ikaw mismo ang nagda-download, at hindi dapat ipamahagi muli kasama ng repo na ito:- **SMPL-X**: may gate ng MPI; default ay hindi pangkomersyal na pananaliksik / edukasyon / sining; kailangan ng hiwalay na kasunduan para sa komersyal na paggamit+- **MANO** (kapag ginamit lang ang `--detect-hands`): may gate ng MPI, kapareho ng uri ng download ng SMPL-X; ilagay ang `MANO_RIGHT.pkl` sa lokal at huwag itong ipamahagi muli- **Mixamo FBX**: puwede sa isang inilabas na produkto; huwag ipamahagi muli ang raw na FBX bilang asset pack- **GVHMR at iba pang inference weight**: awtomatikong dina-download sa `weights/` sa unang `m2mr run`, sa ilalim ng lisensya ng bawat upstream+- **HaMeR**: MIT ang inference code sa repository na ito; dina-download ang mga weight sa `weights/hamer/` sa unang `m2mr run --detect-hands`, sa ilalim ng mga tuntunin ng upstream na release## Contactdiff --git a/docs/i18n/README.fr.md b/docs/i18n/README.fr.mdindex 4f95b16..872b98e 100644--- a/docs/i18n/README.fr.md+++ b/docs/i18n/README.fr.md@@ -65,7 +65,7 @@ pip install --upgrade pip setuptools wheel \&& pip install -e .```-Les poids d’inférence (GVHMR, etc.) ne sont pas téléchargés à cette étape. Le premier `m2mr run` les récupère dans `weights/` (~5 Go, une seule fois).+Les poids d’inférence (GVHMR, etc.) ne sont pas téléchargés à cette étape. Le premier `m2mr run` les récupère dans `weights/` (~5 Go, une seule fois). Le premier `m2mr run --detect-hands` récupère aussi les poids de main HaMeR dans `weights/hamer/` (~2,7 Go, une seule fois).ffmpeg est recommandé (macOS : `brew install ffmpeg`, Ubuntu : `apt install ffmpeg`).Le pipeline fonctionne sans lui, mais les vidéos produites seront **muettes** et ne pourront pas être lues dans un navigateur.@@ -80,6 +80,7 @@ Ce dépôt ne fournit pas ces fichiers ; vous devez les récupérer vous-même.| FBX du personnage Mixamo | `assets/mixamo/Y_Bot.fbx` | Avec un compte Adobe, téléchargez Y Bot (ou tout autre personnage riggé par Mixamo) depuis [Mixamo](https://www.mixamo.com) || Vidéo d’action | `assets/video/<your_clip>.mp4` | Un clip avec **exactement une** personne bien visible, **de la tête aux pieds dans le cadre en permanence** (vous pouvez garder plusieurs fichiers ; chaque exécution utilise le plus récemment ajouté) || Photo de pose (facultative) | `assets/image/<your_photo>.jpg` | Une photo avec **exactement une** personne bien visible, **de la tête aux pieds dans le cadre**. À utiliser avec `--image` |+| Main droite MANO (uniquement pour `--detect-hands`) | `assets/body_models/mano/MANO_RIGHT.pkl` | Inscrivez-vous sur [MANO](https://mano.is.tue.mpg.de/) et téléchargez **Models & Code**. Une exécution du corps seul n’a pas besoin de ce fichier |Remarque : le fichier téléchargé depuis Mixamo s’appelle `Y Bot.fbx` (**espace**), soit un caractère de différence avec `Y_Bot.fbx` (**tiret bas**) dans le tableau.Renommez-le avec le tiret bas et il devient le rig par défaut (`m2mr run` sans `--rig`). Garder l’espace fonctionne aussi — si `Y_Bot.fbx` est absent, le premier `.fbx` de `assets/mixamo/` est utilisé.@@ -99,6 +100,12 @@ Tout élément manquant est affiché avec l’endroit où le télécharger et om2mr doctor```+`m2mr doctor` vérifie l’exécution du corps. Il n’exige pas le modèle de main MANO. Pour vérifier aussi le fichier supplémentaire et les paquets Python utilisés par la détection des doigts :++```bash+m2mr doctor --detect-hands+```+### 2. Première exécution : obtenir un résultat à l’écranSans option, cette commande utilise **le fichier le plus récent de `assets/video/`** et `assets/mixamo/Y_Bot.fbx`.@@ -111,6 +118,8 @@ C’est l’étape lente. La première exécution télécharge ~5 Go de poids dSur CPU, l’extraction d’un clip d’environ 30 secondes prend environ 8 à 15 minutes ; les exécutions suivantes de durée similaire, une fois les poids présents, prennent environ 3 à 5 minutes.Le retargeting et le rendu prennent généralement une ou deux minutes. Réutiliser un squelette avec `--skeleton` dans la section suivante saute complètement l’extraction et se termine en quelques dizaines de secondes.+Un pied posé est fixé par défaut : la plante quand la plante est au sol, le talon seulement quand les orteils sont levés. Si une jambe tendue n’atteint pas ce point, les hanches bougent. La plante est ensuite posée sur le sol (y = 0). `--no-foot-lock` conserve le retargeting brut, les pieds peuvent donc glisser ; la plante est quand même posée sur le sol.+### 3. Même mouvement, autre personnageTéléchargez un autre personnage depuis Mixamo dans `assets/mixamo/`. **Ne relancez pas avec seulement `--rig`** — cela refait l’extraction lente.@@ -151,7 +160,31 @@ m2mr diagnose outputs/<run> --visualize # écrit aussi diagnostics.html : vm2mr diagnose outputs/<run> --threshold-cm 2 # ne signale que les pénétrations de plus de 2 cm (1 par défaut)```-Chaque problème dans `diagnostics.json` est une paire de parties du corps, avec les plages d’images où elles s’intersectent, la pire image et sa profondeur. Les numéros d’image commencent à 0, comme la timeline de Blender après un import glTF. Les parties reliées par une articulation (bras et avant-bras, torse et cuisse, …) ne sont pas comparées : leur peau se chevauche autour de l’articulation dans toutes les poses. `diagnostics.html` intègre la vidéo source (nécessite `ffmpeg`) et charge three.js depuis un CDN ; sa vue 3D a donc besoin d’une connexion internet.+Chaque problème dans `diagnostics.json` est une paire de parties du corps, avec les plages d’images où elles s’intersectent, la pire image et sa profondeur. Les numéros d’image commencent à 0, comme la timeline de Blender après un import glTF. Les parties reliées par une articulation (bras et avant-bras, torse et cuisse, …) ne sont pas comparées : leur peau se chevauche autour de l’articulation dans toutes les poses. `diagnostics.html` intègre la vidéo source (nécessite `ffmpeg`) et charge three.js depuis un CDN ; sa vue 3D a donc besoin d’une connexion internet. Cette vue dessine des repères de sol fixes sur y = 0 : une croix tous les 0,5 m, une plus grande à chaque mètre, et une croix verte à l’origine, pour juger si le personnage bouge.++### 7. Doigts (`--detect-hands`)++Un simple `m2mr run` déplace le corps et laisse les os des doigts Mixamo au repos. `--detect-hands` active le modèle de main qui accompagne l’extracteur de corps. Avec l’extracteur par défaut, GVHMR, ce modèle est [HaMeR](https://github.com/geopavlakos/hamer). HaMeR découpe les poignets à partir de la personne et des images déjà choisies par GVHMR. Il ne cherche pas une seconde personne dans le clip.++**Cela double à peu près la durée.** Un clip qui se termine en quelques minutes sans le drapeau prend environ deux fois plus de temps avec `--detect-hands`, parce que la passe des mains s’ajoute à l’extraction du corps. Sur une longue vidéo, prévoyez ce temps avant de lancer.++Placez `MANO_RIGHT.pkl` comme dans le tableau ci-dessus, puis :++```bash+m2mr doctor --detect-hands+m2mr run --detect-hands+m2mr run --video assets/video/dance.mp4 --detect-hands --hand-smooth 0.08+```++La première exécution avec `--detect-hands` télécharge les poids HaMeR dans `weights/hamer/` (~2,7 Go, une fois). Les rotations des doigts sont écrites dans `skeleton_motion.npz` et animent les 30 os des doigts Mixamo du personnage skinné. Un poignet que la passe du corps n’a pas vu clairement reste au repos pour cette main.++`--hand-smooth` indique combien de secondes de lissage appliquer à ces rotations. La valeur par défaut est `0.08`. `0` conserve l’estimation brute. Le lissage s’applique dès que le fichier de squelette contient déjà un mouvement de main, y compris lors d’une exécution ultérieure qui ne réutilise que ce fichier.++Réutiliser un squelette précédent :++- Le fichier contient déjà un mouvement de main : `--skeleton` anime les doigts tout seul. `--detect-hands` n’est plus nécessaire.+- Il n’en contient pas, mais le cache du corps de cette exécution est encore à côté (`cache/<clip>/0_input_video.mp4`, plus `preprocess/vitpose.pt` et `preprocess/bbx.pt`) : `--skeleton ... --detect-hands` ajoute les doigts sans extraire à nouveau le corps.+- Ce cache a disparu : relancez la vidéo ou la photo avec `--detect-hands`.## Sorties@@ -192,6 +225,8 @@ images/# droite : orbite du rig par pas de 10° (un tour complet)```+Avec `--detect-hands`, `skeleton_motion.npz` contient aussi les rotations des doigts, et `mixamo_rotations.npz` ainsi que `mixamo_character.glb` incluent les 30 os des doigts. Sans ce drapeau, et sans mouvement de main déjà stocké dans un squelette réutilisé, ces os restent au repos.+Ouvrez `mixamo_character.glb` dans Blender : File → Import → glTF 2.0 (.glb/.gltf). Si la caméra vise un espace vide, sélectionnez le mesh du personnage puis utilisez View → Frame Selected. L’amas de sphères sur la tête et les mains correspond à l’affichage des os, pas au mesh : dans l’Outliner, masquez **Icosphere** et l’**armature** ; laissez le mesh skinné visible. Réglez le FPS de la scène d’après `run.json` (`fps`) et la timeline sur les images 0 à `n_frames` − 1 pour que la lecture corresponde à la source et que les numéros d’image correspondent à `diagnostics.json`. Comparez une exécution vidéo à `videos/mixamo_character.mp4`, une exécution photo à `images/mixamo_character.png` ou au clip en orbite.## Licence@@ -199,8 +234,10 @@ Ouvrez `mixamo_character.glb` dans Blender : File → Import → glTF 2.0 (.glb/Le code de ce dépôt est sous licence Apache-2.0. Les ressources que vous téléchargez ont leurs propres conditions et ne doivent pas être redistribuées avec ce dépôt :- **SMPL-X** : accès contrôlé par le MPI ; par défaut recherche / enseignement / art non commerciaux ; un usage commercial nécessite un accord séparé+- **MANO** (seulement avec `--detect-hands`) : accès contrôlé par le MPI, le même type de téléchargement que SMPL-X ; placez `MANO_RIGHT.pkl` en local et ne le redistribuez pas- **Mixamo FBX** : autorisé dans un produit publié ; ne redistribuez pas le FBX brut sous forme de pack de ressources- **GVHMR et autres poids d’inférence** : téléchargés automatiquement dans `weights/` au premier `m2mr run`, sous la licence de chaque projet d’origine+- **HaMeR** : le code d’inférence de ce dépôt est sous MIT ; les poids sont téléchargés dans `weights/hamer/` au premier `m2mr run --detect-hands`, selon les conditions de publication en amont## Contactdiff --git a/docs/i18n/README.id.md b/docs/i18n/README.id.mdindex fdcfd35..31566c3 100644--- a/docs/i18n/README.id.md+++ b/docs/i18n/README.id.md@@ -65,7 +65,7 @@ pip install --upgrade pip setuptools wheel \&& pip install -e .```-Bobot inferensi (GVHMR, dll.) tidak diunduh pada langkah ini. `m2mr run` pertama akan mengunduhnya ke `weights/` (~5 GB, sekali saja).+Bobot inferensi (GVHMR, dll.) tidak diunduh pada langkah ini. `m2mr run` pertama akan mengunduhnya ke `weights/` (~5 GB, sekali saja). `m2mr run --detect-hands` pertama juga mengunduh bobot tangan HaMeR ke `weights/hamer/` (~2,7 GB, sekali saja).Disarankan memasang ffmpeg (macOS: `brew install ffmpeg`, Ubuntu: `apt install ffmpeg`).Pipeline tetap berjalan tanpanya, tetapi video hasilnya akan **tanpa suara** dan tidak bisa diputar di browser.@@ -80,6 +80,7 @@ Repositori ini tidak menyertakan file-file berikut; kamu harus mengambilnya send| FBX karakter Mixamo | `assets/mixamo/Y_Bot.fbx` | Dengan akun Adobe, unduh Y Bot (atau karakter lain yang sudah di-rig Mixamo) dari [Mixamo](https://www.mixamo.com) || Video aksi | `assets/video/<your_clip>.mp4` | Klip dengan **tepat satu** orang yang terlihat jelas, **dari kepala sampai kaki selalu berada di dalam frame** (boleh menyimpan beberapa file; setiap run memakai yang paling terakhir ditambahkan) || Foto pose (opsional) | `assets/image/<your_photo>.jpg` | Foto dengan **tepat satu** orang yang terlihat jelas, **dari kepala sampai kaki berada di dalam frame**. Gunakan dengan `--image` |+| Tangan kanan MANO (hanya untuk `--detect-hands`) | `assets/body_models/mano/MANO_RIGHT.pkl` | Daftar di [MANO](https://mano.is.tue.mpg.de/) lalu unduh **Models & Code**. Proses tubuh saja tidak membutuhkan berkas ini |Catatan: file yang diunduh dari Mixamo bernama `Y Bot.fbx` (**dengan spasi**), berbeda satu karakter dari `Y_Bot.fbx` (**dengan garis bawah**) di tabel.Ganti namanya ke bentuk garis bawah agar menjadi rig bawaan (`m2mr run` tanpa `--rig`). Membiarkan spasinya juga tidak masalah — jika `Y_Bot.fbx` tidak ada, `.fbx` pertama di `assets/mixamo/` yang akan dipakai.@@ -99,6 +100,12 @@ Semua yang belum ada akan ditampilkan beserta tempat mengunduhnya dan lokasi penm2mr doctor```+`m2mr doctor` memeriksa proses tubuh. Model tangan MANO tidak diwajibkan. Untuk memeriksa juga berkas tambahan dan paket Python yang dipakai deteksi jari:++```bash+m2mr doctor --detect-hands+```+### 2. Run pertama: tampilkan hasil di layarTanpa flag apa pun, perintah ini memakai **file terbaru di `assets/video/`** dan `assets/mixamo/Y_Bot.fbx`.@@ -111,6 +118,8 @@ Ini langkah yang lambat. Run pertama mengunduh ~5 GB bobot inferensi (sekali sajDi CPU, ekstraksi klip ~30 detik memakan waktu sekitar 8–15 menit; run berikutnya dengan durasi serupa, saat bobot sudah tersedia, sekitar 3–5 menit.Retargeting dan rendering biasanya memakan satu atau dua menit. Memakai ulang skeleton dengan `--skeleton` di bagian berikutnya akan melewati ekstraksi sepenuhnya dan selesai dalam beberapa puluh detik.+Kaki yang menapak dikunci secara bawaan: telapak depan saat telapak depan di bawah, tumit hanya saat jari-jari terangkat. Jika kaki yang diluruskan tidak mencapai titik itu, pinggul bergeser. Lalu telapak kaki diletakkan di lantai (y = 0). `--no-foot-lock` menyimpan retarget mentah, jadi kaki bisa meluncur; telapak kaki tetap diletakkan di lantai.+### 3. Gerakan yang sama, karakter berbedaUnduh karakter lain dari Mixamo ke `assets/mixamo/`. **Jangan menjalankan ulang hanya dengan `--rig`** — itu akan mengulang ekstraksi yang lambat.@@ -151,7 +160,31 @@ m2mr diagnose outputs/<run> --visualize # juga diagnostics.html: video sumbm2mr diagnose outputs/<run> --threshold-cm 2 # laporkan hanya tembusan yang lebih dalam dari 2 cm (default 1)```-Setiap masalah di `diagnostics.json` adalah sepasang bagian tubuh beserta rentang frame saat keduanya saling tembus, frame terparah, dan kedalamannya. Nomor frame dihitung dari 0, sama seperti timeline Blender setelah impor glTF. Bagian yang tersambung oleh sendi (lengan atas dan lengan bawah, torso dan paha, …) tidak dibandingkan: kulitnya tumpang tindih di sekitar sendi dalam pose apa pun. `diagnostics.html` menyematkan video sumber (perlu `ffmpeg`) dan memuat three.js dari CDN, jadi tampilan 3D-nya perlu koneksi internet.+Setiap masalah di `diagnostics.json` adalah sepasang bagian tubuh beserta rentang frame saat keduanya saling tembus, frame terparah, dan kedalamannya. Nomor frame dihitung dari 0, sama seperti timeline Blender setelah impor glTF. Bagian yang tersambung oleh sendi (lengan atas dan lengan bawah, torso dan paha, …) tidak dibandingkan: kulitnya tumpang tindih di sekitar sendi dalam pose apa pun. `diagnostics.html` menyematkan video sumber (perlu `ffmpeg`) dan memuat three.js dari CDN, jadi tampilan 3D-nya perlu koneksi internet. Tampilan itu menggambar penanda lantai yang tetap di y = 0: silang setiap 0,5 m, yang lebih besar setiap meter, dan silang hijau di titik asal, supaya bisa dilihat apakah karakter sedang bergerak.++### 7. Jari (`--detect-hands`)++`m2mr run` biasa hanya menggerakkan tubuh dan membiarkan tulang jari Mixamo pada pose istirahat. `--detect-hands` menyalakan model tangan yang menyertai ekstraktor tubuh. Dengan ekstraktor bawaan, GVHMR, model itu adalah [HaMeR](https://github.com/geopavlakos/hamer). HaMeR memotong pergelangan dari orang dan frame yang sudah dipilih GVHMR. Ia tidak mencari orang kedua di dalam klip.++**Waktunya kira-kira menjadi dua kali lipat.** Klip yang tanpa flag selesai dalam beberapa menit akan makan waktu sekitar dua kali lipat dengan `--detect-hands`, karena lintasan tangan berjalan di atas ekstraksi tubuh. Pada video yang panjang, hitung waktu tambahan ini sebelum mulai.++Letakkan `MANO_RIGHT.pkl` seperti pada tabel di atas, lalu:++```bash+m2mr doctor --detect-hands+m2mr run --detect-hands+m2mr run --video assets/video/dance.mp4 --detect-hands --hand-smooth 0.08+```++Proses `--detect-hands` yang pertama mengunduh bobot HaMeR ke `weights/hamer/` (~2,7 GB, sekali). Rotasi jari ditulis ke `skeleton_motion.npz` dan menggerakkan 30 tulang jari Mixamo pada karakter yang sudah di-skin. Pergelangan yang tidak terlihat jelas pada lintasan tubuh tetap pada pose istirahat untuk tangan itu.++`--hand-smooth` adalah berapa detik penghalusan yang diterapkan pada rotasi itu. Nilai bawaannya `0.08`. `0` menyimpan estimasi mentah. Penghalusan berjalan setiap kali berkas skeleton sudah berisi gerakan tangan, termasuk proses berikutnya yang hanya memakai ulang berkas itu.++Saat memakai ulang skeleton sebelumnya:++- Berkas sudah berisi gerakan tangan: `--skeleton` menggerakkan jari dengan sendirinya. `--detect-hands` tidak diperlukan lagi.+- Belum ada, tetapi cache tubuh proses itu masih ada di sampingnya (`cache/<clip>/0_input_video.mp4`, plus `preprocess/vitpose.pt` dan `preprocess/bbx.pt`): `--skeleton ... --detect-hands` menambahkan jari tanpa mengekstrak tubuh lagi.+- Cache itu sudah hilang: jalankan lagi video atau fotonya dengan `--detect-hands`.## Keluaran@@ -192,6 +225,8 @@ images/# kanan: orbit rig per 10° (satu putaran penuh)```+Dengan `--detect-hands`, `skeleton_motion.npz` juga menyimpan rotasi jari, dan `mixamo_rotations.npz` serta `mixamo_character.glb` memuat 30 tulang jari. Tanpa flag itu, dan tanpa gerakan tangan yang sudah tersimpan di skeleton yang dipakai ulang, tulang-tulang itu tetap dalam pose istirahat.+Buka `mixamo_character.glb` di Blender: File → Import → glTF 2.0 (.glb/.gltf). Jika kamera mengarah ke ruang kosong, pilih mesh karakter lalu gunakan View → Frame Selected. Kumpulan bola di kepala dan tangan adalah tampilan tulang, bukan mesh: di Outliner, sembunyikan **Icosphere** dan **armature**; biarkan mesh yang sudah di-skin tetap terlihat. Atur FPS scene sesuai `run.json` (`fps`) dan timeline ke frame 0 sampai `n_frames` − 1 agar pemutaran sesuai dengan sumbernya dan nomor frame cocok dengan `diagnostics.json`. Bandingkan run video dengan `videos/mixamo_character.mp4`, dan run foto dengan `images/mixamo_character.png` atau klip orbit.## Lisensi@@ -199,8 +234,10 @@ Buka `mixamo_character.glb` di Blender: File → Import → glTF 2.0 (.glb/.gltfKode di repositori ini berlisensi Apache-2.0. Aset yang kamu unduh sendiri memiliki ketentuannya masing-masing dan tidak boleh didistribusikan ulang bersama repo ini:- **SMPL-X**: akses dibatasi oleh MPI; secara bawaan hanya untuk riset / pendidikan / seni non-komersial; penggunaan komersial memerlukan perjanjian terpisah+- **MANO** (hanya jika memakai `--detect-hands`): akses dibatasi oleh MPI, jenis unduhan yang sama dengan SMPL-X; simpan `MANO_RIGHT.pkl` secara lokal dan jangan distribusikan ulang- **Mixamo FBX**: boleh dipakai dalam produk yang dirilis; jangan mendistribusikan ulang FBX mentah sebagai paket aset- **GVHMR dan bobot inferensi lainnya**: diunduh otomatis ke `weights/` pada `m2mr run` pertama, di bawah lisensi masing-masing proyek asal+- **HaMeR**: kode inferensi di repositori ini berlisensi MIT; bobot diunduh ke `weights/hamer/` pada `m2mr run --detect-hands` pertama, mengikuti ketentuan rilis proyek asal## Kontakdiff --git a/docs/i18n/README.it.md b/docs/i18n/README.it.mdindex 667a4ba..c895b9c 100644--- a/docs/i18n/README.it.md+++ b/docs/i18n/README.it.md@@ -65,7 +65,7 @@ pip install --upgrade pip setuptools wheel \&& pip install -e .```-I pesi di inferenza (GVHMR e altri) non vengono scaricati qui. Il primo `m2mr run` li scarica in `weights/` (~5 GB, una sola volta).+I pesi di inferenza (GVHMR e altri) non vengono scaricati qui. Il primo `m2mr run` li scarica in `weights/` (~5 GB, una sola volta). Il primo `m2mr run --detect-hands` scarica anche i pesi della mano HaMeR in `weights/hamer/` (~2,7 GB, una sola volta).Si consiglia ffmpeg (macOS: `brew install ffmpeg`, Ubuntu: `apt install ffmpeg`).La pipeline funziona anche senza, ma i video in uscita saranno **senza audio** e non si potranno riprodurre in un browser.@@ -80,6 +80,7 @@ Questo repository non include questi file; devi procurarteli. Il nome del file S| FBX del personaggio Mixamo | `assets/mixamo/Y_Bot.fbx` | Con un account Adobe, scarica Y Bot (o un altro personaggio con rig Mixamo) da [Mixamo](https://www.mixamo.com) || Video d’azione | `assets/video/<your_clip>.mp4` | Una clip con **una sola** persona ben visibile, **dalla testa ai piedi nell’inquadratura per tutto il tempo** (puoi tenere più file; ogni esecuzione usa quello aggiunto per ultimo) || Foto della posa (facoltativa) | `assets/image/<your_photo>.jpg` | Una foto con **una sola** persona ben visibile, **dalla testa ai piedi nell’inquadratura**. Da usare con `--image` |+| Mano destra MANO (solo per `--detect-hands`) | `assets/body_models/mano/MANO_RIGHT.pkl` | Registrati su [MANO](https://mano.is.tue.mpg.de/) e scarica **Models & Code**. Un’esecuzione solo del corpo non ha bisogno di questo file |Nota: il file scaricato da Mixamo si chiama `Y Bot.fbx` (con uno **spazio**), un carattere diverso da `Y_Bot.fbx` (con il **trattino basso**) della tabella.Rinominalo con il trattino basso e diventa il rig predefinito (`m2mr run` senza `--rig`). Va bene anche lasciare lo spazio: se `Y_Bot.fbx` manca, viene usato il primo `.fbx` in `assets/mixamo/`.@@ -99,6 +100,12 @@ Per tutto ciò che manca viene indicato dove scaricarlo e dove metterlo.m2mr doctor```+`m2mr doctor` controlla l’esecuzione del corpo. Non richiede il modello della mano MANO. Per controllare anche il file aggiuntivo e i pacchetti Python usati dal rilevamento delle dita:++```bash+m2mr doctor --detect-hands+```+### 2. Prima esecuzione: ottieni subito un risultatoSenza opzioni usa il **file più recente in `assets/video/`** e `assets/mixamo/Y_Bot.fbx`.@@ -111,6 +118,8 @@ Questo è il passaggio lento. La prima esecuzione scarica ~5 GB di pesi di inferSu CPU, l’estrazione di una clip di ~30 secondi richiede circa 8–15 minuti; le esecuzioni successive di durata simile, con i pesi già presenti, circa 3–5 minuti.Retargeting e rendering richiedono di solito un minuto o due. Riutilizzando uno scheletro con `--skeleton` (sezione successiva) l’estrazione viene saltata del tutto e si finisce in poche decine di secondi.+Un piede appoggiato viene bloccato per impostazione predefinita: l’avampiede quando l’avampiede è a terra, il tallone solo quando le dita sono alzate. Se una gamba tesa non arriva a quel punto, le anche si spostano. Poi la pianta viene appoggiata sul pavimento (y = 0). `--no-foot-lock` tiene il retarget grezzo, quindi i piedi possono scivolare; la pianta viene comunque appoggiata sul pavimento.+### 3. Stesso movimento, altro personaggioScarica un altro personaggio da Mixamo in `assets/mixamo/`. **Non rieseguire cambiando solo `--rig`**: ripeteresti la lenta estrazione.@@ -151,7 +160,31 @@ m2mr diagnose outputs/<run> --visualize # anche diagnostics.html: video sorm2mr diagnose outputs/<run> --threshold-cm 2 # segnala solo le penetrazioni più profonde di 2 cm (predefinito 1)```-Ogni problema in `diagnostics.json` è una coppia di parti del corpo, con gli intervalli di frame in cui si intersecano, il frame peggiore e la sua profondità. I numeri dei frame partono da 0, come la timeline di Blender dopo l’importazione di un glTF. Le parti unite da un’articolazione (braccio e avambraccio, busto e coscia, …) non vengono confrontate: la loro pelle si sovrappone attorno all’articolazione in qualsiasi posa. `diagnostics.html` incorpora il video sorgente (richiede `ffmpeg`) e carica three.js da una CDN, quindi la vista 3D richiede una connessione a internet.+Ogni problema in `diagnostics.json` è una coppia di parti del corpo, con gli intervalli di frame in cui si intersecano, il frame peggiore e la sua profondità. I numeri dei frame partono da 0, come la timeline di Blender dopo l’importazione di un glTF. Le parti unite da un’articolazione (braccio e avambraccio, busto e coscia, …) non vengono confrontate: la loro pelle si sovrappone attorno all’articolazione in qualsiasi posa. `diagnostics.html` incorpora il video sorgente (richiede `ffmpeg`) e carica three.js da una CDN, quindi la vista 3D richiede una connessione a internet. Quella vista disegna dei segni fissi sul pavimento a y = 0: una croce ogni 0,5 m, una più grande ogni metro e una croce verde all’origine, così si vede se il personaggio si sta muovendo.++### 7. Dita (`--detect-hands`)++Un semplice `m2mr run` muove il corpo e lascia le ossa delle dita Mixamo a riposo. `--detect-hands` attiva il modello della mano che accompagna l’estrattore del corpo. Con l’estrattore predefinito, GVHMR, quel modello è [HaMeR](https://github.com/geopavlakos/hamer). HaMeR ritaglia i polsi dalla persona e dai frame che GVHMR ha già scelto. Non cerca una seconda persona nel clip.++**Il tempo circa raddoppia.** Un clip che senza il flag finisce in pochi minuti ne impiega circa il doppio con `--detect-hands`, perché il passaggio delle mani si aggiunge all’estrazione del corpo. Su un video lungo, conta questo tempo prima di partire.++Metti `MANO_RIGHT.pkl` come nella tabella sopra, poi:++```bash+m2mr doctor --detect-hands+m2mr run --detect-hands+m2mr run --video assets/video/dance.mp4 --detect-hands --hand-smooth 0.08+```++La prima esecuzione con `--detect-hands` scarica i pesi HaMeR in `weights/hamer/` (~2,7 GB, una volta). Le rotazioni delle dita vengono scritte in `skeleton_motion.npz` e muovono le 30 ossa delle dita Mixamo del personaggio con skin. Un polso che il passaggio del corpo non ha visto bene resta a riposo per quella mano.++`--hand-smooth` indica quanti secondi di smussatura applicare a quelle rotazioni. Il valore predefinito è `0.08`. `0` tiene la stima grezza. La smussatura avviene ogni volta che il file dello scheletro contiene già il movimento delle mani, anche in un’esecuzione successiva che riusa solo quel file.++Quando riusi uno scheletro precedente:++- Il file contiene già il movimento delle mani: `--skeleton` muove le dita da solo. `--detect-hands` non serve di nuovo.+- Non lo contiene, ma la cache del corpo di quell’esecuzione è ancora accanto (`cache/<clip>/0_input_video.mp4`, più `preprocess/vitpose.pt` e `preprocess/bbx.pt`): `--skeleton ... --detect-hands` aggiunge le dita senza estrarre di nuovo il corpo.+- Quella cache non c’è più: esegui di nuovo il video o la foto con `--detect-hands`.## Output@@ -192,6 +225,8 @@ images/# destra: orbita del rig a 10° (un giro completo)```+Con `--detect-hands`, `skeleton_motion.npz` contiene anche le rotazioni delle dita, e `mixamo_rotations.npz` e `mixamo_character.glb` includono le 30 ossa delle dita. Senza quel flag, e senza un movimento delle mani già salvato in uno scheletro riutilizzato, quelle ossa restano a riposo.+Apri `mixamo_character.glb` in Blender: File → Import → glTF 2.0 (.glb/.gltf). Se la camera inquadra uno spazio vuoto, seleziona la mesh del personaggio e usa View → Frame Selected. Il gruppo di sfere su testa e mani è la visualizzazione delle ossa, non la mesh: nell’Outliner nascondi **Icosphere** e l’**armature**; lascia visibile la mesh con skinning. Imposta gli FPS della scena da `run.json` (`fps`) e la timeline sui frame da 0 a `n_frames` − 1, così la riproduzione corrisponde alla sorgente e i numeri dei frame corrispondono a `diagnostics.json`. Confronta un’esecuzione con video con `videos/mixamo_character.mp4`, una con foto con `images/mixamo_character.png` o con la clip orbitale.## Licenza@@ -199,8 +234,10 @@ Apri `mixamo_character.glb` in Blender: File → Import → glTF 2.0 (.glb/.gltfIl codice di questo repository è Apache-2.0. Gli asset che scarichi hanno condizioni proprie e non devono essere ridistribuiti con questo repository:- **SMPL-X**: accesso controllato dal MPI; per impostazione predefinita solo ricerca / istruzione / arte non commerciali; l’uso commerciale richiede un accordo separato+- **MANO** (solo con `--detect-hands`): accesso controllato dal MPI, lo stesso tipo di download di SMPL-X; metti `MANO_RIGHT.pkl` in locale e non ridistribuirlo- **FBX Mixamo**: utilizzabili in un prodotto distribuito; non ridistribuire gli FBX originali come pacchetto di asset- **GVHMR e gli altri pesi di inferenza**: scaricati automaticamente in `weights/` al primo `m2mr run`, ciascuno con la propria licenza originale+- **HaMeR**: il codice di inferenza in questo repository è MIT; i pesi vengono scaricati in `weights/hamer/` al primo `m2mr run --detect-hands`, secondo i termini di pubblicazione a monte## Contattidiff --git a/docs/i18n/README.ja.md b/docs/i18n/README.ja.mdindex d5c5544..095e738 100644--- a/docs/i18n/README.ja.md+++ b/docs/i18n/README.ja.md@@ -65,7 +65,7 @@ pip install --upgrade pip setuptools wheel \&& pip install -e .```-推論ウェイト(GVHMR など)はこの段階ではダウンロードしません。初回の `m2mr run` で `weights/` に入ります(約 5 GB、一度だけ)。+推論ウェイト(GVHMR など)はこの段階ではダウンロードしません。初回の `m2mr run` で `weights/` に入ります(約 5 GB、一度だけ)。初回の `m2mr run --detect-hands` では、HaMeR の手のウェイトも `weights/hamer/` に入ります(約 2.7 GB、一度だけ)。ffmpeg も推奨です(macOS: `brew install ffmpeg`、Ubuntu: `apt install ffmpeg`)。なくても動きますが、出力動画は**無音**になり、ブラウザでは再生できません。@@ -80,6 +80,7 @@ ffmpeg も推奨です(macOS: `brew install ffmpeg`、Ubuntu: `apt install ffm| Mixamo キャラクター FBX | `assets/mixamo/Y_Bot.fbx` | Adobe アカウントで [Mixamo](https://www.mixamo.com) から Y Bot(または他の Mixamo rig キャラクター)をダウンロード || 動作動画 | `assets/video/<your_clip>.mp4` | **一人だけ**、はっきり見え、**頭から足まで全編フレーム内**(複数可、実行ごとに最後に入れたファイルを使用) || ポーズ写真(任意) | `assets/image/<your_photo>.jpg` | **一人だけ**、はっきり見え、**頭から足までフレーム内**。`--image` と一緒に使う |+| MANO 右手(`--detect-hands` のときだけ) | `assets/body_models/mano/MANO_RIGHT.pkl` | [MANO](https://mano.is.tue.mpg.de/) で登録し、**Models & Code** をダウンロード。体だけの実行には不要 |注意:Mixamo のダウンロード名は `Y Bot.fbx`(**スペース**)で、表の `Y_Bot.fbx`(**アンダースコア**)と一字違います。アンダースコアにすればデフォルト rig になり、`m2mr run` は `--rig` なしでそれを使います。名前を変えなくても構いません——`Y_Bot.fbx` が無いときは `assets/mixamo/` の最初の `.fbx` を使います。@@ -99,6 +100,12 @@ ffmpeg も推奨です(macOS: `brew install ffmpeg`、Ubuntu: `apt install ffmm2mr doctor```+`m2mr doctor` が確認するのは体の実行です。MANO の手モデルは要求しません。指の検出に使う追加ファイルと Python パッケージも確認するには:++```bash+m2mr doctor --detect-hands+```+### 2. 初回実行:まず画面に出すフラグなしでは **`assets/video/` に最後に入れたファイル** と `assets/mixamo/Y_Bot.fbx` を使います。@@ -111,6 +118,8 @@ m2mr run約 30 秒のクリップは CPU で抽出にだいたい 8–15 分、ウェイト済みの同程度なら 3–5 分です。リターゲットとレンダリングは通常 1–2 分です。次節の `--skeleton` でスケルトンを再利用すると抽出を飛ばし、数十秒で終わります。+着地した足は既定で固定されます。足の裏が地面についているときは足の裏を、つま先が上がっているときだけかかとを固定します。脚を伸ばしても届かないときは腰が動きます。そのあと足の裏が地面(y = 0)に置かれます。`--no-foot-lock` は生のリターゲットを残すので、足が滑ることがあります。足の裏はそれでも地面に置かれます。+### 3. 同じモーション、別キャラクターMixamo から別のキャラクターを `assets/mixamo/` に入れてください。**`--rig` だけ変えて再実行しないでください** — 遅い抽出がもう一度走ります。@@ -151,7 +160,31 @@ m2mr diagnose outputs/<run> --visualize # diagnostics.html も出力:元m2mr diagnose outputs/<run> --threshold-cm 2 # 2 cm より深いめり込みだけを報告(既定 1)```-`diagnostics.json` の各問題は体の部位のペアで、交差しているフレーム範囲、最もひどいフレームとその深さを含みます。フレーム番号は glTF を Blender にインポートしたときのタイムラインと同じく 0 から数えます。関節でつながった部位(上腕と前腕、胴体と太ももなど)は比較しません。どんなポーズでも関節まわりで皮膚が重なるためです。`diagnostics.html` は元動画を埋め込み(`ffmpeg` が必要)、three.js を CDN から読み込むため、3D ビューにはインターネット接続が必要です。+`diagnostics.json` の各問題は体の部位のペアで、交差しているフレーム範囲、最もひどいフレームとその深さを含みます。フレーム番号は glTF を Blender にインポートしたときのタイムラインと同じく 0 から数えます。関節でつながった部位(上腕と前腕、胴体と太ももなど)は比較しません。どんなポーズでも関節まわりで皮膚が重なるためです。`diagnostics.html` は元動画を埋め込み(`ffmpeg` が必要)、three.js を CDN から読み込むため、3D ビューにはインターネット接続が必要です。この 3D ビューは y = 0 に固定の床マーカーを描きます。0.5 m ごとに十字、1 m ごとに大きい十字、原点は緑で、キャラクターが動いているかを判断できます。++### 7. 指(`--detect-hands`)++普通の `m2mr run` は体だけを動かし、Mixamo の指のボーンはレストのままです。`--detect-hands` は、体の抽出器と一緒に動く手のモデルをオンにします。既定の抽出器 GVHMR では、そのモデルは [HaMeR](https://github.com/geopavlakos/hamer) です。HaMeR は、GVHMR がすでに選んだ人とフレームから手首を切り出します。クリップの中から別の人を探し直すことはありません。++**所要時間はおよそ 2 倍になります。** フラグなしで数分で終わるクリップは、`--detect-hands` を付けるとおよそその 2 倍かかります。手の処理が体の抽出の上に乗るためです。長い動画では、始める前にこの時間を見込んでください。++上の表のとおり `MANO_RIGHT.pkl` を置いてから:++```bash+m2mr doctor --detect-hands+m2mr run --detect-hands+m2mr run --video assets/video/dance.mp4 --detect-hands --hand-smooth 0.08+```++最初の `--detect-hands` 実行は、HaMeR のウェイトを `weights/hamer/` にダウンロードします(約 2.7 GB、一度だけ)。指の回転は `skeleton_motion.npz` に書き込まれ、スキン付きキャラクターの Mixamo 指ボーン 30 本を駆動します。体の処理で手首がはっきり見えなかった手は、レストのままです。++`--hand-smooth` は、これらの回転に何秒分の平滑化をかけるかです。既定は `0.08` です。`0` は生の推定を残します。スケルトンファイルにすでに手の動きが入っていれば平滑化は行われます。後からそのファイルだけを再利用する実行も含みます。++以前のスケルトンを再利用するとき:++- ファイルにすでに手の動きがある:`--skeleton` だけで指が動きます。`--detect-hands` はもう要りません。+- 手の動きはないが、その実行の体のキャッシュがまだ横にある(`cache/<clip>/0_input_video.mp4` と `preprocess/vitpose.pt`、`preprocess/bbx.pt`):`--skeleton ... --detect-hands` で、体を再抽出せずに指を足せます。+- そのキャッシュが無い:動画または写真を `--detect-hands` 付きでもう一度実行します。## 出力@@ -192,6 +225,8 @@ images/# 右:10° で一周する周回```+`--detect-hands` を付けると、`skeleton_motion.npz` に指の回転も入り、`mixamo_rotations.npz` と `mixamo_character.glb` には 30 本の指のボーンが含まれます。このフラグがなく、再利用するスケルトンにも手の動きが無いときは、それらのボーンはレストのままです。+`mixamo_character.glb` は Blender で File → Import → glTF 2.0 (.glb/.gltf) で開きます。カメラが空を向いているときはキャラクターのメッシュを選び、View → Frame Selected。頭と手の球の塊はメッシュではなくボーン表示です。Outliner で **Icosphere** と **armature** を非表示にし、スキン付きメッシュは残してください。再生を元の長さに合わせ、フレーム番号を `diagnostics.json` とそろえるには、シーンの FPS を `run.json` の `fps` に、タイムラインを 0 〜 `n_frames` − 1 フレームに設定します。動画実行は `videos/mixamo_character.mp4`、写真実行は `images/mixamo_character.png` または周回クリップと見比べてください。## ライセンス@@ -199,8 +234,10 @@ images/このリポジトリのコードは Apache-2.0 です。自分で取得したアセットにはそれぞれの条件があり、このリポジトリと一緒に再配布してはいけません:- **SMPL-X**:MPI による提供制限。既定は非商用の研究 / 教育 / 芸術;商用は別契約+- **MANO**(`--detect-hands` を使うときだけ):SMPL-X と同じく MPI の提供制限。`MANO_RIGHT.pkl` は手元に置き、再配布しない- **Mixamo FBX**:製品に入れてよい;元の FBX をアセットパックとして再配布してはいけない- **GVHMR および他の推論ウェイト**:初回 `m2mr run` で `weights/` に自動ダウンロード、各アップストリームのライセンス+- **HaMeR**:このリポジトリ内の推論コードは MIT。ウェイトは初回の `m2mr run --detect-hands` で `weights/hamer/` に入り、アップストリームの公開条件に従う## 連絡先diff --git a/docs/i18n/README.ko.md b/docs/i18n/README.ko.mdindex 209c666..805ffa9 100644--- a/docs/i18n/README.ko.md+++ b/docs/i18n/README.ko.md@@ -65,7 +65,7 @@ pip install --upgrade pip setuptools wheel \&& pip install -e .```-추론 가중치(GVHMR 등)는 이 단계에서 받지 않습니다. 첫 `m2mr run` 때 `weights/`로 자동 다운로드됩니다(약 5 GB, 한 번만).+추론 가중치(GVHMR 등)는 이 단계에서 받지 않습니다. 첫 `m2mr run` 때 `weights/`로 자동 다운로드됩니다(약 5 GB, 한 번만). 첫 `m2mr run --detect-hands`는 HaMeR 손 가중치도 `weights/hamer/`로 받습니다(약 2.7 GB, 한 번만).ffmpeg도 권장합니다(macOS: `brew install ffmpeg`, Ubuntu: `apt install ffmpeg`).없어도 실행되지만, 출력 영상에 **소리가 없고** 브라우저에서 바로 재생되지 않습니다.@@ -80,6 +80,7 @@ ffmpeg도 권장합니다(macOS: `brew install ffmpeg`, Ubuntu: `apt install ffm| Mixamo 캐릭터 FBX | `assets/mixamo/Y_Bot.fbx` | Adobe 계정으로 [Mixamo](https://www.mixamo.com)에서 Y Bot(또는 다른 Mixamo rig 캐릭터) 다운로드 || 동작 영상 | `assets/video/<your_clip>.mp4` | **사람 한 명만**, 잘 보이고, **머리부터 발끝까지 영상 내내 화면 안에** (여러 파일 가능, 실행마다 가장 최근에 넣은 것 사용) || 자세 사진(선택) | `assets/image/<your_photo>.jpg` | **사람 한 명만**, 잘 보이고, **머리부터 발끝까지 화면 안에**. `--image`와 함께 사용 |+| MANO 오른손 (`--detect-hands`일 때만) | `assets/body_models/mano/MANO_RIGHT.pkl` | [MANO](https://mano.is.tue.mpg.de/)에 등록한 뒤 **Models & Code**를 받으세요. 몸만 돌릴 때는 이 파일이 필요 없습니다 |주의: Mixamo에서 받은 파일은 `Y Bot.fbx`(**공백**)이고, 표의 `Y_Bot.fbx`(**밑줄**)과 한 글자 다릅니다.밑줄로 바꾸면 기본 rig가 되어 `m2mr run`에 `--rig` 없이 씁니다. 이름을 안 바꿔도 됩니다 — `Y_Bot.fbx`가 없으면 `assets/mixamo/`의 첫 `.fbx`를 씁니다.@@ -99,6 +100,12 @@ ffmpeg도 권장합니다(macOS: `brew install ffmpeg`, Ubuntu: `apt install ffmm2mr doctor```+`m2mr doctor`는 몸 쪽 실행을 확인합니다. MANO 손 모델은 요구하지 않습니다. 손가락 검출에 쓰는 추가 파일과 Python 패키지까지 확인하려면:++```bash+m2mr doctor --detect-hands+```+### 2. 첫 실행: 화면에 결과 띄우기플래그 없이 실행하면 **`assets/video/`에서 가장 최근 파일**과 `assets/mixamo/Y_Bot.fbx`를 씁니다.@@ -111,6 +118,8 @@ m2mr run약 30초 영상은 CPU에서 추출에 대략 8–15분, 가중치가 이미 있으면 비슷한 길이에 3–5분입니다.리타게팅과 렌더링은 보통 1–2분입니다. 다음 절의 `--skeleton`으로 스켈레톤을 재사용하면 추출을 건너뛰어 수십 초면 끝납니다.+바닥에 디딘 발은 기본적으로 고정됩니다. 발바닥이 닿아 있으면 발바닥을, 발가락이 들려 있을 때만 뒤꿈치를 고정합니다. 다리를 펴도 닿지 않으면 골반이 움직입니다. 그다음 발바닥이 바닥(y = 0)에 놓입니다. `--no-foot-lock`은 원래 리타깃을 남겨 발이 미끄러질 수 있습니다. 발바닥은 그래도 바닥에 놓입니다.+### 3. 같은 동작, 다른 캐릭터Mixamo에서 다른 캐릭터를 `assets/mixamo/`에 넣으세요. **`--rig`만 바꿔 다시 돌리지 마세요** — 느린 추출이 그대로 반복됩니다.@@ -151,7 +160,31 @@ m2mr diagnose outputs/<run> --visualize # diagnostics.html도 생성: 원m2mr diagnose outputs/<run> --threshold-cm 2 # 2 cm보다 깊은 파고듦만 보고 (기본값 1)```-`diagnostics.json`의 각 문제는 신체 부위 한 쌍과, 두 부위가 교차하는 프레임 범위, 가장 심한 프레임과 그 깊이입니다. 프레임 번호는 glTF를 Blender로 임포트한 뒤의 타임라인처럼 0부터 셉니다. 관절로 이어진 부위(위팔과 아래팔, 몸통과 허벅지 등)는 비교하지 않습니다. 어떤 자세에서도 관절 주변의 피부가 겹치기 때문입니다. `diagnostics.html`은 원본 영상을 포함하고(`ffmpeg` 필요) three.js를 CDN에서 불러오므로, 3D 뷰에는 인터넷 연결이 필요합니다.+`diagnostics.json`의 각 문제는 신체 부위 한 쌍과, 두 부위가 교차하는 프레임 범위, 가장 심한 프레임과 그 깊이입니다. 프레임 번호는 glTF를 Blender로 임포트한 뒤의 타임라인처럼 0부터 셉니다. 관절로 이어진 부위(위팔과 아래팔, 몸통과 허벅지 등)는 비교하지 않습니다. 어떤 자세에서도 관절 주변의 피부가 겹치기 때문입니다. `diagnostics.html`은 원본 영상을 포함하고(`ffmpeg` 필요) three.js를 CDN에서 불러오므로, 3D 뷰에는 인터넷 연결이 필요합니다. 이 3D 뷰는 y = 0에 고정된 바닥 마커를 그립니다. 0.5 m마다 십자, 1 m마다 더 큰 십자, 원점은 녹색이라, 캐릭터가 움직이는지 판단할 수 있습니다.++### 7. 손가락 (`--detect-hands`)++일반 `m2mr run`은 몸만 움직이고 Mixamo 손가락 본은 레스트 자세로 둡니다. `--detect-hands`는 몸 추출기와 함께 가는 손 모델을 켭니다. 기본 추출기 GVHMR에서는 그 모델이 [HaMeR](https://github.com/geopavlakos/hamer)입니다. HaMeR는 GVHMR가 이미 고른 사람과 프레임에서 손목을 잘라 냅니다. 클립에서 다른 사람을 다시 찾지 않습니다.++**소요 시간이 대략 두 배가 됩니다.** 플래그 없이 몇 분이면 끝나는 클립은 `--detect-hands`를 붙이면 대략 그 두 배가 걸립니다. 손 처리가 몸 추출 위에 덧붙기 때문입니다. 긴 영상은 시작하기 전에 이 시간을 잡아 두세요.++위 표대로 `MANO_RIGHT.pkl`을 둔 다음:++```bash+m2mr doctor --detect-hands+m2mr run --detect-hands+m2mr run --video assets/video/dance.mp4 --detect-hands --hand-smooth 0.08+```++첫 `--detect-hands` 실행은 HaMeR 가중치를 `weights/hamer/`에 받습니다(약 2.7 GB, 한 번). 손가락 회전은 `skeleton_motion.npz`에 쓰이고, 스키닝된 캐릭터의 Mixamo 손가락 본 30개를 움직입니다. 몸 단계에서 손목이 분명히 보이지 않은 손은 레스트로 남습니다.++`--hand-smooth`는 이 회전에 몇 초의 평활화를 적용할지입니다. 기본값은 `0.08`입니다. `0`은 원래 추정을 남깁니다. 스켈레톤 파일에 이미 손 동작이 있으면 평활화가 실행되며, 나중에 그 파일만 재사용하는 실행도 포함됩니다.++이전 스켈레톤을 재사용할 때:++- 파일에 이미 손 동작이 있다: `--skeleton`만으로 손가락이 움직입니다. `--detect-hands`는 다시 필요 없습니다.+- 손 동작은 없지만, 그 실행의 몸 캐시가 아직 옆에 있다(`cache/<clip>/0_input_video.mp4`와 `preprocess/vitpose.pt`, `preprocess/bbx.pt`): `--skeleton ... --detect-hands`로 몸을 다시 추출하지 않고 손가락을 더할 수 있습니다.+- 그 캐시가 없다: 영상이나 사진을 `--detect-hands`와 함께 다시 실행합니다.## 출력@@ -192,6 +225,8 @@ images/# 오른쪽: 10° 궤도(한 바퀴)```+`--detect-hands`를 켜면 `skeleton_motion.npz`에 손가락 회전도 들어가고, `mixamo_rotations.npz`와 `mixamo_character.glb`에는 손가락 본 30개가 포함됩니다. 이 플래그가 없고, 재사용하는 스켈레톤에도 손 동작이 없으면 그 본은 레스트 자세로 남습니다.+`mixamo_character.glb`는 Blender에서 File → Import → glTF 2.0 (.glb/.gltf)로 엽니다. 카메라가 빈 곳을 보고 있으면 캐릭터 메시를 선택한 뒤 View → Frame Selected. 머리와 손의 구체들은 메시가 아니라 본 표시입니다. Outliner에서 **Icosphere**와 **armature**를 숨기고, 스키닝된 메시는 그대로 두세요. 재생이 원본과 같고 프레임 번호가 `diagnostics.json`과 맞으려면, 장면 FPS는 `run.json`의 `fps`로, 타임라인은 0부터 `n_frames` − 1 프레임까지로 맞추세요. 영상 실행은 `videos/mixamo_character.mp4`와, 사진 실행은 `images/mixamo_character.png` 또는 궤도 클립과 비교하세요.## 라이선스@@ -199,8 +234,10 @@ images/이 저장소의 코드는 Apache-2.0입니다. 직접 받은 자산은 각 조항이 있으며 이 저장소와 함께 재배포하면 안 됩니다:- **SMPL-X**: MPI에서 배포가 제한됨. 기본은 비상업 연구 / 교육 / 예술; 상업 이용은 별도 계약+- **MANO** (`--detect-hands`를 쓸 때만): SMPL-X와 같은 MPI 제한. `MANO_RIGHT.pkl`은 로컬에 두고 재배포하지 마세요- **Mixamo FBX**: 제품에 넣어도 됨; 원본 FBX를 에셋 팩으로 재배포하면 안 됨- **GVHMR 및 기타 추론 가중치**: 첫 `m2mr run` 때 `weights/`로 자동 다운로드, 각 업스트림 라이선스+- **HaMeR**: 이 저장소의 추론 코드는 MIT입니다. 가중치는 첫 `m2mr run --detect-hands` 때 `weights/hamer/`로 내려받으며, 업스트림 공개 조건을 따릅니다## 문의diff --git a/docs/i18n/README.ne.md b/docs/i18n/README.ne.mdindex 031428b..e4e0a63 100644--- a/docs/i18n/README.ne.md+++ b/docs/i18n/README.ne.md@@ -65,7 +65,7 @@ pip install --upgrade pip setuptools wheel \&& pip install -e .```-Inference weight हरू (GVHMR आदि) यो चरणमा डाउनलोड हुँदैनन्। पहिलो `m2mr run` ले तिनलाई `weights/` मा तान्छ (~5 GB, एक पटक मात्र)।+Inference weight हरू (GVHMR आदि) यो चरणमा डाउनलोड हुँदैनन्। पहिलो `m2mr run` ले तिनलाई `weights/` मा तान्छ (~5 GB, एक पटक मात्र)। पहिलो `m2mr run --detect-hands` ले HaMeR का हातका weight हरू पनि `weights/hamer/` मा तान्छ (~2.7 GB, एक पटक मात्र)।ffmpeg इन्स्टल गर्न सिफारिस गरिन्छ (macOS: `brew install ffmpeg`, Ubuntu: `apt install ffmpeg`)।यो बिना पनि pipeline चल्छ, तर आउटपुट भिडियोहरू **आवाजविहीन** हुन्छन् र ब्राउजरमा चल्दैनन्।@@ -80,6 +80,7 @@ ffmpeg इन्स्टल गर्न सिफारिस गरिन्| Mixamo क्यारेक्टर FBX | `assets/mixamo/Y_Bot.fbx` | Adobe खाता प्रयोग गरेर [Mixamo](https://www.mixamo.com) बाट Y Bot (वा Mixamo ले rig गरेको अरू कुनै क्यारेक्टर) डाउनलोड गर्नुहोस् || एक्सन भिडियो | `assets/video/<your_clip>.mp4` | **ठ्याक्कै एक जना** स्पष्ट देखिने व्यक्ति भएको, **टाउकोदेखि खुट्टासम्म सधैं फ्रेमभित्र** रहेको क्लिप (धेरै फाइल राख्न सकिन्छ; हरेक run ले सबैभन्दा पछि थपिएको फाइल प्रयोग गर्छ) || पोज फोटो (ऐच्छिक) | `assets/image/<your_photo>.jpg` | **ठ्याक्कै एक जना** स्पष्ट देखिने व्यक्ति भएको, **टाउकोदेखि खुट्टासम्म फ्रेमभित्र** रहेको फोटो। `--image` सँग प्रयोग गर्नुहोस् |+| MANO दायाँ हात (`--detect-hands` का लागि मात्र) | `assets/body_models/mano/MANO_RIGHT.pkl` | [MANO](https://mano.is.tue.mpg.de/) मा दर्ता भएर **Models & Code** डाउनलोड गर्नुहोस्। शरीर मात्रको रनलाई यो फाइल चाहिँदैन |ध्यान दिनुहोस्: Mixamo बाट डाउनलोड हुने फाइलको नाम `Y Bot.fbx` (**खाली ठाउँ सहित**) हुन्छ, जुन तालिकाको `Y_Bot.fbx` (**underscore सहित**) भन्दा एउटा अक्षरले मात्र फरक छ।यसलाई underscore भएको नाममा बदल्नुभयो भने यो पूर्वनिर्धारित rig बन्छ (`--rig` बिना `m2mr run`)। खाली ठाउँ नै राख्दा पनि हुन्छ — `Y_Bot.fbx` नभए `assets/mixamo/` को पहिलो `.fbx` प्रयोग हुन्छ।@@ -99,6 +100,12 @@ ffmpeg इन्स्टल गर्न सिफारिस गरिन्m2mr doctor```+`m2mr doctor` ले शरीरको रन जाँच्छ। MANO हात मोडेल अनिवार्य गर्दैन। औँला पत्ता लगाउन प्रयोग हुने थप फाइल र Python प्याकेजहरू पनि जाँच्न:++```bash+m2mr doctor --detect-hands+```+### 2. पहिलो run: स्क्रिनमा नतिजा हेर्नुहोस्कुनै flag नदिँदा यसले **`assets/video/` को सबैभन्दा नयाँ फाइल** र `assets/mixamo/Y_Bot.fbx` प्रयोग गर्छ।@@ -111,6 +118,8 @@ m2mr runCPU मा ~30 सेकेन्डको क्लिपको extraction मा करिब 8–15 मिनेट लाग्छ; weight हरू भइसकेपछि उस्तै लम्बाइका पछिल्ला run हरूमा करिब 3–5 मिनेट लाग्छ।Retargeting र render मा सामान्यतया एक-दुई मिनेट लाग्छ। अर्को खण्डमा `--skeleton` प्रयोग गरेर skeleton पुनः प्रयोग गर्दा extraction पूरै छोडिन्छ र केही दशक सेकेन्डमै सकिन्छ।+टेकेको खुट्टा पूर्वनिर्धारित रूपमा अडिन्छ: पञ्जा तल छ भने पञ्जा, औँला उठेका बेला मात्र कुर्कुच्चा। सीधा खुट्टाले त्यो बिन्दु पुग्दैन भने कम्मर सर्छ। अनि तलुवा भुइँमा (y = 0) राखिन्छ। `--no-foot-lock` ले कच्चा retarget राख्छ, त्यसैले खुट्टा चिप्लिन सक्छ; तलुवा चाहिँ भुइँमै राखिन्छ।+### 3. उही चाल, अर्को क्यारेक्टरMixamo बाट अर्को क्यारेक्टर `assets/mixamo/` मा डाउनलोड गर्नुहोस्। **केवल `--rig` दिएर फेरि नचलाउनुहोस्** — त्यसले ढिलो extraction दोहोर्याउँछ।@@ -151,7 +160,31 @@ m2mr diagnose outputs/<run> --visualize # diagnostics.html पनि: कm2mr diagnose outputs/<run> --threshold-cm 2 # 2 cm भन्दा गहिरो पसाइ मात्र रिपोर्ट गर्छ (पूर्वनिर्धारित 1)```-`diagnostics.json` मा हरेक समस्या शरीरका दुई भागको जोडी हो, साथमा ती भाग एकअर्कामा पसेका frame दायरा, सबैभन्दा खराब frame र त्यसको गहिराइ हुन्छ। frame नम्बर 0 बाट गनिन्छ, glTF import पछि Blender को timeline जस्तै। जोर्नीले जोडिएका भागहरू (पाखुराको माथिल्लो र तल्लो भाग, धड र तिघ्रा, …) तुलना गरिँदैनन्: जुनसुकै पोजमा पनि जोर्नी वरिपरि तिनको छाला खप्टिन्छ। `diagnostics.html` ले स्रोत भिडियो embed गर्छ (`ffmpeg` चाहिन्छ) र three.js CDN बाट लोड गर्छ, त्यसैले यसको 3D दृश्यलाई इन्टरनेट जडान चाहिन्छ।+`diagnostics.json` मा हरेक समस्या शरीरका दुई भागको जोडी हो, साथमा ती भाग एकअर्कामा पसेका frame दायरा, सबैभन्दा खराब frame र त्यसको गहिराइ हुन्छ। frame नम्बर 0 बाट गनिन्छ, glTF import पछि Blender को timeline जस्तै। जोर्नीले जोडिएका भागहरू (पाखुराको माथिल्लो र तल्लो भाग, धड र तिघ्रा, …) तुलना गरिँदैनन्: जुनसुकै पोजमा पनि जोर्नी वरिपरि तिनको छाला खप्टिन्छ। `diagnostics.html` ले स्रोत भिडियो embed गर्छ (`ffmpeg` चाहिन्छ) र three.js CDN बाट लोड गर्छ, त्यसैले यसको 3D दृश्यलाई इन्टरनेट जडान चाहिन्छ। त्यो दृश्यले y = 0 मा स्थिर भुइँ चिन्ह कोर्छ: हरेक 0.5 मिटरमा क्रस, हरेक मिटरमा ठूलो, र मूलबिन्दुमा हरियो क्रस, ताकि क्यारेक्टर चलिरहेको छ कि छैन भनेर देखियोस्।++### 7. औँला (`--detect-hands`)++साधारण `m2mr run` ले शरीर मात्र चलाउँछ र Mixamo का औँलाका हड्डी विश्राममा छोड्छ। `--detect-hands` ले शरीर निकाल्नेसँगै आउने हात मोडेल खोल्छ। पूर्वनिर्धारित निकाल्ने GVHMR मा त्यो मोडेल [HaMeR](https://github.com/geopavlakos/hamer) हो। HaMeR ले GVHMR ले पहिले नै रोजेका व्यक्ति र frame बाट नाडी काट्छ। क्लिपभित्र अर्को व्यक्ति खोज्दैन।++**समय लगभग दोब्बर हुन्छ।** फ्ल्याग बिना केही मिनेटमा सकिने क्लिप `--detect-hands` सँग लगभग दोब्बर लाग्छ, किनभने हातको पास शरीर निकाल्ने काममाथि चल्छ। लामो भिडियोमा सुरु गर्नुअघि यो समय जोड्नुहोस्।++माथिको तालिकाअनुसार `MANO_RIGHT.pkl` राख्नुहोस्, अनि:++```bash+m2mr doctor --detect-hands+m2mr run --detect-hands+m2mr run --video assets/video/dance.mp4 --detect-hands --hand-smooth 0.08+```++पहिलो `--detect-hands` रनले HaMeR का weight `weights/hamer/` मा डाउनलोड गर्छ (~2.7 GB, एक पटक)। औँलाका परिक्रमा `skeleton_motion.npz` मा लेखिन्छन् र skin भएको क्यारेक्टरका 30 वटा Mixamo औँलाका हड्डी चलाउँछन्। शरीरको पासले स्पष्ट नदेखेको नाडी त्यो हातका लागि विश्राममा रहन्छ।++`--hand-smooth` ले ती परिक्रमामा कति सेकेन्डको समतल लगाउने बताउँछ। पूर्वनिर्धारित `0.08` हो। `0` ले कच्चा अनुमान राख्छ। skeleton फाइलमा पहिले नै हातको चाल छ भने समतल चल्छ, त्यो फाइल मात्र पुनः प्रयोग गर्ने पछिको रनमा पनि।++अघिल्लो skeleton पुनः प्रयोग गर्दा:++- फाइलमा पहिले नै हातको चाल छ: `--skeleton` ले औँला आफैँ चलाउँछ। `--detect-hands` फेरि चाहिँदैन।+- चाल छैन, तर त्यो रनको शरीरको cache अझै छेउमै छ (`cache/<clip>/0_input_video.mp4`, साथमा `preprocess/vitpose.pt` र `preprocess/bbx.pt`): `--skeleton ... --detect-hands` ले शरीर फेरि ननिकाली औँला थप्छ।+- त्यो cache छैन: भिडियो वा फोटो `--detect-hands` सँग फेरि चलाउनुहोस्।## आउटपुट@@ -192,6 +225,8 @@ images/# दायाँ: rig वरिपरि 10° का दरले orbit (एक पूरा फन्को)```+`--detect-hands` हुँदा `skeleton_motion.npz` मा औँलाका परिक्रमा पनि रहन्छन्, र `mixamo_rotations.npz` तथा `mixamo_character.glb` मा 30 वटा औँलाका हड्डी हुन्छन्। त्यो फ्ल्याग नभएमा, र पुनः प्रयोग गरिएको skeleton मा पनि हातको चाल नभएमा, ती हड्डी विश्राममा रहन्छन्।+`mixamo_character.glb` लाई Blender मा खोल्नुहोस्: File → Import → glTF 2.0 (.glb/.gltf)। क्यामेरा खाली ठाउँतिर फर्केको छ भने क्यारेक्टरको mesh छानेर View → Frame Selected प्रयोग गर्नुहोस्। टाउको र हातमा देखिने गोलाहरूको झुप्पा हड्डीको display हो, mesh होइन: Outliner मा **Icosphere** र **armature** लुकाउनुहोस्; skin गरिएको mesh देखिने नै राख्नुहोस्। playback स्रोतसँग र frame नम्बर `diagnostics.json` सँग मिलोस् भनेर scene को FPS `run.json` (`fps`) अनुसार र timeline लाई frame 0 देखि `n_frames` − 1 सम्म सेट गर्नुहोस्। भिडियो run लाई `videos/mixamo_character.mp4` सँग, र फोटो run लाई `images/mixamo_character.png` वा orbit क्लिपसँग तुलना गर्नुहोस्।## लाइसेन्स@@ -199,8 +234,10 @@ images/यो रिपोजिटरीको कोड Apache-2.0 अन्तर्गत छ। तपाईं आफैंले डाउनलोड गर्ने assets का आफ्नै सर्तहरू छन्, र तिनलाई यो repo सँगै पुनः वितरण गर्नु हुँदैन:- **SMPL-X**: MPI मार्फत पहुँच; पूर्वनिर्धारित रूपमा गैर-व्यावसायिक अनुसन्धान / शिक्षा / कला मात्र; व्यावसायिक प्रयोगका लागि छुट्टै सम्झौता चाहिन्छ+- **MANO** (`--detect-hands` प्रयोग गर्दा मात्र): MPI मार्फत पहुँच, SMPL-X जस्तै डाउनलोड; `MANO_RIGHT.pkl` स्थानीय राख्नुहोस् र पुनः वितरण नगर्नुहोस्- **Mixamo FBX**: प्रकाशित उत्पादनमा प्रयोग गर्न मिल्छ; कच्चा FBX लाई asset pack को रूपमा पुनः वितरण नगर्नुहोस्- **GVHMR र अन्य inference weight हरू**: पहिलो `m2mr run` मा `weights/` मा स्वतः डाउनलोड हुन्छन्, प्रत्येकको मूल प्रोजेक्टको लाइसेन्स अन्तर्गत+- **HaMeR**: यो रिपोजिटरीको inference कोड MIT हो; weight हरू पहिलो `m2mr run --detect-hands` मा `weights/hamer/` मा आउँछन्, मूल प्रकाशनका सर्तअन्तर्गत## सम्पर्कdiff --git a/docs/i18n/README.nl.md b/docs/i18n/README.nl.mdindex c2d67c7..e51c8bb 100644--- a/docs/i18n/README.nl.md+++ b/docs/i18n/README.nl.md@@ -65,7 +65,7 @@ pip install --upgrade pip setuptools wheel \&& pip install -e .```-De inferentiegewichten (GVHMR enz.) worden in deze stap niet gedownload. De eerste `m2mr run` haalt ze op naar `weights/` (~5 GB, maar één keer).+De inferentiegewichten (GVHMR enz.) worden in deze stap niet gedownload. De eerste `m2mr run` haalt ze op naar `weights/` (~5 GB, maar één keer). De eerste `m2mr run --detect-hands` haalt ook de HaMeR-handgewichten op naar `weights/hamer/` (~2,7 GB, maar één keer).ffmpeg wordt aanbevolen (macOS: `brew install ffmpeg`, Ubuntu: `apt install ffmpeg`).De pipeline werkt ook zonder, maar de uitvoervideo's zijn dan **zonder geluid** en spelen niet af in een browser.@@ -80,6 +80,7 @@ Deze repository levert deze bestanden niet mee; je moet ze zelf ophalen. De best| FBX van een Mixamo-personage | `assets/mixamo/Y_Bot.fbx` | Download met een Adobe-account Y Bot (of een ander met Mixamo gerigd personage) van [Mixamo](https://www.mixamo.com) || Actievideo | `assets/video/<your_clip>.mp4` | Een clip met **precies één** duidelijk zichtbare persoon, **de hele tijd van top tot teen in beeld** (je kunt meerdere bestanden bewaren; elke run gebruikt het laatst toegevoegde) || Posefoto (optioneel) | `assets/image/<your_photo>.jpg` | Een foto met **precies één** duidelijk zichtbare persoon, **van top tot teen in beeld**. Te gebruiken met `--image` |+| MANO-rechterhand (alleen voor `--detect-hands`) | `assets/body_models/mano/MANO_RIGHT.pkl` | Registreer bij [MANO](https://mano.is.tue.mpg.de/) en download **Models & Code**. Een run met alleen het lichaam heeft dit bestand niet nodig |Let op: het bestand dat je van Mixamo downloadt heet `Y Bot.fbx` (**met spatie**), één teken anders dan `Y_Bot.fbx` (**met underscore**) in de tabel.Hernoem het naar de vorm met underscore en het wordt de standaard-rig (`m2mr run` zonder `--rig`). De spatie laten staan werkt ook — als `Y_Bot.fbx` ontbreekt, wordt het eerste `.fbx`-bestand in `assets/mixamo/` gebruikt.@@ -99,6 +100,12 @@ Alles wat ontbreekt wordt getoond, samen met waar je het kunt downloaden en waarm2mr doctor```+`m2mr doctor` controleert de lichaamsrun. Het MANO-handmodel is niet verplicht. Om ook het extra bestand en de Python-pakketten voor vingerdetectie te controleren:++```bash+m2mr doctor --detect-hands+```+### 2. Eerste run: krijg iets op je schermZonder opties gebruikt dit **het nieuwste bestand in `assets/video/`** en `assets/mixamo/Y_Bot.fbx`.@@ -111,6 +118,8 @@ Dit is de langzame stap. De eerste run downloadt ~5 GB aan inferentiegewichten (Op een CPU duurt de extractie van een clip van ~30 seconden ongeveer 8–15 minuten; latere runs van vergelijkbare lengte, met de gewichten al aanwezig, duren ongeveer 3–5 minuten.Retargeting en rendering duren meestal een minuut of twee. Een skelet hergebruiken met `--skeleton` in de volgende sectie slaat de extractie volledig over en is binnen enkele tientallen seconden klaar.+Een neergezette voet wordt standaard vastgezet: de bal als de bal op de grond staat, de hiel alleen als de tenen omhoog zijn. Als een gestrekt been dat punt niet haalt, schuiven de heupen. Daarna staat de zool op de vloer (y = 0). `--no-foot-lock` houdt de ruwe retarget, dus de voeten kunnen schuiven; de zool wordt toch op de vloer gezet.+### 3. Dezelfde beweging, een ander personageDownload een ander personage van Mixamo naar `assets/mixamo/`. **Draai niet opnieuw met alleen `--rig`** — dan wordt de langzame extractie herhaald.@@ -151,7 +160,31 @@ m2mr diagnose outputs/<run> --visualize # ook diagnostics.html: bronvideo nm2mr diagnose outputs/<run> --threshold-cm 2 # alleen doordringingen dieper dan 2 cm melden (standaard 1)```-Elk probleem in `diagnostics.json` is een paar lichaamsdelen met de framebereiken waarin ze elkaar doorsnijden, het ergste frame en de diepte daarvan. Framenummers tellen vanaf 0, zoals de tijdlijn van Blender na een glTF-import. Delen die via een gewricht verbonden zijn (bovenarm en onderarm, romp en dij, …) worden niet vergeleken: hun huid overlapt rond het gewricht in elke pose. `diagnostics.html` bevat de bronvideo (vereist `ffmpeg`) en laadt three.js van een CDN, dus de 3D-weergave heeft een internetverbinding nodig.+Elk probleem in `diagnostics.json` is een paar lichaamsdelen met de framebereiken waarin ze elkaar doorsnijden, het ergste frame en de diepte daarvan. Framenummers tellen vanaf 0, zoals de tijdlijn van Blender na een glTF-import. Delen die via een gewricht verbonden zijn (bovenarm en onderarm, romp en dij, …) worden niet vergeleken: hun huid overlapt rond het gewricht in elke pose. `diagnostics.html` bevat de bronvideo (vereist `ffmpeg`) en laadt three.js van een CDN, dus de 3D-weergave heeft een internetverbinding nodig. Die weergave tekent vaste vloermarkeringen op y = 0: een kruis elke 0,5 m, een groter kruis per meter en een groen kruis in de oorsprong, zodat je kunt zien of het personage beweegt.++### 7. Vingers (`--detect-hands`)++Een gewone `m2mr run` beweegt het lichaam en laat de Mixamo-vingerbotten in rust. `--detect-hands` zet het handmodel aan dat met de lichaamsextractor meegaat. Bij de standaardextractor, GVHMR, is dat [HaMeR](https://github.com/geopavlakos/hamer). HaMeR snijdt de polsen uit de persoon en de frames die GVHMR al koos. Er wordt niet opnieuw naar een tweede persoon in de clip gezocht.++**Dit verdubbelt de tijd ongeveer.** Een clip die zonder de vlag in een paar minuten klaar is, doet er met `--detect-hands` ongeveer twee keer zo lang over, omdat de handgang bovenop de lichaamsextractie loopt. Reken bij een lange video op die extra tijd voordat je start.++Zet `MANO_RIGHT.pkl` neer zoals in de tabel hierboven, en dan:++```bash+m2mr doctor --detect-hands+m2mr run --detect-hands+m2mr run --video assets/video/dance.mp4 --detect-hands --hand-smooth 0.08+```++De eerste run met `--detect-hands` downloadt de HaMeR-gewichten naar `weights/hamer/` (~2,7 GB, één keer). Vingerrotaties worden in `skeleton_motion.npz` geschreven en sturen de 30 Mixamo-vingerbotten van het geskinde personage aan. Een pols die de lichaamsgang niet duidelijk zag, blijft voor die hand in rust.++`--hand-smooth` is hoeveel seconden afvlakking op die rotaties wordt toegepast. De standaard is `0.08`. `0` houdt de ruwe schatting. Afvlakking gebeurt zodra het skeletbestand al handbeweging bevat, ook bij een latere run die alleen dat bestand hergebruikt.++Een eerder skelet hergebruiken:++- Het bestand bevat al handbeweging: `--skeleton` stuurt de vingers vanzelf aan. `--detect-hands` is niet opnieuw nodig.+- Dat doet het niet, maar de lichaamscache van die run ligt er nog naast (`cache/<clip>/0_input_video.mp4`, plus `preprocess/vitpose.pt` en `preprocess/bbx.pt`): `--skeleton ... --detect-hands` voegt de vingers toe zonder het lichaam opnieuw te extraheren.+- Die cache is weg: draai de video of de foto opnieuw met `--detect-hands`.## Uitvoer@@ -192,6 +225,8 @@ images/# rechts: orbit rond de rig in stappen van 10° (één volledige rondgang)```+Met `--detect-hands` bevat `skeleton_motion.npz` ook de vingerrotaties, en `mixamo_rotations.npz` en `mixamo_character.glb` bevatten de 30 vingerbotten. Zonder die vlag, en zonder al opgeslagen handbeweging in een hergebruikt skelet, blijven die botten in rust.+Open `mixamo_character.glb` in Blender: File → Import → glTF 2.0 (.glb/.gltf). Als de camera op een lege ruimte gericht is, selecteer dan de mesh van het personage en gebruik View → Frame Selected. Het cluster bollen op het hoofd en de handen is de weergave van de botten, niet de mesh: verberg in de Outliner **Icosphere** en de **armature**; laat de geskinde mesh zichtbaar. Stel de FPS van de scène in op basis van `run.json` (`fps`) en de tijdlijn op frames 0 tot en met `n_frames` − 1, zodat het afspelen overeenkomt met de bron en de framenummers met `diagnostics.json`. Vergelijk een videorun met `videos/mixamo_character.mp4`, een fotorun met `images/mixamo_character.png` of de orbitclip.## Licentie@@ -199,8 +234,10 @@ Open `mixamo_character.glb` in Blender: File → Import → glTF 2.0 (.glb/.gltfDe code van deze repository valt onder Apache-2.0. De assets die je zelf downloadt hebben hun eigen voorwaarden en mogen niet samen met deze repo worden herverspreid:- **SMPL-X**: toegang via MPI; standaard niet-commercieel onderzoek / onderwijs / kunst; commercieel gebruik vereist een aparte overeenkomst+- **MANO** (alleen met `--detect-hands`): toegang via MPI, hetzelfde soort download als SMPL-X; zet `MANO_RIGHT.pkl` lokaal en verspreid het niet opnieuw- **Mixamo FBX**: mag in een uitgebracht product worden gebruikt; verspreid de ruwe FBX niet als assetpakket- **GVHMR en andere inferentiegewichten**: worden bij de eerste `m2mr run` automatisch gedownload naar `weights/`, onder de licentie van elk afzonderlijk bronproject+- **HaMeR**: de inferentiecode in deze repository is MIT; de gewichten komen bij de eerste `m2mr run --detect-hands` in `weights/hamer/`, onder de publicatievoorwaarden van upstream## Contactdiff --git a/docs/i18n/README.pl.md b/docs/i18n/README.pl.mdindex c29af66..4cf6c9b 100644--- a/docs/i18n/README.pl.md+++ b/docs/i18n/README.pl.md@@ -65,7 +65,7 @@ pip install --upgrade pip setuptools wheel \&& pip install -e .```-Wagi modeli (GVHMR itd.) nie są pobierane na tym etapie. Pierwsze `m2mr run` pobierze je do `weights/` (~5 GB, tylko raz).+Wagi modeli (GVHMR itd.) nie są pobierane na tym etapie. Pierwsze `m2mr run` pobierze je do `weights/` (~5 GB, tylko raz). Pierwsze `m2mr run --detect-hands` pobiera też wagi dłoni HaMeR do `weights/hamer/` (~2,7 GB, tylko raz).Zalecane jest zainstalowanie ffmpeg (macOS: `brew install ffmpeg`, Ubuntu: `apt install ffmpeg`).Pipeline działa bez niego, ale wynikowe filmy będą **bez dźwięku** i nie odtworzą się w przeglądarce.@@ -80,6 +80,7 @@ To repozytorium nie zawiera tych plików; musisz je pobrać samodzielnie. Nazwa| FBX postaci z Mixamo | `assets/mixamo/Y_Bot.fbx` | Za pomocą konta Adobe pobierz Y Bot (lub dowolną inną postać zriggowaną w Mixamo) z [Mixamo](https://www.mixamo.com) || Nagranie akcji | `assets/video/<your_clip>.mp4` | Klip z **dokładnie jedną** wyraźnie widoczną osobą, **od stóp do głów przez cały czas w kadrze** (możesz trzymać kilka plików; każde uruchomienie używa ostatnio dodanego) || Zdjęcie pozy (opcjonalnie) | `assets/image/<your_photo>.jpg` | Zdjęcie z **dokładnie jedną** wyraźnie widoczną osobą, **od stóp do głów w kadrze**. Używane z `--image` |+| Prawa dłoń MANO (tylko dla `--detect-hands`) | `assets/body_models/mano/MANO_RIGHT.pkl` | Zarejestruj się na [MANO](https://mano.is.tue.mpg.de/) i pobierz **Models & Code**. Przebieg samego ciała nie potrzebuje tego pliku |Uwaga: plik pobrany z Mixamo nazywa się `Y Bot.fbx` (**ze spacją**), czyli różni się jednym znakiem od `Y_Bot.fbx` (**z podkreślnikiem**) w tabeli.Zmień nazwę na wersję z podkreślnikiem, a stanie się domyślnym rigiem (`m2mr run` bez `--rig`). Pozostawienie spacji też działa — jeśli brakuje `Y_Bot.fbx`, użyty zostanie pierwszy plik `.fbx` z `assets/mixamo/`.@@ -99,6 +100,12 @@ Wszystko, czego brakuje, zostanie wypisane razem z informacją, skąd to pobraćm2mr doctor```+`m2mr doctor` sprawdza przebieg ciała. Nie wymaga modelu dłoni MANO. Żeby sprawdzić też dodatkowy plik i pakiety Pythona używane do wykrywania palców:++```bash+m2mr doctor --detect-hands+```+### 2. Pierwsze uruchomienie: zobacz wynik na ekranieBez żadnych opcji polecenie używa **najnowszego pliku z `assets/video/`** oraz `assets/mixamo/Y_Bot.fbx`.@@ -111,6 +118,8 @@ To najwolniejszy krok. Pierwsze uruchomienie pobiera ~5 GB wag modeli (tylko razNa CPU ekstrakcja klipu o długości ~30 sekund trwa około 8–15 minut; kolejne uruchomienia o podobnej długości, gdy wagi są już pobrane, trwają około 3–5 minut.Retargeting i renderowanie zajmują zwykle minutę lub dwie. Ponowne użycie szkieletu przez `--skeleton` w następnej sekcji całkowicie pomija ekstrakcję i kończy się w kilkadziesiąt sekund.+Postawiona stopa jest domyślnie przypinana: śródstopie, gdy śródstopie jest na dole, pięta tylko gdy palce są uniesione. Jeśli wyprostowana noga nie sięga tego punktu, biodra się przesuwają. Potem podeszwa jest stawiana na podłodze (y = 0). `--no-foot-lock` zostawia surowy retarget, więc stopy mogą się ślizgać; podeszwa i tak ląduje na podłodze.+### 3. Ten sam ruch, inna postaćPobierz inną postać z Mixamo do `assets/mixamo/`. **Nie uruchamiaj ponownie tylko z `--rig`** — to powtórzy wolną ekstrakcję.@@ -151,7 +160,31 @@ m2mr diagnose outputs/<run> --visualize # także diagnostics.html: wideo źm2mr diagnose outputs/<run> --threshold-cm 2 # zgłaszaj tylko przenikania głębsze niż 2 cm (domyślnie 1)```-Każdy problem w `diagnostics.json` to para części ciała z zakresami klatek, w których się przenikają, najgorszą klatką i jej głębokością. Numery klatek liczone są od 0, tak jak na osi czasu Blendera po imporcie glTF. Części połączone stawem (ramię i przedramię, tułów i udo, …) nie są porównywane: ich skóra nachodzi na siebie przy stawie w każdej pozie. `diagnostics.html` osadza wideo źródłowe (wymaga `ffmpeg`) i wczytuje three.js z CDN, więc widok 3D wymaga połączenia z internetem.+Każdy problem w `diagnostics.json` to para części ciała z zakresami klatek, w których się przenikają, najgorszą klatką i jej głębokością. Numery klatek liczone są od 0, tak jak na osi czasu Blendera po imporcie glTF. Części połączone stawem (ramię i przedramię, tułów i udo, …) nie są porównywane: ich skóra nachodzi na siebie przy stawie w każdej pozie. `diagnostics.html` osadza wideo źródłowe (wymaga `ffmpeg`) i wczytuje three.js z CDN, więc widok 3D wymaga połączenia z internetem. Ten widok rysuje stałe znaczniki podłogi na y = 0: krzyż co 0,5 m, większy co metr i zielony krzyż w początku układu, żeby dało się ocenić, czy postać się rusza.++### 7. Palce (`--detect-hands`)++Zwykłe `m2mr run` rusza ciałem i zostawia kości palców Mixamo w spoczynku. `--detect-hands` włącza model dłoni, który jedzie z ekstraktorem ciała. Przy domyślnym ekstraktorze, GVHMR, tym modelem jest [HaMeR](https://github.com/geopavlakos/hamer). HaMeR wycina nadgarstki z osoby i klatek, które GVHMR już wybrał. Nie szuka drugiej osoby w klipie.++**Czas rośnie mniej więcej dwukrotnie.** Klip, który bez flagi kończy się w kilka minut, z `--detect-hands` trwa około dwa razy dłużej, bo przejście dłoni idzie na wierzch ekstrakcji ciała. Przy długim wideo uwzględnij ten czas, zanim zaczniesz.++Umieść `MANO_RIGHT.pkl` jak w tabeli powyżej, a potem:++```bash+m2mr doctor --detect-hands+m2mr run --detect-hands+m2mr run --video assets/video/dance.mp4 --detect-hands --hand-smooth 0.08+```++Pierwsze uruchomienie z `--detect-hands` pobiera wagi HaMeR do `weights/hamer/` (~2,7 GB, raz). Obroty palców trafiają do `skeleton_motion.npz` i napędzają 30 kości palców Mixamo na postaci ze skinningiem. Nadgarstek, którego przejście ciała nie widziało wyraźnie, zostaje w spoczynku dla tej dłoni.++`--hand-smooth` mówi, ile sekund wygładzania nałożyć na te obroty. Domyślnie `0.08`. `0` zostawia surową estymację. Wygładzanie działa, gdy plik szkieletu już zawiera ruch dłoni, także przy późniejszym uruchomieniu, które tylko używa tego pliku ponownie.++Ponowne użycie wcześniejszego szkieletu:++- Plik już zawiera ruch dłoni: `--skeleton` sam napędza palce. `--detect-hands` nie jest już potrzebne.+- Nie zawiera, ale cache ciała tego przebiegu wciąż leży obok (`cache/<clip>/0_input_video.mp4` oraz `preprocess/vitpose.pt` i `preprocess/bbx.pt`): `--skeleton ... --detect-hands` dokłada palce bez ponownej ekstrakcji ciała.+- Tego cache już nie ma: uruchom wideo albo zdjęcie jeszcze raz z `--detect-hands`.## Wyniki@@ -192,6 +225,8 @@ images/# prawo: obrót wokół riga co 10° (pełny obrót)```+Z `--detect-hands` plik `skeleton_motion.npz` przechowuje też obroty palców, a `mixamo_rotations.npz` i `mixamo_character.glb` zawierają 30 kości palców. Bez tej flagi i bez ruchu dłoni już zapisanego w ponownie używanym szkielecie te kości zostają w spoczynku.+Otwórz `mixamo_character.glb` w Blenderze: File → Import → glTF 2.0 (.glb/.gltf). Jeśli kamera patrzy w pustą przestrzeń, zaznacz mesh postaci i użyj View → Frame Selected. Skupisko kul na głowie i dłoniach to wyświetlanie kości, a nie mesh: w Outlinerze ukryj **Icosphere** i **armature**; pozostaw widoczny mesh ze skinningiem. Ustaw FPS sceny zgodnie z `run.json` (`fps`), a oś czasu na klatki od 0 do `n_frames` − 1, aby odtwarzanie odpowiadało źródłu, a numery klatek — plikowi `diagnostics.json`. Porównaj uruchomienie z wideo z `videos/mixamo_character.mp4`, a uruchomienie ze zdjęcia z `images/mixamo_character.png` lub klipem z obrotem.## Licencja@@ -199,8 +234,10 @@ Otwórz `mixamo_character.glb` w Blenderze: File → Import → glTF 2.0 (.glb/.Kod tego repozytorium jest objęty licencją Apache-2.0. Zasoby, które pobierasz samodzielnie, mają własne warunki i nie mogą być rozpowszechniane razem z tym repozytorium:- **SMPL-X**: dostęp kontrolowany przez MPI; domyślnie niekomercyjne badania / edukacja / sztuka; użycie komercyjne wymaga osobnej umowy+- **MANO** (tylko przy `--detect-hands`): dostęp kontrolowany przez MPI, ten sam rodzaj pobrania co SMPL-X; trzymaj `MANO_RIGHT.pkl` lokalnie i nie rozpowszechniaj go- **Mixamo FBX**: można używać w wydanym produkcie; nie rozpowszechniaj surowego FBX jako paczki zasobów- **GVHMR i inne wagi modeli**: pobierane automatycznie do `weights/` przy pierwszym `m2mr run`, na licencjach poszczególnych projektów źródłowych+- **HaMeR**: kod inferencji w tym repozytorium jest na licencji MIT; wagi trafiają do `weights/hamer/` przy pierwszym `m2mr run --detect-hands`, na warunkach publikacji projektu źródłowego## Kontaktdiff --git a/docs/i18n/README.ru.md b/docs/i18n/README.ru.mdindex 64569f8..96444a9 100644--- a/docs/i18n/README.ru.md+++ b/docs/i18n/README.ru.md@@ -65,7 +65,7 @@ pip install --upgrade pip setuptools wheel \&& pip install -e .```-Веса инференса (GVHMR и т.д.) здесь не скачиваются. Первый `m2mr run` тянет их в `weights/` (~5 ГБ, один раз).+Веса инференса (GVHMR и т.д.) здесь не скачиваются. Первый `m2mr run` тянет их в `weights/` (~5 ГБ, один раз). Первый `m2mr run --detect-hands` также тянет веса кистей HaMeR в `weights/hamer/` (~2,7 ГБ, один раз).Рекомендуется ffmpeg (macOS: `brew install ffmpeg`, Ubuntu: `apt install ffmpeg`).Без него пайплайн работает, но выходные видео будут **без звука** и не откроются в браузере.@@ -80,6 +80,7 @@ pip install --upgrade pip setuptools wheel \| FBX-персонаж Mixamo | `assets/mixamo/Y_Bot.fbx` | С Adobe-аккаунтом скачать Y Bot (или другого персонажа с ригом Mixamo) с [Mixamo](https://www.mixamo.com) || Видео с действием | `assets/video/<your_clip>.mp4` | Ролик с **ровно одним** хорошо видимым человеком, **с головы до ног весь ролик в кадре** (можно несколько файлов; каждый запуск берёт последний добавленный) || Фото позы (необязательно) | `assets/image/<your_photo>.jpg` | Фото с **ровно одним** хорошо видимым человеком, **с головы до ног в кадре**. Вместе с `--image` |+| Правая кисть MANO (только для `--detect-hands`) | `assets/body_models/mano/MANO_RIGHT.pkl` | Зарегистрируйтесь на [MANO](https://mano.is.tue.mpg.de/) и скачайте **Models & Code**. Для прогона только тела этот файл не нужен |Замечание: скачанный файл Mixamo называется `Y Bot.fbx` (**пробел**), на один символ отличается от `Y_Bot.fbx` (**подчёркивание**) в таблице.Переименуйте с подчёркиванием — это станет ригом по умолчанию (`m2mr run` без `--rig`). Можно не переименовывать: если `Y_Bot.fbx` нет, берётся первый `.fbx` в `assets/mixamo/`.@@ -99,6 +100,12 @@ pip install --upgrade pip setuptools wheel \m2mr doctor```+`m2mr doctor` проверяет прогон тела. Модель кисти MANO он не требует. Чтобы проверить ещё файл и пакеты Python для распознавания пальцев:++```bash+m2mr doctor --detect-hands+```+### 2. Первый запуск: чтобы что-то появилось на экранеБез флагов: **последний файл в `assets/video/`** и `assets/mixamo/Y_Bot.fbx`.@@ -111,6 +118,8 @@ m2mr runНа CPU клип ~30 секунд извлекается примерно 8–15 минут; повторные прогоны той же длины с уже скачанными весами — около 3–5 минут.Ретаргетинг и рендеринг обычно минута–две. Повторное использование скелета через `--skeleton` в следующем разделе полностью пропускает извлечение и заканчивается за десятки секунд.+Опирающаяся стопа по умолчанию фиксируется: подушечка, когда подушечка на земле, пятка только когда пальцы подняты. Если выпрямленная нога не достаёт, таз сдвигается. Затем подошва ставится на пол (y = 0). `--no-foot-lock` оставляет сырой ретаргет, поэтому стопы могут скользить; подошва всё равно ставится на пол.+### 3. То же движение, другой персонажСкачайте другого персонажа с Mixamo в `assets/mixamo/`. **Не перезапускайте только с `--rig`** — медленное извлечение повторится.@@ -151,7 +160,31 @@ m2mr diagnose outputs/<run> --visualize # плюс diagnostics.html: исхm2mr diagnose outputs/<run> --threshold-cm 2 # сообщать только о проникновениях глубже 2 см (по умолчанию 1)```-Каждая проблема в `diagnostics.json` — это пара частей тела с диапазонами кадров, где они пересекаются, худшим кадром и его глубиной. Кадры нумеруются с 0, как на таймлайне Blender после импорта glTF. Части, соединённые суставом (плечо и предплечье, торс и бедро, …), не сравниваются: их кожа у сустава перекрывается в любой позе. `diagnostics.html` встраивает исходное видео (нужен `ffmpeg`) и загружает three.js с CDN, поэтому для 3D-вида нужен интернет.+Каждая проблема в `diagnostics.json` — это пара частей тела с диапазонами кадров, где они пересекаются, худшим кадром и его глубиной. Кадры нумеруются с 0, как на таймлайне Blender после импорта glTF. Части, соединённые суставом (плечо и предплечье, торс и бедро, …), не сравниваются: их кожа у сустава перекрывается в любой позе. `diagnostics.html` встраивает исходное видео (нужен `ffmpeg`) и загружает three.js с CDN, поэтому для 3D-вида нужен интернет. Этот вид рисует неподвижные метки на полу на y = 0: крест каждые 0,5 м, более крупный каждый метр и зелёный крест в начале координат, чтобы было видно, движется ли персонаж.++### 7. Пальцы (`--detect-hands`)++Обычный `m2mr run` двигает тело и оставляет кости пальцев Mixamo в покое. `--detect-hands` включает модель кисти, которая идёт вместе с экстрактором тела. У экстрактора по умолчанию, GVHMR, это [HaMeR](https://github.com/geopavlakos/hamer). HaMeR вырезает запястья у человека и кадров, которые GVHMR уже выбрал. Второй человек в клипе не ищется.++**Время увеличивается примерно вдвое.** Клип, который без флага заканчивается за несколько минут, с `--detect-hands` занимает примерно вдвое больше: проход кистей идёт поверх извлечения тела. На длинном видео заложите это время до запуска.++Положите `MANO_RIGHT.pkl`, как в таблице выше, затем:++```bash+m2mr doctor --detect-hands+m2mr run --detect-hands+m2mr run --video assets/video/dance.mp4 --detect-hands --hand-smooth 0.08+```++Первый запуск с `--detect-hands` скачивает веса HaMeR в `weights/hamer/` (~2,7 ГБ, один раз). Вращения пальцев пишутся в `skeleton_motion.npz` и двигают 30 костей пальцев Mixamo на скиненном персонаже. Запястье, которое проход тела видел неясно, остаётся в покое для этой кисти.++`--hand-smooth` — сколько секунд сглаживания применить к этим вращениям. По умолчанию `0.08`. `0` оставляет сырую оценку. Сглаживание выполняется, когда в файле скелета уже есть движение кистей, в том числе при позднем запуске, который только переиспользует этот файл.++Повторное использование прежнего скелета:++- В файле уже есть движение кистей: `--skeleton` сам двигает пальцы. `--detect-hands` снова не нужен.+- Движения нет, но кэш тела этого прогона ещё рядом (`cache/<clip>/0_input_video.mp4`, плюс `preprocess/vitpose.pt` и `preprocess/bbx.pt`): `--skeleton ... --detect-hands` добавляет пальцы без повторного извлечения тела.+- Этого кэша нет: запустите видео или фото ещё раз с `--detect-hands`.## Результаты@@ -192,6 +225,8 @@ images/# справа: орбита 10° вокруг рига (полный оборот)```+С `--detect-hands` в `skeleton_motion.npz` также записываются вращения пальцев, а `mixamo_rotations.npz` и `mixamo_character.glb` включают 30 костей пальцев. Без этого флага и без уже сохранённого движения кистей в повторно используемом скелете эти кости остаются в покое.+`mixamo_character.glb` в Blender: File → Import → glTF 2.0 (.glb/.gltf). Если камера смотрит в пустоту, выберите меш персонажа и View → Frame Selected. Скопление сфер на голове и руках — отображение костей, не меш: в Outliner спрячьте **Icosphere** и **armature**, оставьте видимым меш со скином. FPS сцены возьмите из `run.json` (`fps`), а таймлайн задайте с кадра 0 по `n_frames` − 1, чтобы длительность совпала с исходником, а номера кадров — с `diagnostics.json`. Видео-запуск сверяйте с `videos/mixamo_character.mp4`, фото-запуск — с `images/mixamo_character.png` или клипом орбиты.## Лицензия@@ -199,8 +234,10 @@ images/Код репозитория — Apache-2.0. Скачанные вами ассеты имеют свои условия и не должны распространяться вместе с этим репо:- **SMPL-X**: доступ через MPI; по умолчанию некоммерческие исследования / образование / искусство; коммерческое использование — отдельный договор+- **MANO** (только с `--detect-hands`): доступ через MPI, тот же способ загрузки, что у SMPL-X; положите `MANO_RIGHT.pkl` локально и не распространяйте его- **Mixamo FBX**: можно в готовом продукте; сырой FBX нельзя раздавать как пак ассетов- **GVHMR и другие веса инференса**: при первом `m2mr run` автоматически в `weights/`, по лицензии каждого апстрима+- **HaMeR**: код инференса в этом репозитории — MIT; веса скачиваются в `weights/hamer/` при первом `m2mr run --detect-hands`, на условиях публикации апстрима## Контактыdiff --git a/docs/i18n/README.th.md b/docs/i18n/README.th.mdindex 7b87a25..c021a67 100644--- a/docs/i18n/README.th.md+++ b/docs/i18n/README.th.md@@ -65,7 +65,7 @@ pip install --upgrade pip setuptools wheel \&& pip install -e .```-ขั้นตอนนี้ไม่ได้ดาวน์โหลด inference weight (GVHMR และอื่น ๆ) การรัน `m2mr run` ครั้งแรกจะดึงมาไว้ที่ `weights/` (~5 GB ครั้งเดียวเท่านั้น)+ขั้นตอนนี้ไม่ได้ดาวน์โหลด inference weight (GVHMR และอื่น ๆ) การรัน `m2mr run` ครั้งแรกจะดึงมาไว้ที่ `weights/` (~5 GB ครั้งเดียวเท่านั้น) การรัน `m2mr run --detect-hands` ครั้งแรกจะดึง weight มือของ HaMeR มาไว้ที่ `weights/hamer/` ด้วย (~2.7 GB ครั้งเดียวเท่านั้น)แนะนำให้ติดตั้ง ffmpeg (macOS: `brew install ffmpeg`, Ubuntu: `apt install ffmpeg`)pipeline รันได้แม้ไม่มี แต่วิดีโอที่ได้จะ **ไม่มีเสียง** และเล่นในเบราว์เซอร์ไม่ได้@@ -80,6 +80,7 @@ pipeline รันได้แม้ไม่มี แต่วิดีโอ| FBX ตัวละคร Mixamo | `assets/mixamo/Y_Bot.fbx` | ใช้บัญชี Adobe ดาวน์โหลด Y Bot (หรือตัวละครอื่นที่ริกด้วย Mixamo) จาก [Mixamo](https://www.mixamo.com) || วิดีโอแอ็กชัน | `assets/video/<your_clip>.mp4` | คลิปที่มีคนเห็นชัด **เพียงคนเดียว** และ **อยู่ในเฟรมตั้งแต่หัวจรดเท้าตลอดเวลา** (เก็บไว้หลายไฟล์ได้ แต่ละครั้งจะใช้ไฟล์ที่เพิ่มล่าสุด) || ภาพท่าทาง (ไม่บังคับ) | `assets/image/<your_photo>.jpg` | ภาพถ่ายที่มีคนเห็นชัด **เพียงคนเดียว** และ **อยู่ในเฟรมตั้งแต่หัวจรดเท้า** ใช้กับ `--image` |+| มือขวา MANO (ใช้เมื่อ `--detect-hands` เท่านั้น) | `assets/body_models/mano/MANO_RIGHT.pkl` | ลงทะเบียนที่ [MANO](https://mano.is.tue.mpg.de/) แล้วดาวน์โหลด **Models & Code** การรันเฉพาะลำตัวไม่ต้องใช้ไฟล์นี้ |หมายเหตุ: ไฟล์ที่ดาวน์โหลดจาก Mixamo ชื่อ `Y Bot.fbx` (**เว้นวรรค**) ต่างจาก `Y_Bot.fbx` (**ขีดล่าง**) ในตารางเพียงหนึ่งตัวอักษรเปลี่ยนชื่อเป็นแบบขีดล่างแล้วจะกลายเป็น rig ค่าเริ่มต้น (`m2mr run` โดยไม่ต้องใส่ `--rig`) จะคงเว้นวรรคไว้ก็ได้ — ถ้าไม่มี `Y_Bot.fbx` ระบบจะใช้ `.fbx` ไฟล์แรกใน `assets/mixamo/`@@ -99,6 +100,12 @@ pipeline รันได้แม้ไม่มี แต่วิดีโอm2mr doctor```+`m2mr doctor` ตรวจการรันลำตัว ไม่ได้บังคับให้มีโมเดลมือ MANO ถ้าจะตรวจไฟล์เพิ่มและแพ็กเกจ Python ที่ใช้ตรวจนิ้วด้วย:++```bash+m2mr doctor --detect-hands+```+### 2. รันครั้งแรก: ให้มีผลลัพธ์บนหน้าจอถ้าไม่ใส่แฟล็กใด ๆ คำสั่งนี้จะใช้ **ไฟล์ล่าสุดใน `assets/video/`** และ `assets/mixamo/Y_Bot.fbx`@@ -111,6 +118,8 @@ m2mr runบน CPU คลิปยาว ~30 วินาทีใช้เวลา extraction ประมาณ 8–15 นาที การรันครั้งต่อไปที่ยาวใกล้เคียงกัน เมื่อมี weight แล้ว ใช้ประมาณ 3–5 นาทีขั้นตอน retargeting และ rendering มักใช้หนึ่งถึงสองนาที การใช้ skeleton ซ้ำด้วย `--skeleton` ในหัวข้อถัดไปจะข้าม extraction ทั้งหมดและเสร็จภายในไม่กี่สิบวินาที+เท้าที่เหยียบพื้นจะถูกตรึงไว้เป็นค่าเริ่มต้น: ฝ่าเท้าเมื่อฝ่าเท้าแตะพื้น และส้นเท้าเฉพาะตอนปลายเท้ายกขึ้น ถ้าเหยียดขาแล้วยังไปไม่ถึง สะโพกจะเลื่อนตาม จากนั้นฝ่าเท้าจะถูกวางบนพื้น (y = 0) `--no-foot-lock` เก็บ retarget ดิบไว้ เท้าจึงอาจลื่น แต่ฝ่าเท้าก็ยังถูกวางบนพื้น+### 3. การเคลื่อนไหวเดิม ตัวละครใหม่ดาวน์โหลดตัวละครอื่นจาก Mixamo มาไว้ใน `assets/mixamo/` **อย่ารันใหม่โดยใส่แค่ `--rig`** — เพราะจะทำ extraction ที่ช้าซ้ำอีกรอบ@@ -151,7 +160,31 @@ m2mr diagnose outputs/<run> --visualize # สร้าง diagnostics.htmlm2mr diagnose outputs/<run> --threshold-cm 2 # รายงานเฉพาะการทะลุที่ลึกกว่า 2 cm (ค่าเริ่มต้น 1)```-แต่ละปัญหาใน `diagnostics.json` คือคู่ส่วนของร่างกาย พร้อมช่วงเฟรมที่ทะลุกัน เฟรมที่หนักที่สุด และความลึก หมายเลขเฟรมนับจาก 0 เหมือน timeline ของ Blender หลังนำเข้า glTF ส่วนที่ต่อกันด้วยข้อต่อ (ต้นแขนกับปลายแขน ลำตัวกับต้นขา …) จะไม่ถูกเปรียบเทียบ เพราะผิวบริเวณข้อต่อซ้อนกันในทุกท่า `diagnostics.html` ฝังวิดีโอต้นฉบับไว้ (ต้องมี `ffmpeg`) และโหลด three.js จาก CDN ดังนั้นมุมมอง 3D ต้องเชื่อมต่ออินเทอร์เน็ต+แต่ละปัญหาใน `diagnostics.json` คือคู่ส่วนของร่างกาย พร้อมช่วงเฟรมที่ทะลุกัน เฟรมที่หนักที่สุด และความลึก หมายเลขเฟรมนับจาก 0 เหมือน timeline ของ Blender หลังนำเข้า glTF ส่วนที่ต่อกันด้วยข้อต่อ (ต้นแขนกับปลายแขน ลำตัวกับต้นขา …) จะไม่ถูกเปรียบเทียบ เพราะผิวบริเวณข้อต่อซ้อนกันในทุกท่า `diagnostics.html` ฝังวิดีโอต้นฉบับไว้ (ต้องมี `ffmpeg`) และโหลด three.js จาก CDN ดังนั้นมุมมอง 3D ต้องเชื่อมต่ออินเทอร์เน็ต มุมมองนี้วาดเครื่องหมายพื้นแบบติดที่ y = 0: กากบาททุก 0.5 ม. กากบาทที่ใหญ่ขึ้นทุกเมตร และกากบาทสีเขียวที่จุดกำเนิด เพื่อดูว่าตัวละครกำลังเคลื่อนที่หรือไม่++### 7. นิ้ว (`--detect-hands`)++`m2mr run` ธรรมดาขยับเฉพาะลำตัว และปล่อยให้กระดูกนิ้วของ Mixamo อยู่ที่ท่าพัก `--detect-hands` เปิดโมเดลมือที่มากับตัวดึงท่าลำตัว เมื่อใช้ตัวดึงค่าเริ่มต้นอย่าง GVHMR โมเดลนั้นคือ [HaMeR](https://github.com/geopavlakos/hamer) HaMeR ตัดข้อมือจากคนและเฟรมที่ GVHMR เลือกไว้แล้ว ไม่ได้ไปหาคนที่สองในคลิป++**เวลาที่ใช้จะเพิ่มประมาณสองเท่า** คลิปที่ไม่มีแฟล็กแล้วจบในไม่กี่นาที จะใช้เวลาประมาณสองเท่าเมื่อใส่ `--detect-hands` เพราะรอบของมือวิ่งทับบนการดึงท่าลำตัว วิดีโอยาวควรวางเวลาส่วนนี้ไว้ก่อนเริ่ม++วาง `MANO_RIGHT.pkl` ตามตารางด้านบน แล้วจึงรัน:++```bash+m2mr doctor --detect-hands+m2mr run --detect-hands+m2mr run --video assets/video/dance.mp4 --detect-hands --hand-smooth 0.08+```++การรัน `--detect-hands` ครั้งแรกจะดาวน์โหลด weight ของ HaMeR ไปที่ `weights/hamer/` (~2.7 GB ครั้งเดียว) การหมุนของนิ้วถูกเขียนลง `skeleton_motion.npz` และขับกระดูกนิ้ว Mixamo 30 ชิ้นบนตัวละครที่มี skin ข้อมือที่รอบลำตัวมองไม่ชัด จะอยู่ที่ท่าพักสำหรับมือข้างนั้น++`--hand-smooth` คือจำนวนวินาทีที่ใช้เกลี่ยการหมุนเหล่านี้ ค่าเริ่มต้นคือ `0.08` ค่า `0` เก็บค่าประมาณดิบไว้ การเกลี่ยจะทำงานเมื่อไฟล์ skeleton มีท่ามืออยู่แล้ว รวมถึงการรันทีหลังที่นำไฟล์นั้นกลับมาใช้เพียงอย่างเดียว++เมื่อนำ skeleton ครั้งก่อนกลับมาใช้:++- ไฟล์มีท่ามืออยู่แล้ว: `--skeleton` ขับนิ้วได้เอง ไม่ต้องใส่ `--detect-hands` อีก+- ยังไม่มี แต่แคชลำตัวของการรันนั้นยังอยู่ข้าง ๆ (`cache/<clip>/0_input_video.mp4` พร้อม `preprocess/vitpose.pt` และ `preprocess/bbx.pt`): `--skeleton ... --detect-hands` เติมนิ้วได้โดยไม่ต้องดึงท่าลำตัวใหม่+- แคชนั้นหายไปแล้ว: รันวิดีโอหรือภาพอีกครั้งพร้อม `--detect-hands`## ผลลัพธ์@@ -192,6 +225,8 @@ images/# ขวา: หมุนรอบ rig ทีละ 10° (ครบหนึ่งรอบ)```+เมื่อใส่ `--detect-hands` ไฟล์ `skeleton_motion.npz` จะเก็บการหมุนของนิ้วด้วย และ `mixamo_rotations.npz` กับ `mixamo_character.glb` จะมีกระดูกนิ้ว 30 ชิ้น ถ้าไม่มีแฟล็กนี้ และ skeleton ที่นำกลับมาใช้ก็ไม่มีท่ามือ กระดูกเหล่านั้นจะค้างที่ท่าพัก+เปิด `mixamo_character.glb` ใน Blender: File → Import → glTF 2.0 (.glb/.gltf) ถ้ากล้องหันไปที่พื้นที่ว่าง ให้เลือก mesh ของตัวละครแล้วใช้ View → Frame Selected กลุ่มทรงกลมที่หัวและมือคือการแสดงกระดูก ไม่ใช่ mesh: ใน Outliner ให้ซ่อน **Icosphere** และ **armature** แล้วปล่อยให้ mesh ที่ skin แล้วยังมองเห็นอยู่ ตั้งค่า FPS ของ scene ตาม `run.json` (`fps`) และตั้ง timeline เป็นเฟรม 0 ถึง `n_frames` − 1 เพื่อให้การเล่นตรงกับต้นฉบับและหมายเลขเฟรมตรงกับ `diagnostics.json` เปรียบเทียบการรันด้วยวิดีโอกับ `videos/mixamo_character.mp4` และการรันด้วยภาพนิ่งกับ `images/mixamo_character.png` หรือคลิปหมุนรอบ## สัญญาอนุญาต@@ -199,8 +234,10 @@ images/โค้ดในรีโพนี้ใช้สัญญาอนุญาต Apache-2.0 asset ที่คุณดาวน์โหลดเองมีเงื่อนไขของตัวเอง และห้ามแจกจ่ายต่อพร้อมกับรีโพนี้:- **SMPL-X**: ต้องขอสิทธิ์จาก MPI โดยค่าเริ่มต้นใช้ได้เฉพาะงานวิจัย / การศึกษา / ศิลปะที่ไม่ใช่เชิงพาณิชย์ การใช้เชิงพาณิชย์ต้องทำข้อตกลงแยก+- **MANO** (เฉพาะเมื่อใช้ `--detect-hands`): ต้องขอสิทธิ์จาก MPI เช่นเดียวกับ SMPL-X วาง `MANO_RIGHT.pkl` ไว้ในเครื่อง และอย่าแจกจ่ายต่อ- **Mixamo FBX**: ใช้ในผลิตภัณฑ์ที่เผยแพร่ได้ แต่ห้ามแจกจ่ายไฟล์ FBX ดิบเป็นชุด asset- **GVHMR และ inference weight อื่น ๆ**: ดาวน์โหลดอัตโนมัติไปที่ `weights/` ในการรัน `m2mr run` ครั้งแรก ภายใต้สัญญาอนุญาตของแต่ละโปรเจกต์ต้นทาง+- **HaMeR**: โค้ดอนุมานในรีโพนี้เป็น MIT weight จะถูกดาวน์โหลดไปที่ `weights/hamer/` ในการรัน `m2mr run --detect-hands` ครั้งแรก ตามเงื่อนไขการเผยแพร่ของต้นทาง## ติดต่อdiff --git a/docs/i18n/README.tr.md b/docs/i18n/README.tr.mdindex 31b487c..f33f655 100644--- a/docs/i18n/README.tr.md+++ b/docs/i18n/README.tr.md@@ -65,7 +65,7 @@ pip install --upgrade pip setuptools wheel \&& pip install -e .```-Çıkarım ağırlıkları (GVHMR vb.) bu adımda indirilmez. İlk `m2mr run` bunları `weights/` klasörüne indirir (~5 GB, yalnızca bir kez).+Çıkarım ağırlıkları (GVHMR vb.) bu adımda indirilmez. İlk `m2mr run` bunları `weights/` klasörüne indirir (~5 GB, yalnızca bir kez). İlk `m2mr run --detect-hands` HaMeR el ağırlıklarını da `weights/hamer/` içine indirir (~2,7 GB, yalnızca bir kez).ffmpeg kurmanız önerilir (macOS: `brew install ffmpeg`, Ubuntu: `apt install ffmpeg`).Pipeline onsuz da çalışır, ancak çıktı videoları **sessiz** olur ve tarayıcıda oynatılamaz.@@ -80,6 +80,7 @@ Bu depo bu dosyaları içermez; kendiniz edinmeniz gerekir. SMPL-X dosya adı ta| Mixamo karakter FBX'i | `assets/mixamo/Y_Bot.fbx` | Bir Adobe hesabıyla [Mixamo](https://www.mixamo.com)'dan Y Bot'u (ya da Mixamo ile rig'lenmiş başka bir karakteri) indirin || Aksiyon videosu | `assets/video/<your_clip>.mp4` | **Tam olarak bir** kişinin net göründüğü ve **baştan ayağa sürekli kadrajda** olduğu bir klip (birden fazla dosya tutabilirsiniz; her çalıştırma en son ekleneni kullanır) || Poz fotoğrafı (isteğe bağlı) | `assets/image/<your_photo>.jpg` | **Tam olarak bir** kişinin net göründüğü ve **baştan ayağa kadrajda** olduğu bir fotoğraf. `--image` ile kullanın |+| MANO sağ el (yalnızca `--detect-hands` için) | `assets/body_models/mano/MANO_RIGHT.pkl` | [MANO](https://mano.is.tue.mpg.de/) adresine kaydolup **Models & Code** indirin. Yalnızca gövde çalıştırması bu dosyaya ihtiyaç duymaz |Not: Mixamo'dan inen dosyanın adı `Y Bot.fbx`'tir (**boşluklu**); tablodaki `Y_Bot.fbx`'ten (**alt çizgili**) tek bir karakter farklıdır.Adını alt çizgili biçime çevirirseniz varsayılan rig olur (`--rig` olmadan `m2mr run`). Boşluğu bırakmak da sorun değildir — `Y_Bot.fbx` yoksa `assets/mixamo/` içindeki ilk `.fbx` kullanılır.@@ -99,6 +100,12 @@ Eksik olan her şey, nereden indirileceği ve nereye konacağıyla birlikte yazdm2mr doctor```+`m2mr doctor` gövde çalıştırmasını denetler. MANO el modelini istemez. Parmak algılamanın kullandığı ek dosyayı ve Python paketlerini de denetlemek için:++```bash+m2mr doctor --detect-hands+```+### 2. İlk çalıştırma: ekranda bir sonuç görünHiçbir parametre verilmezse **`assets/video/` içindeki en yeni dosya** ve `assets/mixamo/Y_Bot.fbx` kullanılır.@@ -111,6 +118,8 @@ Yavaş adım budur. İlk çalıştırma ~5 GB çıkarım ağırlığını indiriCPU'da ~30 saniyelik bir klibin çıkarımı yaklaşık 8–15 dakika sürer; ağırlıklar hazırken benzer uzunluktaki sonraki çalıştırmalar yaklaşık 3–5 dakika sürer.Retargeting ve render genellikle bir iki dakika sürer. Sonraki bölümdeki `--skeleton` ile bir iskeleti yeniden kullanmak çıkarımı tamamen atlar ve birkaç on saniyede biter.+Yere basan ayak varsayılan olarak sabitlenir: tarak yere değiyorsa tarak, parmaklar kalkıksa yalnızca topuk. Düz bacak o noktaya yetişemezse kalça kayar. Ardından taban zemine (y = 0) oturtulur. `--no-foot-lock` ham retarget'i korur, bu yüzden ayaklar kayabilir; taban yine de zemine oturtulur.+### 3. Aynı hareket, farklı karakterMixamo'dan başka bir karakteri `assets/mixamo/` içine indirin. **Yalnızca `--rig` ile yeniden çalıştırmayın** — bu, yavaş çıkarımı tekrarlar.@@ -151,7 +160,31 @@ m2mr diagnose outputs/<run> --visualize # ayrıca diagnostics.html: karaktem2mr diagnose outputs/<run> --threshold-cm 2 # yalnızca 2 cm'den derin geçmeleri raporlar (varsayılan 1)```-`diagnostics.json` içindeki her sorun bir vücut parçası çiftidir; iç içe geçtikleri kare aralıklarını, en kötü kareyi ve onun derinliğini içerir. Kare numaraları, glTF içe aktarımından sonraki Blender timeline'ı gibi 0'dan başlar. Bir eklemle bağlı parçalar (üst kol ve ön kol, gövde ve uyluk, …) karşılaştırılmaz: derileri her pozda eklem çevresinde üst üste biner. `diagnostics.html` kaynak videoyu gömer (`ffmpeg` gerekir) ve three.js'i bir CDN'den yükler; bu yüzden 3D görünümü internet bağlantısı ister.+`diagnostics.json` içindeki her sorun bir vücut parçası çiftidir; iç içe geçtikleri kare aralıklarını, en kötü kareyi ve onun derinliğini içerir. Kare numaraları, glTF içe aktarımından sonraki Blender timeline'ı gibi 0'dan başlar. Bir eklemle bağlı parçalar (üst kol ve ön kol, gövde ve uyluk, …) karşılaştırılmaz: derileri her pozda eklem çevresinde üst üste biner. `diagnostics.html` kaynak videoyu gömer (`ffmpeg` gerekir) ve three.js'i bir CDN'den yükler; bu yüzden 3D görünümü internet bağlantısı ister. Bu görünüm y = 0 üzerine sabit zemin işaretleri çizer: her 0,5 m'de bir çarpı, her metrede daha büyüğü ve başlangıçta yeşil bir çarpı, böylece karakterin hareket edip etmediği anlaşılır.++### 7. Parmaklar (`--detect-hands`)++Düz bir `m2mr run` gövdeyi hareket ettirir ve Mixamo parmak kemiklerini dinlenmede bırakır. `--detect-hands`, gövde çıkarıcısıyla birlikte gelen el modelini açar. Varsayılan çıkarıcı GVHMR ile bu model [HaMeR](https://github.com/geopavlakos/hamer) olur. HaMeR, GVHMR'nin çoktan seçtiği kişiden ve karelerden bilekleri keser. Klipte ikinci bir kişiyi aramaz.++**Süre yaklaşık iki katına çıkar.** Bayrak olmadan birkaç dakikada biten bir klip, `--detect-hands` ile yaklaşık iki kat sürer; el geçişi gövde çıkarımının üstüne biner. Uzun bir videoda başlamadan önce bu süreyi hesaba katın.++`MANO_RIGHT.pkl` dosyasını yukarıdaki tabloya göre koyun, sonra:++```bash+m2mr doctor --detect-hands+m2mr run --detect-hands+m2mr run --video assets/video/dance.mp4 --detect-hands --hand-smooth 0.08+```++`--detect-hands` ile ilk çalıştırma HaMeR ağırlıklarını `weights/hamer/` içine indirir (~2,7 GB, bir kez). Parmak dönüşleri `skeleton_motion.npz` içine yazılır ve derili karakterdeki 30 Mixamo parmak kemiğini sürer. Gövde geçişinin net görmediği bilek, o el için dinlenmede kalır.++`--hand-smooth`, bu dönüşlere kaç saniyelik yumuşatma uygulanacağını söyler. Varsayılan `0.08` değeridir. `0` ham tahmini korur. İskelet dosyasında zaten el hareketi varsa yumuşatma çalışır; buna yalnızca bu dosyayı yeniden kullanan sonraki bir çalıştırma da dahildir.++Önceki bir iskeleti yeniden kullanırken:++- Dosyada zaten el hareketi vardır: `--skeleton` parmakları kendisi sürer. `--detect-hands` bir daha gerekmez.+- El hareketi yoktur ama o çalıştırmanın gövde önbelleği hâlâ yanındadır (`cache/<clip>/0_input_video.mp4` ile `preprocess/vitpose.pt` ve `preprocess/bbx.pt`): `--skeleton ... --detect-hands` gövdeyi yeniden çıkarmadan parmakları ekler.+- O önbellek yoksa: videoyu veya fotoğrafı `--detect-hands` ile yeniden çalıştırın.## Çıktılar@@ -192,6 +225,8 @@ images/# sağ: rig etrafında 10°'lik adımlarla yörünge (tam bir tur)```+`--detect-hands` ile `skeleton_motion.npz` parmak dönüşlerini de saklar; `mixamo_rotations.npz` ve `mixamo_character.glb` 30 parmak kemiğini içerir. Bu bayrak yoksa ve yeniden kullanılan iskelette de el hareketi yoksa bu kemikler dinlenmede kalır.+`mixamo_character.glb` dosyasını Blender'da açın: File → Import → glTF 2.0 (.glb/.gltf). Kamera boş bir alana bakıyorsa karakter mesh'ini seçip View → Frame Selected kullanın. Baş ve ellerdeki küre kümesi kemik gösterimidir, mesh değildir: Outliner'da **Icosphere** ve **armature**'ü gizleyin; skin'lenmiş mesh'i görünür bırakın. Oynatmanın kaynakla, kare numaralarının da `diagnostics.json` ile eşleşmesi için sahnenin FPS'ini `run.json` (`fps`) değerine, timeline'ı da 0 ile `n_frames` − 1 arasındaki karelere ayarlayın. Bir video çalıştırmasını `videos/mixamo_character.mp4` ile, bir fotoğraf çalıştırmasını `images/mixamo_character.png` ya da yörünge klibiyle karşılaştırın.## Lisans@@ -199,8 +234,10 @@ images/Bu deponun kodu Apache-2.0 lisanslıdır. Kendi indirdiğiniz varlıkların kendi koşulları vardır ve bu depoyla birlikte yeniden dağıtılmamalıdır:- **SMPL-X**: MPI erişim kontrollü; varsayılan olarak ticari olmayan araştırma / eğitim / sanat; ticari kullanım için ayrı bir anlaşma gerekir+- **MANO** (yalnızca `--detect-hands` ile): MPI erişim kontrollü, SMPL-X ile aynı tür indirme; `MANO_RIGHT.pkl` dosyasını yerelde tutun ve yeniden dağıtmayın- **Mixamo FBX**: yayınlanan bir üründe kullanılabilir; ham FBX'i bir varlık paketi olarak yeniden dağıtmayın- **GVHMR ve diğer çıkarım ağırlıkları**: ilk `m2mr run` sırasında `weights/` içine otomatik indirilir, her birinin kaynak projesinin lisansı altındadır+- **HaMeR**: bu depodaki çıkarım kodu MIT'tir; ağırlıklar ilk `m2mr run --detect-hands` sırasında `weights/hamer/` içine iner, kaynak yayının koşulları altında## İletişimdiff --git a/docs/i18n/README.vi.md b/docs/i18n/README.vi.mdindex 125f513..65c4bd4 100644--- a/docs/i18n/README.vi.md+++ b/docs/i18n/README.vi.md@@ -65,7 +65,7 @@ pip install --upgrade pip setuptools wheel \&& pip install -e .```-Trọng số suy luận (GVHMR, v.v.) không được tải ở bước này. Lần `m2mr run` đầu tiên sẽ tự tải chúng về `weights/` (~5 GB, chỉ một lần).+Trọng số suy luận (GVHMR, v.v.) không được tải ở bước này. Lần `m2mr run` đầu tiên sẽ tự tải chúng về `weights/` (~5 GB, chỉ một lần). Lần `m2mr run --detect-hands` đầu tiên cũng tải trọng số bàn tay HaMeR về `weights/hamer/` (~2,7 GB, chỉ một lần).Nên cài thêm ffmpeg (macOS: `brew install ffmpeg`, Ubuntu: `apt install ffmpeg`).Pipeline vẫn chạy được khi không có nó, nhưng video đầu ra sẽ **không có tiếng** và không phát được trong trình duyệt.@@ -80,6 +80,7 @@ Kho mã này không kèm các tệp dưới đây; bạn phải tự tải về.| FBX nhân vật Mixamo | `assets/mixamo/Y_Bot.fbx` | Dùng tài khoản Adobe để tải Y Bot (hoặc bất kỳ nhân vật nào đã rig bằng Mixamo) từ [Mixamo](https://www.mixamo.com) || Video hành động | `assets/video/<your_clip>.mp4` | Một đoạn video có **đúng một** người nhìn rõ, **từ đầu đến chân luôn nằm trong khung hình** (có thể để nhiều tệp; mỗi lần chạy dùng tệp được thêm vào gần nhất) || Ảnh tư thế (tùy chọn) | `assets/image/<your_photo>.jpg` | Một bức ảnh có **đúng một** người nhìn rõ, **từ đầu đến chân nằm trong khung hình**. Dùng với `--image` |+| Bàn tay phải MANO (chỉ khi dùng `--detect-hands`) | `assets/body_models/mano/MANO_RIGHT.pkl` | Đăng ký tại [MANO](https://mano.is.tue.mpg.de/) và tải **Models & Code**. Một lần chạy chỉ có thân người không cần tệp này |Lưu ý: tệp tải từ Mixamo có tên `Y Bot.fbx` (**dấu cách**), khác đúng một ký tự so với `Y_Bot.fbx` (**dấu gạch dưới**) trong bảng.Đổi tên sang dạng gạch dưới thì nó sẽ thành rig mặc định (`m2mr run` không cần `--rig`). Giữ nguyên dấu cách cũng được — nếu không có `Y_Bot.fbx`, tệp `.fbx` đầu tiên trong `assets/mixamo/` sẽ được dùng.@@ -99,6 +100,12 @@ Mọi thứ còn thiếu sẽ được in ra kèm nơi tải và nơi đặt tm2mr doctor```+`m2mr doctor` kiểm tra lần chạy thân người. Nó không yêu cầu mô hình bàn tay MANO. Để kiểm tra cả tệp bổ sung và các gói Python dùng cho nhận dạng ngón tay:++```bash+m2mr doctor --detect-hands+```+### 2. Lần chạy đầu tiên: có kết quả trên màn hìnhKhông có tham số nào, lệnh này dùng **tệp mới nhất trong `assets/video/`** và `assets/mixamo/Y_Bot.fbx`.@@ -111,6 +118,8 @@ m2mr runTrên CPU, một đoạn video ~30 giây mất khoảng 8–15 phút để trích xuất; các lần chạy sau với độ dài tương tự, khi trọng số đã có sẵn, mất khoảng 3–5 phút.Retarget và render thường mất một hai phút. Dùng lại khung xương bằng `--skeleton` ở phần tiếp theo sẽ bỏ qua hoàn toàn bước trích xuất và xong trong vài chục giây.+Bàn chân đã đặt xuống được ghim theo mặc định: phần trước bàn chân khi phần đó chạm đất, gót chỉ khi các ngón nhấc lên. Nếu chân duỗi thẳng vẫn không với tới, hông sẽ dịch. Sau đó lòng bàn chân được đặt lên sàn (y = 0). `--no-foot-lock` giữ nguyên retarget thô, nên bàn chân có thể trượt; lòng bàn chân vẫn được đặt lên sàn.+### 3. Cùng chuyển động, nhân vật khácTải thêm một nhân vật khác từ Mixamo vào `assets/mixamo/`. **Đừng chạy lại chỉ với `--rig`** — như vậy sẽ lặp lại bước trích xuất chậm.@@ -151,7 +160,31 @@ m2mr diagnose outputs/<run> --visualize # thêm diagnostics.html: video ngum2mr diagnose outputs/<run> --threshold-cm 2 # chỉ báo các chỗ xuyên sâu hơn 2 cm (mặc định 1)```-Mỗi vấn đề trong `diagnostics.json` là một cặp bộ phận cơ thể, kèm các khoảng khung hình mà chúng giao cắt, khung hình tệ nhất và độ sâu của nó. Số khung hình đếm từ 0, giống timeline của Blender sau khi nhập glTF. Các bộ phận nối với nhau bằng khớp (cánh tay trên và cẳng tay, thân và đùi, …) không được so sánh: da của chúng chồng lên nhau quanh khớp ở mọi tư thế. `diagnostics.html` nhúng video nguồn (cần `ffmpeg`) và tải three.js từ CDN, nên chế độ xem 3D cần kết nối internet.+Mỗi vấn đề trong `diagnostics.json` là một cặp bộ phận cơ thể, kèm các khoảng khung hình mà chúng giao cắt, khung hình tệ nhất và độ sâu của nó. Số khung hình đếm từ 0, giống timeline của Blender sau khi nhập glTF. Các bộ phận nối với nhau bằng khớp (cánh tay trên và cẳng tay, thân và đùi, …) không được so sánh: da của chúng chồng lên nhau quanh khớp ở mọi tư thế. `diagnostics.html` nhúng video nguồn (cần `ffmpeg`) và tải three.js từ CDN, nên chế độ xem 3D cần kết nối internet. Chế độ xem này vẽ các mốc sàn cố định trên y = 0: một dấu cộng mỗi 0,5 m, một dấu lớn hơn mỗi mét, và một dấu xanh lục tại gốc tọa độ, để xem nhân vật có đang di chuyển hay không.++### 7. Ngón tay (`--detect-hands`)++Một `m2mr run` thông thường chỉ cử động thân người và để xương ngón tay Mixamo ở tư thế nghỉ. `--detect-hands` bật mô hình bàn tay đi cùng bộ trích xuất thân. Với bộ trích xuất mặc định, GVHMR, mô hình đó là [HaMeR](https://github.com/geopavlakos/hamer). HaMeR cắt cổ tay từ người và các khung hình mà GVHMR đã chọn. Nó không tìm thêm người thứ hai trong clip.++**Thời gian tăng khoảng gấp đôi.** Clip nào không có cờ thì xong trong vài phút, có `--detect-hands` thì mất khoảng gấp đôi, vì lượt bàn tay chạy chồng lên bước trích xuất thân. Với video dài, hãy tính thời gian này trước khi bắt đầu.++Đặt `MANO_RIGHT.pkl` như bảng ở trên, rồi:++```bash+m2mr doctor --detect-hands+m2mr run --detect-hands+m2mr run --video assets/video/dance.mp4 --detect-hands --hand-smooth 0.08+```++Lần chạy `--detect-hands` đầu tiên tải trọng số HaMeR về `weights/hamer/` (~2,7 GB, một lần). Góc xoay ngón tay được ghi vào `skeleton_motion.npz` và điều khiển 30 xương ngón tay Mixamo trên nhân vật đã skin. Cổ tay nào bước thân không nhìn rõ thì bàn tay đó giữ nguyên tư thế nghỉ.++`--hand-smooth` là số giây làm mượt áp lên các góc xoay đó. Mặc định là `0.08`. `0` giữ ước lượng thô. Việc làm mượt chạy mỗi khi tệp khung xương đã có chuyển động bàn tay, kể cả lần chạy sau chỉ dùng lại tệp đó.++Khi dùng lại một khung xương trước đó:++- Tệp đã có chuyển động bàn tay: `--skeleton` tự điều khiển các ngón. Không cần `--detect-hands` lần nữa.+- Chưa có, nhưng bộ nhớ đệm thân của lần chạy đó vẫn nằm cạnh (`cache/<clip>/0_input_video.mp4`, cùng `preprocess/vitpose.pt` và `preprocess/bbx.pt`): `--skeleton ... --detect-hands` thêm các ngón mà không trích xuất lại thân.+- Bộ nhớ đệm đó đã mất: chạy lại video hoặc ảnh với `--detect-hands`.## Đầu ra@@ -192,6 +225,8 @@ images/# phải: quay quanh rig mỗi bước 10° (trọn một vòng)```+Khi có `--detect-hands`, `skeleton_motion.npz` còn lưu góc xoay các ngón, còn `mixamo_rotations.npz` và `mixamo_character.glb` gồm 30 xương ngón tay. Không có cờ này, và khung xương dùng lại cũng không có chuyển động bàn tay, những xương đó giữ nguyên tư thế nghỉ.+Mở `mixamo_character.glb` trong Blender: File → Import → glTF 2.0 (.glb/.gltf). Nếu camera đang hướng vào khoảng trống, hãy chọn mesh nhân vật rồi dùng View → Frame Selected. Cụm hình cầu trên đầu và tay là phần hiển thị xương, không phải mesh: trong Outliner, ẩn **Icosphere** và **armature**; giữ mesh đã skin ở trạng thái hiển thị. Đặt FPS của scene theo `run.json` (`fps`) và timeline từ khung hình 0 đến `n_frames` − 1 để phát lại khớp với nguồn và số khung hình khớp với `diagnostics.json`. So sánh lần chạy video với `videos/mixamo_character.mp4`, lần chạy ảnh tĩnh với `images/mixamo_character.png` hoặc đoạn quay quanh.## Giấy phép@@ -199,8 +234,10 @@ Mở `mixamo_character.glb` trong Blender: File → Import → glTF 2.0 (.glb/.gMã nguồn của kho này theo giấy phép Apache-2.0. Các tài nguyên bạn tự tải về có điều khoản riêng và không được phân phối lại cùng kho mã này:- **SMPL-X**: truy cập qua MPI; mặc định chỉ dùng cho nghiên cứu / giáo dục / nghệ thuật phi thương mại; sử dụng thương mại cần thỏa thuận riêng+- **MANO** (chỉ khi dùng `--detect-hands`): truy cập qua MPI, cách tải giống SMPL-X; để `MANO_RIGHT.pkl` ở máy và đừng phân phối lại- **Mixamo FBX**: được dùng trong sản phẩm phát hành; không phân phối lại FBX gốc dưới dạng gói tài nguyên- **GVHMR và các trọng số suy luận khác**: tự động tải về `weights/` trong lần `m2mr run` đầu tiên, theo giấy phép của từng dự án gốc+- **HaMeR**: mã suy luận trong kho này là MIT; trọng số được tải vào `weights/hamer/` ở lần `m2mr run --detect-hands` đầu tiên, theo điều khoản phát hành của dự án gốc## Liên hệdiff --git a/docs/i18n/README.zh-Hans.md b/docs/i18n/README.zh-Hans.mdindex 1e4d61b..d741455 100644--- a/docs/i18n/README.zh-Hans.md+++ b/docs/i18n/README.zh-Hans.md@@ -64,7 +64,7 @@ pip install --upgrade pip setuptools wheel \&& pip install -e .```-推理权重(GVHMR 等)不在这一步下载,首次 `m2mr run` 时自动拉到 `weights/`(约 5 GB,只下这一次)。+推理权重(GVHMR 等)不在这一步下载,首次 `m2mr run` 时自动拉到 `weights/`(约 5 GB,只下这一次)。首次 `m2mr run --detect-hands` 还会把 HaMeR 手部权重量下载到 `weights/hamer/`(约 2.7 GB,只下这一次)。建议再装上 ffmpeg(macOS:`brew install ffmpeg`,Ubuntu:`apt install ffmpeg`)。没有它也能跑,但输出的视频会**没有声音**,编码格式也没法在浏览器里直接播放。@@ -79,6 +79,7 @@ pip install --upgrade pip setuptools wheel \| Mixamo 角色 FBX | `assets/mixamo/Y_Bot.fbx` | 用 Adobe 账号从 [Mixamo](https://www.mixamo.com) 下载 Y Bot(或其他 Mixamo rig 角色) || 动作视频 | `assets/video/<your_clip>.mp4` | **只有一个人**、人清晰可见、**从头到脚全程都在画框内**(可放多个文件,每次跑用最新的那一个) || 姿态照片(可选) | `assets/image/<your_photo>.jpg` | **只有一个人**、人清晰可见、**从头到脚都在画框内**。配合 `--image` 使用 |+| MANO 右手模型(只有 `--detect-hands` 才需要) | `assets/body_models/mano/MANO_RIGHT.pkl` | 在 [MANO](https://mano.is.tue.mpg.de/) 注册后下载 **Models & Code**。只跑身体时不需要这个文件 |注意:Mixamo 下载下来的文件叫 `Y Bot.fbx`(中间是**空格**),和上表的 `Y_Bot.fbx`(**下划线**)差一个字符。改成下划线它就是默认 rig,`m2mr run` 不带 `--rig` 时自动用它;不想改名也行——找不到 `Y_Bot.fbx` 时@@ -99,6 +100,12 @@ pip install --upgrade pip setuptools wheel \m2mr doctor```+`m2mr doctor` 检查的是身体这一路,不要求 MANO 手部模型。要连手指检测用的文件和 Python 包一起查:++```bash+m2mr doctor --detect-hands+```+### 2. 第一次跑:先拿到一个能看的结果不带参数时,用**最后放进 `assets/video/` 的视频** + `assets/mixamo/Y_Bot.fbx`。@@ -111,6 +118,8 @@ m2mr run一段约 30 秒的视频,CPU 上提取大约 8–15 分钟;权重下完之后再跑同类长度,大约 3–5 分钟。后面的重定向和渲染通常一两分钟。用下一节的 `--skeleton` 复用骨架时,提取整段跳过,几十秒就能出结果。+踩实的脚默认会钉住:脚掌着地时锁脚掌,只有脚尖抬起来才锁脚跟。腿伸直还够不到时,髋部会跟着挪。然后脚底板会被放到地面上(y = 0)。`--no-foot-lock` 保留原始重定向,脚可能会滑;脚底板仍然会放到地面上。+### 3. 同一段动作,换个角色从 Mixamo 下载别的角色丢进 `assets/mixamo/`。**别直接只改 `--rig` 重跑**——那样最慢的@@ -151,7 +160,31 @@ m2mr diagnose outputs/<run> --visualize # 另外生成 diagnostics.html:m2mr diagnose outputs/<run> --threshold-cm 2 # 只报告深于 2 cm 的穿插(默认 1)```-`diagnostics.json` 里每个问题是一对身体部位,附带它们穿插的帧范围、最严重的一帧和深度。帧号从 0 开始,和 glTF 导入 Blender 后的时间轴一致。由关节连着的部位(上臂和前臂、躯干和大腿……)不互相比较:无论什么姿势,关节附近的皮肤都会重叠。`diagnostics.html` 会嵌入原视频(需要 `ffmpeg`),three.js 从 CDN 加载,所以 3D 视图需要联网。+`diagnostics.json` 里每个问题是一对身体部位,附带它们穿插的帧范围、最严重的一帧和深度。帧号从 0 开始,和 glTF 导入 Blender 后的时间轴一致。由关节连着的部位(上臂和前臂、躯干和大腿……)不互相比较:无论什么姿势,关节附近的皮肤都会重叠。`diagnostics.html` 会嵌入原视频(需要 `ffmpeg`),three.js 从 CDN 加载,所以 3D 视图需要联网。这个 3D 视图在 y = 0 上画着固定的地面标记:每 0.5 米一个十字,整米的更大,原点是绿色,用来判断角色有没有在动。++### 7. 手指(`--detect-hands`)++普通的 `m2mr run` 只动身体,Mixamo 的手指骨停在静息姿势。`--detect-hands` 打开和身体提取器配套的手部模型。默认提取器 GVHMR 用的是 [HaMeR](https://github.com/geopavlakos/hamer)。HaMeR 用 GVHMR 已经选定的人和帧去裁手腕,不会再在片子里另找一个人。++**耗时大约翻倍。** 不加这个开关几分钟能跑完的片段,加上之后大约要两倍时间,因为手部是在身体提取之上再跑一遍。长视频开跑之前先把这段时间算进去。++按上面的表放好 `MANO_RIGHT.pkl`,然后:++```bash+m2mr doctor --detect-hands+m2mr run --detect-hands+m2mr run --video assets/video/dance.mp4 --detect-hands --hand-smooth 0.08+```++第一次带 `--detect-hands` 会把 HaMeR 权重下载到 `weights/hamer/`(约 2.7 GB,只这一次)。手指旋转写进 `skeleton_motion.npz`,并驱动带皮角色上的 30 根 Mixamo 手指骨。身体那一步没看清的那只手腕,这只手就保持静息。++`--hand-smooth` 是这些旋转要平滑多少秒。默认 `0.08`。`0` 保留原始估计。只要骨架文件里已经有手部动作,平滑就会做,包括后来只复用这个文件的那次运行。++复用以前的骨架时:++- 文件里已经有手部动作:`--skeleton` 自己就会驱动手指,不必再加 `--detect-hands`。+- 没有,但这边还留着那次的身体缓存(`cache/<片段>/0_input_video.mp4`,以及 `preprocess/vitpose.pt` 和 `preprocess/bbx.pt`):`--skeleton ... --detect-hands` 可以补上手指,不用重新提取身体。+- 缓存已经没了:用 `--detect-hands` 把视频或照片再跑一遍。## 输出@@ -192,6 +225,8 @@ images/# 右:10° 俯视绕角色转一圈```+带上 `--detect-hands` 时,`skeleton_motion.npz` 里还有手指旋转,`mixamo_rotations.npz` 和 `mixamo_character.glb` 会包含那 30 根手指骨。没有这个开关、复用的骨架里也没有手部动作时,这些骨头停在静息姿势。+`mixamo_character.glb` 用 Blender 打开:File → Import → glTF 2.0 (.glb/.gltf)。导入后若镜头对不准,选中角色网格,再 View → Frame Selected。头和手上那堆球是骨头的显示形状,不是模型:在 Outliner 里隐藏 **Icosphere** 和骨架(armature),留下带皮网格。场景 FPS 按 `run.json` 里的 `fps` 设置,时间轴设为第 0 帧到第 `n_frames` − 1 帧,这样播放才会和原片一样长,帧号也和 `diagnostics.json` 对得上。视频 run 对照 `videos/mixamo_character.mp4`,照片 run 对照 `images/mixamo_character.png` 或那条绕转视频。## 许可证@@ -199,8 +234,10 @@ images/本仓库代码为 Apache-2.0。你自取的资产各有条款,不能随本仓库再分发:- **SMPL-X**:MPI 门禁,默认非商业科研 / 教育 / 艺术;商用需另谈+- **MANO**(只有用 `--detect-hands` 时):同样是 MPI 门禁,下载方式和 SMPL-X 一样;把 `MANO_RIGHT.pkl` 放在本地,不要再分发- **Mixamo FBX**:可用在成品里,不能把原始 FBX 当资源包发出去- **GVHMR 等推理权重**:首次 `m2mr run` 自动下载到 `weights/`,遵循各自上游许可+- **HaMeR**:本仓库里的推理代码是 MIT;权重在首次 `m2mr run --detect-hands` 时下载到 `weights/hamer/`,遵循上游发布条款## 联系diff --git a/docs/i18n/README.zh-Hant.md b/docs/i18n/README.zh-Hant.mdindex c585379..89b066c 100644--- a/docs/i18n/README.zh-Hant.md+++ b/docs/i18n/README.zh-Hant.md@@ -64,7 +64,7 @@ pip install --upgrade pip setuptools wheel \&& pip install -e .```-推論權重(GVHMR 等)不會在這一步下載,第一次執行 `m2mr run` 時會自動下載到 `weights/`(約 5 GB,只需下載一次)。+推論權重(GVHMR 等)不會在這一步下載,第一次執行 `m2mr run` 時會自動下載到 `weights/`(約 5 GB,只需下載一次)。第一次執行 `m2mr run --detect-hands` 時,還會把 HaMeR 手部權重下載到 `weights/hamer/`(約 2.7 GB,只需下載一次)。建議另外安裝 ffmpeg(macOS:`brew install ffmpeg`,Ubuntu:`apt install ffmpeg`)。沒有它也能執行,但輸出的影片會**沒有聲音**,編碼格式也無法直接在瀏覽器中播放。@@ -79,6 +79,7 @@ pip install --upgrade pip setuptools wheel \| Mixamo 角色 FBX | `assets/mixamo/Y_Bot.fbx` | 用 Adobe 帳號從 [Mixamo](https://www.mixamo.com) 下載 Y Bot(或其他用 Mixamo rig 好的角色) || 動作影片 | `assets/video/<your_clip>.mp4` | **只有一個人**、人物清楚可見、**從頭到腳全程都在畫面內**(可以放多個檔案,每次執行會使用最新加入的那一個) || 姿勢照片(選用) | `assets/image/<your_photo>.jpg` | **只有一個人**、人物清楚可見、**從頭到腳都在畫面內**。搭配 `--image` 使用 |+| MANO 右手模型(只有 `--detect-hands` 才需要) | `assets/body_models/mano/MANO_RIGHT.pkl` | 在 [MANO](https://mano.is.tue.mpg.de/) 註冊後下載 **Models & Code**。只跑身體時不需要這個檔案 |注意:從 Mixamo 下載的檔名是 `Y Bot.fbx`(中間是**空格**),和上表的 `Y_Bot.fbx`(**底線**)差一個字元。改成底線後它就是預設 rig,`m2mr run` 不加 `--rig` 時會自動使用它;不改名也可以——找不到 `Y_Bot.fbx` 時,@@ -99,6 +100,12 @@ pip install --upgrade pip setuptools wheel \m2mr doctor```+`m2mr doctor` 檢查的是身體這一路,不要求 MANO 手部模型。要連手指偵測用的檔案和 Python 套件一起查:++```bash+m2mr doctor --detect-hands+```+### 2. 第一次執行:先得到一個看得到的結果不加任何參數時,會使用**最後放進 `assets/video/` 的影片** + `assets/mixamo/Y_Bot.fbx`。@@ -111,6 +118,8 @@ m2mr run一段約 30 秒的影片,在 CPU 上擷取大約需要 8–15 分鐘;權重下載完成後,再處理類似長度的影片大約需要 3–5 分鐘。後面的重定向與算繪通常只需一兩分鐘。使用下一節的 `--skeleton` 重複利用骨架時,會完全跳過擷取,幾十秒就能得到結果。+踩實的腳預設會釘住:腳掌著地時鎖腳掌,只有腳尖抬起來才鎖腳跟。腿伸直還夠不到時,髖部會跟著挪。然後腳底板會被放到地面上(y = 0)。`--no-foot-lock` 保留原始重定向,腳可能會滑;腳底板仍然會放到地面上。+### 3. 同一段動作,換一個角色從 Mixamo 下載其他角色放進 `assets/mixamo/`。**不要只改 `--rig` 就重新執行**——這樣最慢的@@ -151,7 +160,31 @@ m2mr diagnose outputs/<run> --visualize # 另外產生 diagnostics.html:m2mr diagnose outputs/<run> --threshold-cm 2 # 只回報深度超過 2 cm 的穿插(預設 1)```-`diagnostics.json` 中每個問題是一對身體部位,附上兩者穿插的影格範圍、最嚴重的影格及其深度。影格編號從 0 開始,與 glTF 匯入 Blender 後的時間軸一致。以關節相連的部位(上臂與前臂、軀幹與大腿……)不互相比較:不論什麼姿勢,關節附近的皮膚都會重疊。`diagnostics.html` 會嵌入原始影片(需要 `ffmpeg`),並從 CDN 載入 three.js,因此 3D 檢視需要網路連線。+`diagnostics.json` 中每個問題是一對身體部位,附上兩者穿插的影格範圍、最嚴重的影格及其深度。影格編號從 0 開始,與 glTF 匯入 Blender 後的時間軸一致。以關節相連的部位(上臂與前臂、軀幹與大腿……)不互相比較:不論什麼姿勢,關節附近的皮膚都會重疊。`diagnostics.html` 會嵌入原始影片(需要 `ffmpeg`),並從 CDN 載入 three.js,因此 3D 檢視需要網路連線。這個 3D 檢視在 y = 0 上畫著固定的地面標記:每 0.5 公尺一個十字,整公尺的更大,原點是綠色,用來判斷角色有沒有在動。++### 7. 手指(`--detect-hands`)++一般的 `m2mr run` 只動身體,Mixamo 的手指骨停在靜息姿勢。`--detect-hands` 打開和身體擷取器配套的手部模型。預設擷取器 GVHMR 用的是 [HaMeR](https://github.com/geopavlakos/hamer)。HaMeR 用 GVHMR 已經選定的人和影格去裁手腕,不會再在片子裡另找一個人。++**耗時大約翻倍。** 不加這個開關幾分鐘能跑完的片段,加上之後大約要兩倍時間,因為手部是在身體擷取之上再跑一遍。長影片開跑之前先把這段時間算進去。++按上面的表放好 `MANO_RIGHT.pkl`,然後:++```bash+m2mr doctor --detect-hands+m2mr run --detect-hands+m2mr run --video assets/video/dance.mp4 --detect-hands --hand-smooth 0.08+```++第一次帶 `--detect-hands` 會把 HaMeR 權重下載到 `weights/hamer/`(約 2.7 GB,只這一次)。手指旋轉寫進 `skeleton_motion.npz`,並驅動帶皮角色上的 30 根 Mixamo 手指骨。身體那一步沒看清的那隻手腕,這隻手就保持靜息。++`--hand-smooth` 是這些旋轉要平滑多少秒。預設 `0.08`。`0` 保留原始估計。只要骨架檔案裡已經有手部動作,平滑就會做,包括後來只重複利用這個檔案的那次執行。++重複利用以前的骨架時:++- 檔案裡已經有手部動作:`--skeleton` 自己就會驅動手指,不必再加 `--detect-hands`。+- 沒有,但這邊還留著那次的身體快取(`cache/<clip>/0_input_video.mp4`,以及 `preprocess/vitpose.pt` 和 `preprocess/bbx.pt`):`--skeleton ... --detect-hands` 可以補上手指,不用重新擷取身體。+- 快取已經沒了:用 `--detect-hands` 把影片或照片再跑一遍。## 輸出@@ -192,6 +225,8 @@ images/# 右:每 10° 環繞角色一圈```+帶上 `--detect-hands` 時,`skeleton_motion.npz` 裡還有手指旋轉,`mixamo_rotations.npz` 和 `mixamo_character.glb` 會包含那 30 根手指骨。沒有這個開關、重複利用的骨架裡也沒有手部動作時,這些骨頭停在靜息姿勢。+用 Blender 開啟 `mixamo_character.glb`:File → Import → glTF 2.0 (.glb/.gltf)。匯入後如果鏡頭沒有對準角色,請選取角色網格,再使用 View → Frame Selected。頭部和手上那一堆球是骨骼的顯示形狀,不是模型本身:在 Outliner 中隱藏 **Icosphere** 和骨架(armature),保留已蒙皮的網格。場景 FPS 請依照 `run.json` 中的 `fps` 設定,時間軸設為第 0 影格到第 `n_frames` − 1 影格,播放長度才會和原始影片一致,影格編號也才會和 `diagnostics.json` 對得上。影片執行請對照 `videos/mixamo_character.mp4`,照片執行請對照 `images/mixamo_character.png` 或那段環繞影片。## 授權@@ -199,8 +234,10 @@ images/本儲存庫的程式碼採用 Apache-2.0 授權。你自行取得的資源各有其條款,不可隨本儲存庫重新散布:- **SMPL-X**:需經 MPI 授權取得,預設僅限非商業的研究 / 教育 / 藝術用途;商業使用需另行洽談+- **MANO**(只有用 `--detect-hands` 時):同樣需經 MPI 授權,下載方式和 SMPL-X 一樣;把 `MANO_RIGHT.pkl` 放在本機,不要再散布- **Mixamo FBX**:可以用在發行的產品中,但不可將原始 FBX 當成素材包散布- **GVHMR 等推論權重**:第一次執行 `m2mr run` 時會自動下載到 `weights/`,並遵循各自上游專案的授權+- **HaMeR**:本儲存庫裡的推論程式碼是 MIT;權重在第一次 `m2mr run --detect-hands` 時下載到 `weights/hamer/`,遵循上游發布條款## 聯絡方式diff --git a/docs/i18n/user-guide.ar.md b/docs/i18n/user-guide.ar.mdindex 876d990..c6ce158 100644--- a/docs/i18n/user-guide.ar.md+++ b/docs/i18n/user-guide.ar.md@@ -85,9 +85,14 @@ SMPL-X نموذج جسم مجاني تحتاج إليه الإضافة. رخصت2. **ملف المصدر** (Source File): مقطعك. يجب أن يظهر فيه **شخص واحد بالضبط، منالرأس إلى القدمين داخل الإطار طوال الوقت**.3. **هيكل Mixamo FBX** (Mixamo Rig FBX): الشخصية من الخطوة 5-4. انقر **توليد الحركة** (Generate Motion)+4. **اكتشاف اليدين** (Detect Hands) مطفأ. شغّله فقط إذا أردت أن تتحرك الأصابع.+ ثم انقر **اختر نموذج يد MANO…** (Choose MANO Hand Model…) واختر `MANO_RIGHT.pkl`.+ تحصل على هذا الملف كما تحصل على SMPL-X: سجّل في+ [mano.is.tue.mpg.de](https://mano.is.tue.mpg.de/) ونزّل **Models & Code** وفك ضغطه.+ أول تشغيل لليدين ينزّل نحو **2.7 غيغابايت** إضافية مرة واحدة، ويستغرق حوالي ضعف تشغيل الجسم وحده.+5. انقر **توليد الحركة** (Generate Motion)-عند الانتهاء، تُستورد الشخصية المتحركة إلى مشهدك تلقائيًا.+عند الانتهاء، تُستورد الشخصية المتحركة إلى مشهدك تلقائيًا. تبقى القدم المرتكزة حيث هبطت، وتُوضع الأخمص على أرضية Blender. تُضاف إلى تلك الأرضية شبكة **علامات الأرضية** (Floor Markers) (صليب كل 0.5 م). مربع **علامات الأرضية** (Floor Markers) ضمن التقدم / النتيجة يُظهرها أو يخفيها.### التشغيل الأول يستغرق وقتًا أطول — هذا طبيعي@@ -122,9 +127,9 @@ SMPL-X نموذج جسم مجاني تحتاج إليه الإضافة. رخصت- **⚙ بجوار العنوان** يُظهر مربع **إعداد** (Setup) أو يخفيه.- **إعداد**: اللغة، وبيئة التشغيل، وSMPL-X، و**الجهاز** (Device) (المعالج المركزي CPU هوالخيار الآمن)، و**فحص البيئة** (Check Environment).-- **إدخال**: ما تريد تحريكه.+- **إدخال**: ما تريد تحريكه، و**نموذج الجسم** (Body Model، GVHMR)، و**اكتشاف اليدين** (Detect Hands).- **التقدم / النتيجة** (Progress / Result): التقدم، وأحدث سطور السجل، وبعد انتهاء المهمة- **استيراد الشخصية المولَّدة** (Import Generated Character)، و**فتح مجلد الناتج** (Open Output Folder)،+ **استيراد الشخصية المولَّدة** (Import Generated Character)، **علامات الأرضية** (Floor Markers)، و**فتح مجلد الناتج** (Open Output Folder)،و**عرض السجل الكامل** (View Full Log).- **التشخيص** (Diagnostics): المواضع التي تدخل فيها أجزاء جسم الشخصية بعضها فيبعض (يد داخل الرأس، ذراعان متشابكتان). الخلايا الحمراء في الشريط إطارات فيها@@ -132,7 +137,7 @@ SMPL-X نموذج جسم مجاني تحتاج إليه الإضافة. رخصتوتحته الأجزاء المتداخلة ومدى عمقها. ينتقل **السابق** / **التالي** (Previous/ Next) بين المشكلات. يفتح **فتح تقرير HTML** (Open HTML Report) تقريرًا فيمتصفح الويب يعرض الفيديو المصدر بجانب الشخصية (يستغرق إنشاؤه في المرة الأولى- نحو 15 ثانية).+ نحو 15 ثانية). تقف الشخصية على صلبان أرضية ثابتة، واحد كل 0.5 م، لترى إن كانت تنزلق.تتحدث الإضافة 19 لغة. **تلقائي** (Auto) يتبع لغة Blender؛ غيّره في مربع**إعداد** ضمن **لغة الواجهة** (UI Language).@@ -143,6 +148,7 @@ SMPL-X نموذج جسم مجاني تحتاج إليه الإضافة. رخصت| --- | --- || **فشل تثبيت بيئة التشغيل** (Runtime installation failed) | تحقق من اتصالك بالإنترنت وانقر الزر مرة أخرى. السجل: `~/Motion2MixamoRig/logs/setup.log` || **نموذج SMPL-X: مفقود** (SMPL-X model: missing) | كرر الخطوة 4 واختر `SMPLX_NEUTRAL.npz` |+| **نموذج يد MANO: مفقود** (MANO hand model: missing) | شغّل **اكتشاف اليدين**، ثم **اختر نموذج يد MANO…** واختر `MANO_RIGHT.pkl` || **ملف Mixamo FBX غير صالح** (Mixamo FBX invalid) | نزّل الشخصية مرة أخرى بصيغة **FBX Binary**، **T-pose** || **المصدر يحتوي على أكثر من شخص** (Input contains multiple people) | استخدم مقطعًا فيه شخص واحد فقط || **لم يُكتشف أي شخص في المصدر** (No person was detected in the input) | تأكد من أن الجسم كله ظاهر ومضاء جيدًا |diff --git a/docs/i18n/user-guide.de.md b/docs/i18n/user-guide.de.mdindex 55a2f7e..af8e987 100644--- a/docs/i18n/user-guide.de.md+++ b/docs/i18n/user-guide.de.md@@ -86,10 +86,16 @@ Im Bereich **Eingabe** (Input):2. **Quelldatei** (Source File): dein Clip. Er muss **genau eine Person zeigen,die die ganze Zeit von Kopf bis Fuß im Bild ist**.3. **Mixamo-Rig FBX** (Mixamo Rig FBX): der Charakter aus Schritt 5-4. Klicke auf **Motion erzeugen** (Generate Motion)+4. **Hände erkennen** (Detect Hands) ist aus. Schalte es nur ein, wenn sich die+ Finger bewegen sollen. Klicke dann auf **MANO-Handmodell wählen…** (Choose MANO+ Hand Model…) und wähle `MANO_RIGHT.pkl`. Die Datei holst du wie SMPL-X: registriere+ dich auf [mano.is.tue.mpg.de](https://mano.is.tue.mpg.de/), lade **Models & Code**+ und entpacke es. Der erste Handlauf lädt einmalig etwa **2,7 GB** zusätzlich und+ dauert ungefähr doppelt so lang wie ein reiner Körperlauf.+5. Klicke auf **Motion erzeugen** (Generate Motion)Wenn der Vorgang fertig ist, wird der animierte Charakter automatisch in deine-Szene importiert.+Szene importiert. Ein aufgesetzter Fuß bleibt, wo er gelandet ist, und die Sohle liegt auf dem Boden von Blender. Auf diesem Boden kommt ein Mesh **Bodenmarkierungen** (Floor Markers) dazu (ein Kreuz alle 0,5 m). Das Kontrollkästchen **Bodenmarkierungen** (Floor Markers) unter Fortschritt / Ergebnis blendet es ein oder aus.### Der erste Lauf dauert länger — das ist normal@@ -125,9 +131,9 @@ es schnell. Deine installierte Version steht neben dem Add-on in **Get Extension- **⚙ neben dem Titel** blendet den Bereich **Einrichtung** (Setup) ein oder aus.- **Einrichtung**: Sprache, Laufzeitumgebung, SMPL-X, **Gerät** (Device; CPU istdie sichere Wahl) und **Umgebung prüfen** (Check Environment).-- **Eingabe**: was animiert werden soll.+- **Eingabe**: was animiert werden soll, **Körpermodell** (Body Model, GVHMR) und **Hände erkennen** (Detect Hands).- **Fortschritt / Ergebnis** (Progress / Result): Fortschritt, aktuelles Log und nach einem Auftrag- **Erzeugten Charakter importieren** (Import Generated Character), **Ausgabeordner öffnen** (Open Output Folder),+ **Erzeugten Charakter importieren** (Import Generated Character), **Bodenmarkierungen** (Floor Markers), **Ausgabeordner öffnen** (Open Output Folder),**Vollständiges Protokoll** (View Full Log).- **Diagnose** (Diagnostics): Stellen, an denen Körperteile des Charaktersineinander stecken (eine Hand im Kopf, verschränkte Arme). Rote Zellen im@@ -136,7 +142,7 @@ es schnell. Deine installierte Version steht neben dem Add-on in **Get ExtensionTeile und wie tief sie ineinander stecken. **Zurück** / **Weiter** (Previous/ Next) springen zwischen den Problemen. **HTML-Bericht öffnen** (Open HTMLReport) öffnet im Webbrowser einen Bericht mit dem Quellvideo neben dem- Charakter (beim ersten Mal dauert das Erstellen etwa 15 Sekunden).+ Charakter (beim ersten Mal dauert das Erstellen etwa 15 Sekunden). Der Charakter steht auf festen Bodenkreuzen, alle 0,5 m eines, damit zu sehen ist, ob er rutscht.Das Add-on spricht 19 Sprachen. **Automatisch (Blender / System)** (Auto) folgt der Sprache von Blender;ändern kannst du das im Bereich Einrichtung unter **UI-Sprache** (UI Language).@@ -147,6 +153,7 @@ Das Add-on spricht 19 Sprachen. **Automatisch (Blender / System)** (Auto) folgt| --- | --- || **Installation der Laufzeitumgebung fehlgeschlagen** (Runtime installation failed) | Prüfe deine Internetverbindung und klicke erneut auf den Button. Log: `~/Motion2MixamoRig/logs/setup.log` || **SMPL-X-Modell: fehlt** (SMPL-X model: missing) | Wiederhole Schritt 4 und wähle `SMPLX_NEUTRAL.npz` |+| **MANO-Handmodell: fehlt** (MANO hand model: missing) | Schalte **Hände erkennen** ein, dann **MANO-Handmodell wählen…** und `MANO_RIGHT.pkl` wählen || **Mixamo-FBX ungültig** (Mixamo FBX invalid) | Lade den Charakter erneut als **FBX Binary**, **T-pose** herunter || **Die Quelle enthält mehrere Personen** (Input contains multiple people) | Verwende einen Clip mit nur einer Person || **Keine Person in der Quelle erkannt** (No person was detected in the input) | Achte darauf, dass der ganze Körper sichtbar und gut beleuchtet ist |diff --git a/docs/i18n/user-guide.es-MX.md b/docs/i18n/user-guide.es-MX.mdindex f3fdfdf..921320b 100644--- a/docs/i18n/user-guide.es-MX.md+++ b/docs/i18n/user-guide.es-MX.md@@ -87,10 +87,17 @@ En la sección **Entrada** (Input):2. **Archivo de origen** (Source File): tu clip. Debe mostrar **exactamente a unapersona, de la cabeza a los pies dentro del cuadro todo el tiempo**.3. **FBX del rig de Mixamo** (Mixamo Rig FBX): el personaje del paso 5-4. Haz clic en **Generar movimiento** (Generate Motion)+4. **Detectar manos** (Detect Hands) está apagado. Enciéndelo solo si quieres que+ se muevan los dedos. Luego haz clic en **Elegir modelo de mano MANO…**+ (Choose MANO Hand Model…) y elige `MANO_RIGHT.pkl`. Consigue ese archivo igual+ que SMPL-X: regístrate en+ [mano.is.tue.mpg.de](https://mano.is.tue.mpg.de/), descarga **Models & Code**+ y descomprímelo. La primera pasada de las manos descarga unos **2.7 GB** más,+ una sola vez, y tarda aproximadamente el doble que una pasada solo del cuerpo.+5. Haz clic en **Generar movimiento** (Generate Motion)Cuando termina, el personaje animado se importa a tu escena-automáticamente.+automáticamente. Un pie apoyado se queda donde cayó, y la planta queda sobre el piso de Blender. En ese piso se agrega un mesh **Marcas en el piso** (Floor Markers) (una cruz cada 0.5 m). La casilla **Marcas en el piso** (Floor Markers) en Progreso / Resultado lo muestra o lo oculta.### La primera ejecución tarda más — es normal@@ -126,9 +133,9 @@ instalada aparece junto al complemento en **Get Extensions**.- **⚙ junto al título** muestra u oculta la sección **Configuración** (Setup).- **Configuración**: idioma, entorno, SMPL-X, dispositivo (**Dispositivo** (Device);CPU es la opción segura) y **Revisar entorno** (Check Environment).-- **Entrada**: qué animar.+- **Entrada**: qué animar, el **Modelo del cuerpo** (Body Model, GVHMR) y **Detectar manos** (Detect Hands).- **Progreso / Resultado** (Progress / Result): progreso, registro reciente y, al- terminar un trabajo, **Importar personaje generado** (Import Generated Character),+ terminar un trabajo, **Importar personaje generado** (Import Generated Character), **Marcas en el piso** (Floor Markers),**Abrir carpeta de salida** (Open Output Folder) y **Ver registro completo** (View Full Log).- **Diagnóstico** (Diagnostics): dónde las partes del cuerpo del personaje semeten unas en otras (una mano dentro de la cabeza, brazos cruzados). Las@@ -137,7 +144,7 @@ instalada aparece junto al complemento en **Get Extensions**.partes que se intersectan y qué tan profundo. **Anterior** / **Siguiente**(Previous / Next) saltan entre problemas. **Abrir reporte HTML** (Open HTMLReport) abre en el navegador un reporte con el video fuente junto al- personaje (la primera vez tarda unos 15 segundos en generarse).+ personaje (la primera vez tarda unos 15 segundos en generarse). El personaje está sobre cruces de piso fijas, una cada 0.5 m, para ver si se está deslizando.El complemento está disponible en 19 idiomas. **Automático (Blender / Sistema)**(Auto (Blender / System)) sigue el idioma de Blender; cámbialo en la sección@@ -149,6 +156,7 @@ Configuración, en **Idioma de la interfaz** (UI Language).| --- | --- || **Falló la instalación del entorno** (Runtime installation failed) | Revisa tu conexión a internet y vuelve a hacer clic en el botón. Registro: `~/Motion2MixamoRig/logs/setup.log` || **Modelo SMPL-X: falta** (SMPL-X model: missing) | Repite el paso 4 y selecciona `SMPLX_NEUTRAL.npz` |+| **Modelo de mano MANO: falta** (MANO hand model: missing) | Activa **Detectar manos**, luego **Elegir modelo de mano MANO…** y elige `MANO_RIGHT.pkl` || **El FBX de Mixamo no es válido** (Mixamo FBX invalid) | Vuelve a descargar el personaje como **FBX Binary**, **T-pose** || **La entrada tiene varias personas** (Input contains multiple people) | Usa un clip con una sola persona || **No se detectó ninguna persona en la entrada** (No person was detected in the input) | Asegúrate de que todo el cuerpo se vea y esté bien iluminado |diff --git a/docs/i18n/user-guide.fil.md b/docs/i18n/user-guide.fil.mdindex f98bdaf..6f63e57 100644--- a/docs/i18n/user-guide.fil.md+++ b/docs/i18n/user-guide.fil.md@@ -87,9 +87,16 @@ Sa **Input** box:2. **Source File**: ang clip mo. Dapat **eksaktong isang tao lang ang nasaclip, kita mula ulo hanggang paa sa frame sa buong oras**.3. **Mixamo Rig FBX**: ang character mula sa step 5-4. I-click ang **Gumawa ng Galaw** (Generate Motion)+4. Naka-off ang **I-detect ang mga kamay** (Detect Hands). I-on lang ito kapag+ dapat gumalaw ang mga daliri. Pagkatapos, i-click ang **Piliin ang MANO Hand Model…**+ (Choose MANO Hand Model…) at piliin ang `MANO_RIGHT.pkl`. Kunin ang file na iyon+ gaya ng SMPL-X: magrehistro sa+ [mano.is.tue.mpg.de](https://mano.is.tue.mpg.de/), i-download ang **Models & Code**,+ at i-unzip. Ang unang hand run ay magda-download pa ng mga **2.7 GB**, isang beses,+ at aabot nang halos doble ng body-only na run.+5. I-click ang **Gumawa ng Galaw** (Generate Motion)-Pagkatapos nito, awtomatikong ii-import sa scene mo ang animated na character.+Pagkatapos nito, awtomatikong ii-import sa scene mo ang animated na character. Nanatili ang nakalapag na paa kung saan ito dumapo, at inilalagay ang talampakan sa sahig ng Blender. May idinaragdag na mesh na **Mga marka sa sahig** (Floor Markers) sa sahig na iyon (isang krus kada 0.5 m). Ipinapakita o itinatago ito ng checkbox na **Mga marka sa sahig** (Floor Markers) sa ilalim ng Progreso / Resulta.### Mas matagal ang unang run — normal lang ito@@ -125,9 +132,9 @@ Makikita ang naka-install mong bersyon sa tabi ng add-on sa **Get Extensions**.- Ang **⚙ sa tabi ng title** ay nagpapakita o nagtatago ng **Setup** box.- **Setup**: wika, runtime, SMPL-X, **Device** (CPU ang ligtas na piliin), at**Suriin ang Environment** (Check Environment).-- **Input**: kung ano ang ia-animate.+- **Input**: kung ano ang ia-animate, ang **Model ng katawan** (Body Model, GVHMR), at **I-detect ang mga kamay** (Detect Hands).- **Progreso / Resulta** (Progress / Result): progress, recent log, at pagkatapos ng job,- **I-import ang Nagawang Character** (Import Generated Character), **Buksan ang+ **I-import ang Nagawang Character** (Import Generated Character), **Mga marka sa sahig** (Floor Markers), **Buksan angOutput Folder** (Open Output Folder), **Tingnan ang Buong Log** (View Full Log).- **Diagnostics**: kung saan pumapasok sa isa't isa ang mga bahagi ng katawanng character (kamay sa loob ng ulo, nakakrus na braso). Ang mga pulang cell@@ -137,7 +144,7 @@ Makikita ang naka-install mong bersyon sa tabi ng add-on sa **Get Extensions**.pagitan ng mga problema ang **Nauna** / **Susunod** (Previous / Next).Binubuksan ng **Buksan ang HTML Report** (Open HTML Report) ang isang reportsa web browser na katabi ng character ang source video (sa unang beses, mga- 15 segundo bago ito mabuo).+ 15 segundo bago ito mabuo). Nakatayo ang character sa mga nakapirming krus sa sahig, isa kada 0.5 m, para makita kung dumudulas ito.Available ang add-on sa 19 wika. Sinusunod ng **Auto (sundan ang Blender / system)**ang wika ng Blender; palitan ito sa Setup box sa **Wika ng UI** (UI Language).@@ -148,6 +155,7 @@ ang wika ng Blender; palitan ito sa Setup box sa **Wika ng UI** (UI Language).| --- | --- || **Pumalya ang pag-install ng runtime** (Runtime installation failed) | I-check ang internet connection mo at i-click ulit ang button. Log: `~/Motion2MixamoRig/logs/setup.log` || **SMPL-X model: wala** (SMPL-X model: missing) | Ulitin ang step 4 at piliin ang `SMPLX_NEUTRAL.npz` |+| **MANO hand model: wala** (MANO hand model: missing) | I-on ang **I-detect ang mga kamay**, tapos **Piliin ang MANO Hand Model…** at piliin ang `MANO_RIGHT.pkl` || **Hindi valid ang Mixamo FBX** (Mixamo FBX invalid) | I-download ulit ang character bilang **FBX Binary**, **T-pose** || **Higit sa isang tao ang nasa input** (Input contains multiple people) | Gumamit ng clip na iisang tao lang ang nasa loob || **Walang taong na-detect sa input** (No person was detected in the input) | Siguraduhing kita ang buong katawan at maliwanag ang ilaw |diff --git a/docs/i18n/user-guide.fr.md b/docs/i18n/user-guide.fr.mdindex deac09a..0120ad3 100644--- a/docs/i18n/user-guide.fr.md+++ b/docs/i18n/user-guide.fr.md@@ -86,10 +86,17 @@ Dans la zone **Entrée** (Input) :2. **Fichier source** (Source File) : votre clip. Il doit montrer **exactement unepersonne, entièrement cadrée de la tête aux pieds pendant toute la durée**.3. **FBX du rig Mixamo** (Mixamo Rig FBX) : le personnage de l’étape 5-4. Cliquez sur **Générer le mouvement** (Generate Motion)+4. **Détecter les mains** (Detect Hands) est désactivé. Activez-le seulement si les+ doigts doivent bouger. Cliquez ensuite sur **Choisir le modèle de main MANO…**+ (Choose MANO Hand Model…) et sélectionnez `MANO_RIGHT.pkl`. Récupérez ce fichier+ comme SMPL-X : inscrivez-vous sur+ [mano.is.tue.mpg.de](https://mano.is.tue.mpg.de/), téléchargez **Models & Code**+ et décompressez-le. Le premier passage des mains télécharge environ **2,7 Go** de+ plus, une seule fois, et dure environ deux fois plus longtemps qu’un passage du corps seul.+5. Cliquez sur **Générer le mouvement** (Generate Motion)Une fois le traitement terminé, le personnage animé est automatiquement importé-dans votre scène.+dans votre scène. Un pied posé reste là où il s’est posé, et la plante est placée sur le sol de Blender. Un mesh **Repères au sol** (Floor Markers) est ajouté sur ce sol (une croix tous les 0,5 m). La case **Repères au sol** (Floor Markers) sous Progression / Résultat l’affiche ou le masque.### Le premier lancement est plus long — c’est normal@@ -125,9 +132,9 @@ version installée est indiquée à côté du module dans **Get Extensions**.- **⚙ à côté du titre** affiche ou masque la zone **Configuration** (Setup).- **Configuration** : langue, environnement, SMPL-X, **Appareil** (Device ; le CPUest le choix le plus sûr) et **Vérifier l’environnement** (Check Environment).-- **Entrée** : ce qu’il faut animer.+- **Entrée** : ce qu’il faut animer, le **Modèle du corps** (Body Model, GVHMR) et **Détecter les mains** (Detect Hands).- **Progression / Résultat** (Progress / Result) : progression, journal récent et, après une tâche,- **Importer le personnage généré** (Import Generated Character), **Ouvrir le dossier de sortie** (Open Output Folder),+ **Importer le personnage généré** (Import Generated Character), **Repères au sol** (Floor Markers), **Ouvrir le dossier de sortie** (Open Output Folder),**Voir le journal complet** (View Full Log).- **Diagnostic** (Diagnostics) : les endroits où des parties du corps dupersonnage entrent l’une dans l’autre (une main dans la tête, des bras@@ -137,7 +144,7 @@ version installée est indiquée à côté du module dans **Get Extensions**.et leur profondeur. **Précédent** / **Suivant** (Previous / Next) passentd’un problème à l’autre. **Ouvrir le rapport HTML** (Open HTML Report) ouvredans le navigateur un rapport avec la vidéo source à côté du personnage (la- première fois, sa création prend environ 15 secondes).+ première fois, sa création prend environ 15 secondes). Le personnage se tient sur des croix de sol fixes, une tous les 0,5 m, pour voir s’il glisse.Le module parle 19 langues. **Automatique (Blender / Système)** (Auto) suit la langue de Blender ;vous pouvez la changer dans la zone Configuration, sous **Langue de l’interface** (UI Language).@@ -148,6 +155,7 @@ vous pouvez la changer dans la zone Configuration, sous **Langue de l’interfac| --- | --- || **Échec de l’installation de l’environnement** (Runtime installation failed) | Vérifiez votre connexion Internet et cliquez à nouveau sur le bouton. Journal : `~/Motion2MixamoRig/logs/setup.log` || **Modèle SMPL-X : manquant** (SMPL-X model: missing) | Refaites l’étape 4 et sélectionnez `SMPLX_NEUTRAL.npz` |+| **Modèle de main MANO : manquant** (MANO hand model: missing) | Activez **Détecter les mains**, puis **Choisir le modèle de main MANO…** et sélectionnez `MANO_RIGHT.pkl` || **FBX Mixamo non valide** (Mixamo FBX invalid) | Téléchargez à nouveau le personnage en **FBX Binary**, **T-pose** || **L’entrée contient plusieurs personnes** (Input contains multiple people) | Utilisez un clip avec une seule personne || **Aucune personne détectée dans l’entrée** (No person was detected in the input) | Vérifiez que le corps entier est visible et bien éclairé |diff --git a/docs/i18n/user-guide.id.md b/docs/i18n/user-guide.id.mdindex 8e9b77a..393150d 100644--- a/docs/i18n/user-guide.id.md+++ b/docs/i18n/user-guide.id.md@@ -85,9 +85,15 @@ Di kotak **Input**:2. **File Sumber** (Source File): klipmu. Klip harus menampilkan **tepat satuorang, dari kepala sampai kaki masuk frame sepanjang waktu**.3. **Mixamo Rig FBX**: karakter dari langkah 5-4. Klik **Buat Gerakan** (Generate Motion)+4. **Deteksi tangan** (Detect Hands) mati. Nyalakan hanya jika jari harus bergerak.+ Lalu klik **Pilih model tangan MANO…** (Choose MANO Hand Model…) dan pilih+ `MANO_RIGHT.pkl`. Berkas itu diambil seperti SMPL-X: daftar di+ [mano.is.tue.mpg.de](https://mano.is.tue.mpg.de/), unduh **Models & Code**, lalu+ ekstrak. Proses tangan yang pertama mengunduh sekitar **2,7 GB** lagi, sekali, dan+ makan waktu kira-kira dua kali proses tubuh saja.+5. Klik **Buat Gerakan** (Generate Motion)-Setelah selesai, karakter yang sudah beranimasi otomatis diimpor ke scene-mu.+Setelah selesai, karakter yang sudah beranimasi otomatis diimpor ke scene-mu. Kaki yang menapak tetap di tempat ia mendarat, dan telapak kaki diletakkan di lantai Blender. Di lantai itu ditambahkan mesh **Penanda lantai** (Floor Markers) (satu silang setiap 0,5 m). Kotak **Penanda lantai** (Floor Markers) di Progres / Hasil menampilkan atau menyembunyikannya.### Proses pertama butuh waktu lebih lama — ini normal@@ -122,9 +128,9 @@ terpasang ditampilkan di samping add-on di **Get Extensions**.- **⚙ di samping judul** menampilkan atau menyembunyikan kotak **Penyiapan** (Setup).- **Penyiapan**: bahasa, runtime, SMPL-X, **Perangkat** (Device) (CPU adalahpilihan yang aman), dan **Periksa Lingkungan** (Check Environment).-- **Input**: apa yang mau dianimasikan.+- **Input**: apa yang mau dianimasikan, **Model tubuh** (Body Model, GVHMR), dan **Deteksi tangan** (Detect Hands).- **Progres / Hasil** (Progress / Result): progres, log terbaru, dan setelah proses selesai- **Impor Karakter Hasil** (Import Generated Character), **Buka Folder Output**+ **Impor Karakter Hasil** (Import Generated Character), **Penanda lantai** (Floor Markers), **Buka Folder Output**(Open Output Folder), **Lihat Log Lengkap** (View Full Log).- **Diagnostik** (Diagnostics): tempat bagian tubuh karakter saling masuk(tangan di dalam kepala, lengan bersilang). Sel merah di bilah adalah frame@@ -133,7 +139,7 @@ terpasang ditampilkan di samping add-on di **Get Extensions**.tembus serta seberapa dalam. **Sebelumnya** / **Berikutnya** (Previous /Next) melompat antarmasalah. **Buka Laporan HTML** (Open HTML Report)membuka laporan di browser dengan video sumber di samping karakter (pertama- kali butuh sekitar 15 detik untuk membuatnya).+ kali butuh sekitar 15 detik untuk membuatnya). Karakter berdiri di atas silang lantai yang tetap, satu setiap 0,5 m, supaya terlihat apakah ia meluncur.Add-on ini tersedia dalam 19 bahasa. **Otomatis (ikut Blender / sistem)** (Auto)mengikuti bahasa Blender; ubah di kotak Penyiapan pada **Bahasa Antarmuka** (UI Language).@@ -144,6 +150,7 @@ mengikuti bahasa Blender; ubah di kotak Penyiapan pada **Bahasa Antarmuka** (UI| --- | --- || **Pemasangan runtime gagal** (Runtime installation failed) | Periksa koneksi internetmu lalu klik tombolnya lagi. Log: `~/Motion2MixamoRig/logs/setup.log` || **Model SMPL-X: tidak ada** (SMPL-X model: missing) | Ulangi langkah 4 dan pilih `SMPLX_NEUTRAL.npz` |+| **Model tangan MANO: tidak ada** (MANO hand model: missing) | Nyalakan **Deteksi tangan**, lalu **Pilih model tangan MANO…** dan pilih `MANO_RIGHT.pkl` || **Mixamo FBX tidak valid** (Mixamo FBX invalid) | Unduh lagi karakternya sebagai **FBX Binary**, **T-pose** || **Input berisi lebih dari satu orang** (Input contains multiple people) | Pakai klip yang hanya berisi satu orang || **Tidak ada orang yang terdeteksi di input** (No person was detected in the input) | Pastikan seluruh tubuh terlihat dan pencahayaannya cukup |diff --git a/docs/i18n/user-guide.it.md b/docs/i18n/user-guide.it.mdindex dcf17e0..97afb24 100644--- a/docs/i18n/user-guide.it.md+++ b/docs/i18n/user-guide.it.md@@ -87,9 +87,15 @@ Nel riquadro **Input**:2. **File sorgente** (Source File): la tua clip. Deve mostrare **una solapersona, dalla testa ai piedi nell’inquadratura per tutto il tempo**.3. **FBX del rig Mixamo** (Mixamo Rig FBX): il personaggio del passo 5-4. Fai clic su **Genera movimento** (Generate Motion)+4. **Rileva le mani** (Detect Hands) è spento. Attivalo solo se le dita devono+ muoversi. Poi fai clic su **Scegli il modello della mano MANO…** (Choose MANO+ Hand Model…) e scegli `MANO_RIGHT.pkl`. Quel file si ottiene come SMPL-X:+ registrati su [mano.is.tue.mpg.de](https://mano.is.tue.mpg.de/), scarica+ **Models & Code** e decomprimilo. Il primo passaggio delle mani scarica circa+ **2,7 GB** in più, una sola volta, e dura circa il doppio di un passaggio del solo corpo.+5. Fai clic su **Genera movimento** (Generate Motion)-Al termine, il personaggio animato viene importato automaticamente nella scena.+Al termine, il personaggio animato viene importato automaticamente nella scena. Un piede appoggiato resta dove è atterrato, e la pianta è posata sul pavimento di Blender. Su quel pavimento viene aggiunto un mesh **Segni sul pavimento** (Floor Markers) (una croce ogni 0,5 m). La casella **Segni sul pavimento** (Floor Markers) sotto Avanzamento / Risultato lo mostra o lo nasconde.### La prima esecuzione richiede più tempo — è normale@@ -125,10 +131,10 @@ installata è indicata accanto al componente aggiuntivo in **Get Extensions**.- **⚙ accanto al titolo** mostra o nasconde il riquadro **Configurazione** (Setup).- **Configurazione**: lingua, ambiente, SMPL-X, **dispositivo** (Device; la CPU èla scelta sicura) e **Verifica ambiente** (Check Environment).-- **Input**: cosa animare.+- **Input**: cosa animare, il **Modello del corpo** (Body Model, GVHMR) e **Rileva le mani** (Detect Hands).- **Avanzamento / Risultato** (Progress / Result): avanzamento, log recente e, altermine di un’attività, **Importa il personaggio generato** (Import Generated- Character), **Apri la cartella di output** (Open Output Folder), **Mostra il+ Character), **Segni sul pavimento** (Floor Markers), **Apri la cartella di output** (Open Output Folder), **Mostra illog completo** (View Full Log).- **Diagnostica** (Diagnostics): i punti in cui le parti del corpo delpersonaggio entrano l’una nell’altra (una mano dentro la testa, braccia@@ -138,7 +144,7 @@ installata è indicata accanto al componente aggiuntivo in **Get Extensions**.**Precedente** / **Successivo** (Previous / Next) passano da un problemaall’altro. **Apri il report HTML** (Open HTML Report) apre nel browser unreport con il video sorgente accanto al personaggio (la prima volta la- creazione richiede circa 15 secondi).+ creazione richiede circa 15 secondi). Il personaggio sta su croci fisse del pavimento, una ogni 0,5 m, così si vede se sta scivolando.Il componente aggiuntivo parla 19 lingue. **Automatica (Blender / Sistema)**(Auto) segue la lingua di Blender; puoi cambiarla nel riquadro Configurazione in@@ -150,6 +156,7 @@ Il componente aggiuntivo parla 19 lingue. **Automatica (Blender / Sistema)**| --- | --- || Installazione dell’ambiente non riuscita (Runtime installation failed) | Controlla la connessione a internet e fai di nuovo clic sul pulsante. Log: `~/Motion2MixamoRig/logs/setup.log` || Modello SMPL-X: mancante (SMPL-X model: missing) | Ripeti il passo 4 e scegli `SMPLX_NEUTRAL.npz` |+| Modello della mano MANO: mancante (MANO hand model: missing) | Attiva **Rileva le mani**, poi **Scegli il modello della mano MANO…** e scegli `MANO_RIGHT.pkl` || FBX Mixamo non valido (Mixamo FBX invalid) | Scarica di nuovo il personaggio come **FBX Binary**, **T-pose** || L’input contiene più persone (Input contains multiple people) | Usa una clip con una sola persona || Nessuna persona rilevata nell’input (No person was detected) | Assicurati che il corpo intero sia visibile e ben illuminato |diff --git a/docs/i18n/user-guide.ja.md b/docs/i18n/user-guide.ja.mdindex a8385ce..65af502 100644--- a/docs/i18n/user-guide.ja.md+++ b/docs/i18n/user-guide.ja.md@@ -85,9 +85,14 @@ SMPL-X はアドオンが必要とする無料のボディモデルです。ラ2. **ソースファイル**(Source File):使用するクリップ。**映っているのは一人だけで、最初から最後まで頭からつま先までフレームに収まっている**必要があります。3. **Mixamo リグ FBX**(Mixamo Rig FBX):手順 5 のキャラクター-4. **モーションを生成**(Generate Motion)をクリック+4. **手を検出**(Detect Hands)はオフです。指を動かしたいときだけオンにします。+ そのあと **MANO ハンドモデルを選択…**(Choose MANO Hand Model…)をクリックし、`MANO_RIGHT.pkl` を選びます。+ このファイルは SMPL-X と同じ手順で入手します。[mano.is.tue.mpg.de](https://mano.is.tue.mpg.de/) で登録し、+ **Models & Code** をダウンロードして解凍します。手を初めて処理するときは、さらに約 **2.7 GB** を一度だけ+ ダウンロードし、体だけの実行のおよそ 2 倍の時間がかかります。+5. **モーションを生成**(Generate Motion)をクリック-完了すると、アニメーション付きのキャラクターが自動的にシーンへインポートされます。+完了すると、アニメーション付きのキャラクターが自動的にシーンへインポートされます。着地した足はその位置に留まり、足の裏は Blender の床に置かれます。その床には **床マーカー**(Floor Markers)のメッシュが追加されます(0.5 m ごとの十字)。進行状況 / 結果の **床マーカー**(Floor Markers)チェックボックスで表示と非表示を切り替えます。### 初回実行は時間がかかります(正常です)@@ -122,11 +127,12 @@ SMPL-X はアドオンが必要とする無料のボディモデルです。ラ- **タイトル横の ⚙** で **セットアップ**(Setup)ボックスを表示 / 非表示にします。- **セットアップ**:言語、ランタイム、SMPL-X、**デバイス**(Device。CPU が無難です)、**環境を確認**(Check Environment)。-- **入力**:アニメーションにする素材。+- **入力**:アニメーションにする素材、**ボディモデル**(Body Model。GVHMR)、**手を検出**(Detect Hands)。- **進行状況 / 結果**(Progress / Result):進行状況、最近のログ。ジョブ完了後は**生成したキャラクターをインポート**(Import Generated Character)、+ **床マーカー**(Floor Markers)チェックボックス、**出力フォルダーを開く**(Open Output Folder)、**ログを表示**(View Full Log)。-- **診断**(Diagnostics):キャラクターの体の部位がめり込んでいる箇所(手が頭に入り込む、腕を組んだときに腕同士がめり込むなど)。バーの赤いセルは問題のあるフレームで、クリックするとそこへ移動します。バーの下の三角は現在のフレームを示し、その下にこのフレームでめり込んでいる部位と深さが表示されます。**前へ** / **次へ**(Previous / Next)で問題間を移動します。**HTML レポートを開く**(Open HTML Report)は、元動画とキャラクターを並べたレポートをブラウザで開きます(初回は作成に約 15 秒かかります)。+- **診断**(Diagnostics):キャラクターの体の部位がめり込んでいる箇所(手が頭に入り込む、腕を組んだときに腕同士がめり込むなど)。バーの赤いセルは問題のあるフレームで、クリックするとそこへ移動します。バーの下の三角は現在のフレームを示し、その下にこのフレームでめり込んでいる部位と深さが表示されます。**前へ** / **次へ**(Previous / Next)で問題間を移動します。**HTML レポートを開く**(Open HTML Report)は、元動画とキャラクターを並べたレポートをブラウザで開きます(初回は作成に約 15 秒かかります)。キャラクターは 0.5 m ごとの固定の床十字の上に立ち、滑っているかどうかが見えます。アドオンは 19 言語に対応しています。**自動(Blender / システム)**(Auto (Blender / System))はBlender の言語に従います。セットアップボックスの **UI 言語**(UI Language)で変更できます。@@ -137,6 +143,7 @@ Blender の言語に従います。セットアップボックスの **UI 言語| --- | --- || **ランタイムのインストールに失敗しました**(Runtime installation failed) | インターネット接続を確認し、もう一度ボタンをクリックします。ログ:`~/Motion2MixamoRig/logs/setup.log` || **SMPL-X モデル: 未検出**(SMPL-X model: missing) | 手順 4 をやり直し、`SMPLX_NEUTRAL.npz` を選びます |+| **MANO ハンドモデル: 未検出**(MANO hand model: missing) | **手を検出**をオンにして、**MANO ハンドモデルを選択…**で `MANO_RIGHT.pkl` を選びます || **Mixamo FBX が無効です**(Mixamo FBX invalid) | キャラクターを **FBX Binary**、**T-pose** で再ダウンロードします || **入力に複数人が写っています**(Input contains multiple people) | 一人だけが映ったクリップを使います || **入力から人物を検出できませんでした**(No person was detected in the input) | 全身が映っていて明るいことを確認します |diff --git a/docs/i18n/user-guide.ko.md b/docs/i18n/user-guide.ko.mdindex 1b089d3..18bfde3 100644--- a/docs/i18n/user-guide.ko.md+++ b/docs/i18n/user-guide.ko.md@@ -87,9 +87,14 @@ SMPL-X는 애드온에 필요한 무료 바디 모델입니다. 라이선스상2. **소스 파일** (Source File): 사용할 클립. **처음부터 끝까지 정확히 한 사람이,머리부터 발끝까지 화면 안에** 나와야 합니다.3. **Mixamo 리그 FBX** (Mixamo Rig FBX): 5단계에서 받은 캐릭터-4. **모션 생성** (Generate Motion) 클릭+4. **손 검출** (Detect Hands)은 꺼져 있습니다. 손가락을 움직이고 싶을 때만 켭니다.+ 그다음 **MANO 손 모델 선택…** (Choose MANO Hand Model…)을 눌러 `MANO_RIGHT.pkl`을 고릅니다.+ 이 파일은 SMPL-X와 같은 방법으로 받습니다.+ [mano.is.tue.mpg.de](https://mano.is.tue.mpg.de/)에 등록하고 **Models & Code**를 받아 압축을 풉니다.+ 손을 처음 처리할 때는 약 **2.7 GB**를 한 번 더 받으며, 몸만 돌릴 때의 대략 두 배가 걸립니다.+5. **모션 생성** (Generate Motion) 클릭-작업이 끝나면 애니메이션된 캐릭터가 씬에 자동으로 가져와집니다.+작업이 끝나면 애니메이션된 캐릭터가 씬에 자동으로 가져와집니다. 바닥에 디딘 발은 그 자리에 남고, 발바닥은 Blender 바닥에 놓입니다. 그 바닥에 **바닥 마커** (Floor Markers) 메시가 추가됩니다(0.5 m마다 십자). 진행 / 결과의 **바닥 마커** (Floor Markers) 체크박스로 보이거나 숨깁니다.### 첫 실행은 시간이 더 걸립니다 — 정상입니다@@ -124,15 +129,16 @@ SMPL-X는 애드온에 필요한 무료 바디 모델입니다. 라이선스상- **제목 옆의 ⚙** 버튼으로 **설정** (Setup) 상자를 보이거나 숨깁니다.- **설정**: 언어, 런타임, SMPL-X, **장치** (Device) (CPU가 안전한 선택),그리고 **환경 확인** (Check Environment).-- **입력**: 애니메이션할 대상.+- **입력**: 애니메이션할 대상, **바디 모델** (Body Model, GVHMR), **손 검출** (Detect Hands).- **진행 / 결과** (Progress / Result): 진행 상황, 최근 로그, 그리고 작업 후에는**생성된 캐릭터 가져오기** (Import Generated Character),+ **바닥 마커** (Floor Markers) 체크박스,**출력 폴더 열기** (Open Output Folder), **전체 로그 보기** (View Full Log).- **진단**(Diagnostics): 캐릭터의 신체 부위가 서로 파고든 곳(손이 머리 안으로 들어가거나, 팔짱을 낄 때 팔끼리 겹치는경우 등). 막대의 빨간 칸은 문제가 있는 프레임이며, 클릭하면 그곳으로 이동합니다. 막대 아래의 삼각형은 현재 프레임을 따라가고, 그아래에 이 프레임에서 파고든 부위와 깊이가 표시됩니다. **이전** / **다음**(Previous / Next)으로 문제 사이를이동합니다. **HTML 보고서 열기**(Open HTML Report)는 원본 영상과 캐릭터를 나란히 보여 주는 보고서를 웹- 브라우저에서 엽니다(처음에는 만드는 데 약 15초 걸립니다).+ 브라우저에서 엽니다(처음에는 만드는 데 약 15초 걸립니다). 캐릭터는 0.5 m마다 놓인 고정된 바닥 십자 위에 서 있어서, 미끄러지는지 볼 수 있습니다.애드온은 19개 언어를 지원합니다. **자동 (Blender / 시스템)** (Auto (Blender / System))은Blender의 언어를 따릅니다. **설정** 상자의 **UI 언어** (UI Language)에서 바꿀 수@@ -144,6 +150,7 @@ Blender의 언어를 따릅니다. **설정** 상자의 **UI 언어** (UI Langua| --- | --- || **런타임 설치 실패** (Runtime installation failed) | 인터넷 연결을 확인하고 버튼을 다시 클릭하세요. 로그: `~/Motion2MixamoRig/logs/setup.log` || **SMPL-X 모델: 없음** (SMPL-X model: missing) | 4단계를 다시 진행하고 `SMPLX_NEUTRAL.npz`를 선택하세요 |+| **MANO 손 모델: 없음** (MANO hand model: missing) | **손 검출**을 켠 뒤 **MANO 손 모델 선택…**에서 `MANO_RIGHT.pkl`을 고르세요 || **Mixamo FBX가 올바르지 않습니다** (Mixamo FBX invalid) | 캐릭터를 **FBX Binary**, **T-pose**로 다시 다운로드하세요 || **입력에 여러 사람이 있습니다** (Input contains multiple people) | 한 사람만 나오는 클립을 사용하세요 || **입력에서 사람을 찾지 못했습니다** (No person was detected in the input) | 전신이 보이고 조명이 충분한지 확인하세요 |diff --git a/docs/i18n/user-guide.ne.md b/docs/i18n/user-guide.ne.mdindex 11d960a..43f5f4b 100644--- a/docs/i18n/user-guide.ne.md+++ b/docs/i18n/user-guide.ne.md@@ -86,9 +86,14 @@ SMPL-X एड-अनलाई चाहिने निःशुल्क बड2. **स्रोत फाइल** (Source File): तपाईंको क्लिप। यसमा **ठ्याक्कै एक जना व्यक्ति, पूरैसमय टाउकोदेखि खुट्टासम्म फ्रेमभित्र** देखिनुपर्छ।3. **Mixamo Rig FBX**: चरण 5 को क्यारेक्टर-4. **चाल बनाउनुहोस्** (Generate Motion) क्लिक गर्नुहोस्+4. **हात पत्ता लगाउनुहोस्** (Detect Hands) बन्द छ। औँला चलाउनु पर्दा मात्र खोल्नुहोस्।+ अनि **MANO हात मोडेल छान्नुहोस्…** (Choose MANO Hand Model…) क्लिक गरेर `MANO_RIGHT.pkl` छान्नुहोस्।+ यो फाइल SMPL-X जस्तै लिनुहोस्: [mano.is.tue.mpg.de](https://mano.is.tue.mpg.de/) मा दर्ता हुनुहोस्,+ **Models & Code** डाउनलोड गरेर अनजिप गर्नुहोस्। पहिलो हात रनले थप करिब **2.7 GB** एक पटक डाउनलोड गर्छ,+ र शरीर मात्रको रनभन्दा लगभग दोब्बर समय लाग्छ।+5. **चाल बनाउनुहोस्** (Generate Motion) क्लिक गर्नुहोस्-सकिएपछि, चल्ने क्यारेक्टर स्वतः तपाईंको सिनमा import हुन्छ।+सकिएपछि, चल्ने क्यारेक्टर स्वतः तपाईंको सिनमा import हुन्छ। टेकेको खुट्टा झरेको ठाउँमै रहन्छ, र तलुवा Blender को भुइँमा राखिन्छ। त्यो भुइँमा **भुइँ चिन्ह** (Floor Markers) mesh थपिन्छ (हरेक 0.5 मिटरमा क्रस)। प्रगति / नतिजा मुनिको **भुइँ चिन्ह** (Floor Markers) चेकबक्सले त्यसलाई देखाउँछ वा लुकाउँछ।### पहिलो पटक चलाउँदा बढी समय लाग्छ — यो सामान्य हो@@ -123,9 +128,9 @@ SMPL-X एड-अनलाई चाहिने निःशुल्क बड- **शीर्षकको छेउको ⚙** ले **सेटअप** (Setup) बक्स देखाउँछ वा लुकाउँछ।- **सेटअप**: भाषा, रनटाइम, SMPL-X, **डिभाइस** (Device) (CPU सुरक्षित विकल्प हो), र**वातावरण जाँच्नुहोस्** (Check Environment)।-- **इनपुट**: के एनिमेट गर्ने।+- **इनपुट**: के एनिमेट गर्ने, **शरीर मोडेल** (Body Model, GVHMR), र **हात पत्ता लगाउनुहोस्** (Detect Hands)।- **प्रगति / नतिजा** (Progress / Result): प्रगति, हालको लग, र काम सकिएपछि- **बनाइएको क्यारेक्टर import गर्नुहोस्** (Import Generated Character), **आउटपुट फोल्डर खोल्नुहोस्** (Open Output Folder),+ **बनाइएको क्यारेक्टर import गर्नुहोस्** (Import Generated Character), **भुइँ चिन्ह** (Floor Markers), **आउटपुट फोल्डर खोल्नुहोस्** (Open Output Folder),**पूरा लग हेर्नुहोस्** (View Full Log)।- **निदान** (Diagnostics): क्यारेक्टरका शरीरका भागहरू एकअर्कामा पसेका ठाउँहरू(टाउकोभित्र हात, बाँधिएका पाखुरा)। बारमा रातो कोठा समस्या भएका frame हुन्;@@ -134,7 +139,7 @@ SMPL-X एड-अनलाई चाहिने निःशुल्क बडदेखिन्छ। **अघिल्लो** / **अर्को** (Previous / Next) ले समस्याहरूबीच जान्छ।**HTML रिपोर्ट खोल्नुहोस्** (Open HTML Report) ले वेब ब्राउजरमाक्यारेक्टरसँगै स्रोत भिडियो देखाउने रिपोर्ट खोल्छ (पहिलो पटक बनाउन करिब 15- सेकेन्ड लाग्छ)।+ सेकेन्ड लाग्छ)। क्यारेक्टर हरेक 0.5 मिटरको स्थिर भुइँ क्रसमा उभिन्छ, ताकि चिप्लिरहेको छ कि छैन भनेर देखियोस्।एड-अन 19 भाषामा चल्छ। **स्वतः** (Auto) ले Blender को भाषा पछ्याउँछ; यसलाई**सेटअप** बक्सको **UI भाषा** (UI Language) मा बदल्नुहोस्।@@ -145,6 +150,7 @@ SMPL-X एड-अनलाई चाहिने निःशुल्क बड| --- | --- || **रनटाइम इन्स्टल असफल भयो** (Runtime installation failed) | इन्टरनेट जडान जाँच गरेर बटन फेरि क्लिक गर्नुहोस्। लग: `~/Motion2MixamoRig/logs/setup.log` || **SMPL-X मोडेल: छैन** (SMPL-X model: missing) | चरण 4 फेरि गर्नुहोस् र `SMPLX_NEUTRAL.npz` छान्नुहोस् |+| **MANO हात मोडेल: छैन** (MANO hand model: missing) | **हात पत्ता लगाउनुहोस्** खोल्नुहोस्, अनि **MANO हात मोडेल छान्नुहोस्…** बाट `MANO_RIGHT.pkl` छान्नुहोस् || **Mixamo FBX अमान्य छ** (Mixamo FBX invalid) | क्यारेक्टर फेरि **FBX Binary**, **T-pose** मा डाउनलोड गर्नुहोस् || **इनपुटमा एकभन्दा बढी व्यक्ति छन्** (Input contains multiple people) | एक जना मात्र व्यक्ति भएको क्लिप प्रयोग गर्नुहोस् || **इनपुटमा कुनै व्यक्ति भेटिएन** (No person was detected in the input) | पूरै शरीर देखिने र राम्रो उज्यालो भएको सुनिश्चित गर्नुहोस् |diff --git a/docs/i18n/user-guide.nl.md b/docs/i18n/user-guide.nl.mdindex b87236a..81b8b38 100644--- a/docs/i18n/user-guide.nl.md+++ b/docs/i18n/user-guide.nl.md@@ -85,10 +85,16 @@ In het vak **Invoer** (Input):2. **Bronbestand** (Source File): je clip. Daarin moet **precies één persoon tezien zijn, de hele tijd van top tot teen in beeld**.3. **Mixamo-rig FBX** (Mixamo Rig FBX): het personage uit stap 5-4. Klik op **Beweging genereren** (Generate Motion)+4. **Handen detecteren** (Detect Hands) staat uit. Zet het alleen aan als de vingers+ moeten bewegen. Klik daarna op **MANO-handmodel kiezen…** (Choose MANO Hand Model…)+ en kies `MANO_RIGHT.pkl`. Dat bestand haal je op zoals SMPL-X: registreer op+ [mano.is.tue.mpg.de](https://mano.is.tue.mpg.de/), download **Models & Code** en pak+ het uit. De eerste handgang downloadt eenmalig ongeveer **2,7 GB** extra en duurt+ ongeveer twee keer zo lang als een run met alleen het lichaam.+5. Klik op **Beweging genereren** (Generate Motion)Als het klaar is, wordt het geanimeerde personage automatisch in je scène-geïmporteerd.+geïmporteerd. Een neergezette voet blijft waar hij neerkwam, en de zool staat op de vloer van Blender. Op die vloer komt een mesh **Vloermarkeringen** (Floor Markers) (een kruis elke 0,5 m). Het vakje **Vloermarkeringen** (Floor Markers) onder Voortgang / Resultaat toont of verbergt het.### De eerste run duurt langer — dat is normaal@@ -124,9 +130,9 @@ Je geïnstalleerde versie staat naast de add-on in **Get Extensions**.- **⚙ naast de titel** toont of verbergt het vak **Instellen** (Setup).- **Instellen**: taal, runtime, SMPL-X, **Apparaat** (Device; CPU is de veiligekeuze) en **Omgeving controleren** (Check Environment).-- **Invoer**: wat er geanimeerd moet worden.+- **Invoer**: wat er geanimeerd moet worden, het **Lichaamsmodel** (Body Model, GVHMR) en **Handen detecteren** (Detect Hands).- **Voortgang / Resultaat** (Progress / Result): voortgang, recent log en na een taak- **Gegenereerd personage importeren** (Import Generated Character), **Uitvoermap openen** (Open Output Folder),+ **Gegenereerd personage importeren** (Import Generated Character), **Vloermarkeringen** (Floor Markers), **Uitvoermap openen** (Open Output Folder),**Volledig log bekijken** (View Full Log).- **Diagnose** (Diagnostics): plekken waar lichaamsdelen van het personage inelkaar zitten (een hand in het hoofd, gekruiste armen). Rode cellen in de@@ -135,7 +141,7 @@ Je geïnstalleerde versie staat naast de add-on in **Get Extensions**.delen elkaar doorsnijden en hoe diep. **Vorige** / **Volgende** (Previous /Next) springen tussen problemen. **HTML-rapport openen** (Open HTML Report)opent in de webbrowser een rapport met de bronvideo naast het personage (de- eerste keer duurt het maken ongeveer 15 seconden).+ eerste keer duurt het maken ongeveer 15 seconden). Het personage staat op vaste vloerkruisen, elke 0,5 m één, zodat te zien is of het schuift.De add-on spreekt 19 talen. **Automatisch (Blender / Systeem)** (Auto) volgt de taal van Blender;je wijzigt dit in het vak Instellen onder **Interfacetaal** (UI Language).@@ -146,6 +152,7 @@ je wijzigt dit in het vak Instellen onder **Interfacetaal** (UI Language).| --- | --- || **Installatie van runtime mislukt** (Runtime installation failed) | Controleer je internetverbinding en klik opnieuw op de knop. Log: `~/Motion2MixamoRig/logs/setup.log` || **SMPL-X-model: ontbreekt** (SMPL-X model: missing) | Doe stap 4 opnieuw en kies `SMPLX_NEUTRAL.npz` |+| **MANO-handmodel: ontbreekt** (MANO hand model: missing) | Zet **Handen detecteren** aan, dan **MANO-handmodel kiezen…** en kies `MANO_RIGHT.pkl` || **Mixamo-FBX ongeldig** (Mixamo FBX invalid) | Download het personage opnieuw als **FBX Binary**, **T-pose** || **Invoer bevat meerdere personen** (Input contains multiple people) | Gebruik een clip met maar één persoon || **Geen persoon gevonden in de invoer** (No person was detected in the input) | Zorg dat het hele lichaam zichtbaar en goed belicht is |diff --git a/docs/i18n/user-guide.pl.md b/docs/i18n/user-guide.pl.mdindex c163837..720399d 100644--- a/docs/i18n/user-guide.pl.md+++ b/docs/i18n/user-guide.pl.md@@ -85,10 +85,16 @@ W sekcji **Dane wejściowe** (Input):2. **Plik źródłowy** (Source File): twój klip. Musi pokazywać **dokładnie jednąosobę, od stóp do głów w kadrze przez cały czas**.3. **Postać Mixamo FBX** (Mixamo Rig FBX): postać z kroku 5-4. Kliknij **Generuj ruch** (Generate Motion)+4. **Wykrywaj dłonie** (Detect Hands) jest wyłączone. Włącz je tylko wtedy, gdy+ palce mają się ruszać. Potem kliknij **Wybierz model dłoni MANO…** (Choose MANO+ Hand Model…) i wskaż `MANO_RIGHT.pkl`. Plik bierzesz tak jak SMPL-X: zarejestruj+ się na [mano.is.tue.mpg.de](https://mano.is.tue.mpg.de/), pobierz **Models & Code**+ i rozpakuj. Pierwsze przejście dłoni dociąga jednorazowo około **2,7 GB** i trwa+ mniej więcej dwa razy dłużej niż przebieg samego ciała.+5. Kliknij **Generuj ruch** (Generate Motion)Po zakończeniu animowana postać zostanie automatycznie zaimportowana do-twojej sceny.+twojej sceny. Postawiona stopa zostaje tam, gdzie stanęła, a podeszwa leży na podłodze Blendera. Na tej podłodze dochodzi mesh **Znaczniki podłogi** (Floor Markers) (krzyż co 0,5 m). Pole **Znaczniki podłogi** (Floor Markers) w sekcji Postęp / wynik pokazuje je albo ukrywa.### Pierwsze uruchomienie trwa dłużej — to normalne@@ -123,9 +129,9 @@ jest widoczna obok dodatku w **Get Extensions**.- **⚙ obok tytułu** pokazuje lub ukrywa sekcję **Konfiguracja** (Setup).- **Konfiguracja**: język, środowisko, SMPL-X, urządzenie (**Urządzenie** (Device);CPU to bezpieczny wybór) oraz **Sprawdź środowisko** (Check Environment).-- **Dane wejściowe**: co ma zostać animowane.+- **Dane wejściowe**: co ma zostać animowane, **Model ciała** (Body Model, GVHMR) i **Wykrywaj dłonie** (Detect Hands).- **Postęp / wynik** (Progress / Result): postęp, ostatnie wpisy logu, a po- zakończeniu zadania **Importuj wygenerowaną postać** (Import Generated Character),+ zakończeniu zadania **Importuj wygenerowaną postać** (Import Generated Character), **Znaczniki podłogi** (Floor Markers),**Otwórz folder wyjściowy** (Open Output Folder) i **Pokaż pełny log** (View Full Log).- **Diagnostyka** (Diagnostics): miejsca, w których części ciała postaciwchodzą w siebie (dłoń w głowie, skrzyżowane ręce). Czerwone komórki na@@ -134,7 +140,7 @@ jest widoczna obok dodatku w **Get Extensions**.przenikają i jak głęboko. **Poprzedni** / **Następny** (Previous / Next)przechodzą między problemami. **Otwórz raport HTML** (Open HTML Report)otwiera w przeglądarce raport z wideo źródłowym obok postaci (za pierwszym- razem tworzenie trwa około 15 sekund).+ razem tworzenie trwa około 15 sekund). Postać stoi na stałych krzyżach podłogi, co 0,5 m, żeby było widać, czy się ślizga.Dodatek mówi w 19 językach. **Automatycznie (Blender / system)**(Auto (Blender / System)) podąża za językiem Blendera; zmienisz to w sekcji@@ -146,6 +152,7 @@ Konfiguracja w polu **Język interfejsu** (UI Language).| --- | --- || **Instalacja środowiska nie powiodła się** (Runtime installation failed) | Sprawdź połączenie z internetem i kliknij przycisk jeszcze raz. Log: `~/Motion2MixamoRig/logs/setup.log` || **Model SMPL-X: brak** (SMPL-X model: missing) | Powtórz krok 4 i wskaż `SMPLX_NEUTRAL.npz` |+| **Model dłoni MANO: brak** (MANO hand model: missing) | Włącz **Wykrywaj dłonie**, potem **Wybierz model dłoni MANO…** i wskaż `MANO_RIGHT.pkl` || **Nieprawidłowy plik Mixamo FBX** (Mixamo FBX invalid) | Pobierz postać ponownie jako **FBX Binary**, **T-pose** || **Na nagraniu jest więcej niż jedna osoba** (Input contains multiple people) | Użyj klipu z tylko jedną osobą || **Nie wykryto żadnej osoby** (No person was detected in the input) | Upewnij się, że widać całe ciało i jest dobrze oświetlone |diff --git a/docs/i18n/user-guide.ru.md b/docs/i18n/user-guide.ru.mdindex a95352e..14e61ae 100644--- a/docs/i18n/user-guide.ru.md+++ b/docs/i18n/user-guide.ru.md@@ -85,10 +85,17 @@ SMPL-X — бесплатная модель тела, которая нужна2. **Файл источника** (Source File): ваш ролик. В нём должен быть **ровно один человек,с головы до ног в кадре всё время**.3. **Mixamo Rig FBX**: персонаж из шага 5-4. Нажмите **Сгенерировать движение** (Generate Motion)+4. **Определять кисти** (Detect Hands) выключено. Включайте его, только если+ должны двигаться пальцы. Затем нажмите **Выбрать модель кисти MANO…**+ (Choose MANO Hand Model…) и укажите `MANO_RIGHT.pkl`. Файл берётся так же, как+ SMPL-X: зарегистрируйтесь на+ [mano.is.tue.mpg.de](https://mano.is.tue.mpg.de/), скачайте **Models & Code**+ и распакуйте. Первый проход кистей один раз докачивает около **2,7 ГБ** и+ занимает примерно вдвое больше времени, чем прогон только тела.+5. Нажмите **Сгенерировать движение** (Generate Motion)Когда всё закончится, анимированный персонаж автоматически импортируется в-сцену.+сцену. Опирающаяся стопа остаётся там, где встала, а подошва ставится на пол Blender. На этот пол добавляется меш **Метки на полу** (Floor Markers) (крест каждые 0,5 м). Флажок **Метки на полу** (Floor Markers) в блоке Прогресс / результат показывает или скрывает его.### Первый запуск занимает больше времени — это нормально@@ -123,9 +130,9 @@ SMPL-X — бесплатная модель тела, которая нужна- **⚙ рядом с заголовком** показывает или скрывает блок **Настройка** (Setup).- **Настройка**: язык, среда, SMPL-X, **Устройство** (Device) (CPU — надёжный выбор) и**Проверить среду** (Check Environment).-- **Ввод**: что анимировать.+- **Ввод**: что анимировать, **Модель тела** (Body Model, GVHMR) и **Определять кисти** (Detect Hands).- **Прогресс / результат** (Progress / Result): ход работы, последние строки журнала, а после задачи —- **Импортировать персонажа** (Import Generated Character), **Открыть папку результатов** (Open Output Folder),+ **Импортировать персонажа** (Import Generated Character), **Метки на полу** (Floor Markers), **Открыть папку результатов** (Open Output Folder),**Полный журнал** (View Full Log).- **Диагностика** (Diagnostics): места, где части тела персонажа входят друг вдруга (рука в голове, скрещённые руки). Красные ячейки на полосе — кадры с@@ -134,7 +141,7 @@ SMPL-X — бесплатная модель тела, которая нужна**Назад** / **Вперёд** (Previous / Next) переходят между проблемами.**Открыть HTML-отчёт** (Open HTML Report) открывает в браузере отчёт сисходным видео рядом с персонажем (в первый раз он создаётся около 15- секунд).+ секунд). Персонаж стоит на неподвижных крестах пола, по одному каждые 0,5 м, чтобы было видно, скользит ли он.Аддон говорит на 19 языках. **Авто** (Auto) следует языку Blender; изменить егоможно в блоке **Настройка** в пункте **Язык интерфейса** (UI Language).@@ -145,6 +152,7 @@ SMPL-X — бесплатная модель тела, которая нужна| --- | --- || **Не удалось установить среду** (Runtime installation failed) | Проверьте подключение к интернету и нажмите кнопку ещё раз. Журнал: `~/Motion2MixamoRig/logs/setup.log` || **Модель SMPL-X: нет** (SMPL-X model: missing) | Повторите шаг 4 и выберите `SMPLX_NEUTRAL.npz` |+| **Модель кисти MANO: нет** (MANO hand model: missing) | Включите **Определять кисти**, затем **Выбрать модель кисти MANO…** и укажите `MANO_RIGHT.pkl` || **Некорректный Mixamo FBX** (Mixamo FBX invalid) | Скачайте персонажа заново как **FBX Binary**, **T-pose** || **Во входе несколько людей** (Input contains multiple people) | Используйте ролик только с одним человеком || **Человек во входе не обнаружен** (No person was detected in the input) | Убедитесь, что тело видно целиком и хорошо освещено |diff --git a/docs/i18n/user-guide.th.md b/docs/i18n/user-guide.th.mdindex cae4a58..312e1e1 100644--- a/docs/i18n/user-guide.th.md+++ b/docs/i18n/user-guide.th.md@@ -85,9 +85,14 @@ SMPL-X เป็นโมเดลร่างกายฟรีที่ add-on2. **ไฟล์ต้นฉบับ** (Source File): คลิปของคุณ ซึ่งต้องมี **คนเพียงคนเดียวอยู่ในเฟรมตั้งแต่หัวจรดเท้าตลอดทั้งคลิป**3. **Mixamo Rig FBX**: ตัวละครจากขั้นตอนที่ 5-4. คลิก **สร้างการเคลื่อนไหว** (Generate Motion)+4. **ตรวจจับมือ** (Detect Hands) ปิดอยู่ เปิดเฉพาะเมื่อต้องการให้นิ้วขยับ+ จากนั้นคลิก **เลือกโมเดลมือ MANO…** (Choose MANO Hand Model…) แล้วเลือก `MANO_RIGHT.pkl`+ ไฟล์นี้หาได้แบบเดียวกับ SMPL-X: ลงทะเบียนที่+ [mano.is.tue.mpg.de](https://mano.is.tue.mpg.de/) ดาวน์โหลด **Models & Code** แล้วแตกไฟล์+ การประมวลผลมือครั้งแรกจะดาวน์โหลดเพิ่มประมาณ **2.7 GB** ครั้งเดียว และใช้เวลาประมาณสองเท่าของการรันเฉพาะลำตัว+5. คลิก **สร้างการเคลื่อนไหว** (Generate Motion)-เมื่อเสร็จแล้ว ตัวละครที่เคลื่อนไหวจะถูกนำเข้าสู่ฉากของคุณโดยอัตโนมัติ+เมื่อเสร็จแล้ว ตัวละครที่เคลื่อนไหวจะถูกนำเข้าสู่ฉากของคุณโดยอัตโนมัติ เท้าที่เหยียบพื้นจะอยู่ที่จุดที่ลง และฝ่าเท้าถูกวางบนพื้นของ Blender บนพื้นนั้นจะมีเมช **เครื่องหมายพื้น** (Floor Markers) เพิ่มมา (กากบาททุก 0.5 ม.) ช่อง **เครื่องหมายพื้น** (Floor Markers) ในความคืบหน้า / ผลลัพธ์ ใช้แสดงหรือซ่อนมัน### การรันครั้งแรกจะใช้เวลานานกว่า — เป็นเรื่องปกติ@@ -122,11 +127,11 @@ add-on ใน **Get Extensions**- **⚙ ข้างชื่อแผง** ใช้แสดงหรือซ่อนกล่อง **ตั้งค่า** (Setup)- **ตั้งค่า**: ภาษา รันไทม์ SMPL-X **อุปกรณ์** (Device) (CPU เป็นตัวเลือกที่ปลอดภัย)และ **ตรวจสอบ environment** (Check Environment)-- **อินพุต**: สิ่งที่จะทำให้เคลื่อนไหว+- **อินพุต**: สิ่งที่จะทำให้เคลื่อนไหว, **โมเดลร่างกาย** (Body Model, GVHMR) และ **ตรวจจับมือ** (Detect Hands)- **ความคืบหน้า / ผลลัพธ์** (Progress / Result): ความคืบหน้า บันทึกล่าสุด และหลังจบงาน- จะมี **นำเข้าตัวละครที่สร้าง** (Import Generated Character),+ จะมี **นำเข้าตัวละครที่สร้าง** (Import Generated Character), **เครื่องหมายพื้น** (Floor Markers),**เปิดโฟลเดอร์ผลลัพธ์** (Open Output Folder), **ดูบันทึกทั้งหมด** (View Full Log)-- **การวินิจฉัย** (Diagnostics): จุดที่ส่วนต่าง ๆ ของร่างกายตัวละครทะลุเข้าหากัน (มืออยู่ในหัว แขนไขว้กัน) ช่องสีแดงในแถบคือเฟรมที่มีปัญหา คลิกเพื่อไปยังเฟรมนั้น สามเหลี่ยมใต้แถบจะตามเฟรมปัจจุบัน และด้านล่างแสดงว่าส่วนใดทะลุกันและลึกเท่าใด **ก่อนหน้า** / **ถัดไป** (Previous / Next) ใช้กระโดดระหว่างปัญหา **เปิดรายงาน HTML** (Open HTML Report) จะเปิดรายงานในเว็บเบราว์เซอร์ โดยแสดงวิดีโอต้นฉบับข้างตัวละคร (ครั้งแรกใช้เวลาสร้างประมาณ 15 วินาที)+- **การวินิจฉัย** (Diagnostics): จุดที่ส่วนต่าง ๆ ของร่างกายตัวละครทะลุเข้าหากัน (มืออยู่ในหัว แขนไขว้กัน) ช่องสีแดงในแถบคือเฟรมที่มีปัญหา คลิกเพื่อไปยังเฟรมนั้น สามเหลี่ยมใต้แถบจะตามเฟรมปัจจุบัน และด้านล่างแสดงว่าส่วนใดทะลุกันและลึกเท่าใด **ก่อนหน้า** / **ถัดไป** (Previous / Next) ใช้กระโดดระหว่างปัญหา **เปิดรายงาน HTML** (Open HTML Report) จะเปิดรายงานในเว็บเบราว์เซอร์ โดยแสดงวิดีโอต้นฉบับข้างตัวละคร (ครั้งแรกใช้เวลาสร้างประมาณ 15 วินาที) ตัวละครยืนบนกากบาทพื้นแบบติดที่ ทุก 0.5 ม. เพื่อดูว่ามันกำลังลื่นหรือไม่add-on รองรับ 19 ภาษา **อัตโนมัติ (ตาม Blender / ระบบ)** (Auto (Blender / System))จะใช้ภาษาตาม Blender เปลี่ยนได้ในกล่อง **ตั้งค่า** ที่ **ภาษาของอินเทอร์เฟซ** (UI Language)@@ -137,6 +142,7 @@ add-on รองรับ 19 ภาษา **อัตโนมัติ (ตา| --- | --- || **ติดตั้งรันไทม์ไม่สำเร็จ** (Runtime installation failed) | ตรวจสอบการเชื่อมต่ออินเทอร์เน็ตแล้วคลิกปุ่มอีกครั้ง บันทึก: `~/Motion2MixamoRig/logs/setup.log` || **โมเดล SMPL-X: ไม่พบ** (SMPL-X model: missing) | ทำขั้นตอนที่ 4 อีกครั้งแล้วเลือก `SMPLX_NEUTRAL.npz` |+| **โมเดลมือ MANO: ไม่พบ** (MANO hand model: missing) | เปิด **ตรวจจับมือ** แล้วคลิก **เลือกโมเดลมือ MANO…** และเลือก `MANO_RIGHT.pkl` || **Mixamo FBX ไม่ถูกต้อง** (Mixamo FBX invalid) | ดาวน์โหลดตัวละครใหม่เป็น **FBX Binary**, **T-pose** || **อินพุตมีหลายคน** (Input contains multiple people) | ใช้คลิปที่มีคนเพียงคนเดียว || **ไม่พบคนในอินพุต** (No person was detected in the input) | ตรวจสอบให้เห็นทั้งตัวและมีแสงเพียงพอ |diff --git a/docs/i18n/user-guide.tr.md b/docs/i18n/user-guide.tr.mdindex e2258d9..2db25a8 100644--- a/docs/i18n/user-guide.tr.md+++ b/docs/i18n/user-guide.tr.md@@ -88,10 +88,16 @@ indirmeniz gerekir:2. **Kaynak Dosya** (Source File): klibiniz. Klipte **tam olarak bir kişibulunmalı ve kişi baştan ayağa, sürekli kadrede olmalıdır**.3. **Mixamo Karakter FBX** (Mixamo Rig FBX): 5. adımdaki karakter-4. **Hareket Üret** (Generate Motion) düğmesine tıklayın+4. **Elleri algıla** (Detect Hands) kapalıdır. Yalnızca parmaklar hareket etsin+ istiyorsanız açın. Ardından **MANO el modelini seç…** (Choose MANO Hand Model…)+ düğmesine tıklayıp `MANO_RIGHT.pkl` dosyasını seçin. Bu dosyayı SMPL-X gibi alırsınız:+ [mano.is.tue.mpg.de](https://mano.is.tue.mpg.de/) adresine kaydolun, **Models & Code**+ indirin ve açın. İlk el geçişi bir kez yaklaşık **2,7 GB** daha indirir ve yalnızca+ gövde çalıştırmasının yaklaşık iki katı sürer.+5. **Hareket Üret** (Generate Motion) düğmesine tıklayınİşlem bittiğinde animasyonlu karakter sahnenize otomatik olarak içe-aktarılır.+aktarılır. Yere basan ayak indiği yerde kalır ve taban Blender'ın zeminine oturtulur. O zemine bir **Zemin işaretleri** (Floor Markers) mesh'i eklenir (her 0,5 m'de bir çarpı). İlerleme / Sonuç altındaki **Zemin işaretleri** (Floor Markers) kutusu onu gösterir ya da gizler.### İlk çalıştırma daha uzun sürer — bu normaldir@@ -126,9 +132,9 @@ Güncelleme, indirilmiş modelleri korur; bu yüzden hızlıdır. Kurulu sürüm- **Başlığın yanındaki ⚙** simgesi **Kurulum** (Setup) kutusunu gösterir veya gizler.- **Kurulum**: dil, çalışma ortamı, SMPL-X, cihaz (**Cihaz** (Device); güvenliseçim CPU'dur) ve **Ortamı Denetle** (Check Environment).-- **Girdi**: neyin canlandırılacağı.+- **Girdi**: neyin canlandırılacağı, **Vücut modeli** (Body Model, GVHMR) ve **Elleri algıla** (Detect Hands).- **İlerleme / Sonuç** (Progress / Result): ilerleme, son günlük kayıtları ve bir iş- bittikten sonra **Üretilen Karakteri İçe Aktar** (Import Generated Character),+ bittikten sonra **Üretilen Karakteri İçe Aktar** (Import Generated Character), **Zemin işaretleri** (Floor Markers),**Çıktı Klasörünü Aç** (Open Output Folder), **Tüm Günlüğü Göster** (View Full Log).- **Tanılama** (Diagnostics): karakterin vücut parçalarının birbirinin içinegirdiği yerler (başın içindeki el, kavuşturulmuş kollar). Çubuktaki kırmızı@@ -137,7 +143,7 @@ Güncelleme, indirilmiş modelleri korur; bu yüzden hızlıdır. Kurulu sürümgeçtiği ve ne kadar derin olduğu görünür. **Önceki** / **Sonraki** (Previous/ Next) sorunlar arasında geçiş yapar. **HTML Raporunu Aç** (Open HTMLReport), kaynak videonun karakterin yanında gösterildiği bir raporu web- tarayıcısında açar (ilk seferde oluşturulması yaklaşık 15 saniye sürer).+ tarayıcısında açar (ilk seferde oluşturulması yaklaşık 15 saniye sürer). Karakter, kayıp kaymadığı görülsün diye her 0,5 m'de bir sabit zemin çarpısının üzerinde durur.Eklenti 19 dili destekler. **Otomatik (Blender / Sistem)** (Auto (Blender / System))Blender'ın dilini izler; bunu Kurulum kutusundaki **Arayüz Dili** (UI Language)@@ -149,6 +155,7 @@ ayarından değiştirebilirsiniz.| --- | --- || **Çalışma ortamı kurulumu başarısız** (Runtime installation failed) | İnternet bağlantınızı kontrol edin ve düğmeye yeniden tıklayın. Günlük: `~/Motion2MixamoRig/logs/setup.log` || **SMPL-X modeli: eksik** (SMPL-X model: missing) | 4. adımı tekrarlayın ve `SMPLX_NEUTRAL.npz` dosyasını seçin |+| **MANO el modeli: eksik** (MANO hand model: missing) | **Elleri algıla** seçeneğini açın, sonra **MANO el modelini seç…** ile `MANO_RIGHT.pkl` dosyasını seçin || **Mixamo FBX geçersiz** (Mixamo FBX invalid) | Karakteri **FBX Binary**, **T-pose** olarak yeniden indirin || **Girdide birden fazla kişi var** (Input contains multiple people) | Yalnızca bir kişinin olduğu bir klip kullanın || **Girdide kişi algılanmadı** (No person was detected in the input) | Tüm vücudun görünür ve iyi aydınlatılmış olduğundan emin olun |diff --git a/docs/i18n/user-guide.vi.md b/docs/i18n/user-guide.vi.mdindex b91eddc..4ce6a47 100644--- a/docs/i18n/user-guide.vi.md+++ b/docs/i18n/user-guide.vi.md@@ -85,9 +85,15 @@ Trong khung **Đầu vào** (Input):2. **Tệp nguồn** (Source File): clip của bạn. Clip phải có **đúng một người, lọtkhung từ đầu đến chân trong suốt thời gian**.3. **Mixamo Rig FBX**: nhân vật từ bước 5-4. Nhấp **Tạo chuyển động** (Generate Motion)+4. **Nhận dạng bàn tay** (Detect Hands) đang tắt. Chỉ bật khi bạn muốn các ngón+ cử động. Rồi nhấp **Chọn mô hình bàn tay MANO…** (Choose MANO Hand Model…) và+ chọn `MANO_RIGHT.pkl`. Lấy tệp này giống SMPL-X: đăng ký tại+ [mano.is.tue.mpg.de](https://mano.is.tue.mpg.de/), tải **Models & Code** và giải nén.+ Lần chạy bàn tay đầu tiên tải thêm khoảng **2.7 GB**, một lần, và mất khoảng gấp đôi+ thời gian so với lần chỉ chạy thân người.+5. Nhấp **Tạo chuyển động** (Generate Motion)-Khi hoàn tất, nhân vật có hoạt ảnh sẽ tự động được nhập vào cảnh của bạn.+Khi hoàn tất, nhân vật có hoạt ảnh sẽ tự động được nhập vào cảnh của bạn. Bàn chân đã đặt xuống đứng yên tại chỗ đáp, và lòng bàn chân nằm trên sàn của Blender. Trên sàn đó có thêm một mesh **Mốc sàn** (Floor Markers) (một dấu cộng mỗi 0,5 m). Ô **Mốc sàn** (Floor Markers) trong Tiến trình / Kết quả dùng để hiện hoặc ẩn nó.### Lần chạy đầu tiên lâu hơn — điều này là bình thường@@ -122,9 +128,9 @@ hiển thị bên cạnh add-on trong **Get Extensions**.- **⚙ cạnh tiêu đề** hiện hoặc ẩn khung **Thiết lập** (Setup).- **Thiết lập**: ngôn ngữ, runtime, SMPL-X, **Thiết bị** (Device) (CPU là lựachọn an toàn), và **Kiểm tra môi trường** (Check Environment).-- **Đầu vào**: thứ cần tạo hoạt ảnh.+- **Đầu vào**: thứ cần tạo hoạt ảnh, **Mô hình cơ thể** (Body Model, GVHMR) và **Nhận dạng bàn tay** (Detect Hands).- **Tiến trình / Kết quả** (Progress / Result): tiến trình, nhật ký gần đây, và- sau mỗi tác vụ là **Nhập nhân vật đã tạo** (Import Generated Character),+ sau mỗi tác vụ là **Nhập nhân vật đã tạo** (Import Generated Character), **Mốc sàn** (Floor Markers),**Mở thư mục đầu ra** (Open Output Folder), **Xem toàn bộ nhật ký** (View Full Log).- **Chẩn đoán** (Diagnostics): những chỗ các bộ phận cơ thể của nhân vật đâmvào nhau (tay nằm trong đầu, hai tay khoanh lại). Ô đỏ trên thanh là khung@@ -132,7 +138,7 @@ hiển thị bên cạnh add-on trong **Get Extensions**.hình hiện tại, bên dưới là các bộ phận đang giao cắt và độ sâu. **Trước** /**Tiếp** (Previous / Next) nhảy giữa các vấn đề. **Mở báo cáo HTML** (OpenHTML Report) mở trong trình duyệt một báo cáo có video nguồn bên cạnh nhân- vật (lần đầu mất khoảng 15 giây để tạo).+ vật (lần đầu mất khoảng 15 giây để tạo). Nhân vật đứng trên các dấu cộng sàn cố định, mỗi 0,5 m một dấu, để xem nó có đang trượt hay không.Add-on hỗ trợ 19 ngôn ngữ. **Tự động (theo Blender / hệ thống)** (Auto (Blender / System))đi theo ngôn ngữ của Blender; bạn có thể đổi trong khung **Thiết lập**, tại@@ -144,6 +150,7 @@ Add-on hỗ trợ 19 ngôn ngữ. **Tự động (theo Blender / hệ thống)**| --- | --- || **Cài runtime thất bại** (Runtime installation failed) | Kiểm tra kết nối internet và nhấp lại nút. Nhật ký: `~/Motion2MixamoRig/logs/setup.log` || **Mô hình SMPL-X: thiếu** (SMPL-X model: missing) | Làm lại bước 4 và chọn `SMPLX_NEUTRAL.npz` |+| **Mô hình bàn tay MANO: thiếu** (MANO hand model: missing) | Bật **Nhận dạng bàn tay**, rồi **Chọn mô hình bàn tay MANO…** và chọn `MANO_RIGHT.pkl` || **Mixamo FBX không hợp lệ** (Mixamo FBX invalid) | Tải lại nhân vật dưới dạng **FBX Binary**, **T-pose** || **Đầu vào có nhiều người** (Input contains multiple people) | Dùng clip chỉ có một người || **Không phát hiện người nào trong đầu vào** (No person was detected in the input) | Đảm bảo toàn thân hiện rõ và đủ sáng |diff --git a/docs/i18n/user-guide.zh-Hans.md b/docs/i18n/user-guide.zh-Hans.mdindex 956bbef..cb4e1d9 100644--- a/docs/i18n/user-guide.zh-Hans.md+++ b/docs/i18n/user-guide.zh-Hans.md@@ -83,9 +83,16 @@ SMPL-X 是插件需要的一个免费人体模型。它的许可证不允许我2. **来源文件**(Source File):你的视频片段。画面里必须**只有一个人,而且从头到脚始终完整入镜**。3. **Mixamo 角色 FBX**(Mixamo Rig FBX):第 5 步下载的角色-4. 点击 **生成动作**(Generate Motion)+4. **检测手部**(Detect Hands)默认关着。只有想让手指跟着动时才打开。+ 然后点 **选择 MANO 手部模型…**(Choose MANO Hand Model…),选中 `MANO_RIGHT.pkl`。+ 这个文件和 SMPL-X 一样要自己下载:在+ [mano.is.tue.mpg.de](https://mano.is.tue.mpg.de/) 注册,下载 **Models & Code**,+ 解压后找到它。第一次跑手部会再下载约 **2.7 GB**,只下这一次,耗时大约是只跑身体的两倍。+5. 点击 **生成动作**(Generate Motion)-完成后,带动画的角色会自动导入到你的场景里。+完成后,带动画的角色会自动导入到你的场景里。踩实的那只脚会停在落点上,+脚底板贴在 Blender 的地面上。地面上会多一个 **Floor Markers** 网格+(每 0.5 米一个十字)。进度 / 结果里的 **地面标记**(Floor Markers)勾选框用来显示或隐藏它。### 首次运行会比较久,属于正常现象@@ -119,11 +126,11 @@ SMPL-X 是插件需要的一个免费人体模型。它的许可证不允许我- **标题旁的 ⚙** 用来显示或隐藏 **设置**(Setup)框。- **设置**:语言、运行环境、SMPL-X、**设备**(Device,选 CPU 最稳妥),以及**检查环境**(Check Environment)。-- **输入**:要做成动画的素材。+- **输入**:要做成动画的素材、**身体模型**(Body Model,目前是 GVHMR),以及 **检测手部**(Detect Hands)。- **进度 / 结果**(Progress / Result):进度、最近的日志;任务完成后还有- **导入生成的角色**(Import Generated Character)、**打开输出文件夹**(Open Output Folder)、- **查看完整日志**(View Full Log)。-- **诊断**(Diagnostics):角色身体部位互相穿插的地方(比如手插进头里、双臂交叉时穿进去)。条上的红格是有问题的帧,点一下就跳过去。条下面的三角跟着当前帧走,再下面列出这一帧哪些部位穿插、有多深。**上一个问题** / **下一个问题**(Previous / Next)在问题之间跳转。**打开 HTML 报告**(Open HTML Report)会在浏览器里打开一份报告,原视频和角色并排显示(第一次要生成,大约 15 秒)。+ **导入生成的角色**(Import Generated Character)、**地面标记**(Floor Markers)勾选框、+ **打开输出文件夹**(Open Output Folder)、**查看完整日志**(View Full Log)。+- **诊断**(Diagnostics):角色身体部位互相穿插的地方(比如手插进头里、双臂交叉时穿进去)。条上的红格是有问题的帧,点一下就跳过去。条下面的三角跟着当前帧走,再下面列出这一帧哪些部位穿插、有多深。**上一个问题** / **下一个问题**(Previous / Next)在问题之间跳转。**打开 HTML 报告**(Open HTML Report)会在浏览器里打开一份报告,原视频和角色并排显示(第一次要生成,大约 15 秒)。角色站在固定的地面十字上,每 0.5 米一个,用来看它有没有在滑。插件支持 19 种语言。**自动(跟随 Blender / 系统)**(Auto (Blender / System))会跟随Blender 的语言;可以在设置框的 **界面语言**(UI Language)里修改。@@ -134,6 +141,7 @@ Blender 的语言;可以在设置框的 **界面语言**(UI Language)里| --- | --- || **运行环境安装失败**(Runtime installation failed) | 检查网络连接,然后再点一次按钮。日志:`~/Motion2MixamoRig/logs/setup.log` || **SMPL-X 模型:缺失**(SMPL-X model: missing) | 重新做第 4 步,选中 `SMPLX_NEUTRAL.npz` |+| **MANO 手部模型:缺失**(MANO hand model: missing) | 打开 **检测手部**,再点 **选择 MANO 手部模型…**,选中 `MANO_RIGHT.pkl` || **Mixamo FBX 无效**(Mixamo FBX invalid) | 重新下载角色,格式选 **FBX Binary**,姿势选 **T-pose** || **输入里有多个人**(Input contains multiple people) | 换一段只有一个人的片段 || **输入里没有检测到人**(No person was detected in the input) | 确保全身可见、光线充足 |diff --git a/docs/i18n/user-guide.zh-Hant.md b/docs/i18n/user-guide.zh-Hant.mdindex 7a478b4..8c70d1d 100644--- a/docs/i18n/user-guide.zh-Hant.md+++ b/docs/i18n/user-guide.zh-Hant.md@@ -83,9 +83,14 @@ SMPL-X 是外掛需要的一個免費人體模型。它的授權不允許我們2. **來源檔案**(Source File):你的影片片段。畫面中必須**只有一個人,而且從頭到腳全程完整入鏡**。3. **Mixamo 角色 FBX**(Mixamo Rig FBX):第 5 步下載的角色-4. 點選 **產生動作**(Generate Motion)+4. **偵測手部**(Detect Hands)預設關著。只有想讓手指跟著動時才打開。+ 然後點 **選擇 MANO 手部模型…**(Choose MANO Hand Model…),選中 `MANO_RIGHT.pkl`。+ 這個檔案和 SMPL-X 一樣要自己下載:在+ [mano.is.tue.mpg.de](https://mano.is.tue.mpg.de/) 註冊,下載 **Models & Code**,+ 解壓後找到它。第一次跑手部會再下載約 **2.7 GB**,只下這一次,耗時大約是只跑身體的兩倍。+5. 點選 **產生動作**(Generate Motion)-完成後,帶有動畫的角色會自動匯入你的場景。+完成後,帶有動畫的角色會自動匯入你的場景。踩實的那隻腳會停在落點上,腳底板貼在 Blender 的地面上。地面上會多一個 **Floor Markers** 網格(每 0.5 公尺一個十字)。進度 / 結果裡的 **地面標記**(Floor Markers)勾選框用來顯示或隱藏它。### 首次執行會比較久,這是正常的@@ -119,11 +124,11 @@ SMPL-X 是外掛需要的一個免費人體模型。它的授權不允許我們- **標題旁的 ⚙** 用來顯示或隱藏 **設定**(Setup)區塊。- **設定**:語言、執行環境、SMPL-X、**裝置**(Device,選 CPU 最保險),以及**檢查環境**(Check Environment)。-- **輸入**:要製作成動畫的素材。+- **輸入**:要製作成動畫的素材、**身體模型**(Body Model,目前是 GVHMR),以及 **偵測手部**(Detect Hands)。- **進度 / 結果**(Progress / Result):進度、最近的記錄;工作完成後還有- **匯入產生的角色**(Import Generated Character)、**開啟輸出資料夾**(Open Output Folder)、+ **匯入產生的角色**(Import Generated Character)、**地面標記**(Floor Markers)勾選框、**開啟輸出資料夾**(Open Output Folder)、**檢視完整記錄**(View Full Log)。-- **診斷**(Diagnostics):角色身體部位互相穿插的地方(例如手穿進頭裡、雙臂交叉時穿進去)。條上的紅格是有問題的影格,點一下就會跳過去。條下方的三角形跟著目前影格移動,再下方列出這一格有哪些部位穿插、深度多少。**上一個問題** / **下一個問題**(Previous / Next)可在問題之間跳轉。**開啟 HTML 報告**(Open HTML Report)會在瀏覽器中開啟報告,原始影片與角色並排顯示(第一次需要產生,大約 15 秒)。+- **診斷**(Diagnostics):角色身體部位互相穿插的地方(例如手穿進頭裡、雙臂交叉時穿進去)。條上的紅格是有問題的影格,點一下就會跳過去。條下方的三角形跟著目前影格移動,再下方列出這一格有哪些部位穿插、深度多少。**上一個問題** / **下一個問題**(Previous / Next)可在問題之間跳轉。**開啟 HTML 報告**(Open HTML Report)會在瀏覽器中開啟報告,原始影片與角色並排顯示(第一次需要產生,大約 15 秒)。角色站在固定的地面十字上,每 0.5 公尺一個,用來看它有沒有在滑。外掛支援 19 種語言。**自動(跟隨 Blender / 系統)**(Auto (Blender / System))會跟隨Blender 的語言;可以在設定區塊的 **介面語言**(UI Language)中變更。@@ -134,6 +139,7 @@ Blender 的語言;可以在設定區塊的 **介面語言**(UI Language)| --- | --- || **執行環境安裝失敗**(Runtime installation failed) | 檢查網路連線,然後再點一次按鈕。記錄檔:`~/Motion2MixamoRig/logs/setup.log` || **SMPL-X 模型:缺少**(SMPL-X model: missing) | 重新執行第 4 步,選擇 `SMPLX_NEUTRAL.npz` |+| **MANO 手部模型:缺少**(MANO hand model: missing) | 打開 **偵測手部**,再點 **選擇 MANO 手部模型…**,選中 `MANO_RIGHT.pkl` || **Mixamo FBX 無效**(Mixamo FBX invalid) | 重新下載角色,格式選 **FBX Binary**,姿勢選 **T-pose** || **輸入中有多個人**(Input contains multiple people) | 改用只有一個人的片段 || **輸入中沒有偵測到人**(No person was detected in the input) | 確認全身入鏡且光線充足 |diff --git a/docs/user-guide.md b/docs/user-guide.mdindex e0d0939..03df8f1 100644--- a/docs/user-guide.md+++ b/docs/user-guide.md@@ -86,10 +86,19 @@ In the **Input** box:2. **Source File**: your clip. It must show **exactly one person, head to toein frame the whole time**.3. **Mixamo Rig FBX**: the character from step 5-4. Click **Generate Motion**+4. **Detect Hands** is off. Turn it on only when you want the fingers to move.+ Then click **Choose MANO Hand Model…** and pick `MANO_RIGHT.pkl`. Get that+ file the same way as SMPL-X: register at+ [mano.is.tue.mpg.de](https://mano.is.tue.mpg.de/), download **Models & Code**,+ and unzip it. The first hand run downloads about **2.7 GB** more, once, and+ takes about twice as long as a body-only run.+5. Click **Generate Motion**When it finishes, the animated character is imported into your scene-automatically.+automatically. A planted foot stays where it landed, and the sole is set on+Blender's floor. A **Floor Markers** mesh is added on that floor (a cross+every 0.5 m). The **Floor Markers** checkbox under Progress / Result shows or+hides it.### The first run takes longer — this is normal@@ -124,16 +133,18 @@ shown next to the add-on in **Get Extensions**.- **⚙ next to the title** shows or hides the **Setup** box.- **Setup**: language, runtime, SMPL-X, device (CPU is the safe choice), and**Check Environment**.-- **Input**: what to animate.+- **Input**: what to animate, **Body Model** (GVHMR), and **Detect Hands**.- **Progress / Result**: progress, recent log, and after a job- **Import Generated Character**, **Open Output Folder**, **View Full Log**.+ **Import Generated Character**, the **Floor Markers** checkbox,+ **Open Output Folder**, **View Full Log**.- **Diagnostics**: where the character's body parts go into each other (ahand inside the head, crossed arms). Red cells in the bar are frames with aproblem; click one to go there. The triangle under the bar follows thecurrent frame, and below it are the parts that intersect and how deep.**Previous** / **Next** jump between problems. **Open HTML Report** opens areport in your web browser with the source video beside the character (the- first time it takes about 15 seconds to build).+ first time it takes about 15 seconds to build). The character stands on+ fixed floor crosses, one every 0.5 m, so you can see whether it is sliding.The add-on speaks 19 languages. **Auto** follows Blender's language; change itin the Setup box under **UI Language**.@@ -144,6 +155,7 @@ in the Setup box under **UI Language**.| --- | --- || Runtime installation failed | Check your internet connection and click the button again. Log: `~/Motion2MixamoRig/logs/setup.log` || SMPL-X model: missing | Do step 4 again and pick `SMPLX_NEUTRAL.npz` |+| MANO hand model: missing | Turn on **Detect Hands**, then **Choose MANO Hand Model…** and pick `MANO_RIGHT.pkl` || Mixamo FBX invalid | Download the character again as **FBX Binary**, **T-pose** || Input contains multiple people | Use a clip with only one person || No person was detected | Make sure the whole body is visible and well lit |