Retarget human motion from video to an Adobe Mixamo-rigged 3D character.
Motion2MixamoRig สำหรับ Blender — คู่มือการใช้งาน
简体中文 · 繁體中文 · English · 한국어 · 日本語 · Deutsch · Русский · العربية · Tiếng Việt · Filipino · ไทย · Français · Español · Türkçe · नेपाली · Bahasa Indonesia · Polski · Nederlands · Italiano · Português (Brasil) · Українська · Čeština · हिन्दी · Svenska
เปลี่ยนวิดีโอของคนหนึ่งคนให้เป็นตัวละคร Mixamo ที่เคลื่อนไหวได้ ภายใน Blender ไม่ต้องเขียนโค้ดหรือใช้เทอร์มินัล
ตอนนี้ทดสอบแล้วบน macOS (Apple Silicon) เท่านั้น Windows กำลังจะมา
สิ่งที่ต้องมี
- Blender 4.2 ขึ้นไป
- การเชื่อมต่ออินเทอร์เน็ต สำหรับการตั้งค่าครั้งแรก
- พื้นที่ดิสก์ว่างประมาณ 8 GB (รันไทม์ ~1.3 GB + โมเดล ~5.6 GB)
- บัญชี SMPL-X ฟรี และ บัญชี Adobe ฟรี (สำหรับ Mixamo) ดูขั้นตอนที่ 4 และ 5
1. ดาวน์โหลด add-on
ไปที่ รีลีสล่าสุด แล้วดาวน์โหลดไฟล์ zip ที่ตรงกับคอมพิวเตอร์ของคุณ:
| คอมพิวเตอร์ของคุณ | ไฟล์ |
|---|---|
| Mac ที่ใช้ Apple Silicon (M1/M2/M3/M4) | motion2mixamorig-<version>-macos-arm64.zip |
| Windows | เร็วๆ นี้ |
ตัวอย่างเช่น motion2mixamorig-0.1.8-macos-arm64.zip: 0.1.8 คือเวอร์ชันของ
add-on และ macos-arm64 คือแพลตฟอร์ม ถ้าเลือกผิดไฟล์ Blender จะไม่ยอมติดตั้ง
และจะบอกแพลตฟอร์มที่ต้องการ
อย่า แตกไฟล์ zip เพราะ Blender ติดตั้งไฟล์ zip เองได้
2. ติดตั้งใน Blender
- Edit → Preferences → Get Extensions
- คลิก ∨ เล็ก ๆ ที่มุมขวาบน → Install from Disk…
- เลือกไฟล์ zip แล้ว Motion2MixamoRig จะปรากฏในรายการโดยเปิดใช้งานอยู่
- ปิด Preferences จากนั้นใน 3D Viewport กด N แล้วคลิกแท็บ Motion2MixamoRig ทางด้านขวา
3. ติดตั้งรันไทม์ (ครั้งเดียว)
ในแผง คลิก ติดตั้งรันไทม์ (คลิกเดียว) (Install Runtime (one click))
add-on จะดาวน์โหลด Python และไลบรารีของตัวเอง (1.4 GB) ไว้ใน
`/Motion2MixamoRig/` โดยไม่แตะต้องส่วนอื่นในคอมพิวเตอร์ของคุณ ขั้นตอนนี้ใช้เวลา
ไม่กี่นาที แถบความคืบหน้าจะแสดงขั้นตอนปัจจุบัน
4. ดาวน์โหลดโมเดลร่างกาย SMPL-X
SMPL-X เป็นโมเดลร่างกายฟรีที่ add-on ต้องใช้ แต่สัญญาอนุญาตของมันไม่อนุญาตให้เรา แจกจ่ายไปพร้อมกัน คุณจึงต้องดาวน์โหลดเองหนึ่งครั้ง:
- เปิด smpl-x.is.tue.mpg.de แล้ว Register ยอมรับสัญญาอนุญาตและยืนยันอีเมล
- เข้าสู่ระบบ เปิด Download แล้วดาวน์โหลดโมเดล SMPL-X (เวอร์ชัน NPZ)
- แตกไฟล์แล้วหา
SMPLX_NEUTRAL.npz - ใน Blender คลิก เลือกโมเดล SMPL-X… (Choose SMPL-X Model…) แล้วเลือกไฟล์นั้น จากนั้นแผงจะแสดง โมเดล SMPL-X: พบแล้ว (SMPL-X model: found)
5. ดาวน์โหลดตัวละคร Mixamo
- เปิด mixamo.com แล้วเข้าสู่ระบบด้วยบัญชี Adobe
- แท็บ Characters → เลือกตัวละคร (เช่น Y Bot)
- Download → Format FBX Binary (.fbx), Pose T-pose → Download
6. สร้างการเคลื่อนไหว
ในกล่อง อินพุต (Input):
- ประเภทต้นฉบับ (Source Type): วิดีโอ (หรือภาพ สำหรับท่าทางเดียว)
- ไฟล์ต้นฉบับ (Source File): คลิปของคุณ ซึ่งต้องมี คนเพียงคนเดียว อยู่ในเฟรมตั้งแต่หัวจรดเท้าตลอดทั้งคลิป
- Mixamo Rig FBX: ตัวละครจากขั้นตอนที่ 5
- ตรวจจับมือ (Detect Hands) ปิดอยู่ เปิดเฉพาะเมื่อต้องการให้นิ้วขยับ
จากนั้นคลิก เลือกโมเดลมือ MANO… (Choose MANO Hand Model…) แล้วเลือก
MANO_RIGHT.pklไฟล์นี้หาได้แบบเดียวกับ SMPL-X: ลงทะเบียนที่ mano.is.tue.mpg.de ดาวน์โหลด Models & Code แล้วแตกไฟล์ การประมวลผลมือครั้งแรกจะดาวน์โหลดเพิ่มประมาณ 2.7 GB ครั้งเดียว และใช้เวลาประมาณสองเท่าของการรันเฉพาะลำตัว เมื่อเปิด จะมี Finger Smoothing (seconds) ปรากฏขึ้น ใช้ทำให้การเคลื่อนไหวนิ้วลื่นขึ้น ค่าเริ่มต้นคือ 0.08 วินาที ค่า 0 จะคงผลที่ตรวจจับได้ไว้ - คลิก สร้างการเคลื่อนไหว (Generate Motion)
เมื่อเสร็จแล้ว ตัวละครที่เคลื่อนไหวจะถูกนำเข้าสู่ฉากของคุณโดยอัตโนมัติ เท้าที่เหยียบพื้นจะอยู่ที่จุดที่ลง และฝ่าเท้าถูกวางบนพื้นของ Blender บนพื้นนั้นจะมีเมช เครื่องหมายพื้น (Floor Markers) เพิ่มมา (กากบาททุก 0.5 ม.) ช่อง เครื่องหมายพื้น (Floor Markers) ในความคืบหน้า / ผลลัพธ์ ใช้แสดงหรือซ่อนมัน
การรันครั้งแรกจะใช้เวลานานกว่า — เป็นเรื่องปกติ
ในครั้งแรก add-on จะดาวน์โหลดโมเดลประมาณ 5.6 GB แผงจะแสดงขนาดดาวน์โหลด ความเร็ว และเวลาที่เหลือ โมเดลจะดาวน์โหลดเพียงครั้งเดียว
หลังจากนั้น วิดีโอจะถูกประมวลผลบนคอมพิวเตอร์ของคุณ บน CPU ของ Mac คลิปยาว 10 วินาทีใช้เวลาไม่กี่นาที ระหว่างนั้นยังใช้ Blender ได้ตามปกติ และ ยกเลิก (Cancel) จะหยุดงาน
เคล็ดลับเพื่อผลลัพธ์ที่ดี
- มีคนเดียว เห็นทั้งตัว ไม่ถูกตัดที่ขอบเฟรม
- กล้องนิ่ง แสงดี เสื้อผ้าเรียบ ๆ แทนเสื้อผ้าหลวมหรือพลิ้วไหว
- คลิปสั้น (5–20 วินาที) ลองได้เร็วกว่า เหมาะสำหรับเริ่มต้น
อัปเดตเป็นเวอร์ชันใหม่
add-on มีการอัปเดตบ่อย วิธีอัปเดต:
- ดาวน์โหลดไฟล์ zip ล่าสุดจาก รีลีสล่าสุด
- Get Extensions → ลบ Motion2MixamoRig ตัวเก่า ปิด Blender ให้สนิท (Cmd+Q) เปิดใหม่ แล้วติดตั้งไฟล์ zip ใหม่
- ในแผง คลิก อัปเดตรันไทม์ (Update Runtime)
การอัปเดตจะเก็บโมเดลที่ดาวน์โหลดไว้ จึงเสร็จเร็ว เวอร์ชันที่ติดตั้งอยู่จะแสดงข้าง add-on ใน Get Extensions
แผง
- ⚙ ข้างชื่อแผง ใช้แสดงหรือซ่อนกล่อง ตั้งค่า (Setup)
- ตั้งค่า: ภาษา รันไทม์ SMPL-X อุปกรณ์ (Device) (CPU เป็นตัวเลือกที่ปลอดภัย) และ ตรวจสอบ environment (Check Environment)
- อินพุต: สิ่งที่จะทำให้เคลื่อนไหว, โมเดลร่างกาย (Body Model, GVHMR) และ ตรวจจับมือ (Detect Hands)
- ความคืบหน้า / ผลลัพธ์ (Progress / Result): ความคืบหน้า บันทึกล่าสุด และหลังจบงาน จะมี นำเข้าตัวละครที่สร้าง (Import Generated Character), เครื่องหมายพื้น (Floor Markers), เปิดโฟลเดอร์ผลลัพธ์ (Open Output Folder), ดูบันทึกทั้งหมด (View Full Log)
- การวินิจฉัย (Diagnostics): จุดที่ส่วนต่าง ๆ ของร่างกายตัวละครทะลุเข้าหากัน (มืออยู่ในหัว แขนไขว้กัน) ช่องสีแดงในแถบคือเฟรมที่มีปัญหา คลิกเพื่อไปยังเฟรมนั้น สามเหลี่ยมใต้แถบจะตามเฟรมปัจจุบัน และด้านล่างแสดงว่าส่วนใดทะลุกันและลึกเท่าใด ก่อนหน้า / ถัดไป (Previous / Next) ใช้กระโดดระหว่างปัญหา เปิดรายงาน HTML (Open HTML Report) จะเปิดรายงานในเว็บเบราว์เซอร์ โดยแสดงวิดีโอต้นฉบับข้างตัวละคร (ครั้งแรกใช้เวลาสร้างประมาณ 15 วินาที) วิดีโอต้นฉบับต้องมี ffmpeg บนคอมพิวเตอร์ (บน Mac:
brew install ffmpeg) ถ้าไม่มี ตัวละครยังอยู่ แต่วิดีโอข้าง ๆ จะว่าง ตัวละครยืนบนกากบาทพื้นแบบติดที่ ทุก 0.5 ม. เพื่อดูว่ามันกำลังลื่นหรือไม่ เลนสีอำพันเหนือแทร็กสีแดงใช้จดสิ่งที่คุณเห็นด้วยตา รายการ Notes ทางขวาแสดงรายการเหล่านี้ คลิกแถวหนึ่งเพื่อกระโดดไปที่นั่น Download notes บันทึกโน้ตเหล่านี้พร้อมเวลาที่ทะลุกัน ไฟล์ใช้ชื่อของวิดีโอต้นฉบับ
add-on รองรับ 19 ภาษา อัตโนมัติ (ตาม Blender / ระบบ) (Auto (Blender / System)) จะใช้ภาษาตาม Blender เปลี่ยนได้ในกล่อง ตั้งค่า ที่ ภาษาของอินเทอร์เฟซ (UI Language)
หากเกิดปัญหา
| สิ่งที่เห็น | สิ่งที่ต้องทำ |
|---|---|
| ติดตั้งรันไทม์ไม่สำเร็จ (Runtime installation failed) | ตรวจสอบการเชื่อมต่ออินเทอร์เน็ตแล้วคลิกปุ่มอีกครั้ง บันทึก: ~/Motion2MixamoRig/logs/setup.log |
| โมเดล SMPL-X: ไม่พบ (SMPL-X model: missing) | ทำขั้นตอนที่ 4 อีกครั้งแล้วเลือก SMPLX_NEUTRAL.npz |
| โมเดลมือ MANO: ไม่พบ (MANO hand model: missing) | เปิด ตรวจจับมือ แล้วคลิก เลือกโมเดลมือ MANO… และเลือก MANO_RIGHT.pkl |
| Mixamo FBX ไม่ถูกต้อง (Mixamo FBX invalid) | ดาวน์โหลดตัวละครใหม่เป็น FBX Binary, T-pose |
| อินพุตมีหลายคน (Input contains multiple people) | ใช้คลิปที่มีคนเพียงคนเดียว |
| ไม่พบคนในอินพุต (No person was detected in the input) | ตรวจสอบให้เห็นทั้งตัวและมีแสงเพียงพอ |
| โปรเซสของ pipeline ปิดตัวโดยไม่คาดคิด (Pipeline process exited unexpectedly) | คลิก ดูบันทึกทั้งหมด |
เมื่อขอความช่วยเหลือ ให้แนบไฟล์บันทึกและแจ้งเวอร์ชัน add-on ที่คุณใช้
ถอนการติดตั้ง
- Get Extensions → ลบ Motion2MixamoRig
- ลบโฟลเดอร์
~/Motion2MixamoRig(โฮมโฟลเดอร์ของคุณ →Motion2MixamoRig) การลบ add-on ไม่ได้ ลบโฟลเดอร์นี้ไปด้วย และโฟลเดอร์นี้มีรันไทม์และโมเดลราว 7 GB รวมถึงผลลัพธ์ที่คุณสร้างไว้ในapp/outputs/
สัญญาอนุญาต
Motion2MixamoRig ใช้ได้ เฉพาะเพื่อวัตถุประสงค์ที่ไม่ใช่เชิงพาณิชย์เท่านั้น
เพราะอาศัยโมเดลงานวิจัย (เช่น GVHMR และ SMPL-X) ซึ่งสัญญาอนุญาตไม่อนุญาตให้ใช้
เชิงพาณิชย์ ดู NOTICE.md