Skip to content

Retarget human motion from video to an Adobe Mixamo-rigged 3D character.

Python
17.4 KB
Raw Blame

Motion2MixamoRig สำหรับ Blender — คู่มือการใช้งาน

简体中文 · 繁體中文 · English · 한국어 · 日本語 · Deutsch · Русский · العربية · Tiếng Việt · Filipino · ไทย · Français · Español · Türkçe · नेपाली · Bahasa Indonesia · Polski · Nederlands · Italiano · Português (Brasil) · Українська · Čeština · हिन्दी · Svenska

เปลี่ยนวิดีโอของคนหนึ่งคนให้เป็นตัวละคร Mixamo ที่เคลื่อนไหวได้ ภายใน Blender ไม่ต้องเขียนโค้ดหรือใช้เทอร์มินัล

ตอนนี้ทดสอบแล้วบน macOS (Apple Silicon) เท่านั้น Windows กำลังจะมา

สิ่งที่ต้องมี

  • Blender 4.2 ขึ้นไป
  • การเชื่อมต่ออินเทอร์เน็ต สำหรับการตั้งค่าครั้งแรก
  • พื้นที่ดิสก์ว่างประมาณ 8 GB (รันไทม์ ~1.3 GB + โมเดล ~5.6 GB)
  • บัญชี SMPL-X ฟรี และ บัญชี Adobe ฟรี (สำหรับ Mixamo) ดูขั้นตอนที่ 4 และ 5

1. ดาวน์โหลด add-on

ไปที่ รีลีสล่าสุด แล้วดาวน์โหลดไฟล์ zip ที่ตรงกับคอมพิวเตอร์ของคุณ:

คอมพิวเตอร์ของคุณ ไฟล์
Mac ที่ใช้ Apple Silicon (M1/M2/M3/M4) motion2mixamorig-<version>-macos-arm64.zip
Windows เร็วๆ นี้

ตัวอย่างเช่น motion2mixamorig-0.1.8-macos-arm64.zip: 0.1.8 คือเวอร์ชันของ add-on และ macos-arm64 คือแพลตฟอร์ม ถ้าเลือกผิดไฟล์ Blender จะไม่ยอมติดตั้ง และจะบอกแพลตฟอร์มที่ต้องการ

อย่า แตกไฟล์ zip เพราะ Blender ติดตั้งไฟล์ zip เองได้

2. ติดตั้งใน Blender

  1. Edit → Preferences → Get Extensions
  2. คลิก ∨ เล็ก ๆ ที่มุมขวาบน → Install from Disk…
  3. เลือกไฟล์ zip แล้ว Motion2MixamoRig จะปรากฏในรายการโดยเปิดใช้งานอยู่
  4. ปิด Preferences จากนั้นใน 3D Viewport กด N แล้วคลิกแท็บ Motion2MixamoRig ทางด้านขวา

3. ติดตั้งรันไทม์ (ครั้งเดียว)

ในแผง คลิก ติดตั้งรันไทม์ (คลิกเดียว) (Install Runtime (one click))

add-on จะดาวน์โหลด Python และไลบรารีของตัวเอง (1.4 GB) ไว้ใน `/Motion2MixamoRig/` โดยไม่แตะต้องส่วนอื่นในคอมพิวเตอร์ของคุณ ขั้นตอนนี้ใช้เวลา ไม่กี่นาที แถบความคืบหน้าจะแสดงขั้นตอนปัจจุบัน

4. ดาวน์โหลดโมเดลร่างกาย SMPL-X

SMPL-X เป็นโมเดลร่างกายฟรีที่ add-on ต้องใช้ แต่สัญญาอนุญาตของมันไม่อนุญาตให้เรา แจกจ่ายไปพร้อมกัน คุณจึงต้องดาวน์โหลดเองหนึ่งครั้ง:

  1. เปิด smpl-x.is.tue.mpg.de แล้ว Register ยอมรับสัญญาอนุญาตและยืนยันอีเมล
  2. เข้าสู่ระบบ เปิด Download แล้วดาวน์โหลดโมเดล SMPL-X (เวอร์ชัน NPZ)
  3. แตกไฟล์แล้วหา SMPLX_NEUTRAL.npz
  4. ใน Blender คลิก เลือกโมเดล SMPL-X… (Choose SMPL-X Model…) แล้วเลือกไฟล์นั้น จากนั้นแผงจะแสดง โมเดล SMPL-X: พบแล้ว (SMPL-X model: found)

5. ดาวน์โหลดตัวละคร Mixamo

  1. เปิด mixamo.com แล้วเข้าสู่ระบบด้วยบัญชี Adobe
  2. แท็บ Characters → เลือกตัวละคร (เช่น Y Bot)
  3. Download → Format FBX Binary (.fbx), Pose T-pose → Download

6. สร้างการเคลื่อนไหว

ในกล่อง อินพุต (Input):

  1. ประเภทต้นฉบับ (Source Type): วิดีโอ (หรือภาพ สำหรับท่าทางเดียว)
  2. ไฟล์ต้นฉบับ (Source File): คลิปของคุณ ซึ่งต้องมี คนเพียงคนเดียว อยู่ในเฟรมตั้งแต่หัวจรดเท้าตลอดทั้งคลิป
  3. Mixamo Rig FBX: ตัวละครจากขั้นตอนที่ 5
  4. ตรวจจับมือ (Detect Hands) ปิดอยู่ เปิดเฉพาะเมื่อต้องการให้นิ้วขยับ จากนั้นคลิก เลือกโมเดลมือ MANO… (Choose MANO Hand Model…) แล้วเลือก MANO_RIGHT.pkl ไฟล์นี้หาได้แบบเดียวกับ SMPL-X: ลงทะเบียนที่ mano.is.tue.mpg.de ดาวน์โหลด Models & Code แล้วแตกไฟล์ การประมวลผลมือครั้งแรกจะดาวน์โหลดเพิ่มประมาณ 2.7 GB ครั้งเดียว และใช้เวลาประมาณสองเท่าของการรันเฉพาะลำตัว เมื่อเปิด จะมี Finger Smoothing (seconds) ปรากฏขึ้น ใช้ทำให้การเคลื่อนไหวนิ้วลื่นขึ้น ค่าเริ่มต้นคือ 0.08 วินาที ค่า 0 จะคงผลที่ตรวจจับได้ไว้
  5. คลิก สร้างการเคลื่อนไหว (Generate Motion)

เมื่อเสร็จแล้ว ตัวละครที่เคลื่อนไหวจะถูกนำเข้าสู่ฉากของคุณโดยอัตโนมัติ เท้าที่เหยียบพื้นจะอยู่ที่จุดที่ลง และฝ่าเท้าถูกวางบนพื้นของ Blender บนพื้นนั้นจะมีเมช เครื่องหมายพื้น (Floor Markers) เพิ่มมา (กากบาททุก 0.5 ม.) ช่อง เครื่องหมายพื้น (Floor Markers) ในความคืบหน้า / ผลลัพธ์ ใช้แสดงหรือซ่อนมัน

การรันครั้งแรกจะใช้เวลานานกว่า — เป็นเรื่องปกติ

ในครั้งแรก add-on จะดาวน์โหลดโมเดลประมาณ 5.6 GB แผงจะแสดงขนาดดาวน์โหลด ความเร็ว และเวลาที่เหลือ โมเดลจะดาวน์โหลดเพียงครั้งเดียว

หลังจากนั้น วิดีโอจะถูกประมวลผลบนคอมพิวเตอร์ของคุณ บน CPU ของ Mac คลิปยาว 10 วินาทีใช้เวลาไม่กี่นาที ระหว่างนั้นยังใช้ Blender ได้ตามปกติ และ ยกเลิก (Cancel) จะหยุดงาน

เคล็ดลับเพื่อผลลัพธ์ที่ดี

  • มีคนเดียว เห็นทั้งตัว ไม่ถูกตัดที่ขอบเฟรม
  • กล้องนิ่ง แสงดี เสื้อผ้าเรียบ ๆ แทนเสื้อผ้าหลวมหรือพลิ้วไหว
  • คลิปสั้น (5–20 วินาที) ลองได้เร็วกว่า เหมาะสำหรับเริ่มต้น

อัปเดตเป็นเวอร์ชันใหม่

add-on มีการอัปเดตบ่อย วิธีอัปเดต:

  1. ดาวน์โหลดไฟล์ zip ล่าสุดจาก รีลีสล่าสุด
  2. Get Extensions → ลบ Motion2MixamoRig ตัวเก่า ปิด Blender ให้สนิท (Cmd+Q) เปิดใหม่ แล้วติดตั้งไฟล์ zip ใหม่
  3. ในแผง คลิก อัปเดตรันไทม์ (Update Runtime)

การอัปเดตจะเก็บโมเดลที่ดาวน์โหลดไว้ จึงเสร็จเร็ว เวอร์ชันที่ติดตั้งอยู่จะแสดงข้าง add-on ใน Get Extensions

แผง

  • ⚙ ข้างชื่อแผง ใช้แสดงหรือซ่อนกล่อง ตั้งค่า (Setup)
  • ตั้งค่า: ภาษา รันไทม์ SMPL-X อุปกรณ์ (Device) (CPU เป็นตัวเลือกที่ปลอดภัย) และ ตรวจสอบ environment (Check Environment)
  • อินพุต: สิ่งที่จะทำให้เคลื่อนไหว, โมเดลร่างกาย (Body Model, GVHMR) และ ตรวจจับมือ (Detect Hands)
  • ความคืบหน้า / ผลลัพธ์ (Progress / Result): ความคืบหน้า บันทึกล่าสุด และหลังจบงาน จะมี นำเข้าตัวละครที่สร้าง (Import Generated Character), เครื่องหมายพื้น (Floor Markers), เปิดโฟลเดอร์ผลลัพธ์ (Open Output Folder), ดูบันทึกทั้งหมด (View Full Log)
  • การวินิจฉัย (Diagnostics): จุดที่ส่วนต่าง ๆ ของร่างกายตัวละครทะลุเข้าหากัน (มืออยู่ในหัว แขนไขว้กัน) ช่องสีแดงในแถบคือเฟรมที่มีปัญหา คลิกเพื่อไปยังเฟรมนั้น สามเหลี่ยมใต้แถบจะตามเฟรมปัจจุบัน และด้านล่างแสดงว่าส่วนใดทะลุกันและลึกเท่าใด ก่อนหน้า / ถัดไป (Previous / Next) ใช้กระโดดระหว่างปัญหา เปิดรายงาน HTML (Open HTML Report) จะเปิดรายงานในเว็บเบราว์เซอร์ โดยแสดงวิดีโอต้นฉบับข้างตัวละคร (ครั้งแรกใช้เวลาสร้างประมาณ 15 วินาที) วิดีโอต้นฉบับต้องมี ffmpeg บนคอมพิวเตอร์ (บน Mac: brew install ffmpeg) ถ้าไม่มี ตัวละครยังอยู่ แต่วิดีโอข้าง ๆ จะว่าง ตัวละครยืนบนกากบาทพื้นแบบติดที่ ทุก 0.5 ม. เพื่อดูว่ามันกำลังลื่นหรือไม่ เลนสีอำพันเหนือแทร็กสีแดงใช้จดสิ่งที่คุณเห็นด้วยตา รายการ Notes ทางขวาแสดงรายการเหล่านี้ คลิกแถวหนึ่งเพื่อกระโดดไปที่นั่น Download notes บันทึกโน้ตเหล่านี้พร้อมเวลาที่ทะลุกัน ไฟล์ใช้ชื่อของวิดีโอต้นฉบับ

add-on รองรับ 19 ภาษา อัตโนมัติ (ตาม Blender / ระบบ) (Auto (Blender / System)) จะใช้ภาษาตาม Blender เปลี่ยนได้ในกล่อง ตั้งค่า ที่ ภาษาของอินเทอร์เฟซ (UI Language)

หากเกิดปัญหา

สิ่งที่เห็น สิ่งที่ต้องทำ
ติดตั้งรันไทม์ไม่สำเร็จ (Runtime installation failed) ตรวจสอบการเชื่อมต่ออินเทอร์เน็ตแล้วคลิกปุ่มอีกครั้ง บันทึก: ~/Motion2MixamoRig/logs/setup.log
โมเดล SMPL-X: ไม่พบ (SMPL-X model: missing) ทำขั้นตอนที่ 4 อีกครั้งแล้วเลือก SMPLX_NEUTRAL.npz
โมเดลมือ MANO: ไม่พบ (MANO hand model: missing) เปิด ตรวจจับมือ แล้วคลิก เลือกโมเดลมือ MANO… และเลือก MANO_RIGHT.pkl
Mixamo FBX ไม่ถูกต้อง (Mixamo FBX invalid) ดาวน์โหลดตัวละครใหม่เป็น FBX Binary, T-pose
อินพุตมีหลายคน (Input contains multiple people) ใช้คลิปที่มีคนเพียงคนเดียว
ไม่พบคนในอินพุต (No person was detected in the input) ตรวจสอบให้เห็นทั้งตัวและมีแสงเพียงพอ
โปรเซสของ pipeline ปิดตัวโดยไม่คาดคิด (Pipeline process exited unexpectedly) คลิก ดูบันทึกทั้งหมด

เมื่อขอความช่วยเหลือ ให้แนบไฟล์บันทึกและแจ้งเวอร์ชัน add-on ที่คุณใช้

ถอนการติดตั้ง

  1. Get Extensions → ลบ Motion2MixamoRig
  2. ลบโฟลเดอร์ ~/Motion2MixamoRig (โฮมโฟลเดอร์ของคุณ → Motion2MixamoRig) การลบ add-on ไม่ได้ ลบโฟลเดอร์นี้ไปด้วย และโฟลเดอร์นี้มีรันไทม์และโมเดลราว 7 GB รวมถึงผลลัพธ์ที่คุณสร้างไว้ใน app/outputs/

สัญญาอนุญาต

Motion2MixamoRig ใช้ได้ เฉพาะเพื่อวัตถุประสงค์ที่ไม่ใช่เชิงพาณิชย์เท่านั้น เพราะอาศัยโมเดลงานวิจัย (เช่น GVHMR และ SMPL-X) ซึ่งสัญญาอนุญาตไม่อนุญาตให้ใช้ เชิงพาณิชย์ ดู NOTICE.md