A lightweight 2.5D character player for the web, with lip sync and webcam face tracking.
Trình phát nhân vật 2.5D nhẹ cho web, có đồng bộ môi (lip sync) và theo dõi khuôn mặt qua webcam. Chỉ vài dòng code là đưa được nhân vật vào trang web, lớp phủ stream hay ứng dụng.
Đi kèm 21 nhân vật nổi bật với nhiều phong cách khác nhau, sẵn sàng dùng ngay.
English · 中文 · 日本語 · Tiếng Việt

- WebGL2, không phụ thuộc thư viện ngoài, lõi chỉ khoảng 30 KB sau khi nén gzip
- Đồng bộ môi (microphone, audio, video) và theo dõi khuôn mặt qua webcam (MediaPipe), đều chạy trong trình duyệt, chỉ được tải khi bạn cần
- Phát nhân vật LivLiv, VRM và PNGTuber qua cùng một API
- 21 nhân vật nổi bật trong
characters/, sẵn sàng dùng
Thử ngay
- Trực tuyến: các ví dụ chạy trên livliv-dev.github.io/player.
- Tại đây:
npm install && npm run build, chạy thư mục này bằng bất kỳ static server nào rồi mở/example/demo.html(biểu cảm, hành động, microphone, camera;?model=../characters/<id>/chọn nhân vật khác)./example/png.htmlvà/example/vrm.htmllà ví dụ về PNGTuber và VRM. - Trên livliv.ai: trang của từng nhân vật ở đó cũng dùng chính bộ renderer này để chạy nhân vật. Bắt đầu tại livliv.ai/discover.
Dùng trong trang của bạn
npm install @livliv-dev/player
import { Player } from '@livliv-dev/player'
const player = new Player(document.querySelector('canvas'))
await player.load('characters/k01/') // thư mục chứa model.json và textures/, hoặc file .livliv
player.setExpression('smile') // các id có trong player.expressions
player.act('nod')
player.params.mouthOpen = 0.6 // 0..1
Đồng bộ môi và theo dõi khuôn mặt:
import { createSpeech } from '@livliv-dev/player/voice'
import { startFaceTracking } from '@livliv-dev/player/tracking' // cần @mediapipe/tasks-vision
const speech = createSpeech(player)
button.onclick = () => { speech.unlock(); speech.say('/reply.mp3') }
await startFaceTracking(player)
VRM hay PNGTuber đều dùng chung một API:
import { BodyPlayer } from '@livliv-dev/player/body'
import { VrmBody } from '@livliv-dev/player/vrm' // cần three và @pixiv/three-vrm
import { PngBody } from '@livliv-dev/player/png'
const vrm = new BodyPlayer(canvasA, new VrmBody())
await vrm.load('/avatars/me.vrm')
const png = new BodyPlayer(canvasB, new PngBody())
await png.load({ closed: 'me-closed.png', open: 'me-open.png' })
Toàn bộ API có trong API.md (tiếng Anh): các tùy chọn, tham số, biểu cảm và hành động, driver, nhân vật VRM và PNGTuber,
giới hạn khi đọc file không đáng tin cậy, gói model và phiên bản định dạng. Định dạng gói LivLiv (.livliv,
model.json v4) có trong FORMAT.md, kèm JSON Schema trong schema/; các gói xuất trước v4
được mô tả trong FORMAT-v3.md và vẫn phát được.
Gói npm chỉ có trình phát. Các nhân vật nổi bật nằm trong
characters/của repository này: hãy sao chép những nhân vật bạn dùng, kèm giấy phép, vào cạnh trang của bạn.
Nhân vật nổi bật
characters/ có 21 nhân vật, sẵn sàng để load(). Các nhân vật mang một dấu LivLiv nhỏ ở góc dưới bên phải, do
trình phát vẽ lên. Các nhân vật này không thuộc phạm vi Giấy phép Apache. Hầu hết do LivLiv tạo ra: bạn được dùng miễn phí cho dự án cá nhân, phi thương mại kèm ghi công
("Characters: LivLiv (livliv.ai)"); không được bán, dùng thương mại hay dùng các nhân vật này để huấn luyện mô hình AI. Nana là
linh vật của LivLiv. Điều khoản có trong characters/LICENSE.md.
Kujira, Kujira Q và Pen dựa trên tác phẩm của người khác: giấy phép và cách ghi công nêu trên không áp dụng cho các nhân vật này. Nguồn, ghi công và điều khoản của các nhân vật này có trong characters/CREDITS.md.
Mỗi nhân vật còn có một cover.webp (512 x 768, khoảng 50 KB), là khung hình đầu tiên của nhân vật, không kèm dấu. player.load(source, { poster })
hiện ảnh này trên canvas cho đến khung hình đầu tiên. Muốn có ảnh trước khi script chạy, hãy đặt ảnh này phía sau canvas với
object-fit: contain rồi cho nhân vật hiện dần lên trên nó, như example/loading.js đã làm.
| id | tên | id | tên | id | tên |
|---|---|---|---|---|---|
k01 |
Sena | d01 |
Yui | v01 |
Aster |
k02 |
Elio | d02 |
Leo | v03 |
Mira |
char06 |
Aoi | d03 |
Nana | v04 |
Kai |
char07 |
Sora | d03ft |
Nana (bản tinh chỉnh) | v05 |
Lilith |
s01 |
Hana | p01 |
Kujira | v06 |
Usa |
q02 |
Mochi | p02 |
Kujira Q | v07 |
Stella |
q03 |
Kotaro | p03 |
Pen | w01 |
Max |
Nhân vật của riêng bạn
Bạn có thể đưa vào ảnh của một PNGTuber, hoặc một VRM (vẽ bằng three.js); hoặc tự tạo nhân vật của mình từ một ảnh trên livliv.ai.
- Một PNGTuber: hai ảnh (ngậm miệng, há miệng), và thêm hai ảnh nhắm mắt nếu bạn có.
- Một VRM: từ VRoid Studio hoặc bất kỳ công cụ nào xuất VRM 0.x hay 1.0.
- Một model LivLiv: tạo một model từ một ảnh trên livliv.ai, rồi tải gói model từ
trang của nhân vật đó (Model package): một file
.livliv. Đưa file đó vàoload()nguyên như vậy (một URL, hoặcFilengười dùng đã chọn), hoặc giải nén thành thư mục. Gói model thuộc tài khoản miễn phí (free plan) sẽ mang dấu LivLiv, và trình phát sẽ vẽ dấu đó.
Về trình phát và các nhân vật
LivLiv Player và định dạng .livliv là sản phẩm của chính LivLiv. Chúng không dùng phần mềm Live2D hay Cubism SDK và không
đọc file .moc3 hay .cmo3. "Live2D" là nhãn hiệu của Live2D Inc.; LivLiv không liên kết với công ty đó.
Việc tạo nhân vật trên livliv.ai có dùng AI. Bản thân trình phát chỉ phát: nó không gọi dịch vụ AI nào và chỉ đọc các file bạn chỉ định. Theo dõi khuôn mặt chạy MediaPipe của Google trong trình duyệt, và hình ảnh camera không rời khỏi thiết bị; chi tiết về kết nối mạng có trong API.md.
Các nhân vật nổi bật trong repository này cũng được tạo trên LivLiv, cũng bằng AI; Kujira, Kujira Q và Pen phỏng theo
nhân vật của người khác (ghi công). Nana bản tinh chỉnh (d03ft) còn có thêm
các bộ phận đung đưa và keyform xoay đầu, được thêm bằng công cụ của chính LivLiv.
meta.author và meta.license của một gói ghi lại ai đã tạo gói đó và với điều khoản nào: hãy giữ nguyên các trường này và tuân theo chúng. Khi bạn
trình bày công khai một nhân vật được tạo bằng LivLiv, hãy nói rõ nhân vật đó được tạo bằng AI, và đừng trình bày nó như được vẽ tay hay
rig thủ công.
Nhúng không cần code
<iframe src="https://livliv.ai/live/k01" width="480" height="640" allow="camera; microphone"
style="border:0;background:transparent"></iframe>
Chính trang /live/<id> này có nền trong suốt và dùng được làm Browser Source trong OBS.
Phát triển
git clone https://github.com/livliv-dev/player
cd player
npm install
npm run check # kiểm tra kiểu
npm run build # dist/: index.js, tracking.js, voice.js, body.js, png.js, vrm.js (ES modules), chunks/ và types/
npm test # unit test và fuzz test (Node 22.18 trở lên, không cần trình duyệt)
npm run test:browser # vẽ mọi nhân vật nổi bật trong headless Chromium; chạy một lần trước: npx playwright-core install chromium-headless-shell
npm run test:engines # một mẫu trên Firefox và WebKit, ở môi trường WebGL2 chạy được (có GPU hoặc software GL); chạy một lần trước: npx playwright-core install firefox webkit
src/runtime/ là code renderer và chuyển động mà livliv.ai đang chạy; repository này được xuất bản từ code đó. Xem
CONTRIBUTING.md. Báo cáo bảo mật: SECURITY.md.
Trình duyệt hỗ trợ
WebGL2 và ES2023: Chrome / Edge 97+, Firefox 104+, Safari 15.4+. Đã kiểm tra trên các phiên bản mới nhất của trình duyệt desktop, chưa kiểm tra trên điện thoại.
Giấy phép
Code thuộc Giấy phép Apache 2.0 (xem thêm NOTICE). Các nhân vật nổi bật có giấy phép riêng, characters/LICENSE.md. Không giấy phép nào trong hai giấy phép trên bao hàm tên và logo LivLiv.
Cảm ơn
Cảm ơn 上善无形, ZipZipPipe và 贱兔死顺盖 — các tác giả của nhân vật gốc mà Kujira, Kujira Q và Pen dựa theo: xem chi tiết tại characters/CREDITS.md.