Lip sync tiếng Việt: làm khẩu hình nhân vật khớp lời nói

Có một cảm giác khó chịu mà ai xem phim lồng tiếng tệ cũng biết: miệng nhân vật mấp máy một kiểu, tiếng phát ra một kiểu. Người xem có thể không nói được sai ở đâu, nhưng họ thấy ngay là sai. Lip sync, tức làm khẩu hình khớp lời nói, là một trong những chi tiết nhỏ quyết định nhân vật có "sống" hay không.

Phần lớn tài liệu lip sync trên mạng viết cho tiếng Anh. Tiếng Việt có những đặc điểm riêng, và nếu bê nguyên cách làm tiếng Anh sang, bạn sẽ gặp vài chỗ lệch. Bài này giúp bạn hiểu nguyên tắc chung và cách áp dụng cho tiếng Việt.

Nguyên tắc số một: làm theo âm, không theo chữ

Miệng không đọc chính tả. "Gh" và "g", "ng" và "ngh", "c", "k" và "q" đều phát ra gần như cùng một âm, nên cùng một khẩu hình. Trước khi làm khẩu hình, hãy nghe kỹ câu thoại và nghĩ theo âm thanh thật sự phát ra.

Một ví dụ: chữ "nghiêng" có năm phụ âm trong chính tả, nhưng khi nói chỉ có âm "ng" đầu, nguyên âm đôi "iê" và âm "ng" cuối.

Viseme: nhóm khẩu hình

Rất nhiều âm khác nhau nhưng nhìn từ ngoài vào thì miệng gần như giống nhau. Người làm hoạt hình gom chúng thành các nhóm gọi là viseme (khẩu hình nhìn thấy được). Với tiếng Việt, bạn có thể nghĩ theo các nhóm thực dụng sau:

Nhóm môi khép: b, m, p

Hai môi chạm nhau hoàn toàn. Đây là nhóm quan trọng nhất vì người xem nhận ra ngay nếu thiếu. Nói "mẹ", "ba", "bạn bè" mà môi không khép là lộ liền.

Nhóm môi chạm răng: ph, v

Môi dưới chạm nhẹ vào răng trên. "Phở", "về", "vui vẻ".

Nhóm lưỡi và răng: đ, t, th, n, l, d, gi, r, x, s, ch, tr

Miệng hé, khó nhìn thấy chuyển động lưỡi từ xa. Với cảnh trung, bạn có thể gộp hầu hết thành một khẩu hình "hé miệng, răng gần nhau". Ở cận cảnh, "l" và "th" có thể thấy đầu lưỡi.

Nhóm âm từ cuống họng: c, k, g, ng, nh, h, kh

Miệng mở tuỳ nguyên âm đi kèm, cổ họng làm phần việc chính. Thường không cần khẩu hình riêng, mượn hình dạng của nguyên âm kề bên.

Các nguyên âm

• a, ă, â: miệng mở rộng theo chiều dọc, hàm hạ xuống. "â" mở ít hơn "a".
• e, ê: miệng mở ngang, khoé môi kéo ra.
• i, y: miệng hẹp, khoé môi kéo ngang như cười.
• o, ô, ơ: môi tròn. "ô" tròn và chu hơn "o"; "ơ" ít tròn, gần với tư thế thả lỏng.
• u, ư: "u" môi chu tròn nhỏ; "ư" giống "u" về vị trí lưỡi nhưng môi không tròn, kéo ngang hơn.

Những điểm riêng của tiếng Việt

Nguyên âm đôi và ba

"iê", "uô", "ươ", "oai", "uyê"… là chuỗi khẩu hình chuyển động trong một âm tiết. Từ "người" đi qua "ng" → "ư" → "ơ" → "i". Nếu bạn chỉ đặt một khẩu hình cho cả chữ, miệng sẽ trông đơ. Nhưng cũng đừng đặt đủ bốn khẩu hình với cường độ bằng nhau: hãy để nguyên âm chính đậm, các âm lướt nhẹ.

Âm "o", "u" đứng giữa

Trong "hoa", "khoẻ", "quý", âm "o/u" ở giữa làm môi tròn rất nhanh rồi mở ra. Bỏ qua chi tiết này không sai lớn, nhưng thêm vào ở cận cảnh sẽ tự nhiên hơn hẳn.

Phụ âm cuối p, t, c

Tiếng Việt có các âm cuối như "-p", "-t", "-c" mà người nói thường không bật hơi, chỉ chặn lại. "Đẹp" kết thúc bằng hai môi khép, nhưng không có tiếng "pờ". Vậy khẩu hình vẫn phải khép môi ở cuối chữ "đẹp", "gặp", "họp". Với "-t", "-c" thì không cần khép môi.

Tương tự, âm cuối "-m" như trong "làm", "cơm" cũng khép môi. Đây là lỗi bị bỏ sót nhiều nhất.

Thanh điệu

Sáu thanh điệu chủ yếu nằm ở dây thanh, không làm thay đổi hình dạng miệng nhiều. Tuy vậy, chúng ảnh hưởng đến độ dài của âm tiết và chuyển động đầu, lông mày. Thanh hỏi và thanh ngã có độ kéo dài, thanh nặng thường ngắn và dứt. Một người nói giọng nhấn mạnh có thể hơi gật đầu theo các âm nặng. Đây là chỗ biểu cảm khuôn mặt hỗ trợ lip sync.

Giọng vùng miền

Người miền Nam phát âm "v" gần như "d", "-n" và "-ng" ở cuối có thể nhập lại. Người miền Bắc phân biệt rõ hơn ở một số âm. Hãy làm khẩu hình theo file thoại thật chứ không theo kịch bản chữ.

Nhịp và thời gian

Miệng đi trước tiếng một chút

Trong thực tế, môi thường đã ở vị trí chuẩn bị trước khi âm thanh phát ra. Nhiều animator đặt khẩu hình sớm hơn tiếng một đến hai khung để người xem cảm thấy khớp. Nếu đặt đúng y khung, đôi khi lại có cảm giác trễ.

Đừng đóng mở theo từng âm tiết

Lỗi kinh điển: miệng mở ra rồi đóng lại hoàn toàn ở mỗi chữ, như con rối. Người nói thật nối các âm vào nhau, miệng chỉ khép hẳn ở âm môi và khi ngừng nói.

Hàm quan trọng hơn môi

Độ mở của hàm cho người xem cảm nhận về âm lượng và nhịp. Khi nhân vật hét, hàm mở to. Khi thì thầm, hàm gần như không động, chỉ môi chuyển nhẹ. Nếu thời gian có hạn, hãy làm hàm đúng nhịp trước, môi sau.

Lược bớt khi nói nhanh

Với câu thoại nhanh, giữ lại các khẩu hình nổi bật (môi khép, môi tròn, miệng mở rộng) và bỏ những âm lướt. Đầy đủ từng âm sẽ làm miệng nhân vật rung lắc như đang run.

Khi hát

Hát khác nói ở chỗ nguyên âm được kéo dài. Một chữ có thể giữ hai, ba giây. Khẩu hình phải giữ nguyên âm ổn định trong suốt nốt ngân, chỉ chuyển sang phụ âm cuối ở cuối nốt. Hàm cũng mở rộng hơn so với khi nói.

Lời thoại không chỉ là miệng

Một khuôn mặt chỉ có miệng chuyển động trông như mặt nạ. Hãy kết hợp:

• Lông mày nhấn ở từ quan trọng.
• Chớp mắt ở chỗ ngắt câu.
• Đầu gật nhẹ theo nhịp nói.
• Má và mũi động nhẹ theo khẩu hình lớn.

Xem thêm bài Biểu cảm khuôn mặt để phối hợp phần này.

Checklist lip sync

• Các âm b, m, p, kể cả âm cuối "-m", "-p", đều có môi khép chưa?
• Ph, v có môi dưới chạm răng chưa?
• O, ô, u có môi tròn; ư có môi không tròn?
• Miệng có đóng mở như con rối ở từng chữ không?
• Khẩu hình có đặt sớm hơn tiếng một chút không?
• Hàm có mở to nhỏ theo âm lượng không?
• Mắt, lông mày, đầu có cùng tham gia diễn không?

Làm điều này trong adayroi studio

Trong Director Studio, bạn tạo lời thoại bằng giọng AI có cảm xúc (hoặc dùng file giọng có sẵn), và nhân vật sẽ tự lip sync khẩu hình theo lời thoại, kể cả khi hát. Kết hợp thêm biểu cảm khuôn mặt theo 52 kiểu ARKit và cử chỉ tay chân theo lời nói, nhân vật sẽ diễn trọn vẹn chứ không chỉ mấp máy môi. Bạn có thể tạo tài khoản miễn phí để thử với một câu thoại ngắn của riêng mình.