FaceTracker là một plugin của Foundry Nuke để theo dõi khuôn mặt mà không có thiết bị chụp chuyển động và đánh dấu. Thông tin theo dõi sau này có thể được sử dụng để chỉnh sửa, thêm sẹo, chiếu sáng lại, thay thế khuôn mặt, lão hóa và khử lão hóa, v.v. Để có kết quả tốt nhất, chúng tôi khuyên bạn nên sử dụng nó với FaceBuilder. FaceTracker tương tự như GeoTracker, nhưng nó theo dõi các cử chỉ trên khuôn mặt ngoài vị trí của mô hình. Thuật toán theo dõi của chúng tôi ổn định, chính xác, trái ngược với các giải pháp mạng thần kinh, cho phép điều khiển hoàn toàn bằng tay và không yêu cầu bất kỳ loại chuẩn bị sân khấu nào như thiết bị chụp chuyển động khuôn mặt.

Theo dõi chính xác và nhanh chóng

Chúng tôi muốn đưa những thành tựu mới nhất từ cộng đồng khoa học vào đường ống sản xuất, có nghĩa là bạn có các thuật toán và phương pháp tốt nhất khi bạn sử dụng plugin theo dõi của chúng tôi. Khi nói đến tốc độ, chúng tôi không thể đảm bảo bạn theo dõi trong thời gian thực, nhưng chúng tôi thực sự gần với nó, vì vậy bạn không cần phải chờ đợi lâu.

Quy trình làm việc tích hợp

Bạn không cần phải xuất và nhập bất cứ thứ gì từ Nuke, toàn bộ quá trình theo dõi diễn ra bên trong Nuke: bạn tạo nút FaceTracker và bắt đầu theo dõi bằng trình xem 2D và kiểm tra kết quả trong trình xem 3D khi cần thiết.

Những gì bạn thấy là những gì bạn nhận được

Thay vì can thiệp vào các thanh trượt và núm bấm, bạn chỉ cần tạo "chốt" trên lưới khuôn mặt trong trình xem và kéo chúng vào vị trí thích hợp. Khi bạn kéo đinh, mô hình khuôn mặt đang thích nghi.

Điều khiển bằng tay và độ chính xác

Mặc dù chúng tôi đã cố gắng tự động hóa mọi thứ hoàn toàn và đòi hỏi ít giờ làm việc của con người nhất có thể, chúng tôi vẫn tập trung vào việc theo dõi kết quả chính xác để bạn có thể kiểm soát quá trình và điều chỉnh hoàn toàn kết quả và khung chính.

Hỗ trợ Nuke độc lập

Tất cả các nút của chúng tôi, bao gồm cả FaceTracker, đều có sẵn trong Nuke Indie. Bạn sẽ cần phải cài đặt phiên bản 12.2v4 của Nuke và phiên bản 2020.1 trở lên của gói KeenTools. Không có giới hạn chức năng so với Nuke tiêu chuẩn.

Xuất các hình dạng hỗn hợp FACS/ARKit

Sau khi theo dõi hoàn tất, bạn có thể xuất hoạt hình vào tệp CSV có hình dạng hỗn hợp FACS tương thích ARKit, giống như ứng dụng Live Link Face của Epic Games cung cấp cho bạn để bạn có thể sử dụng nó sau này trong các công cụ của riêng mình hoặc tích hợp vào các dòng dựa trên Unreal Assembly. Bạn cũng có thể tải tệp này vào plugin FaceBuilder for Blender của chúng tôi, chẳng hạn như chuyển hoạt hình cho người khác.

Tự động đối mặt

Bạn không còn phải cố định khuôn mặt bằng tay nữa! Ít nhất, không phải từ đầu. Sự liên kết khuôn mặt của chúng tôi chưa chính xác 100%, vì vậy đôi khi cần một số điều chỉnh thủ công, nhưng về cơ bản nó làm giảm thời gian định hình mô hình. Vì vậy, rất nhiều, chúng tôi đã thực sự ngừng làm điều này theo cách thủ công trong nhóm tại thời điểm thử nghiệm và chúng tôi không muốn quay lại!

Theo dõi người dùng (chương trình trợ giúp)

Thông thường, bạn có thể dựa vào thuật toán theo dõi của riêng mình, nhưng chỉ trong trường hợp, bạn có thể sử dụng dữ liệu theo dõi từ các trình theo dõi khác để cải thiện chất lượng theo dõi. Ví dụ: bạn có thể nhập các dấu vết từ các nút theo dõi tích hợp của Nuke và FaceTracker sẽ xem xét chúng với mức độ ưu tiên cao nhất.

Mặt nạ bề mặt

Bạn có thể che một số mặt của hình học mà bạn muốn loại trừ khỏi theo dõi. Ví dụ, một số vùng phản xạ của da hoặc nhãn cầu. Mặc dù thông thường bạn không cần phải làm điều này vì FaceTracker có thể xử lý chúng rất tốt.

Mặt nạ xoay

Một cách khác để cải thiện khả năng theo dõi (trong trường hợp hiếm hoi khi nó thực sự thất bại) là loại bỏ sự che khuất khỏi khả năng theo dõi. Để làm điều này, bạn có thể kết nối nút roto với đầu vào mặt nạ của FaceTracker và (lại) bắt đầu theo dõi.

Cảm giác như được xây dựng trong

Plugin của chúng tôi được viết bằng C++sử dụng API Nuke cấp thấp. Vì vậy, bạn có thể chắc chắn rằng bạn đang sử dụng một công cụ có kinh nghiệm bản địa tương tự.