아키텍처
AU-driven detail pipeline
단일 얼굴 이미지
in the wild
AU 인식
액션 유닛 검출
3D 베이스 복원
coarse geometry
Displacement
AU 조건 디테일 맵
세부 디테일 복원
표정 주름·미세 굴곡
3D 복원
복원 결과 뷰어
저자 본인 얼굴을 여러 AU(표정) 샘플로 3D 복원한 갤러리. 왼쪽 썸네일을 눌러 샘플을 고르고, Coarse(기본 형상)와 Textured(피부색 + 노멀맵 디테일)를 토글. 드래그로 회전.
입력 사진 → 3D 형상 → 피부색 + 노멀맵 디테일. 썸네일로 표정(AU)별 복원 비교. 조명을 돌리면 표면 미세 굴곡이 드러남. 저자 본인 얼굴.
문제
DECA와 EMOCA 같은 단일 이미지 3D 얼굴 복원 모델은 전체 형상은 잘 잡지만, 표정에서 생기는 미세한 주름과 굴곡 같은 세부 디테일을 잃음. 이 디테일은 표정의 실제 근육 움직임, 즉 얼굴 액션 유닛과 직접 연결.
접근
- AU를 디테일의 조건으로. 얼굴 액션 유닛 정보를 변위 맵(displacement) 복원의 조건 신호로 사용해, 표정 근육 움직임과 일치하는 세부 굴곡 복원.
- 손실 함수 설계. AU 일치도와 기하 정합을 함께 반영하도록 손실 구성.
- SOTA 재현·비교. DECA, EMOCA, ME-GraphAU 등 얼굴 분석·3D 복원 SOTA를 직접 재현해 baseline으로 놓고 비교.
결과
0.88
AU Detection F1
0.86
DECA baseline
0.87
EMOCA baseline
AU Detection F1 — AUDISP vs baselines
막대 길이는 0.80~0.90 구간 기준(차이 강조). 값은 실측 F1.
AU 검출 F1 0.88로 DECA(0.86)와 EMOCA(0.87)를 상회, 학위 논문으로 게재.
재현한 SOTA baseline
학위 연구 과정에서 얼굴 분석·3D 복원 분야의 여러 SOTA를 재현·확장. 공개 저장소로 남긴 baseline은 다음과 같음.
ME-GraphAU (IJCAI 2022)
EMOCA (CVPR 2022)
DECA (SIGGRAPH 2021)
Pytorch-FAU
FAU_CVPR2021
facetorch
기술
PyTorch · 3D Morphable Model · Displacement map · Facial Action Unit · Monocular 3D reconstruction.