Research Goal
본 노트에서는 evaluative audience backchannel 생성에 사용될 facial clip의 제작 목록을 정리하고, 각 clip의 사용 맥락과 매핑 기준을 명시한다.
Research Question
RQ1. evaluative audience backchannel 생성에 사용될 facial clip으로 어떤 항목들이 필요한가?
RQ2. 각 facial clip은 어떤 청중 상태와 반응에 대응하도록 매핑될 수 있는가?
Design Principle
본 노트에서는 evaluative audience backchannel 생성에 사용될 body clip을 정리한다. 여기서 body clip은 trunk alignment, lean direction, body orientation, arm placement와 같은 body posture 요소뿐 아니라, nod, shake, tilt, dip, turn과 같은 head movement를 함께 포함하는 제작 단위를 의미한다. 반면 facial expression은 별도의 facial clip으로 분리하고, gaze는 스크립트로 제어한다. 따라서 본 노트에서는 body posture와 head movement를 통합한 body clip의 제작 목록과 매핑 기준을 정리한다.
Facial Clip Specification
Base Facial Clips
아래 표는 청중의 기본 청취 상태를 나타내는 facial clip 목록을 정리한 것이다. 각 clip은 brow, periocular, mouth, jaw의 조합으로 구성되며, 어떤 청중 상태에 대응하는지 함께 표시한다.
| Asset ID | Brow | Periocular | Mouth | Jaw | Mapped States |
|---|---|---|---|---|---|
| FACE_neutral | neutral | neutral | neutral | closed | STATE_upright_neutral, STATE_forwardLean_neutral, STATE_sideOriented_disengaged |
| FACE_positive | neutral | neutral | raised | closed | STATE_upright_positive |
| FACE_positive_engaged | neutral | widened | raised | closed | STATE_forwardLean_positive |
| FACE_questioning_soft | raised | neutral | neutral | slightly open | STATE_upright_questioning |
| FACE_questioning_strained | raised | tightened | neutral | slightly open | STATE_forwardLean_questioning |
| FACE_strained | lowered-furrowed | tightened | neutral | closed | STATE_upright_strained |
| FACE_strained_engaged | lowered-furrowed | tightened | neutral | slightly open | STATE_forwardLean_strained |
| FACE_reserved | neutral | tightened | lowered | closed | STATE_backward_reserved |
| FACE_fatigued | neutral | neutral/tightened | neutral | slightly open | STATE_slumped_fatigued |
Transient Facial Clips
아래 표는 청중의 기본 얼굴 상태에서 짧게 나타나는 변화 표현을 위한 facial clip 목록을 정리한 것이다. 각 clip은 brow, mouth, jaw의 일시적인 변화를 중심으로 구성되며, 어떤 반응을 표현하는 데 사용되는지 함께 표시한다.
| Asset ID | Primary Change | Typical Use |
|---|---|---|
| FACE_browRaise_brief | brief brow raise | brief questioning, attention lift, mild surprise |
| FACE_browFurrow_brief | brief brow furrow | momentary difficulty, evaluative tension |
| FACE_mouthRaise_brief | brief mouth raise | brief positive uptake, repeated nod positive |
| FACE_mouthLower_brief | brief mouth lowering | brief negative reaction, mild disapproval |
| FACE_jawOpen_brief | brief slight jaw opening | questioning, hesitation, low-level surprise |
Episode-Specific Facial Clips
아래 표는 note-taking, whispering, yawn, cough와 같이 특정 행위나 episode에 직접 대응하는 facial clip 목록을 정리한 것이다. 각 clip은 일반적인 기본 상태나 짧은 변화 표현과 구분되는 별도의 facial clip으로 제작하며, 어떤 상태에 대응하는지 함께 표시한다.
| Asset ID | Facial Characteristics | Mapped States |
|---|---|---|
| FACE_noteTaking_concentrated | neutral or mildly concentrated face | STATE_noteTaking |
| FACE_whispering | low-intensity mouth movement | STATE_whispering |
| FACE_yawn | jaw dropped / mouth opened | STATE_yawn |
| FACE_cough | mouth compressed then opened briefly | STATE_cough |
Implementation Note
본 노트는 evaluative audience backchannel 생성에 사용될 facial clip의 제작 목록을 정리한 것이다. 각 clip은 Reallusion에서 제작한 뒤, Unity에서 청중 에이전트의 상태와 반응에 따라 연결하여 사용한다.
Final Facial Clip List for Reallusion
본 노트에서 최종 확정한 Reallusion 제작 대상은 facial clip 18개이다. 이 목록은 facial expression 채널에 해당하는 clip만 포함하며, nod, shake, tilt, dip, turn과 같은 head movement clip은 포함하지 않는다. 따라서 본 페이지의 제작 범위는 base facial clip 9개, transient facial clip 5개, episode-specific facial clip 4개로 구성된다.
Next Step
다음 단계에서는 본 노트에서 정리한 facial clip 목록을 바탕으로, 각 clip을 Reallusion에서 제작하고, Unity에서 각 상태와 반응에 맞게 연결하여 적용한다.