Research Notes / A Design Framework for Evaluative Backchannels in AI Audience Agents for XR Presentation Environments
XR Presentation · AI Audience · Body Clip Specification
2026.04.13

Body Clip Specification for Evaluative Audience Backchannels

Operational Criteria for Audience Response Units and Control Rules에서 정의한 body posture 및 head movement parameter와 response form을 바탕으로, AI 청중 에이전트의 evaluative backchannel 생성에 사용될 body clip 목록과 매핑 기준을 정리한 노트.

Research Goal

본 노트에서는 evaluative audience backchannel 생성에 사용될 body clip의 제작 목록을 정리하고, 각 clip의 사용 맥락과 매핑 기준을 명시한다. 여기서 body clip은 body posture와 head movement를 함께 포함하는 제작 단위를 의미한다.

Research Question

RQ1. evaluative audience backchannel 생성에 사용될 body clip으로 어떤 항목들이 필요한가?
RQ2. 각 body clip은 어떤 청중 상태와 반응에 대응하도록 매핑될 수 있는가?

Design Principle

본 노트에서는 evaluative audience backchannel 생성에 사용될 body clip을 정리한다. 여기서 body clip은 trunk alignment, lean direction, body orientation, arm placement와 같은 body posture 요소뿐 아니라, nod, shake, tilt, dip, turn과 같은 head movement를 포함하는 상체 clip을 의미한다. 따라서 본 노트의 제작 단위는 facial clip과 분리된 body-and-head clip이며, 각 clip이 어떤 청중 상태와 반응에 대응하는지 함께 정리한다.

Body Clip Specification

Base Body Clips

아래 표는 청중의 기본 청취 상태를 나타내는 body clip 목록을 정리한 것이다. 여기서 body clip은 trunk alignment, lean direction, body orientation, arm placement와 같은 body posture 요소뿐 아니라, head movement를 함께 포함하는 상체 clip을 의미한다. 각 clip이 어떤 청중 상태에 대응하는지 함께 표시한다.

Asset ID Body Head Mapped States
BODY_upright_neutral upright + neutral + toward speaker + open neutral STATE_upright_neutral, STATE_upright_positive, STATE_upright_strained
BODY_forwardLean_neutral upright + forward + toward speaker + open neutral STATE_forwardLean_neutral, STATE_forwardLean_positive, STATE_forwardLean_strained
BODY_upright_questioning upright + neutral + toward speaker + open tilt hold STATE_upright_questioning
BODY_forwardLean_questioning upright + forward + toward speaker + open tilt hold STATE_forwardLean_questioning
BODY_backward_reserved upright + backward + toward speaker + crossed neutral STATE_backward_reserved
BODY_sideOriented_disengaged upright + neutral + side-oriented + open held turn STATE_sideOriented_disengaged
BODY_slumped_fatigued slumped + backward + toward speaker + open neutral STATE_slumped_fatigued

Transient Body Clips

아래 표는 기본 청취 자세 위에서 짧게 나타나는 body clip 목록을 정리한 것이다. 각 clip은 body posture와 head movement의 짧은 변화를 함께 포함하며, 어떤 transient response form에 대응하는지 함께 표시한다.

Asset ID Body Head Mapped States
BODY_singleNod_neutral maintained listening posture single nod STATE_singleNod_neutral
BODY_repeatedNod_positive maintained listening posture repeated nod STATE_repeatedNod_positive
BODY_briefShake_negative maintained listening posture brief shake STATE_briefShake_negative
BODY_briefTilt_questioning maintained listening posture brief tilt STATE_briefTilt_questioning
BODY_briefDip_strained maintained listening posture brief downward dip STATE_briefDip_strained
BODY_briefTurnAway_neutral maintained listening posture brief turn STATE_briefTurnAway_neutral

Episode-Specific Body Clips

아래 표는 note-taking, typing, device checking, side conversation과 같이 특정 행위나 episode에 직접 대응하는 body clip 목록을 정리한 것이다. 각 clip은 일반적인 기본 청취 자세와 구분되는 별도의 body clip으로 제작하며, 어떤 상태에 대응하는지 함께 표시한다.

Asset ID Body Characteristics Mapped States
BODY_noteTaking writing-related posture STATE_noteTaking
BODY_typing device-use posture STATE_typing
BODY_deviceChecking brief device-check posture STATE_deviceChecking
BODY_photographingSlides slide-recording posture STATE_photographingSlides
BODY_objectHandling object-manipulation posture STATE_objectHandling
BODY_sideConversation side-oriented interaction posture STATE_sideConversation
BODY_whispering low-amplitude side-interaction posture STATE_whispering
BODY_yawn fatigue-linked interruption posture STATE_yawn
BODY_cough brief contracted interruption posture STATE_cough
BODY_fidgeting micro-adjusting posture STATE_fidgeting
BODY_briefSelfTouch brief self-soothing posture STATE_briefSelfTouch
BODY_seatAdjustment seat-repositioning posture STATE_seatAdjustment

Implementation Note

본 노트는 evaluative audience backchannel 생성에 사용될 body clip의 제작 목록을 정리한 것이다. 각 clip은 Reallusion에서 제작한 뒤, Unity에서 청중 에이전트의 상태와 반응에 따라 연결하여 사용한다. 여기서 body clip은 body posture와 head movement를 함께 포함하며, facial expression clip은 별도로 분리하여 블렌딩한다.

Final Body Clip List for Reallusion

본 노트에서 최종 확정한 Reallusion 제작 대상은 body clip 25개이다. 이 목록은 body posture와 head movement를 함께 포함하는 body clip만을 다루며, facial expression clip은 포함하지 않는다. 따라서 본 페이지의 제작 범위는 base body clip 7개, transient body clip 6개, episode-specific body clip 12개로 구성된다.

Next Step

다음 단계에서는 본 노트에서 정리한 body clip 목록을 바탕으로, 각 clip을 Reallusion에서 제작하고, Unity에서 facial clip 및 gaze control과 함께 연결하여 적용한다.