Animation Clip Production Framework for Evaluative Audience Backchannels
AI 청중의 evaluative backchannel 생성을 위해 필요한 animation clip을 sustained state와 transient state의 관점에서 정리하고, 각 clip의 제작 단위, 조합 원리, 재사용 구조, 그리고 제작 우선순위를 포함한 작업적 기준을 정리한 노트.
Research Goal
AI 청중 백채널 생성을 위한 animation clip 제작 체계를 정교화하기 위해, sustained state와 transient state를 어떤 clip 단위로 제작할지, 각 clip이 어떤 채널 조합과 temporal profile을 가져야 하는지, 그리고 reusable clip과 state-specific clip을 어떻게 구분할지를 작업적 기준으로 정리한다.
Research Question
RQ1. AI 청중의 evaluative backchannel 생성을 위해 어떤 종류의 animation clip이
최소 단위로 필요하며, 이들은 어떤 범주로 조직될 수 있는가?
RQ2. sustained state와 transient state는 각각 어떤 제작 단위와 채널 조합으로
구현되어야 하는가?
RQ3. clip 제작량을 과도하게 늘리지 않으면서도 다양한 evaluative meaning을
표현하기 위해 어떤 재사용 원리와 layering rule이 필요한가?
RQ4. 실제 프로토타입 구현을 위해 어떤 clip을 우선 제작하고, 어떤 clip은 후속
단계로 미룰 수 있는가?
Current Ambiguity
현재까지는 sustained state와 transient state의 작업적 inventory는 정리되어 있으나, 이를 실제 animation clip 제작 단위로 옮길 때 무엇을 독립 clip으로 만들고 무엇을 modulation 또는 overlay로 처리할지에 대한 기준은 아직 더 정교화가 필요하다. 특히 sustained state의 경우 기본 posture clip과 gaze control을 어디까지 분리할지, transient state의 경우 derived transient를 모두 독립 clip으로 만들 것인지 아니면 reusable micro-clip으로 만들 것인지, 그리고 self-regulation episode를 별도 clip library로 둘 것인지에 대한 결정이 필요하다.
Animation Clip Production Framework
본 노트에서는 AI 청중의 evaluative backchannel 생성을 위한 animation clip 제작 체계를
네 기준에서 정리한다.
첫째, clip을 sustained base clip과 transient clip으로 구분한다.
둘째, 각 clip이 어떤 채널 조합을 핵심으로 가지는지 정리한다.
셋째, 독립 제작이 필요한 clip과 재사용 가능한 clip을 구분한다.
넷째, 실제 구현을 위한 제작 우선순위를 정리한다.
Working Criteria
Clip Categories
Clip Categories는 AI 청중 백채널 생성을 위해 필요한 animation clip의 기본 범주를 정리한 것이다. clip은 유지형 상태를 담당하는 sustained clip과, 짧게 덧입혀지는 transient clip으로 나뉜다.
| Clip Category | Operational Definition | Typical Example | Production Principle |
|---|---|---|---|
| Sustained base clip | 일정 시간 유지되는 기본 posture / facial state를 구성하는 clip. | STATE_upright_neutral, STATE_forwardLean_strained | 기본 state를 형성하는 clip로 제작하며, gaze는 runtime control과 결합 가능하다. |
| Derived transient clip | 기본 sustained state 위에 짧게 덧입혀지는 반응성 signal clip. | STATE_singleNod_neutral, STATE_briefTilt_questioning | 짧은 micro-clip 또는 overlay clip으로 제작한다. |
| Episode-based transient clip | 행위 자체가 의미 중심이 되는 transient action clip. | STATE_noteTaking, STATE_deviceChecking, STATE_sideConversation | 독립 action episode clip으로 제작한다. |
| Self-regulation interrupt clip | 기본 state와 분리된 interrupt event로 삽입되는 자기조절 clip. | STATE_briefSelfTouch, STATE_fidgeting, STATE_seatAdjustment | interrupt layer에서 호출 가능한 별도 clip library로 둔다. |
Sustained Clip Production Units
sustained clip은 기본 청중 상태를 형성하는 제작 단위이다. 이 범주의 clip은 body, core head, facial state를 중심으로 비교적 안정된 상태를 유지해야 한다.
| Clip ID | Core Channels | Production Focus | Notes |
|---|---|---|---|
| STATE_upright_neutral | body + facial | 기본 attentive baseline | 가장 높은 재사용성을 가지는 base clip. |
| STATE_forwardLean_neutral | body + facial | 높은 attentiveness | speaker / slides attention 증가 상태의 기본 clip. |
| STATE_upright_positive | body + facial | 약한 긍정 수용 | neutral base에서 mouth / periocular variation이 핵심. |
| STATE_forwardLean_positive | body + facial | 높은 관심과 긍정 수용 | forward attentiveness와 positive affect를 함께 표현한다. |
| STATE_upright_questioning | body + head + facial | 판단 유보 / 약한 의문 | tilt hold가 핵심 channel로 포함된다. |
| STATE_forwardLean_questioning | body + head + facial | 따라가며 의문을 가지는 상태 | forward body와 questioning head cue를 함께 가진다. |
| STATE_upright_strained | body + facial | 인지적 부담 | neutral posture 안에서 strain을 facial tension으로 드러낸다. |
| STATE_forwardLean_strained | body + facial | 따라가려는 긴장 | forward lean과 strain이 함께 핵심이다. |
| STATE_backward_reserved | body + facial | 거리두기와 보류 | backward lean과 arm closure가 핵심 cue다. |
| STATE_sideOriented_disengaged | body + head | 부분적 disengagement | held turn과 side orientation이 핵심이다. |
| STATE_slumped_fatigued | body + facial | 피로와 reduced engagement | slumped trunk와 low-energy facial state가 중심이다. |
Derived Transient Clip Production Units
derived transient clip은 sustained state 위에 짧게 덧입혀지는 micro response clip이다. 이 범주의 clip은 기본 state를 교체하지 않고 짧은 signal을 추가한다.
| Clip ID | Core Channel | Production Focus | Reuse Strategy |
|---|---|---|---|
| STATE_singleNod_neutral | head | 짧은 이해 / acknowledgment | 다수 sustained state 위에 재사용 가능 |
| STATE_repeatedNod_positive | head + facial | 적극적 추적 / 동의 | positive or uptake-oriented state에 우선 결합 |
| STATE_briefShake_negative | head + facial | 가벼운 불일치 / 비수용 | reserved / evaluative state와 결합 |
| STATE_briefTilt_questioning | head | 약한 의문 / 판단 유보 | questioning state와 높은 양립성 |
| STATE_briefDip_strained | head | 순간적 처리 부담 | strained state modulation으로 재사용 |
| STATE_briefTurnAway_neutral | head + gaze | 짧은 attention shift | neutral / disengaged state에 결합 가능 |
Episode-based Transient Clip Production Units
episode-based transient clip은 행위 자체가 의미 중심이 되는 독립 action clip이다. 이 범주의 clip은 micro signal이 아니라 하나의 짧은 action sequence로 제작해야 한다.
| Clip ID | Action Type | Production Focus | Notes |
|---|---|---|---|
| STATE_noteTaking | task episode | writing posture + note-focused gaze | 지속시간 variation을 고려해 loop 가능한 구조가 필요하다. |
| STATE_typing | task episode | device-use posture + downward attention | keyboard / device interaction gesture가 핵심이다. |
| STATE_deviceChecking | brief task episode | 짧은 attention disengagement | 빠른 onset과 빠른 recovery가 중요하다. |
| STATE_photographingSlides | recording episode | camera / phone raise + atSlides orientation | slide-oriented posture와 recording gesture가 함께 필요하다. |
| STATE_objectHandling | object episode | short manipulation behavior | 핵심은 발표와 직접 무관한 손 조작이다. |
| STATE_sideConversation | social episode | brief turn + neighbor-oriented interaction | body / head / gaze의 방향 전환이 핵심이다. |
| STATE_whispering | social episode | low-amplitude side talk | sideConversation보다 더 낮은 amplitude로 제작한다. |
| STATE_yawn | physiological interruption | fatigue-linked interruption | jaw and head timing이 핵심이다. |
| STATE_cough | physiological interruption | brief contracted interruption | 짧고 국소적인 interruption으로 제작한다. |
| STATE_fidgeting | self-regulatory episode | restless micro-adjustment | 반복 가능한 variation set이 있으면 좋다. |
| STATE_briefSelfTouch | self-regulatory episode | brief self-soothing gesture | face / chin / cheek vicinity touch variation 가능 |
| STATE_seatAdjustment | self-regulatory episode | repositioning in seat | 시선 이탈과 posture reset이 함께 들어간다. |
Reusable vs State-Specific Clip Rules
모든 clip을 독립적으로 새로 제작하면 제작량이 과도하게 증가하므로, 재사용 가능한 clip과 특정 state에 종속적인 clip을 구분할 필요가 있다.
| Clip Type | Reusable Condition | State-Specific Condition | Production Decision |
|---|---|---|---|
| head-led transient | body posture를 크게 바꾸지 않고 다수 state에 얹을 수 있을 때 | 특정 state의 torso / facial tension과 강하게 결합될 때 | 우선 reusable micro-clip으로 제작한다. |
| facial modulation | 강도만 다르고 기본 형태가 유사할 때 | 질적으로 다른 evaluative meaning을 전달할 때 | shape variation set으로 묶되 필요 시 state-specific으로 분리한다. |
| task / episode clip | 거의 없음 | 행위 자체가 의미 중심일 때 | 독립 clip으로 제작한다. |
| sustained posture clip | gaze를 runtime control로 분리할 수 있을 때 | body organization 자체가 다를 때 | posture 중심 base clip으로 제작한다. |
Clip Layering Rules
clip layering은 sustained base clip 위에 transient clip을 덧입히는 원리를 정리한 것이다. 이 규칙은 clip 제작과 구현의 경계를 동시에 고려한다.
| Layer | Content | Rule | Production Implication |
|---|---|---|---|
| Base layer | sustained posture + facial state | 항상 하나의 base state만 유지한다. | base clip 간 경계가 분명해야 한다. |
| Gaze layer | speaker / slides / alternating / away | 가능하면 clip baked가 아니라 runtime control로 분리한다. | base clip 수를 줄일 수 있다. |
| Transient layer | nod / tilt / shake / dip / brief turn | base state를 교체하지 않고 짧게 덧입힌다. | micro-clip 재사용성이 높다. |
| Interrupt layer | self-regulation / physiological episode | threshold 초과 시에만 독립 event로 삽입한다. | 별도 clip library 관리가 필요하다. |
Production Priority
실제 프로토타입을 위해서는 모든 clip을 한 번에 제작하기보다 우선순위를 정해 순차적으로 제작하는 편이 효율적이다.
| Priority Tier | Clip Set | Reason |
|---|---|---|
| Tier 1 | STATE_upright_neutral, STATE_forwardLean_neutral, STATE_upright_questioning, STATE_upright_strained, STATE_backward_reserved | 기본 evaluative stance를 구분하는 최소 sustained set이다. |
| Tier 1 | STATE_singleNod_neutral, STATE_briefTilt_questioning, STATE_briefShake_negative, STATE_briefDip_strained | 핵심 derived transient set으로, 기본 reaction repertoire를 형성한다. |
| Tier 2 | STATE_forwardLean_positive, STATE_forwardLean_questioning, STATE_forwardLean_strained, STATE_slumped_fatigued | attention intensity와 fatigue nuance를 확장한다. |
| Tier 2 | STATE_noteTaking, STATE_deviceChecking, STATE_briefSelfTouch, STATE_fidgeting | 과업 행동과 자기조절 interrupt를 추가해 현실감을 높인다. |
| Tier 3 | STATE_typing, STATE_photographingSlides, STATE_sideConversation, STATE_whispering, STATE_yawn, STATE_cough, STATE_seatAdjustment | 확장적 현실감과 episode 다양성을 위한 clip set이다. |
Literature Basis
- Virtual audience production. 발표 청중을 위한 가상 에이전트는 단일 motion보다 posture, gaze, head, facial cue의 조합으로 사회적 태도를 지각하게 한다.
- Reusable nonverbal signals. nod, shake, brief gaze shift와 같은 국소 신호는 다양한 listening state 위에 재사용 가능한 micro-clip으로 다룰 수 있다.
- Episode specificity. note taking, device checking, side conversation과 같은 행동은 행위 자체가 의미 중심이기 때문에 독립 episode clip로 다루는 편이 타당하다.
Open Questions
아직 각 clip을 실제 제작할 때 body, head, facial을 하나의 baked clip으로 묶을지, 일부 채널을 additive layer로 분리할지에 대한 구체적 제작 파이프라인은 더 정리할 필요가 있다. 또한 derived transient 중 어떤 clip은 완전히 재사용 가능하고 어떤 clip은 특정 sustained state와만 자연스럽게 결합되는지에 대한 세부 검토가 더 필요하다.
Next Step
다음 단계에서는 실제 제작할 clip list를 최종 확정하고, 각 clip에 대해 clip ID, 핵심 채널, temporal profile, 제작 방식, 재사용 가능 여부를 정리한 production sheet를 작성한다.
References
- Chollet, M., & Scherer, S. (2017). Perception of virtual audiences. IEEE Computer Graphics and Applications, 37(4), 50–59.
- Kang, N. (2016). Public speaking in virtual reality: Audience design and speaker experiences.
- Poeschl, S., & Doering, N. (2012). Designing virtual audiences for fear of public speaking training: An observation study on realistic nonverbal behavior. Annual Review of Cybertherapy and Telemedicine, 181, 218–222.
- Ristorcelli, M., D’Ambra, A., Pergandi, J.-M., Casanova, R., Ochs, M., Torre, I., Volpe, G., & Conati, C. (2024). Impact of the nonverbal behavior of virtual audience on users’ perception of social attitudes. Proceedings of the International Conference on Advanced Visual Interfaces, AVI 2024, 1–9.