Synesthesia Settings

Mark as Draft

정의

Unreal Engine 내부에서 게임 플레이 중 실시간으로 출력되는 Audio Signal을 분석하여 시각 효과나 게임 로직에 연동하기 위한 실시간 분석 알고리즘의 기준과 매개변수를 규정하는 Data Asset이다.

설명

과거 오프라인 기반의 NRT 분석은 CPU 부하가 적은 대신 마이크 입력이나 절차적으로 생성되는 오디오처럼 런타임에 무작위로 발생하는 Signal을 분석할 수 없는 치명적인 물리적 한계가 존재했다.

Epic Games는 이를 극복하기 위해

📄

Sound Submix 단에서 흐르는 Audio Signal을 가로채어 분석하는 실시간 Synesthesia 시스템을 엔진 코어에 전격 추가했다.

이 Asset은 실시간 분석에 요구되는

📄

Fast Fourier Transform - FFT 연산의 해상도와 반응 속도를 제어하여 한정된 시스템 자원 안에서 퍼포먼스 저하를 막는 밸브 역할을 수행한다.

현업 Pipeline에서는

📄

Synesthesia NRT로 처리할 수 없는 동적인 입력이나 플레이어 조작에 따라 매번 달라지는 게임 오디오를 실시간 시각 효과로 렌더링할 때 필수적인 구성 파일로 작동한다.

원리

Window Size 해상도 조절

분석을 위해 한 번에 캡처하는 Audio Sample 개수를 지정하여 주파수를 정밀하게 식별할 것인지 아니면 시간 반응 속도를 빠르게 가져갈 것인지 물리적 트레이드오프를 조율한다.

Window Type 파형 필터링

Hann 혹은 Blackman 같은 수학적 필터 함수를 지정하여 캡처된 Audio 파형의 양끝을 부드럽게 깎아냄으로써 파형이 잘릴 때 발생하는 불필요한 고주파 노이즈 연산을 원천 차단한다.

Spectrum Type 데이터 변환

추출된 주파수 Data 에너지를 Power 혹은 Magnitude 형태 중 어떠한 수학적 스케일로 출력할지 결정하여 외부 시각 효과 시스템이 요구하는 최적의 수치 범위로 물리적 스케일을 조절한다.

Downmix To Mono 런타임 합산

다채널 Stereo Signal을 실시간으로 분석할 때 좌우 채널을 독립적으로 연산하지 않고 단일 Mono Signal로 통합하여 CPU의 런타임 오디오 연산 부하를 즉각적으로 절반으로 낮춘다.

구조

예시

Voice Chat 립싱크 실시간 연동

멀티플레이어 게임에서 플레이어가 마이크로 말하는 Audio Signal은 사전에 예측할 수 없어 NRT 분석이 아예 불가능하다. 플레이어 마이크가 연결된 Submix에 실시간 Synesthesia Settings를 연동하고 Window Size를 매우 짧게 설정하여 대화의 볼륨과 주파수 형태를 즉각 추출한 뒤 아바타의 입 모양 Animation 매개변수에 런타임으로 매핑한다.

절차적 렌더링 오디오 시각화

📄

MetaSound Source - MSS를 통해 실시간으로 합성되는 무작위적인 전자음악은 정해진 재생 길이가 존재하지 않아 오프라인 Caching을 할 수 없다. 해당 음악이 흐르는 Submix에 Spectrum Analysis 플러그인을 삽입하고 이 Settings를 연결하여 실시간 베이스 주파수 Data를 추출한 뒤 클럽 스테이지의 네온사인 발광 Material 강도를 절차적으로 제어한다.

동적 전장 환경음 반응형 시스템 설계

수많은 폭발과 파편이 무작위로 튀는 전장 상황에서 발생하는 전체 환경음의 순간적인

📄

Peak 에너지를 시스템적으로 측정한다. Settings 내부의 분석 간격을 게임 렌더링 프레임과 완벽히 동기화하고 특정 주파수 대역 에너지가 물리적 임계값을 초과할 때 주변 캐릭터들이 귀를 막고 웅크리는 회피 로직을

📄

Blueprint - BP 를 통해 실시간으로 발동시킨다.

Mark as Published