Synesthesia NRT Settings

Mark as Draft

정의

Unreal Engine 내부에서 Audio 분석 알고리즘의 세부 매개변수와 해상도를 독립적으로 규정하고 저장하는 구성 Data Asset이다.

초기에는 개별 분석 Asset 내부에 설정값을 입력하여 파일들의 분석 기준을 통일하기 어려웠다.

Epic Games는 분석 대상인 Audio Data와 분석 기준인 Settings Data를 물리적으로 분리하는 아키텍처를 고안했다.

이 Asset은 주파수 대역폭이나 샘플링 간격 같은 매개변수를 캡슐화하여 수백 개의 Audio 파일에 동일한 분석 잣대를 일괄 적용한다.

현업 Pipeline에서는 대상 특성에 맞춰 Constant Q 혹은

Loudness - LU 등 알고리즘에 맞는 프리셋을 구축하여 작업 시간을 단축한다.

Fast Fourier Transform - FFT 연산에 필요한 핵심 변수들을 독립된 Asset으로 묶어 관리한다.

단일 Asset을 여러 NRT Asset에 공통 참조로 연결하여 프로젝트 전체의 분석 기준을 통일한다.

Onset Constant Q 등 목적에 부합하는 전용 하위 클래스가 존재하여 논리적 입력 오류를 방지한다.

Time Step 수치를 조절하여 Data 배열 밀도를 결정함으로써 분석 정밀도 사이의 균형을 제어한다.

리듬 Game 배경음악 주파수 대역을 88개의 피아노 건반 수에 맞춰 쪼갠다. 스펙트럼 밴드 개수를 88로 지정하고 최저 주파수를 27.5 Hz로 설정하여 음악적 스케일과 일치하는 기준을 마련한다.

수백 개의 캐릭터 대사 파일 평균 볼륨을 하나의 기준으로 정규화한다. Time Step을 길게 늘려 미세한 변화는 무시하고 전체적인 에너지 흐름만 뽑아내어 CPU 연산 시간을 단축한다.

루프 파일에서 킥 드럼의 정확한 타격 지점만 추출하여 시각 효과 Trigger로 삼는다. 임계값을 높게 설정하여 작은 진폭은 무시하고 강한 에너지를 가진 타임스탬프만 추출한다.

Mark as Published