Leonardo Journal, Volume 57, Issue 5

웹 애플리케이션 'SIREN'의 설계 철학을 통해 데이터 청각화(Sonification)의 대중화 방안을 제시한다. 웹 기술을 활용해 정교한 청각 데이터 디스플레이를 누구나 쉽게 접할 수 있는 프레임워크를 구축함으로써, 기존의 복잡한 전문 도구들과 잠재적 사용자 사이의 거대한 간극을 메우고자 한다.

Web Audio Conference

웹 애플리케이션 'SIREN'의 사운드 합성 아키텍처를 상세히 기술하며, 모듈 시스템이 사용자 정의 신시사이저 구축을 어떻게 가능하게 하는지 설명한다. 낮은 진입 장벽과 창의적 표현의 높은 한계치(High ceiling) 사이에서 균형을 잡은 설계를 통해, 사용자가 미학적으로 완성도 높은 청각화(Sonification)를 직접 구현할 수 있도록 돕는다.

W3C TPAC

W3C 오디오 워킹 그룹(Audio Working Group)의 최근 개발 현황과 새롭게 표준화된 기능들을 시연한다. API의 발전 과정뿐만 아니라 브라우저 간의 호환성(Cross-browser compatibility) 개선과 성능 최적화를 위한 노력들을 공유하며, 웹 오디오 인프라가 어떻게 진화하고 있는지 청사진을 제시한다.

The Audio Programmer Podcast

구글 크롬 팀의 일원이자 W3C 오디오 워킹 그룹(Audio Working Group)의 공동 의장으로서 웹 오디오 표준을 이끌어가는 과정에 대해 나눈 대화. 브라우저 기반 오디오 도구를 구축할 때 마주하는 기술적 난제들과 AudioWorklet 같은 저수준 API의 중요성을 심도 있게 다룬다. 특히 웹과 네이티브의 장점을 결합한 하이브리드 애플리케이션의 미래와 웹 플랫폼만의 독자적인 경쟁력에 대한 필자의 통찰을 담고 있다.

Proceedings of the 28th International Conference on Auditory Display

정교한 청각화(Sonification)를 지원하기 위해 진화한 웹 애플리케이션 'SIREN'의 업데이트 버전을 소개한다. DAW의 핵심인 '트랙과 리전(Tracks and Regions)' 모델을 견고하게 구현하여, 사용자가 프로그래밍 없이도 복잡한 파라미터 매핑과 다채로운 소리 구성을 탐구할 수 있도록 접근성의 문턱을 대폭 낮췄다.

Web Audio Conference

지난 십 년간의 Web Audio API의 여정을 되짚어보고, 다가올 새로운 십 년의 비전을 공유하는 기조연설. AudioWorklet과 웹어셈블리(WebAssembly)를 통해 성숙기에 접어든 웹 플랫폼의 현재를 진단하고, WebCodecs와 같은 새로운 표준들이 어떻게 웹과 네이티브 애플리케이션 사이의 간극을 좁힐 수 있을지 미래의 과제들을 논의한다.

Audio Developer Conference

온라인상에서 음악을 창작하기 위한 현대적 웹 기술을 살펴본다. 특히 고성능 사운드 처리를 위해 AudioWorklet 내에서 웹어셈블리(WebAssembly)를 활용하는 기법을 비중 있게 다룬다. 아울러 브라우저 내장 코덱을 직접 제어해 오디오 인코딩 및 디코딩의 효율을 극대화할 수 있는 WebCodecs API의 잠재력을 소개한다.

Music Hackspace

구글 크롬 팀에서 Web Audio API의 발전을 이끌어가는 에반젤리스트(Advocate)로서의 역할을 공유한 인터뷰. 직접 코드를 작성하는 엔지니어의 영역을 넘어, 다양한 파트너 및 개발자 커뮤니티와 소통하며 그들의 목소리를 표준에 반영하는 생태계 지원 활동에 대해 이야기한다.

Proceedings of the 26th International Conference on Auditory Display

데이터 청각화(Sonification)를 위한 오픈소스 웹 워크스테이션 'SIREN'을 처음 소개한다. 우리에게 익숙한 DAW(Digital Audio Workstation)의 워크플로우를 차용하여, 프로그래밍 지식이 깊지 않은 사용자도 트랙 기반 레이아웃 위에서 데이터를 소리로 손쉽게 매핑하고 의미 있는 청각 디스플레이를 창작할 수 있도록 돕는다.

Chrome for Developers

Web Audio API를 활용해 간단한 드럼 머신을 제작하는 과정을 시연하며, 브라우저 간의 호환성이 확보된 API의 성숙도를 강조한다. 더불어 AudioWorklet과 웹어셈블리(WebAssembly)를 결합하여 전문적인 오디오 소프트웨어를 구축하는 핵심 기법을 공유한다. 영상과 함께 실제 구현 코드를 제공한다.

W3C Workshop on Web Games

웹 플랫폼의 저수준 오디오 입출력 성능 개선에 초점을 맞춘 API 디자인을 선보인다. API의 최신 진척 상황과 향후 방향성을 공유하며, 이 개선된 API가 어떻게 웹을 게임과 같은 고성능 애플리케이션을 위한 강력한 플랫폼으로 진화시키고 있는지 설명한다.

Google I/O

안드로이드와 크롬 플랫폼 모두를 아우르는 고성능 오디오 구현 전략을 제시한다. 공용 C++ 오디오 엔진을 웹어셈블리(WebAssembly)와 AudioWorklet을 통해 네이티브 앱과 웹 앱에서 동시에 구동하는 방식을 보여주며, 개발자가 한 번의 코딩으로 모든 곳에 배포(write once, deploy everywhere)할 수 있는 가능성을 입증한다.

International Computer Music Conference

결점이 많은 ScriptProcessorNode를 대체하는 AudioWorklet의 기술적 세부사항을 다룬 논문이다. 전용 오디오 스레드에서 코드를 실행함으로써 치명적인 성능 문제를 해결하고, 오디오 끊김 현상을 원천적으로 방지한다. 이를 통해 고성능 웹 오디오 애플리케이션에 필수적인 낮은 레이턴시 처리를 어떻게 실현하는지 설명한다.

WebAudioPDX

기존의 ScriptProcessorNode를 대체하는 새로운 표준 'AudioWorklet'에 대한 세계 최초의 강연. 메인 스레드로부터 오디오 프로세싱을 완전히 분리해 성능 저하 없는 사운드 처리를 가능하게 하는 시스템 아키텍처를 설명하며, 웹 앱에서의 낮은 레이턴시를 구현 방법을 다룬다.

W3C Workshop on Web and Virtual Reality

브라우저 환경에서 앰비소닉Ambisonics)을 구현하는 오픈소스 라이브러리 'Omnitone'을 소개한다. 360도 비디오와 VR 콘텐츠에 필수적인 몰입형 오디오의 필요성을 역설하며, 압축 포맷 처리와 오디오-비디오 동기화 등 웹 플랫폼에서 마주한 기술적 과제들을 공유한다.

Stanford University

개방형 웹 표준을 활용해 실시간 협업 음악 퍼포먼스(Musicking)의 기술적 토대를 구축한 박사 학위 논문이다. 네트워크 기반의 음악적 상호작용을 위한 시스템을 연구하며, 인터랙티브 음악 애플리케이션의 대중화를 위한 가장 강력한 도구로서 웹의 잠재력에 대해 서술한다.

CCRMA

웹 기술을 활용한 실시간 네트워크 기반 음악 협업의 가능성을 탐구한 박사 학위 논문 발표. 분산된 환경에서의 'Musicking'을 위한 프레임워크를 제안하며, 오디오 레이턴시와 같은 기술적 난제를 어떻게 극복하고 웹 앱을 통해 협업의 문턱을 낮출 수 있는지 논의한다.

The Journal of the Acoustical Society of America

드로잉 소리를 실시간으로 가공하는 오디오-비주얼 악기에 관한 연구다. 매그니토미터(Magnetometer)를 이용해 연필의 위치를 추적하고 이를 소리의 변조로 연결함으로써, 신체적 제스처와 소리 사이에 긴밀한 피드백 루프를 구축했다. 논문에서는 이를 위한 하드웨어와 소프트웨어의 세부 설계를 공유한다.

Proceedings of the international conference on New Interfaces for Musical Expression

Web Audio API의 복잡성을 해결하고 기능을 확장하기 위한 라이브러리 'WAAX'를 제안한다. 추상화된 '유닛(unit)' 개념을 도입해 저수준의 노드 그래프를 직관적으로 관리할 수 있는 고수준 프레임워크를 구축했으며, 개발 속도를 높여주는 시각화 도구와 GUI 제어 기능을 포함한다.

CCRMA Colloquium

복잡한 Web Audio API의 사용성을 높이기 위한 라이브러리 'WAAX'를 소개한다. 노드 그래프(Node Graph)를 재사용 가능한 '유닛' 단위로 추상화하는 개념을 다루며, 빠른 개발과 시각화를 지원하는 도구들을 통해 개발자가 음악적 아이디어를 브라우저 위에서 손쉽게 스케치할 수 있는 환경을 제안한다.

Proceedings of the 18th International Conference on Auditory Display

데이터 청각화(Sonification)를 위한 벡터 기반 3D 패닝(VBAP)의 새로운 구현 방식을 다룬다. 3D 사운드의 궤적을 시각적으로 설계할 수 있는 인터페이스를 구축하고, 컴퓨터 그래픽스 기술을 실시간 패닝에 적용하여 몰입형 청각 디스플레이를 위한 구현했다.

Proceedings of the international conference on New Interfaces for Musical Expression

전자음향 드로잉 보드로 연주하는 앙상블 '데클(Deckle) 프로젝트'에 관한 기록이다. 임베디드 시스템과 센서를 활용해 '그리는 행위(Gesture)'를 소리로 연결했다. 세 가지 위치 추적 기술을 통해 드로잉이 어떻게 실시간 음악 퍼포먼스로 탈바꿈할 수 있는지 탐구한다.

Proceedings of the international conference on New Interfaces for Musical Expression

유기적이고 상호작용 가능한, 혹은 생성형 음악을 제작하기 위한 시스템 'LUSH'를 소개한다. Web Audio API가 보편화되기 훨씬 이전의 연구로, 당시의 기술적 환경에서 인터랙티브 음악 시스템과 새로운 음악적 표현 인터페이스를 어떻게 구현하고자 했는지 보여주는 좋은 예제.