버밍엄 대학교는 JAMS 플랫폼을 공개하여 음악가들이 반응형 아바타를 사용하여 실시간으로 협업할 수 있도록 했습니다. 이 혁신은 대면 음악 경험의 마법을 가상 세계로 가져와 연습, 교육 및 공연을 향상시킬 것을 약속합니다.
버밍엄 대학교는 가상 음악의 세계를 혁신할 것을 약속하는 획기적인 혁신을 공개했습니다. 학제간 연구를 통해 개발된 Joint Active Music Sessions(JAMS) 플랫폼은 음악가들이 아바타 기술을 사용하여 실제와 같은 연습, 공연 및 교육 세션에 참여할 수 있도록 합니다.
"음악가는 자신을 녹화하여 다른 음악가에게 비디오를 보냅니다. 소프트웨어는 음악 파트너와 완벽하게 동기화되어 재생되는 반응형 아바타를 만듭니다. 연주, 연습 또는 교육을 위해 음악가들을 모으려면 iPhone과 VR 헤드셋만 있으면 됩니다." 버밍엄 대학교의 준교수이자 개발팀을 이끈 Massimiliano(Max) Di Luca가 말했습니다. 보도 자료.
JAMS 플랫폼은 음악 공연의 미묘함과 뉘앙스를 포착하는 아바타를 사용하여 전통적인 가상 음악 환경을 초월합니다. 이러한 아바타는 바이올리니스트의 활 움직임을 사실적으로 재현하거나 가상 밴드 멤버 간의 의미 있는 눈맞춤을 허용하여 전반적인 음악적 상호 작용을 향상시킵니다.
다른 가상 음악 협업과 달리 JAMS는 지연 문제를 해결합니다.
"지연은 사운드가 생성되고 청취자에게 도달하는 데 걸리는 시간 차이이며, 연주자는 10밀리초만큼 짧은 지연으로 인한 영향을 느끼기 시작하여 '비트에서 벗어나'거나 집중력을 잃거나 연주의 기술적 측면에서 주의가 산만해질 수 있습니다."라고 디 루카는 덧붙였습니다.
증강 현실 음악 앙상블(ARME) 프로젝트에서 개발된 JAMS는 공연자 간의 시기적절한 조정을 포착하는 역동적인 알고리즘으로 강화되었습니다. 이 혁신적인 프로젝트는 심리학, 컴퓨터 과학, 공학, 음악, 스포츠 과학 및 수학 분야의 전문가들을 모았습니다.
"우리는 음악을 직접 연주하는 마법을 가상 세계로 가져오는 것을 목표로 합니다. 다른 사람들이 연주하는 아바타를 조정하거나 마에스트로와 연습을 통해 더 잘 연주하는 법을 배울 수 있습니다."라고 Di Luca 박사는 덧붙였습니다.
JAMS는 현실적이고 몰입감 있는 배경을 제공하고 아바타의 얼굴을 눈높이에 유지함으로써 음악가들 간의 연결감을 강화합니다. 이 플랫폼은 노련한 음악가와 초보 음악가 모두에게 대화형 가상 그룹에서 공연할 수 있는 새로운 기회를 열어 대규모 가상 콘서트와 혁신적인 음악 교육 방법을 가능하게 합니다.
게다가 JAMS는 립싱크, 미디어 더빙, 음악가의 디지털 트윈 생성을 포함한 상업적 잠재력을 가지고 있습니다. 이러한 아바타는 다양한 애플리케이션에 라이선스를 부여하여 카탈로그와 출판권을 활용하는 새로운 방법을 홍보할 수 있습니다.