Noctvrnal: el audio en AR / VR es el 51% de la experiencia

Tuve el asombroso placer de entrevistar Helena McGill y Anna Wozniewicz de Noctvrnal, una startup enfocada en la producción de audio y música, con especial atención a inmersivo experiencias.

Cuando desarrollo una experiencia de realidad virtual, suelo prestar mucha atención al aspecto visual, mientras que a menudo dejo el sonido y la música siempre como lo último por lo que preocuparse. Después de haber hablado con Helena y Anna, me di cuenta de que Siempre he cometido un gran error, ya que el audio espacial de alta calidad es fundamental para mejorar la retención y la apreciación de los usuarios.

En esta entrevista, descubrirá por qué el audio es tan importante y obtendrá también varios conocimientos sobre audio en experiencias inmersivas y sobre los problemas de ser una mujer que trabaja en XR. ¡Que tengas una buena lectura!

Que hace tu empresa Noctvrnal ¿hacer? ¿En que estas trabajando actualmente?

Noctvrnal es un estudio de postproducción de audio con sede en Los Ángeles. Las cofundadoras Helena McGill y Anna Wozniewicz son narradoras visuales con experiencia en diseño de sonido para películas narrativas. Después de notar falta de emprendedoras en la producción de audio y música, el dúo decidió lanzar Noctvrnal en enero de 2017 y desde entonces se han expandido al XR y al espacio tecnológico inmersivo. Noctvrnal esta trayendo inmersivo diseño de sonido a la vanguardia de la realidad virtual y aumentada por empujando los límites de las técnicas actuales para crear una experiencia más visceral. El equipo es un apasionado creando nuevos mundos a través del sonido, y su trabajo se ha presentado en MIT, USC y VRLA.

Actualmente estamos trabajando en una serie de experiencias de realidad virtual, una instalación permanente de obras públicas en Denver, algunas piezas de teatro inmersivo experimental, una serie de pod-play de audio y una instalación de audio reactiva activada por sensor.

Eres un diseñador de audio … ¿por qué crees que el diseño de audio en una aplicación AR / VR es importante?

El audio en AR / VR es el 51% de la experiencia. Como en la vida real, cuando miras a tu alrededor tu campo de visión es limitado, pero aún escuchas los 360 la licenciaturas campo de sonido a tu alrededor, por lo que debe ser realista y no sacarte de la experiencia.

¿También es importante para aplicaciones empresariales o solo para juegos y películas? ¿Por qué?

El audio espacial es importante para todas las experiencias de AR / VR. La investigación ha demostrado que el audio espacial mantiene a los usuarios en una experiencia durante un 40% más. Desea que los sonidos imiten la vida real y agreguen realismo / inmersión a la experiencia, ya sea para entretenimiento o aplicaciones empresariales.

Extraemos mucho de nuestra experiencia en investigación en psicoacústica con el fin de Diseñe UX / UI auditivo efectivo para empresas. Esto es especialmente importante en los ámbitos militar, de entrenamiento y de terapia, y nos basamos en nuestra experiencia en psicoacústica para diseñar estos sistemas.

Entonces, ¿cómo se debe diseñar el audio para una experiencia de entrenamiento de AR / VR? ¿Qué consejos nos puedes dar?

Para cualquier experiencia de AR / VR, debe tener en cuenta la psicoacústica: colocar los sonidos de una manera que atraiga la atención de los espectadores o asegurarse de La duración del efecto de sonido es suficiente para mantener su atención y permitirles localizar la fuente.. Por ejemplo, las fuentes de sonido se ubican más fácilmente a lo largo de un eje horizontal, pero nuestros cerebros tienen más dificultades para percibir variaciones de altura. Utilice cada experiencia como I + D para la siguiente: cada experiencia es diferente, así que averigüe qué funcionó (y por qué), qué no y cómo puede mejorar para la siguiente.

¿Y cuáles son las diferencias entre diseñar el audio para una experiencia de realidad aumentada y diseñarlo para una experiencia de realidad virtual?

Depende de la experiencia en sí. La principal diferencia en flujo de trabajo, ya sea AR o VR, es si la experiencia es interactiva y se está construyendo en un motor de juego, o tiene una línea de tiempo más lineal / cinematográfica. Además, dentro de un motor de juego, puede simular los reflejos y la oclusión de la habitación con mayor precisión para la realidad virtual, porque los objetos son todos virtuales. Para AR, la mayoría de las experiencias existen como AR móvil y el audio es un idea tardía, porque la gente no siempre lleva auriculares consigo. Estamos realmente entusiasmados con BoseAR y su potencial para atraer más atención al audio espacial de manos libres.

¿Estás emocionado con HoloLens 2? ¿Por qué?

¡Muy emocionado! Trabajamos mucho con empresa y formación, por lo que Hololens 2 abrirá muchas oportunidades y potencial de avance en ese sector.

¿Cómo realizas tu trabajo?

Nos gusta participar lo antes posible en el proceso de desarrollo del guión. De esa manera, podemos incluir disparadores de audio como parte de la historia y usarlos para dirigir la atención del espectador. Capturamos audio en el set para realidad virtual cinematográfica, creamos objetos de sonido para experiencias basadas en motores de juegos y trabajamos con ambisonics (campos de sonido). Nuestras herramientas principales son DAW, complementos de audio espacial y SDK, así como micrófonos tradicionales y ambisónicos.

¿Qué, en su opinión, todavía le falta a la tecnología AR / VR actual para hacer que el audio sea completamente realista?

Problema más grande: muchas experiencias todavía no utilizan audio espacial. es solo en estéreo. También hemos encontrado que sLos equipos creativos no comprenden completamente el audio patial., o no se utiliza en su máximo potencial, es decir, para involucrar al usuario con el espacio completo de 360 ​​grados.

Los SDK de audio espacial están mejorando rápidamente en términos de realismo. Sin embargo, el siguiente paso será auriculares que miden HRTF en tiempo real.

¿Cuál es su opinión sobre las gafas AR de audio recientes como las de Bose?

Son un gran comienzo y un gran paso adelante para las aplicaciones de audio espacial. Hacen que el audio espacial sea más accesible para todos y ponen énfasis en el lado del audio de las cosas, en lugar de centrarse primero en las imágenes.

¿Cuál es, en su opinión, el mejor casco de realidad virtual y realidad aumentada en lo que respecta a la calidad del audio?

Realmente depende de los auriculares que esté usando con esos auriculares. Los auriculares independientes, como Oculus Go, tienen altavoces decentes integrados, pero a menudo con fines de demostración en eventos concurridos. no se tiene en cuenta el ruido de fondo.

Hay muchos rumores sobre la diversidad en la realidad virtual y aumentada. Eres una mujer en XR. ¿Qué quieres decir sobre el tema?

Estar en la encrucijada entre tres industrias dominadas por hombres (tecnología, entretenimiento y audio) definitivamente no es fácil.

Hemos tenido que gastar mucha energía en simplemente demostrar nuestro valor antes de que nos tomen en serio como ingenieros de audio. y tratados como iguales y colaboradores. Uno de los mayores problemas para las mujeres en XR también es el acceso: la mayor parte de la financiación proviene de los hombres, por lo que menos mujeres reciben financiación que hombres, lo que crea un círculo vicioso. Descubrimos que nuestros proyectos más importantes y clientes habituales provienen de otras mujeres en el espacio XR. Ya sea intencionalmente o no, mujeres que apoyan a las mujeres ha sido el mayor sistema de soporte en tecnología inmersiva.

¿Cómo imagina el futuro del audio en XR?

El futuro de la tecnología inmersiva y el audio espacial se encuentra en la ubicación–experiencias basadas en eventos de marketing experiencial. Los auriculares son aislantes, por lo que cuanto más podamos unir a las personas y usar la tecnología para crear experiencias sociales, más atractivas serán las experiencias. Algunas de las mejores experiencias actualmente son reactivas al audio., conciertos en realidad virtual o juegos orientados a la música como Beat Saber (el juego número uno en Steam).

¿Qué hay de tu futuro en cambio?

Nos gustaría continuar empujando los límites del audio espacial y encontrando nuevas formas de incorporar audio en las experiencias, ya sean AR / VR, basados ​​en la ubicación o contenido completamente experimental. Somos narradores de corazón, por lo que siempre estamos buscando formas de desafiar las técnicas actuales y usar el sonido para transmitir historias de formas nuevas y atractivas.

---

Espero que le haya encantado esta entrevista y que le haya ayudado a obtener más información sobre audio en experiencias de realidad virtual y aumentada. Y si quieres conocer mejor a las chicas fantásticas de Noctvrnal, ¡eche un vistazo a su sitio web o pídame una presentación! 🙂