Experiencias inmersivas de las manifestaciones sociales de 2021
Julián Jaramillo Arango1Ph. D. en Comunicación y Artes, Universidade de São Paulo. Profesor asistente del departamento de Comunicación, Pontificia Universidad Javeriana. Contacto: jaramillo.julian@javeriana.edu.co
Resumen
Esta ponencia describe dos trabajos audiovisuales creados recientemente por el Semillero de investigación en Medios Inmersivos VR&360, de la Facultad de Comunicación y Lenguaje, de la Universidad Javeriana. Desde una perspectiva que integra nociones como la reportería inmersiva y el activismo mediático, nuestro semillero viene desarrollando contenidos transmedia que integran narrativas de realidad virtual (en inglés, VR, por las iniciales de Virtual Reallity) y videojuego. El primer trabajo que presentaremos se titula A parar para escuchar, vive el paro nacional, y fue elaborado por los estudiantes Juanita Bedoya y Gabriel Betancur. Se trata de un podcast que recoge muestras de audio de las manifestaciones; algunas de ellas, extraídas de la red, y otras, capturadas in situ. Estas muestras son remezcladas en una configuración de audio binaural en 3D, que permite al oyente experimentar la ilusión de un espacio acústico inmersivo través de los audífonos, y donde el sonido proviene de izquierda, de derecha, de arriba, de abajo, de al frente y de atrás. El segundo trabajo, denominado Experiencia VR Alucinarte, fue realizado en colaboración con estudiantes de la Universidad Minuto de Dios. La experiencia de VR consta de dos escenarios urbanos diseñados en la plataforma Mozilla Hubs. El primero recoge una serie de registros documentales en video 360 de las manifestaciones estudiantiles ocurridas en 2021 en Bogotá. El ejercicio de reportería inmersiva se concentró aquí en documentar algunas de las expresiones musicales que las acompañan, ingresando con la cámara 360 entre los grupos de músicos y bailarines marchantes, para trasladar al espectador dentro de la muchedumbre. En el segundo escenario, los visitantes del website pueden encontrarse y compartir material sobre las manifestaciones en torno a una versión virtual del monumento a la resistencia.
Palabras clave: realidad virtual, medios inmersivos, reportería inmersiva, videojuegos.
Introducción: narrativas de realidad virtual y explosiones sociales
La representación audiovisual de la experiencia de los manifestantes constituye un asunto de interés en la investigación que venimos desarrollando en el Departamento de Comunicación, de la Universidad Javeriana, con el semillero VR&360. Intuimos que la experiencia del manifestante puede ser representada de un modo más empático, alejado del lenguaje de la televisión y de las redes sociales, y más cercano al de los videojuegos, y especialmente, en el lenguaje de la VR. A la distancia de quien está tras la pantalla de televisión o del celular, y queda expuesto a la repetición incesante de videos de delitos captados por ciudadanos y presentados como evidencia, se crea la asociación distorsionada del manifestante como vándalo. Los llamados medios inmersivos plantean un conjunto de elementos de expresión audiovisual (punto de vista en primera persona, imagen en proyección esférica, sonido 3D, uso de visores de VR) que superan la simple presentación de una realidad, pues, literalmente, transportan al espectador a otro lugar. En el caso de la captura o la transmisión del espacio público ocupado por los manifestantes, la experiencia de VR suscita sensaciones de la presencia y la ilusión del contacto corporal. Bajo estas condiciones de relación con las imágenes y los sonidos de los manifestantes en el espacio público, los espectadores pueden más fácilmente ponerse en su lugar e identificarse con ellos.
Esta ponencia reportará dos trabajos recientes del semillero VR&360. En la primera parte discutiremos la confluencia y la coyuntura de los formatos inmersivos explicitando en qué consiste la VR y cómo lo incorporamos. Enseguida abordaremos los intereses, las preguntas de investigación, los métodos y los objetivos que guían al grupo de profesor y estudiantes. La tercera parte la dedicamos a describir los resultados alcanzados, en busca de una visión crítica del proceso creativo que venimos adelantando en los trabajos A parar para escuchar, vive el paro nacional y Experiencia Aluncinarte. La última sección plantea proyecciones de trabajo futuro para el semillero VR&360.
Confluencia de formatos
Desde 2015, los formatos de realidad virtual (VR) se han venido popularizando de manera precipitada, tras las fuertes apuestas financieras realizadas por Facebook, Google y YouTube. La compatibilidad de imágenes y videos en 360 dentro del flujo de información regular de estas plataformas esboza un territorio de convergencia en torno a la VR que suscita gran interés para diferentes sectores de la producción audiovisual.
Bajo la noción de VR se aglutinan técnicas y procedimientos del videojuego; el registro de sonido en 3D, las imágenes y los videos proyectados sobre superficies esféricas, a través de equipos de captura 360, procedimientos de visión computacional y el desarrollo de interfaces de interacción y visualización. En nuestros días, la VR constituye un campo en franca definición; y como formato específico y modo independiente de escritura audiovisual, requiere una exploración pormenorizada. (Williams et al., 2021).
La confluencia entre cine y computación, materializada en los formatos inmersivos, constituye un gran reto, tanto para la creación y la generación de contenidos como para la teorización y la discusión de nuevos conceptos sobre producción audiovisual. El auge y la vigencia de la VR se observan no solo en los festivales, las muestras y las convocatorias a escala nacional (FICCI, Bogoshorts, Idartes) e internacional (NYFF, FILE, ISEA, SIGRAPH), donde se ha consolidado como categoría independiente, sino también, en las cadenas de noticias como el New York Times o CNN, que regularmente distribuyen contenidos en este formato. La VR viene siendo discutida también en el contexto académico, en programas de Comunicación, Diseño y Medios y Artes Cinematográficas (Soler-Adillon y Sora 2018; Jones 2017; Breitsameter, 2018; Almas y Baraúna, 2017).
El semillero de investigación en medios inmersivos VR&360
Una característica preponderante de los formatos de VR, y frecuentemente discutida por investigadores y creadores, es la capacidad para generar una experiencia inmersiva. Esta cualidad viene siendo aprovechada en diferentes campos de la comunicación: desde la producción de cine y televisión expandidos hasta la publicidad, el desarrollo de videojuegos, el periodismo y la reportería periodística, la antropología visual, la museografía digital o el arte electrónico.
Es bajo esta noción poética de la inmersión desde donde el semillero VR&360 propone un espacio de confluencia e integración de diferentes campos de la comunicación reunidos por el interrogante sobre este modo de escritura audiovisual. El semillero VR&360 se interroga sobre las lógicas y las poéticas de los formatos inmersivos en distintas vertientes del trabajo en comunicación y artes, desde la creación y la producción audiovisuales.
Entre los objetivos del semillero está el desarrollo de producciones audiovisuales originales en formatos de VR, como resultado del estudio de sus técnicas y sus procesos, la teoría y el análisis crítico. También reflexionamos sobre la VR como lenguaje audiovisual a través del análisis de obras, la adopción y la exploración de herramientas y métodos asociados. Buscamos establecer las relaciones entre los formatos audiovisuales tradicionales, como la radio, el cine, la televisión y los formatos online con la VR.
Las líneas de trabajo del semillero VR&360 son diversas y centradas en las características del formato. Entre ellas están: el estudio de los sistemas y las plataformas de distribución de producciones en formato de VR; la creación colectiva con otros semilleros, otros colectivos y otros grupos de trabajo; la incorporación de técnicas de interacción de videojuego, y la captura y la manipulación de imágenes, videos en 360 y audio en 3D.
En cuanto a los procesos metodológicos, el semillero VR&360 implementa, primordialmente, metodologías-basadas-en-la práctica; es decir, el aprendizaje de aspectos técnicos y conceptuales ocurre en el contexto del desarrollo de proyectos creativos específicos. Las eventuales restricciones y las limitaciones impuestas por la particularidad de un proyecto constituyen un escenario simultaneo de aprendizaje y puesta en marcha. En este marco, las prácticas de laboratorio, entendidas como espacios de experimentación, de ensayo y error, constituyen actividades esenciales para estimular los procesos creativos de los estudiantes.
Resultados alcanzados
El año de conformación del semillero VR&360 fue 2021. Actualmente, el grupo tiene doce participantes, con estudiantes de Comunicación, Artes Visuales, Estudios del Lenguaje e Ingeniería Electrónica. La frecuencia de las reuniones ha dado lugar a proyectos que se realizan entre los estudiantes. A continuación discutiremos dos resultados producidos recientemente.
A parar para escuchar
A parar para escuchar, vive el paro nacional surgió en el contexto de un trabajo final de la asignatura Ficción Clásica, elaborado por los estudiantes Juanita Bedoya y Gabriel Betancur, y que posteriormente pasó a ser parte del repertorio del semillero VR&360. Se trata de un podcast que recrea, a través de medios sonoros, la experiencia de estar inmerso en una manifestación. Como es el caso de otros trabajos realizados por nuestro colectivo, la historia para contar es la de una vivencia; en este caso, el de la protesta en la calle. ¿Cómo se experimenta acústicamente algo así? Fue esa la pregunta que guio el proceso.
La elaboración del podcast incorporó muestras de audio extraídas de material audiovisual que circula `en redes sociales e internet, y de grabaciones realizadas con el aparato celular. Al recrear la actividad de escucha desde la primera persona se requiere un cuidado especial en la selección de las muestras, la elaboración de la mezcla y, sobre todo, la localización en un espacio 3D de las fuentes. La virtualización de las fuentes fue realizada con el plugin Ambeo Orbit, disponible en el programa Audition. Se trata de procesos que pueden realizarse en software accesible a cualquiera que desee usarlo.
El podcast titulado A parar para escuchar, vive el paro nacional se inscribe en un tipo de trabajo inmersivo cuya contundencia es mayor a través de un dispositivo dedicado; en este caso, los audífonos. El podcast encarna la sensación de aproximarse y alejarse de la multitud como una gran masa sonora que al penetrarla nos rodea acústicamente y nos permite participar de la experiencia colectiva.
El trabajo puede ser visitado en:
https://sites.google.com/view/semillero360/trabajos/audio-ambis%C3%B3nicobinaural?authuser=0
Experiencia VR Alucinarte
El proyecto que dio como resultado el trabajo Experiencia VR Alucinarte surgió de la colaboración del semillero VR&360 con estudiantes de la Corporación Universitaria Minuto de Dios (Uniminuto), coordinados por el profesor Jairo Antonio Pérez Rubio. El proyecto Aluncinarte, cuyo proceso de creación está actualmente en curso, se propone la recolección de documentos sobre las expresiones artísticas que se dan en medio de las protestas sociales de 2021. En dichas manifestaciones, la calle se vuelve una importante tarima del arte políticamente comprometido y con sentido, y de manera espontánea, se dan cita propuestas de Música, Artes Escénicas, Artes Gráficas y Audiovisuales, entre otras.
Nuestro desafío fue representar con medios audiovisuales el ambiente carnavalesco en que ocurren estas expresiones artísticas. Para ello, hicimos una serie de capturas con cámara 360 montada en un casco, para permitir al reportero ingresar en la muchedumbre. El ejercicio de reportería inmersiva se concentró en documentar algunas de las expresiones musicales que acompañan las marchas. Para la realización del trabajo, escogimos la plataforma Mozilla Hubs, pues nos proporciona el punto de vista de primera persona, acceso público y la compatibilidad con imágenes 360 y audio en 3D.
De modo colaborativo, se han diseñado dos escenarios en Mozilla Hubs que se interconectan a través de portales. El primero exhibe tres registros documentales en video 360 y audio 3D de las manifestaciones estudiantiles ocurridas en 2021 en Bogotá, y que se presentan como tres grandes esferas localizadas en una calle típicamente bogotana. Como si fuese un recorrido museográfico, el visitante puede ingresar a las esferas y trasladarse al interior de grupos de músicos y bailarines marchantes. Estos se desplazan en la misma dirección que el visitante, quien al final de la calle encuentra un portal al segundo escenario. En este, los visitantes pueden encontrarse, hacer grafitis y compartir material sobre las manifestaciones en torno a una versión virtual del monumento a la resistencia, cuyo modelo fue realizado por el estudiante de Uniminuto.
Este trabajo puede ser visitado en:
https://sites.google.com/view/semillero360/trabajos/metaverso?authuser=0
Conclusiones y trabajo futuro
Los formatos de inmersivos pueden representar la experiencia de participar en las manifestaciones de un modo más encarnado y materializado en el cuerpo que otros medios audiovisuales. La perspectiva de primera persona constituye una herramienta comunicacional de gran expresividad para creadores y productores audiovisuales. Ella permite prestar el cuerpo al espectador, un cuerpo imaginario habitado por autor y visitante, que es también el punto de confluencia de los estímulos visuales y sonoros. Estas condiciones prefiguran relaciones más horizontales con el otro y la empatía que les hace tanta falta a las representaciones audiovisuales de las marchas.
Entretanto, el semillero VR&360 se propone para 2022 un itinerario de proyectos inmersivos guiado por preguntas similares a las de aquellos descritos en esta ponencia. Entre estos, proyectamos el rodaje de un documental realizado totalmente en formato de VR y el desarrollo de productos museográficos que aprovechen sus propiedades de teletransportación.
Referencias
Almas, A. y Baraúna, D. (2017). TV e cinema expandidos: enunciação e dispositivos–técnica, estética e poética. TECCOGS: Revista Digital de Tecnologias Cognitivas, (15).
Breitsameter, S. (2018). Immersion and beyond. International Journal on Stereo & Immersive Media, 2(1), 22-33.
Soler-Adillon, J. y Sora, C. (2018). Immersive journalism and virtual reality. Interaction in Digital News Media, 55-83.
Williams, E. R., Love, C. y Love, M. (2021). Virtual reality cinema: Narrative tips and techniques. Routledge.