artista Salvador Servin
Fotogrametría para Realidad virtual
Aprende a usar la técnica de Fotogrametría para crear Assets hiperrealistas.
La Secretaría de Cultura, a través del Centro Centro de Cultura Digital creo la posibilidad de distribuir recursos de materia tecnológica entre el público interesado en aprender desde su casa. Aquí esta el tutorial que nace de esa iniciativa llamada Contigo en la distancia, donde enseño de una técnica y presento mi proyecto en desarrollo «La Reserva de los Sentidos».
Decidí crear este espacio de consulta para artistas listos en iniciarse en el viaje de la producción de assets para realidad virtual usando la bonita técnica fotogrametría. Espero hacer este viaje más fácil para ti.
INTRODUCCIÓN a la fotogrametria
La misión del presente trabajo es concluir si la Fotogrametría puede ser una opción de bajo costo, rápida y eficiente para la producción de realidad virtual 6 (DoF)[1]. Las razones que me motivaron a hacer el presente trabajo es la penetración de la realidad virtual en los campos de la cinematografía moderna.
Problema de investigación para el artista Salvador Servin
Los creadores de cine han usado el video 360° como sinónimo de realidad virtual, sin embargo la realidad virtual tiene ciertos elementos que la hacen muy distinta. El lenguaje de la realidad virtual a diferencia del cine se construye con múltiples técnicas que no provienen del video o audiovisual clásico y dan como resultado una gramática única.
Dentro de las herramientas de producción de realidad virtual la mayoría exceden los costos de economías como México que tienen presupuestos limitados para artistas. Me motiva encontrar una técnica que pueda ser accesible a toda la población mexicana e interesados del arte.
Desde el punto de vista del creador el costo asociado a tecnologías de producción noveles de video 360° ha aumentado y no refleja proporcionalmente una ventaja de inmersión para los usuarios, al contrario, se ha convertido en una técnica obsoleta que confunde al espectador, genera falsas expectativas que no cumplen la verdadera inmersión que distingue a la realidad virtual. El realizador audiovisual que proviene del set al saltar del cine a la realidad virtual no ha tenido tiempo de profundizar sobre algunos puntos importantes de esta nueva tecnología y el primero es que el video 360° no es realidad virtual.
[1] Six degre (6DoF) 6 Degree of freedom por su término en inglés o seis grados de libertad se refieren a la libertad de movimiento de un cuerpo rígido en un espacio tridimensional.
El primer paso es conocer el tipo de
entorno que se utilizará en el proyecto
inmersivo y comenzar a recopilar una
lista de los assets que deben producirse
para un nivel virtual inmersivo.
Comprender cómo funciona el software de reconstrucción ayuda a comprender qué tipo de superficies se ajustan mejor a un proceso de fotogrametría. Para reconstruir la geometría a partir de un conjunto de imágenes, un software de reconstrucción recupera la posición 3D de los diversos píxeles de las imágenes en función de la información de la cámara, entonces si hay un grupo espacial de píxeles con suficientes similitudes, hace un punto. El resultado de este proceso se denomina “nube de puntos”.
Hay algunos tipos de superficies que son malos candidatos para la fotogrametría. Si el sujeto se mueve (por ejemplo, follaje en el viento), o si es brillante o tiene fuertes reflejos (como superfi cies metálicas, superficies húmedas), si es líquido o si es transparente (como superficies de vidrio) , entonces el software de reconstrucción no puede hacer coincidir los colores de los píxeles en todas las fotos del objeto.
Escucha al artista Salvador Servin en Nosotros te llamamos podcast
artista Salvador Servin
Justificación
Actualmente los costos asociados a la producción en realidad virtual exceden los recursos disponibles del sector cultura, mientras que la pandemia COVID-19 ha disminuido aún más el presupuesto cultural desviando su uso hacia el sector salud en obvia necesidad. Por lo que se plantea estudiar la presente técnica para ofrecer una opción viable de producción que pueda estar disponible para cualquier ciudadano o persona interesada en querer realizar la técnica de fotogrametría para reproducir realidad virtual.
Objetivo de Investigación
Analizar las ruta de producción ofrecida por la técnica de fotogrametría, se crearan fragmentos naturales y especies completas que viven en la Reserva del Pedregal de la UNAM para construir una instalación inmersiva.
Hipótesis
El presente trabajo sugiere que la fotogrametría es una forma eficiente para crear mallas y texturas de alta resolución. Se ahorra tiempo en comparación con la creación de elementos 3D tradicional. El ahorro económico de producción física al solo depender de la cámara fotográfica como instrumento principal dota de gran facilidad y disponibilidad a un grueso de la población cada vez con mayor acceso a cámaras digitales.
Metodología
Se utilizó una cámara réflex Nikon D7000 común con las siguientes características:
Tipo de sensor | CMOS |
Megapixeles: | 16.2 |
Formato de sensor: | APS-C |
Tamaño de sensor: | 368.16mm2 (23.60mm x 15.60mm) |
Pixel Pitch: | 4.79 microns |
Aspect Ratio: | 3:2 |
Color Filter Type: | RGBG |
2- Lente: Sigma 24-70 mm f / 2.8 EX-DG HSM.
3- Tarjeta de memoria 256 Go (Clase 10).
4- Laptop: MSI GS65 Stealth Thin / Procesador Intel 64 Family 6
5-Verificador de color (X-rite)
6- Filtro polarizador 67 mm.
Procedimiento
El flujo de trabajo para la producción de activos usados en realidad virtual con la técnica de fotogrametría fue dividida en dos partes: Captura y Procesamiento de datos.
Captura
La captura consiste en tomar fotos de un objeto cubriendo los 360 grados en todas las direcciones. El primer paso es reunir varias fotos del objeto desde varios ángulos. También es necesario recopilar información adicional para referencia como la escala métrica y exponer correctamente las fotos.
Específicamente para el presente trabajo se procedió a tomar un total de cuatrocientas fotografías para cada objeto en los trescientos sesenta grados repartidos con una diferencia de quince grados entre cada fotografía y el formato utilizado es NEF[1] (RAW).
Procesamiento
El procesamiento consiste en generar los datos de malla y textura de las fotos. Las fotos deben calibrarse (balance de blancos), esto fue hecho desde la cámara, las imágenes fueron procesadas en un software de reconstrucción, en el presente trabajo se usó el software Reality Capture[2]. La aplicación de reconstrucción compara las formas en las fotos (alineación) para generar una malla 3D de alta resolución. El color contenido en las imágenes se transfiere a los colores de vértice de la malla o a las texturas utilizadas en la superficie de la malla.
[1] El formato NEF es el formato de archivo RAW de Nikon, que es exclusivo de las cámaras Nikon. Los archivos de imagen RAW, a veces denominados negativos digitales, contienen toda la información de la imagen capturada por el sensor de la cámara, además de los metadatos de la imagen (la identificación y los ajustes de la cámara, el objetivo utilizado y otro tipo de información). El archivo NEF se graba en la tarjeta de memoria en formato descomprimido o comprimido «sin pérdidas».
[2] RealityCapture es un software de fotogrametría que crea modelos 3D a partir de fotografías no ordenadas o escaneos láser sin costuras. Los campos más comunes de su uso actual son patrimonio cultural, escaneo de cuerpo completo, juegos, topografía, mapeo, efectos visuales y realidad virtual en general
artista Salvador Servin
A continuación, creamos una malla de baja resolución para el proceso de horneado[1] que es como se llama al proceso donde se exporta una malla de resolución media a baja desde el software de reconstrucción y se modifica en una herramienta de software 3D para usarse como destino de las herramientas de horneado (Retopología y diseño UV). Las herramientas para hornear se utilizan para generar texturas. Luego, las texturas se trabajan para eliminar la luz. Esto se debe a que las texturas se generan a partir de fotos del mundo real, que inevitablemente tendrán presentes luces y sombras visibles. Para poder hacer que un activo funcione en cualquier condición de iluminación, es necesario eliminar la información de iluminación que trae por defecto del proceso de captura (paso de eliminación de luz) en texturas generadas. Una textura es tileable, enlosable o repetible cuando uno pone varias texturas una tras otra, arriba, o abajo de la otra, entre ellas y no se ve transición. Finalmente, la malla de baja resolución para hornear se convierte en una malla preparada para la aplicación VR en un motor de juegos como Unity[2]. Esta es una forma de resumida del proceso que lleva producir un elemento bajo esta técnica que pueda ser usado en realidad virtual.
[3] Hornear es el nombre del proceso sobre cómo guardar información relacionada con una malla 3D en un archivo de textura (mapa de bits). La mayoría de las veces este proceso involucra otra malla. En este caso, la información de la primera malla se transfiere a la segunda malla UV y luego se guarda en una textura.
[4] Unity es un motor de videojuego multiplataforma creado por Unity Technologies. Unity está disponible como plataforma de desarrollo para Microsoft Windows, Mac OS, Linux.
Sal
Un loco dispuesto a cosechar lechugas haciendo experimentos indoor, escribo locuras porque desde niño tengo disgrafía aunque ruego que entiendas, soy de esos que creen que la mejor forma de cambiar el mundo, no es pedirlo sino hacerlo el mismo. Corro y nado porque necesito hacer que mi corazón lata. Creo que lo más fascinante de la vida es aprender algo que no puedes entender la primera vez que lo lees.
