Es hora de contar un poco de historia: cuando se crearon las cámaras fotográficas solo capturaban las imágenes en blanco y negro, por lo cual una diversidad de momentos históricos han sido conmemorados en escala de grises.
Con la innovación tecnológica y la digitalización se ha podido modificar dichas fotografías, permitiendo colorizar las imágenes para darles vida. Como podrás suponer por el título, la cuarta revolución industrial también afectó a esta área, desarrollando una plataforma de Inteligencia Artificial para hacer esta tarea.
En un artículo publicado en el servidor de preimpresión Arxiv.org: “Colorización de video basada en Deep Exemplar”, los científicos de Microsoft Research Asia, la División de Percepción y Realidad Mixta de AI de Microsoft, la Universidad Hamad Bin Khalifa y el Instituto de Tecnologías Creativas de la USC detallan lo que denominaron es el primer sistema de para la colorización de video autónoma basada en ejemplo, derivada de una imagen de referencia. Dicen que en experimentos cuantitativos y cualitativos, logra resultados superiores al estado de la técnica.
“El principal desafío es lograr una consistencia temporal mientras se mantiene fiel al estilo de referencia”, escribieron los coautores. “Todos los componentes , aprendidos de extremo a extremo, ayudan a producir videos realistas con una buena estabilidad temporal”.
Los autores del artículo señalan que la IA capaz de convertir clips monocromáticos en color no es novedosa. De hecho, los investigadores de Nvidia en septiembre pasado describieron un marco que infiere los colores de un solo cuadro de video coloreado y anotado, y Google AI en junio introdujo un algoritmo que colorea los videos en escala de grises sin supervisión humana manual. Pero la salida de estos y la mayoría de los otros modelos contiene errores, que acumulan cuanto más larga es la duración del video de entrada.
Para abordar las deficiencias, el método de los investigadores toma el resultado de un fotograma de video anterior como entrada (para preservar la consistencia) y realiza la colorización utilizando una imagen de referencia, lo que permite que esta imagen guíe la colorización fotograma a fotograma y reduzca el error de acumulación.
Si la referencia es un cuadro coloreado en el video, realizará la misma función que la mayoría de los otros métodos de propagación de color, pero de una manera “más robusta”. Como resultado, es capaz de predecir colores “naturales” basados en la semántica de las imágenes de entrada en escala de grises, incluso cuando no hay una coincidencia adecuada disponible en una imagen de referencia dada o en un cuadro anterior.
Esto requirió la arquitectura de una red convolucional de extremo a extremo, un tipo de sistema de inteligencia artificial que se usa comúnmente para analizar imágenes visuales, con una estructura recurrente que retiene información histórica.
Cada estado comprende dos módulos: un modelo de correspondencia que alinea la imagen de referencia con un marco de entrada basado en densas correspondencias semánticas, y un modelo de colorización que colorea un marco guiado tanto por el resultado coloreado del marco anterior como por la referencia alineada.
