Nvidia ha desarrollado una nueva IA capaz de imitar los movimientos de un sujeto de un video a otra persona con una sola imagen de entrada. Esta técnica se llama síntesis de video a video
Como dicen los investigadores, la síntesis de video a video convierte un video semántico de entrada como poses humanas o máscaras de segmentación en un video fotorrealista de salida. Han mencionado dos limitaciones principales en los esfuerzos previos para lograr esto: disponibilidad de datos y capacidad de generalización limitada.
"Para abordar el problema, proponemos la normalización espacialmente adaptativa, una capa de normalización condicional que modula las activaciones utilizando diseños semánticos de entrada a través de una transformación espacialmente adaptativa y aprendida y puede propagar efectivamente la información semántica a través de la red", escribieron los investigadores.
El nuevo modelo desarrollado por investigadores aprende a crear videos de sujetos que nunca antes se habían visto utilizando imágenes de ejemplo. De esta manera, se aborda la necesidad de una gran cantidad de datos sobre la entrada.
El modelo logró convertir las acciones en videos con una sola imagen de entrada. ¿Guay, verdad?
Los investigadores realizaron varios experimentos para probar la eficiencia de su modelo de IA. Esto incluye videos de baile humano, videos de cabezas parlantes y videos de escenas callejeras.
Según los investigadores, este es el primer modelo de síntesis de imagen semántica capaz de producir salidas fotorrealistas para distintas escenas, incluidas escenas interiores, exteriores, paisajes y calles.
Fecha actualización el 2021-11-11. Fecha publicación el 2019-11-11. Categoría: nvidia Autor: Oscar olg Mapa del sitio Fuente: beebom Version movil