DLSS 5 no reconstruye nada: NVIDIA admite que trabaja sobre un frame 2D con IA

Lo que parecía una evolución, o más bien una revolución del reescalado inteligente mediante IA, se está convirtiendo en algo bastante distinto. Según lo que desvela Daniel Owen en su canal de YouTube, tras preguntarle directamente a NVIDIA, su DLSS 5 no está reconstruyendo escenas ni entendiendo el mundo 3D del juego como muchos podían pensar. Entonces… ¿qué hace exactamente? Pues al parecer DLSS 5 funciona a partir de un frame 2D ya renderizado al que se le aplican diferentes técnicas de IA para generar una nueva imagen.

NVIDIA lo ha confirmado de forma directa a través de Jacob Freeman en una conversación por correo con el creador de contenido, y ha dado detalles suculentos de cómo funciona realmente, y por qué se ha dicho que los desarrolladores tendrán todo el control sobre el qué y el cómo en su juego.

NVIDIA confiesa que DLSS 5 trabaja sobre frames en 2D y no con el motor del videojuego

En ese correo, que acompaña al vídeo y que estamos viendo, NVIDIA deja varios puntos claros, aunque no necesariamente en el sentido que muchos esperaban. Según explica la propia compañía, DLSS 5 “reconstruye la iluminación” añadiendo efectos como subsurface scattering, oclusión, iluminación en el cabello o rim lighting, todo ello utilizando el color del juego y los Motion Vectors.

Además, asegura que mejora las propiedades PBR de los materiales, aportando más realismo en la interacción de la luz. Sobre el papel suena a que el sistema está profundamente integrado en el motor del juego, leyendo datos reales de la escena, peeeeero, y aquí llega lo bueno, la clave está en lo que no dice ahí, y que luego se confirma: no accede a esa información.

DLSS 5 solo utiliza el frame renderizado y los Motion Vectors como entrada. Esto significa que no tiene acceso a geometría, materiales ni a los valores PBR definidos por los desarrolladores. Todo lo que hace es inferir esa información a partir de la imagen final, lo que lo sitúa mucho más cerca de un sistema de IA generativa que de una técnica de reconstrucción clásica.

Por lo tanto, cuando NVIDIA habla de mejorar iluminación o materiales, en realidad se refiere a una interpretación basada en entrenamiento previo, no en datos reales del juego. Es decir, se basa en el resultado del frame 2D ya trabajado, en una "captura de pantalla", no está en la pipeline, no interfiere en ella, solo remata el trabajo.

Tres herramientas para los desarrolladores que no son tan potentes como cabría esperar

Si bien es verdad que está todavía en pañales, DLSS 5 comienza a desinflarse bastante y por más motivos que lo que ya hemos dicho. Siguiendo con los argumentos de Jacob, otro punto interesante del correo es el control que tienen los desarrolladores. NVIDIA menciona tres herramientas principales: intensidad (mezcla entre la imagen original y la generada por IA), color grading (ajustes de contraste, saturación y gamma) y masking (zonas donde no aplicar el efecto).

Sin embargo, no existe un control directo sobre decisiones concretas del modelo. Es decir, si la IA interpreta un rostro de forma distinta o añade detalles que no estaban en el diseño original, el desarrollador no puede corregir ese comportamiento de forma específica, más allá de reducir o desactivar el efecto. O dicho de otra manera, el control no es total como dijo Huang, sino parcial, muy parcial de hecho.

La compañía también insiste en que la geometría y las texturas subyacentes no cambian, lo cual es cierto desde el punto de vista del motor. Pero eso no implica que el usuario vea esa versión intacta, ya que la imagen final es la reinterpretación que genera la IA. En otras palabras, el desarrollador debe confiar en que DLSS 5 interprete correctamente cada Frame 2D, y no desfigure la imagen, o represente algo distinto a lo que los dev quieren mostrar.

Los desarrolladores podrían ver que su juego no "queda bien" con DLSS 5

Aterrizándolo un poco, esto abre la puerta a cambios visuales que pueden alterar la intención artística original, algo que ya se ha podido observar en ejemplos públicos. Con todo esto sobre la mesa, DLSS 5 deja de ser una herramienta que mejora el renderizado para convertirse en una capa que lo reinterpreta a base de imágenes estáticas como Frames 2D.

Puede ofrecer una imagen más llamativa o incluso más fotorrealista, pero lo hace sin entender realmente la escena, y con un nivel de control limitado para quienes diseñaron esa imagen en primer lugar. ¿Se verá mejor cada juego? Seguramente, ¿introducirá latencia extra? Lo más probable, ¿servirá para modo competitivo? Posiblemente no, ni siquiera para aquellos que disfrutan jugando online y quieren sentirse cómodos contra los rivales.

Si DLSS en versiones anteriores no terminó de convencer ahí, si Frame Generation no es válido para según qué tipo de juegos, DLSS 5 reaccionando a Frames 2D no parece una mejor solución. Quizás, para juegos con movimientos más lentos, pero para un FPS tradicional… No parece ser óptimo. Igualmente, habrá que esperar a verlo in situ para opinar con más criterio.