Como o DLSS 3 da Nvidia funciona (e por que o AMD FSR não pode alcançá-lo por enquanto)

As placas gráficas da série RTX 40 da Nvidia estão chegando em poucas semanas, mas entre todas as melhorias de hardware está o que poderia ser o ovo de ouro da Nvidia: DLSS 3 . É muito mais do que apenas uma atualização do popular recurso DLSS (Deep Learning Super Sampling) da Nvidia, e pode acabar definindo a próxima geração da Nvidia muito mais do que as próprias placas gráficas.

A AMD tem trabalhado duro para colocar sua Super Resolução FidelityFX (FSR) no mesmo nível do DLSS e, nos últimos meses, tem sido bem-sucedida. Parece que o DLSS 3 mudará essa dinâmica – e desta vez, o FSR pode não ser capaz de alcançá-lo tão cedo.

Como o DLSS 3 funciona (e como não funciona)

Você seria perdoado por pensar que o DLSS 3 é uma versão completamente nova do DLSS , mas não é. Ou, pelo menos, não é totalmente novo. A espinha dorsal do DLSS 3 é a mesma tecnologia de super-resolução que está disponível nos títulos DLSS hoje, e a Nvidia provavelmente continuará melhorando com novas versões. A Nvidia diz que você verá a parte de super-resolução do DLSS 3 como uma opção separada nas configurações gráficas agora.

A nova parte é a geração de quadros. O DLSS 3 gerará um quadro totalmente exclusivo a cada dois quadros, gerando essencialmente sete de cada oito pixels que você vê. Você pode ver uma ilustração disso no fluxograma abaixo. No caso de 4K, sua GPU renderiza apenas os pixels para 1080p e usa essa informação não apenas para o quadro atual, mas também para o próximo quadro.

A geração de quadros, de acordo com a Nvidia, será uma alternância separada da super resolução. Isso porque a geração de quadros funciona apenas em GPUs da série RTX 40 por enquanto, enquanto a super resolução continuará funcionando em todas as placas gráficas RTX, mesmo em jogos atualizados para DLSS 3. Não é preciso dizer, mas se metade do seu os frames são completamente gerados, isso vai aumentar muito o seu desempenho.

A geração de quadros não é apenas um molho secreto de IA. No DLSS 2 e em ferramentas como FSR , os vetores de movimento são uma entrada chave para o upscaling. Eles descrevem onde os objetos estão se movendo de um quadro para o próximo, mas os vetores de movimento só se aplicam à geometria em uma cena. Elementos que não possuem geometria 3D, como sombras, reflexos e partículas, são tradicionalmente mascarados no processo de upscaling para evitar artefatos visuais.

O mascaramento não é uma opção quando uma IA está gerando um quadro totalmente exclusivo, que é onde o Acelerador de Fluxo Óptico nas GPUs da série RTX 40 entra em ação. É como um vetor de movimento, exceto que a placa gráfica está rastreando o movimento de pixels individuais de um quadro para o próximo. Esse campo de fluxo óptico, juntamente com vetores de movimento, profundidade e cor, contribuem para o quadro gerado por IA.

Parece tudo positivo, mas há um grande problema com os quadros gerados pela IA: eles aumentam a latência. O quadro gerado pela IA nunca passa pelo seu PC — é um quadro “falso”, então você não o verá em leituras de fps tradicionais em jogos ou ferramentas como FRAPS. Portanto, a latência não diminui apesar de ter tantos quadros extras e, devido à sobrecarga computacional do fluxo óptico, a latência na verdade aumenta. Por causa disso, o DLSS 3 requer o Nvidia Reflex para compensar a latência mais alta.

Normalmente, sua CPU armazena uma fila de renderização para sua placa gráfica para garantir que sua GPU nunca esteja esperando pelo trabalho (isso causaria travamentos e quedas na taxa de quadros). O Reflex remove a fila de renderização e sincroniza sua GPU e CPU para que assim que sua CPU possa enviar instruções, a GPU comece a processá-las. Quando aplicado sobre o DLSS 3, a Nvidia diz que o Reflex às vezes pode até resultar em uma redução de latência.

Onde a IA faz a diferença

O FSR 2.0 da AMD não usa IA e, como escrevi há algum tempo, prova que você pode obter a mesma qualidade que o DLSS com algoritmos em vez de aprendizado de máquina. O DLSS 3 muda isso com seus recursos exclusivos de geração de quadros, bem como a introdução do fluxo óptico.

O fluxo óptico não é uma ideia nova – existe há décadas e tem aplicações em tudo, desde aplicativos de edição de vídeo até carros autônomos. No entanto, o cálculo do fluxo óptico com aprendizado de máquina é relativamente novo devido a um aumento nos conjuntos de dados para treinar modelos de IA. A razão pela qual você deseja usar a IA é simples: ela produz menos erros visuais com treinamento suficiente e não tem tanta sobrecarga em tempo de execução.

O DLSS está sendo executado em tempo de execução. É possível desenvolver um algoritmo, livre de aprendizado de máquina, para estimar como cada pixel se move de um quadro para o próximo, mas é computacionalmente caro, o que contraria todo o ponto de superamostragem em primeiro lugar. Com um modelo de IA que não requer muita potência e dados de treinamento suficientes – e tenha certeza, a Nvidia tem muitos dados de treinamento para trabalhar – você pode obter um fluxo óptico de alta qualidade e que pode ser executado em tempo de execução.

Isso leva a uma melhoria na taxa de quadros mesmo em jogos com CPU limitada. A superamostragem se aplica apenas à sua resolução, que depende quase exclusivamente da sua GPU. Com um novo quadro que ignora o processamento da CPU, o DLSS 3 pode dobrar as taxas de quadros em jogos, mesmo se você tiver um gargalo de CPU completo. Isso é impressionante e atualmente só é possível com IA.

Por que o FSR 2.0 não pode acompanhar (por enquanto)

A AMD realmente fez o impossível com o FSR 2.0. Parece fantástico, e o fato de ser independente da marca é ainda melhor. Estou pronto para abandonar o DLSS pelo FSR 2.0 desde que o vi pela primeira vez no Deathloop . Mas por mais que eu goste do FSR 2.0 e ache que é um ótimo kit da AMD, ele não alcançará o DLSS 3 tão cedo.

Para começar, desenvolver um algoritmo que possa rastrear cada pixel entre quadros livres de artefatos é bastante difícil, especialmente em um ambiente 3D com detalhes finos e densos ( Cyberpunk 2077 é um excelente exemplo). É possível, mas difícil. O problema maior, no entanto, é o quão inchado esse algoritmo precisaria ser. Rastrear cada pixel através do espaço 3D, fazer o cálculo do fluxo óptico, gerar um quadro e limpar quaisquer contratempos que aconteçam ao longo do caminho – é pedir muito.

Fazer isso funcionar enquanto um jogo está em execução e ainda fornecer uma melhoria na taxa de quadros no nível do FSR 2.0 ou DLSS, isso é ainda mais a pedir. A Nvidia, mesmo com processadores dedicados e modelo treinado, ainda precisa usar o Reflex para compensar a maior latência imposta pelo fluxo óptico. Sem esse hardware ou software, o FSR provavelmente trocaria muita latência para gerar quadros.

Não tenho dúvidas de que a AMD e outros desenvolvedores chegarão lá eventualmente – ou encontrarão outra maneira de contornar o problema – mas isso pode levar alguns anos. É difícil dizer agora.

O que é fácil dizer é que o DLSS 3 parece muito empolgante. Claro, teremos que esperar até que esteja aqui para validar as alegações de desempenho da Nvidia e ver como a qualidade da imagem se mantém. Até agora, temos apenas um pequeno vídeo do Digital Foundry mostrando imagens DLSS 3 (acima), que eu recomendo assistir até vermos mais testes de terceiros. Do nosso ponto de vista atual, porém, o DLSS 3 certamente parece promissor.

Este artigo faz parte do ReSpec – uma coluna quinzenal em andamento que inclui discussões, conselhos e relatórios detalhados sobre a tecnologia por trás dos jogos para PC.