DLSS en een nieuw Switch model: de potentiële impact op games voor een hybride console

Door JackAvery op zondag 28 maart 2021 19:52 - Reacties (3)
Categorieën: Console, Nintendo, Views: 1.783

Het is nog maar 3 weken geleden sinds mijn vorige stuk over een potentieel nieuw Switch model, en hier komt Bloomberg met een nieuw stuk dat volgens hun bronnen DLSS bevestigt. Dit was al een tijdje het pad waar veel van de bestaande geruchten naartoe wezen. Nu Bloombergs Takashi Mochizuki zijn gewicht in het DLSS kamp gooit, lijkt deze optie eentje die serieus overwogen moet worden.

DLSS – Deep Learning Super Sampling – is een reconstructietechniek van Nvidia waarbij een getraind neuraal netwerk met behulp van data uit de game engine er in slaagt om het spel te renderen op een lage resolutie en het spel dan te upscalen op een hogere resolutie. Mensen met interesse in de technische uitleg hierachter kunnen deze video bekijken – maar enorm kort door de bocht uitgelegd is DLSS 2.0 vergelijkbaar met een deep learning variant op Temporal Anti-Aliasing (TAA). Het belangrijkste gevolg voor gamers is dat games met DLSS beeld upscaling krijgen van gemiddeld zeer goede kwaliteit, en dat het spel daarbij aan hogere framerates zal werken terwijl er minder GPU kracht noodzakelijk is.

In dit artikel zet ik het technische vraagstuk grotendeels opzij en wil ik het graag hebben over de impact van een krachtiger model op zowel de bestaande als nieuwe Switch games. Ik ga er voor deze post vanuit dat we een nieuwe SoC krijgen met DLSS 2.0 capabiliteit op een Ampere architectuur. Men schat dat Switch in docked mode minstens 1 teraflop zal nodig hebben om DLSS aan te kunnen, het Ampere GPU-equivalent van 4 Streaming Multiprocessors.

Performance gains zonder DLSS?

Een dergelijk toestel zou ook zonder DLSS dus al significant (+- 2 tot 3x) krachtiger zijn dan het huidige Switch model. Bestaande Switch games kunnen in theorie dus reeds profiteren van deze toename in performance. Een nieuwe SoC zal normaalgezien een krachtigere CPU en (hopelijk) hogere geheugenbandbreedte hebben: twee bekende bottlenecks van het huidige model.
Verbetering van deze punten zouden voor een stabielere framerate kunnen zorgen bij bestaande games die bijvoorbeeld moeite hebben met het streamen van assets. De krachtigere GPU kan verder een groot voordeel zijn voor games die nu al met een dynamische resolutie functioneren. Deze games – enkele bekende voorbeelden zijn Breath of the Wild, Mario Odyssey, Dragon Quest XI of de Doom en Wolfenstein ports – zullen op een krachtiger model hopelijk vaker de maximale resolutie kunnen halen die het spel toelaat. Hetzelfde geldt voor games met een ontgrendelde framerate.

Dit soort verbeteringen zouden Switch spelers in theorie zonder patches moeten kunnen krijgen, maar er is helaas één grote onbekende in het spel: we hebben geen idee hoe backwards compatibility gaat werken. Afhankelijk van hoe groot de verschillen zijn tussen de oude en de nieuwe SoC zouden Nvidia en Nintendo er bijvoorbeeld voor kunnen kiezen om een deel van de SoC uit te schakelen of te downclocken tijdens het spelen van oudere games, om zoveel mogelijk de originele performance profielen te benaderen. Indien dit nodig blijkt te zijn, is het heel goed mogelijk dat de winsten voor je oude games – zonder verdere updates – beperkt blijven.

Games die met dit hypothetische nieuwe Switch model in gedachten ontwikkeld worden, hebben het dan weer gemakkelijker: er is sowieso meer mogelijk als developers op voorhand rekening kunnen houden met het performance profiel van een krachtiger model. Dit kan zich uiten in framerate of resolutieverbeteringen maar ook door bvb. het gebruik van meer effecten of betere textures.

DLSS: waar staat het nu? Wat voegt het toe?

DLSS helpt om games op hogere resoluties te laten renderen zonder de bijbehorende performance impact bij native rendering van die resolutie. Dit maakt DLSS eigenlijk een heel interessante toevoeging voor toepassingen die gewoonlijk een lager performance plateau hebben zoals een tablet: op deze manier wordt het mogelijk om met heel weinig kwaliteitsverlies hogere resoluties te benaderen met minder processorkracht. Tot nu toe hebben gamers DLSS enkel in actie gezien op platformen die relatief veel energie verbruiken – dit gaat van laptop GPU’s die beginnen bij een TDP van 80W tot en met de RTX 3090 die tot maar liefst 350 W verstookt in actie. De mogelijkheid om de technologie nu toe te passen op een platform dat 10 tot 15 W verbruikt is dan ook erg spannend.

Voorlopig is op PC de lijst met games die DLSS ondersteunen eigenlijk nog relatief beperkt. Nvidia vermeldt zelf 24 games, en op Wikipedia vind ik een lijstje van 36 games die DLSS 2.0 of hoger ondersteunen of dat in de toekomst plannen te doen. Het gaat hier niet enkel om AAA games zoals Control, Cyberpunk 2077, Battlefield V of Watchdogs Legion, maar ook publieksfavorieten zoals Minecraft en Fortnite ondersteunen het algoritme. Naar de toekomst toe is vooral positief dat in deze lijst een diversiteit van game engines voorkomen van grotere publishers: Unreal Engine 4, iD Tech 6, RE Engine, Ubisoft’s Disrupt Engine, Foundation Engine van Crystal Dynamics… Hopelijk betekent dit dat ook toekomstige games van developers zoals Ubisoft, iD en Capcom de techniek blijven ondersteunen.
Update 14 april: ook Unity heeft nu native ondersteuning van DLSS aangekondigd.

Om in te kunnen schatten wat DLSS voor een Switch console kan betekenen, is het nuttig een idee te hebben aan welke resolutie games gerendered moeten worden om ze naar een hogere output resolutie op te schalen. De basisregel is hierbij: hoe meer pixels het algoritme heeft als basis, hoe hoger de kwaliteit van de output zal zijn. Momenteel biedt Nvidia vier kwaliteitsniveau’s in hun DLSS SDK, die elk een verschillende resolution scaling toepassen. De tabel hieronder toont welke interne resolutie er hiervoor nodig is bij elk kwaliteitsniveau, en dat voor drie verschillende voorbeelden: het behalen van full HD, 1440p en 4K.



De DLSS 2.1 update voegde een vierde DLSS profiel – ultra performance - toe in september 2020 met het idee dat dit voor o.a. het renderen van 8K resoluties gebruikt kan worden. Interessanter voor Switch gebruikers is mogelijk echter de toevoeging van dynamic resolution support: dit zorgt ervoor dat de input buffer niet noodzakelijk altijd dezelfde resolutie moet gebruiken, maar dat deze dynamisch mag zijn. In de praktijk kan DLSS zo toegepast worden op games met dynamische resolutie - een truk die veel gebruikt wordt in huidige Switch games.

DLSS en Switch games

Wat betekent dit nu allemaal voor toekomstige Nintendo Switch games? Die games hebben opnieuw het grote voordeel dat vanaf het begin van development het mogelijk is om rekening te houden met de implementatie van DLSS. Idealiter kan men docked games renderen tussen 720 en 1080p en deze dan upscalen naar resoluties tussen 1440p en 4k. Voor games die bijvoorbeeld Unreal Engine 4 gebruiken, zou dit zelfs erg eenvoudig moeten zijn: sinds februari is er een plug-in voor Unreal Engine 4.26 die dit op engine niveau implementeert.

Op basis van de tabel hierboven is het ook duidelijk dat het niet voor elke game realistisch zal zijn om te eindigen op een opgeschaald 4K beeld – dit hangt tenslotte af van de interne renderresolutie die zal verschillen afhankelijk van hoe zwaar de GPU belast wordt. Mijn verwachting is dan ook dat we regelmatig weer te maken zullen krijgen met “net-niet 4K”, waarbij developers gaan kiezen om op te schalen naar resoluties tussen bijvoorbeeld 1440p en 1800p. Bij een doel van 1440p bijvoorbeeld blijft de input resolutie zelfs op de 'Quality' setting onder de 1080p, wat heel haalbaar klinkt in een docked scenario. Een dergelijke outputresolutie geeft een zeer significante upgrade op een 4K TV – dit hebben we ook gezien bij de games die ontwikkeld werden voor de PS4 Pro en de Xbox One X met reconstructietechnieken zoals checkerboarding in gedachten. Het is dus niet perse nodig om die 4K resolutie altijd te behalen, en het is aan ontwikkelaars om een goede balans te vinden tussen interne resolutie, output resolutie, framerate en beeldkwaliteit.

Voor de meeste oudere games moeten we dan weer geen DLSS verwachten. Retroactieve implementatie vereist vermoedelijk best wat werk via een update, en de vraag is voor hoeveel games die financieel haalbaar is. In theorie zou een implementatie iets makkelijker moeten zijn voor games die TAA ondersteunen. Games die op Unreal Engine 4 gebouwd zijn, hebben misschien ook een kans mits de ontwikkelaar bereid is om de engineversie van het spel up te daten – iets wat allesbehalve vanzelfsprekend is. Hopelijk zijn er ontwikkelaars – waaronder Nintendo zelf – die er graten in zien om hun games toch up te daten en zo de verkopen van hun games een verdere boost te geven. Vooral bij games zoals Minecraft – die op PC reeds DLSS ondersteunen – lijkt dit een optie.

Een laatste relevante vraag is of de aankomst van DLSS op een console de adoptie van DLSS in het algemeen verder zal bevorderen? Dit is natuurlijk wat koffiedik kijken, maar de mogelijke synergie met games die op PC releasen maakt de implementatie van het algoritme wel interessanter. Volgens de Steam Hardware Survey van afgelopen februari had 15%1 van de deelnemende Steam gebruikers toen een GPU die DLSS ondersteunt. Hoewel dit zeker geen overtuigende meerderheid is, zal de groep gamers die DLSS op PC kan gebruiken enkel verder groeien in de toekomst. Van een nieuw Switch model kunnen we dan weer verwachten dat er op termijn minstens 10 a 20 miljoen stuks zullen verkocht worden, die dan DLSS zullen ondersteunen. Dit zou de adoptie van DLSS over een periode van 2-4 jaar een serieuze boost kunnen geven. Mocht Nintendo beslissen om een iteratief business model voor Switch te handhaven, kan dat cijfer zelfs nog veel hoger oplopen.

Conclusie

Er lijkt dus veel potentieel te zijn voor toekomstige Switch games, mocht dit scenario van een upgrade met DLSS ondersteuning het licht zien. Natuurlijk zijn er nog veel vraagtekens: hoe frequent zouden developers effectief gebruik gaan maken van DLSS? Wat met DLSS in handheld modus? Zal de SoC krachtig genoeg zijn om DLSS op hogere performance profielen te gebruiken of wordt het een te nipte bedoening? Voorlopig is dit allemaal koffiedik kijken.

Is een Switch met DLSS een realistisch gerucht of was dit een verspilling van 1500+ woorden? Laat het gerust weten in de comments :)



Interessante video's voor zij die dieper in het onderwerp willen delven:
Hoe werkt DLSS 2.0? https://youtu.be/d5knHzv0IQE

Cyberpunk vergelijking: alle DLSS modes op 4K, 1440p en 1080p https://www.youtube.com/watch?v=_Cx2Ep0YmhU

Nvidia Ultra Performance DLSS - Is 8K Gaming Viable on the Most Demanding Games? https://www.youtube.com/watch?v=3IiFbahWaqk, zie ook https://www.eurogamer.net...ltra-performance-analysis

NiOh 2 als voorbeeld van DLSS in een game zonder TAA : https://www.youtube.com/watch?v=6BwAlN1Rz5I , zie ook https://www.eurogamer.net...ative-rendering-challenge

DLSS 2.0 in Control - reconstructie van 1080p via een 540p beeld. https://youtu.be/YWIKzRhYZm4?t=629 , zie ook https://www.eurogamer.net...-dlss-2-dot-zero-analysis

1Steam Hardware Survey – Februari 2021 – GPU’s met Tensor Cores
Deze survey is allesbehalve representatief voor de bredere PC markt, de cijfers eruit zijn dus eerder illustratief bedoeld.

2060 4.77%
2070 1.75%
2080 0.83%
2080 ti 0.78%
2060s 1.45%
2070s 2.39%
2080s 0.88%
3060 nnb
3060 ti 0.33%
3070 1.08%
3080 0.74%
3090 0.29%
TOTAAL 15.29%

Volgende: Financiële resultaten: PlayStation sluit fiscale jaar af met recordomzet 28-04 Financiële resultaten: PlayStation sluit fiscale jaar af met recordomzet
Volgende: Update: PS5 en Series X|S hardware sales drie-vier maanden na launch. 14-03 Update: PS5 en Series X|S hardware sales drie-vier maanden na launch.

Reacties


Door Tweakers user Mattie112, zondag 28 maart 2021 23:15

Of het waar is van de switch durf ik mijn vingers niet aan te branden maar vond het erg interessant om te lezen in elk geval :)

Door Tweakers user JackAvery, maandag 29 maart 2021 13:33

Mattie112 schreef op zondag 28 maart 2021 @ 23:15:
Of het waar is van de switch durf ik mijn vingers niet aan te branden maar vond het erg interessant om te lezen in elk geval :)
Bedankt! Ik heb nu nog het gevoel dat ik erg op de oppervlakte ben gebleven in mijn beschrijving, dus als er delen van de tekst zijn die ik verder kan toelichten hoor ik het graag :) Heb een hoop onderwerpen expres genegeerd om het kort te houden :P

Alvast erg benieuwd of dit specifieke gerucht gaat kloppen.

Door Tweakers user Jeoh, maandag 29 maart 2021 19:21

Ik ben benieuwd. Stiekempjes hoop ik dat we een krachtiger model krijgen waarbij 60 FPS de standaard wordt (Immortals Fenyx Rising spelen op 30FPS doet echt pijn).

Om te kunnen reageren moet je ingelogd zijn. Via deze link kun je inloggen als je al geregistreerd bent. Indien je nog geen account hebt kun je er hier één aanmaken.