Innhold
Hype for virtuell virkelighet har absolutt dødd ned de siste par årene, på grunn av en kombinasjon av dyr maskinvare, ujevn ytelse og bevegelsessyke og mangel på brukerinnhold. Bransjen sitter for tiden fast i litt av et kylling vs. egg-scenario, der mangel på forbrukere hindrer investering i avansert innhold. Mer kraftfull og kostnadseffektiv VR-maskinvare for massene vil være nødvendig for å bryte dødvollen.
Arm ser etter å overvinne noen av disse teknologiske hindringene med sin første displayprosessor (DPU) noensinne designet for VR: Mali-D77. Kort sagt, Mali-D77 laster ned vanlige VR-prosesseringsoppgaver fra GPU, og frigjør ressurser for høyere bildefrekvens, og hjelper samtidig med å redusere bevegelsessyke.
Inni armen Mali-D77
Mye av Mali-D77 er basert på 2017s Mali-D71 for flaggskip-smarttelefoner og andre avanserte applikasjoner. Den har samme komprimeringsdekoder, lagskalering, HDR-støtte og fargebehandlingsenheter. Imidlertid har den nye designen blitt optimalisert for å støtte 3K-oppløsninger ved 120 fps, med støtte for 4K-oppløsninger på opptil 90fps.
De store endringene kommer i form av to helt nye maskinvareakselerasjonsenheter for VR-applikasjoner. Mali-D77 støtter linsekorreksjon og asynkron timewarp i maskinvare, i stedet for å kjøre disse algoritmene på GPU. Arm anslår at dette kan frigjøre rundt 15 prosent av GPU-ressursene, noe som kan brukes til å øke rammen. Flytting av denne belastningen til DPU gir også 40 prosent båndbreddebesparing og 180 mW strøm per VR-lag. Hyggelig.
Linsekorrigering er nødvendig i VR-hodetelefoner for å oppveie lyskurvaturen til headsetets linser. Barrel Distortion brukes på hver gjengitt ramme for å oppveie Pincushion Distortion-effekten av linsene. Tenk på dette som overkompensering eller "omvendt forvrengning" slik at linseforvrengningen faktisk ender med å vise riktig bilde. Tradisjonelt gjøres dette på GPU, og tar opp ekstra sykluser og tid. Mali-D77 gjør alt på DPU.
I tillegg utfører Mali-D77 kromatisk aberrasjonskorreksjon ved å bruke en lignende omvendt forvrengningsmetode. Med dette brukt vil bildefarger vises korrekt over hele linsen, inkludert i hjørnene der fargeseparasjonsforvrengning kan oppstå.
Hva er asynkron timewarp?
Linsekorreksjon er ganske selvforklarende, men Asynchronous Timewarp er litt mer involvert. Her bruker Arm skjermprosessoren for å rotere, skjev og skjev bilder for å kompensere for brukerens bevegelser, mens den reduserer en hvilken som helst GPU eller annen skjermpipelinjelatens.
Med nåværende generasjons maskinvare blir X, Y, Z-aksenes bevegelsessporing oppdatert synkronisert med GPU, fordi GPU må gjengi endringen i visningen hver gang du flytter. Med Asynchronous Timewarp blir de to ikke lenger oppdatert sammen. Du kan flytte hodet mellom GPU-rammeoppdateringer, og Mali-D77 kan forvride den gjeldende rammen slik at den samsvarer med hodebevegelsen.
Dette er en subtil effekt, ettersom den bare varer i et brøkdel av et sekund mellom gjengitte rammer og ikke utrydder behovet for rask bildefremstilling. Imidlertid øker det flytbarheten og glattheten i bevegelse og bevegelse kraftig, da oppdateringer kan forekomme enda oftere enn GPU-rammen. Koblingen mellom kroppen din beveger seg og ser en visuell oppdatering er den ledende årsaken til bevegelsessyke i VR, slik at Mali-D77 kan hjelpe mye i denne forbindelse.
X, Y, Z-aksens bevegelsesdata mates direkte til Mali-D77 fra CPU, og omgår GPU-scenen fullstendig. Dette er en veldig annen måte å gjøre ting på, og vil som sådan kreve at utviklere bruker et nytt sett med utviklingsverktøy og teknikker. Dette er uten tvil det største hinderet med D77. Heldigvis jobber Arm-ingeniører tett med tiltak som OpenXR, slik at vi kunne se en API-kunngjøring for forenklet utviklerstøtte i fremtiden.
Totalt sett er Arm Mali-D77 en intelligent og logisk progresjon av den heterogene databehandlingsideen for å hjelpe deg med å løse noen av virtual realitys største maskinvareproblemer. Det er fortsatt andre hinder i trådløs kommunikasjon, sporing og kostnadssegmenter av VR som er igjen å løse før mainstream-adopsjon kan vurderes på nytt, men Mali-D77 er med på å knekke noen av ytelsesproblemene.
