Innhold
Google Pixel 4 og Pixel 4 XL kan skryte av selskapets beste programvarefunksjoner og kamerafunksjoner som noensinne er mulig, delvis på grunn av inkluderingen av Pixel Neural Core. Denne lille brikken sitter ved siden av Pixel 4s viktigste prosessor for å effektivt kjøre Googles kraftige arbeidsmengder for maskinlæring. Disse spenner fra bildebehandling til stemmegjenkjenning og transkripsjon.
Neural Core er ikke Googles første sprekk hos en egen maskinlæringsprosessor for smarttelefoner. Pixel 2 og 3 ble levert med Pixel Visual Core, designet for å laste av bilderoppgaver som HDR + for forbedret ytelse og energieffektivitet. Pixel 4s Neural Core bygger på dette fundamentet med forbedrede muligheter og et utvalg av nye brukssaker.
Ikke gå glipp av: Dette er hva Pixel 4s Astro-modus kan gjøre
Hvordan fungerer Pixels Neural Core?
Google har foreløpig ikke delt detaljer om nøyaktig hva som skjer i nevrale kjerne. Imidlertid vet vi hvordan den forrige generasjonen Visual Core fungerer og hvilken type teknikker som vanligvis brukes i maskinlæring (ML) prosessorer.
I motsetning til en tradisjonell CPU bygd for å håndtere et bredt utvalg av beregningsoppgaver, er maskinlæringsprosessorer (NPUer), som Neural Core, optimalisert for noen få spesifikke komplekse matematiske oppgaver. Dette gjør dem mer som digitale signalprosessorer (DSP) eller grafikkbehandlingsenheter (GPU), men optimalisert for de spesifikke operasjonene som brukes av maskinlæringsalgoritmer.
Fused multiply-accumulates er en veldig vanlig bildebehandling og tale-ML-operasjon som du ikke finner bred skala støtte for i en CPU. I motsetning til moderne 32 og 64-bits CPUer, blir disse operasjonene utført på datastørrelser på bare 16, 8 og til og med 4 biter. Det kreves tilpassede maskinvareblokker for å støtte disse operasjonene med maksimal effektivitet.
Neural Core akselererer bilde- og stemmealgoritmer som kjører mindre effektivt på en CPU eller GPU.
Neural Core bygger dedikerte aritmetiske logiske enheter i maskinvare for å håndtere disse instruksjonene raskt og med minimalt strømforbruk, i stedet for å ta opp flere CPU-sykluser. Brikken består sannsynligvis av hundrevis av disse ALU-ene i flere kjerner, med delt lokalt minne, og en mikroprosessor som har tilsyn med oppgaveplanlegging.
Google vil nesten helt sikkert ha optimalisert det nyeste maskinvaredesignet rundt algoritmer for assistent-, tale- og bildebehandlingsprogramvare. Avhengighet av Neural Core's ALU-evner er grunnen til at Pixel 4s nyeste fotografifunksjoner ikke tar veien til eldre telefoner.
Hva kan Neural Core gjøre?
Neural Core ser ut til å være en sentral ingrediens i en rekke nye funksjoner pakket inn i Google Pixel 4 og Pixel 4 XL. Disse forbedringene fokuserer hovedsakelig på bilde- og stemmebehandling.
På fotograferingssiden inkluderer listen Dual Exposure Controls, en astrofotograferingsmodus, live forhåndsvisning av HDR + og Night Sight. Googles Pixel 4 utfører doble eksponeringsjusteringer og HDR + i sanntid, slik at brukere kan se resultatene av bildene sine før de treffer lukkeren. Dette peker på en betydelig økning i datakraft for bilder sammenlignet med Pixel 3.
I tillegg introduserer disse telefonene læringsbasert hvitbalanse i kamerasystemet, som fikser gule fargetoner som ofte er assosiert med bilder med lite lys. Flere eksponeringsfangster, himmelregistrering og bildekombinasjon brukes i Astro Night Sight-modus, noe som krever en stor mengde prosessering og smarte bilderegistrering. Til slutt identifiserer og anbefaler Pixel 4s Frequent Faces-funksjon bedre bilder av mennesker du ofte fotograferer.
Pixel 4 kan også skilte med en oppdatert Assistant, sportslige forbedrede språkmodeller som nå kan kjøre innfødt på enheten i stedet for i skyen. Nye stemmefunksjoner inkluderer også fortsatte samtaler, lydtranskripsjon via opptaker-appen og forbedret talegjenkjenning. Neural Core spiller sannsynligvis også en rolle i telefonens 3D ansiktslåsningsteknologi.
En bølge av fremtiden
Googles Neural Core er selskapets kraftigste stykke internt smarttelefonsilisium, noe som muliggjør mer effektiv bildebehandling i sanntid enn før. Google er stolt av de bransjeledende maskinlæringsteknologiene og Pixel 4s største salgsargument er avhengige av fruktene av disse investeringene.
Pixel 4 er imidlertid ikke den eneste smarttelefonen som har en kraftig maskinlæringsprosessor. Alle smarttelefoner drevet av en Snapdragon 855 tilbyr dedikert maskinlæringsmaskinvare. Selv om Google helt klart har forskjellige behov og kanskje enda kraftigere krav til smarttelefonene sine. På samme måte har Huawei's Kirin 990 dobbelt interne NPU-er som er kraftige nok for sanntids bokeh-videoeffekter og mer.
Maskinvareutdanning er raskt i ferd med å bli en hjørnestein i flaggskipets smarttelefonbilde, video og AI. Google plasserer seg med Pixel 4 og Neural Core rett i nærheten av toppen av pakken.
Neste gang: Googles Pixel-kameraer prøver ikke å være kameraer i det hele tatt
