Innhold

• Hvordan nevrale nettverk fungerer
• Nevrale nettverk inne i smarttelefonen
• AI kunne forme fremtiden for fotografering

I tillegg til beregningsfotografering, høykvalitets kameramaskinvare og bildesignalbehandlere, blir nyskapende mobilfotografering i økende grad drevet av maskinlæringsalgoritmer - også kjent som kunstig intelligens (AI). Denne fotograferingsteknikken lover å forbedre kvaliteten i skyven mot DSLR-lignende kvalitet, og samtidig tilby kreative nye måter å ta bilder og redigere bilder og video på.

Nøkkelen til maskinlæring er bruk av nevrale nettverk. Dette er en type algoritme som ofte blir sammenlignet med den menneskelige hjernen. Denne sammenligningen er hentet fra et nevralt nettverks evne til å bli opplært gjennom bruk av data til å gjenkjenne mønstre, slik at det kan gi svært nøyaktige klassifiseringer for komplekse datatyper som lyd og bilder.

Når det gjelder fotografering, har muligheten til å observere, lære, generere og klassifisere et bredt spekter av applikasjoner. Disse applikasjonene kan omfatte funksjoner som å bygge på beregningsfotograferingsteknikker for å forbedre etterbehandlingsalgoritmer, programvare i sanntid bokeh med 4K-video, eller til og med bytte ut fargene på klærne du har på deg.

Hvordan nevrale nettverk fungerer

Nevrale nettverk er et enormt sammensatt emne, så vi skal bare dekke det grunnleggende her. For mer avansert lesing, sjekk guider her og her.

Nevrale nettverk består av noder, som er en betegnelse for hvor noe beregning gjøres. Hver node kombinerer en inngang med en vekt som forsterker eller demper betydningen av den aktuelle noden. Flere noder fungerer ofte parallelt, og skaper et lag med noder som utfører en større oppgave. Dette kan for eksempel være funksjonsdeteksjon i et bilde. Flere noder og lag kan summeres og videreføres til andre noder og lag, og danner et dypere nettverk med kraftigere evner.

Utgangen fra hver node og hvert lag skaleres som en sannsynlighetsfunksjon. Ved å se på mange forskjellige funksjoner og attributter, kan et nevralt nettverk rangere inndataene som en sannsynlighetskamp mot alle forventede potensielle utganger. Slik bestemmer bildedeteksjonsalgoritmer om et bilde ser mer ut som en katt eller en appelsin, men du må fortelle det hva du skal se etter først.

Nevrale nettverk er ikke programmert helt som tradisjonelle datamaskinalgoritmer. I stedet trenes de på datasett, for eksempel bilder, lydfiler, etc. Vektene til hver node justeres gradvis over tid via en tilbakemeldingssløyfe, basert på hvor bra nettverket gjorde det med å matche inngangene til de riktige utgangene. Denne gradvise "læringen" av reglene tar betydelig forberedelse, tid og datakraft, men gir fenomenalt nøyaktige resultater.

Nevrale nettverk inne i smarttelefonen

Nevrale nettverk kan kjøres på en rekke maskinvarekomponenter, inkludert CPU og GPU-deler som er vanlige i en rekke dataenheter, inkludert smarttelefonen. Noen nevrale nettverk kan imidlertid kreve mer prosessorkraft enn disse maskinvarekomponentene kan gi, og dedikert maskinvare kan gi den optimale behandlingen som trengs.

Inne i Qualcomm® Snapdragon ™ 855 mobilplattform, for eksempel, finner du den nyeste Qualcomm® Hexagon ™ 690 Digital Signal Processor (DSP), og har forbedrede Vector-prosesseringsenheter og en ny Tensor Accelerator spesielt for maskinlæringsoppgaver. Andre Snapdragon Mobile Platforms har også Hexagon DSP-komponenten, med forskjellige funksjoner. Når det er sagt, er nevrale nett ikke begrenset til bare å kjøre på DSP på Snapdragon og andre mobile plattformer. Hvilken prosessor som brukes, avhenger av arbeidsmengden.

Qualcomm Snapdragon 855 maskinutdanning forbedringer sammenlignet med forrige generasjon

Qualcomm Technologies åpner opp DSP- og maskinlæringskapasiteten for tredjepartsutviklere gjennom Qualcomm® Neural Processing SDK. Dette gjør det mulig for apper å kjøre nevrale nett over alle maskinvarekjernene i en Snapdragon Mobile Platform. For eksempel bruker Google Pixel-smarttelefoner Hexagon DSP og sin egen Visual Core for å akselerere den imponerende HDR + fotograferingsfunksjonen. Qualcomm Technologies samarbeider med programvareleverandører som Arcsoft, Elevoc, Polar, Loom, Mobius, Morpho og mer, og støtter funksjoner som spenner fra video bokeh til avatar-oppretting ved bruk av maskinlæring som kjører på DSP.

AI kunne forme fremtiden for fotografering

Nå vet vi hvordan nevrale nettverk fungerer, det viktige spørsmålet er hva det kan gjøre for oss og våre fotografier?

Nevrale nettverk brukes til å forbedre en rekke vanlige fotografealgoritmer. Støy, for eksempel, kan forbedres med trening for å tilby overlegen image-opprydding tilpasset det spesifikke kameraet eller typen skudd. På samme måte kan et nevralt nett for lite lys oppdage lyse og mørke deler av bildet, noe som muliggjør forbedringer av lys og farger i bestemte deler av scenen.

Mer avanserte brukstilfeller er stadig oftere i smarttelefonfotografering. Superoppløselig zooming bruker nevrale nett for å kombinere flere bilder til et enkelt høyoppløselig bilde for overlegen digital zoom. Nevrale nett kan også trenes for å sy nøyaktig flere fotoeksponeringer sammen for forbedret HDR og nattbilder.

AI-fotografering kan inkludere superoppløselig zoom, sanntid bokeh og forbedret bildekvalitet.

Video kan også dra nytte av bruken av denne teknologien. Objektdeteksjon i sanntid er designet for å la apper introdusere bokeh-effekter fra programvare rett i video når du spiller inn. Lignende teknikker støtter også sanntids objektbytte og fjerning. Dette inkluderer å bytte ut bakgrunnen i en video, endre eller fjerne farger, og til og med bytte ut klær eller overføre digitale avatarer direkte i videoen din.

Kraften i nevrale nettverk og AI-fotografering spenner fra kvalitetsforbedringer for å bidra til å lukke gapet på DSLR til kraftige kreative verktøy som hjelper til med å produsere unikt innhold til en lek. Uansett er det en kraftig teknologi som er grunnleggende for fremtidige forbedringer med tanke på mobilfotografering.

Neste: Google Pixel 3 XL internasjonal gave!

Innhold sponset av Qualcomm Technologies, Inc.

Qualcomm Snapdragon, Qualcomm Hexagon, Qualcomm Adreno, Qualcomm Spectra, Qualcomm AI Engine og Qualcomm Kryo er produkter fra Qualcomm Technologies, Inc. og / eller datterselskapene.