Neurale netværk bag sociale medier kan bruge uendelige mængder strøm
Neurale netværk bruges intensivt af eksempelvis Twitter og Facebook til at anbefale indhold, der vil falde i brugerens smag. En proces, der bruger ekstreme mængder strøm og udleder meget CO2. Faktisk kan hele verdens energi bruges på at træne et enkelt neuralt netværk. Derfor opfordrer forskere bag et nyt studie til, at teknologien kun bruges, hvor den virkelig gør gavn.
Neurale netværk dækker over en matematisk model, der er inspireret af den menneskelige hjerne, og som kan trænes til at løse komplicerede opgaver bedre end noget menneske.
Disse netværk bruges heftigt inden for blandt andet sociale medier, streaming og onlinespil til at målrette det helt rigtige opslag, den bedste film eller det sjoveste spil til netop dig. Derudover bruges neurale netværk også inden for sundhedsvæsenet til eksempelvis at genkende kræft på CT-skanninger.
Og selvom teknologien er meget effektiv, bør den ikke misbruges. Sådan lyder det fra en dansk forsker bag et nyt studie, der viser, at man kan bruge al verdens strøm på at træne et enkelt neuralt netværk uden at nå perfektion.
”Problemet er, at vi kan bruge uendelige mængder strøm på at træne de her neurale netværk til for eksempel at kunne målrette reklamer mest effektivt til os. Netværket bliver aldrig færdig med at træne og blive bedre. Det er som et sort hul, der sluger al energi, du kaster i det, og det er bestemt ikke bæredygtigt,” forklarer Mikkel Abrahamsen, der er adjunkt på Datalogisk Institut på Københavns Universitet.
Derfor skal vi bruge teknologien med omtanke og hver gang overveje, om det er nødvendigt med neurale netværk, eller om simplere og mere energibesparende løsninger er tilstrækkelige, uddyber han.
”Det er vigtigt, at vi overvejer, hvor vi vil bruge neurale netværk, så teknologien giver mest værdi for os mennesker. Nogle vil nok mene, at det er mere rimeligt at bruge neurale netværk til at undersøge scanningsbilleder for kræft, end til at målrette reklamer og produkter til os på sociale medier og streamingtjenester. I nogle tilfælde kan man også nøjes med andre teknikker som f.eks. regression eller random decision forest, som er mindre ressourcekrævende,” siger han.
Et teoretisk studie:
- Sammen med forskere fra Tyskland og Holland giver Mikkel Abrahamsen en teoretisk forklaring på, at neurale netværk, der anvendes af blandt andet sociale medier, bruger enorme mængder strøm, fordi de aldrig kan trænes til perfektion.
- Forskerne har bevist, at træning af neurale netværk hører til i en tungere kompleksitetsklasse end hidtil antaget. Neurale netværk skal rykkes op i klassen Existential Theory of the Reals (∃ℝ) i stedet for den lettere klasse kaldet NP.
- Den nye klasse ∃ℝ indeholder problemer som svarer til at løse masser af 2.-grads-ligninger med mange ubekendte på én gang, hvilket er umuligt i praksis.
Studiet er udgivet på konferencen NeurIPS i december sidste år.
En træning, der aldrig stopper
Neurale netværk trænes ved at blive fodret med data. Det kan eksempelvis være skanningsbilleder, hvor det neurale netværk lærer at genkende fotos, der viser, at patienten har kræft.
Træningen kan i princippet fortsættes i det uendelige, og i det nye studie viser forskerne, at det er skruen uden ende, fordi processen svarer til at løse meget avancerede ligninger med mange ubekendte.
”De bedste algoritmer, vi kender til, kan kun håndtere op til otte ubekendte, mens de neurale netværk kan have flere milliarder parametre, som skal indstilles. Derfor finder vi aldrig den optimale løsning, når netværket trænes, selv hvis vi bruger al verdens energi fra nu af og til evig tid,” forklarer Mikkel Abrahamsen.
Neurale netværk bliver desuden også dårligere og dårligere til at udnytte den energi, der puttes i dem, uddyber han.
”Når vi træner neurale netværk, går det langsommere og langsommere. De kan for eksempel nå en nøjagtighed på 80 procent efter én dag, mens det tager en hel måned mere at komme op på 85 procent. Så man får mindre og mindre ud af den energi, man bruger i træningen, og når aldrig perfektion,” siger Mikkel Abrahamsen.
Mange mennesker er ikke klar over, at netværkene kan trænes i det uendelige, og derfor mener Mikkel Abrahamsen, at vi bør sætte fokus på det store forbrug af energi.
”Vi ved ikke, at vi er medvirkende til det her enorme energiforbrug, når vi logger på Facebook eller Twitter, sammenlignet med vores bevidsthed når det for eksempel gælder en flyrejse til et andet kontinent eller køb af nyt tøj. Derfor bør vi få øjnene op for denne del af klimaaspektet, nemlig, hvor meget teknologien forurener,” slutter han.
Hvad er et neuralt netværk?
- Et neuralt netværk er en maskinlæringsmodel, der er inspireret af hjernen og kan trænes til at udføre komplekse opgaver på overmenneskeligt niveau, dvs. ekstremt effektivt.
- Neurale netværk har massevis af parametre som skal indstilles, før netværket giver meningsfulde svar. Denne proces kaldes træning.
- Neurale netværk bliver normalt trænet ved hjælp af en algoritme kendt som backpropagation, der ændrer parametrene lidt efter lidt i den rigtige retning.
Kontakt
Mikkel Abrahamsen
Adjunkt
Datalogisk Institut
Københavns Universitet
miab@di.ku.dk
20 78 75 34
Michael Skov Jensen
Journalist
Det Natur- og Biovidenskabelige Fakultet
Københavns Universitet
msj@science.ku.dk
93 56 58 97
Maria Hornbek
Journalist
Det Natur- og Biovidenskabelige Fakultet
Københavns Universitet
maho@science.ku.dk
22 95 42 83