糖果派对

Gad vide, hvordan en blanding af en hest og en cykel ville se ud? Hvordan laver man vingummi? Hvor mange film er der lavet om onde sygeplejersker?

Du kender det. Du taster planl酶st ind i chatbotten, det er bare adspredelse, du keder dig. Svarene skal du bruge til absolut ingenting. Og hvad rager det andre, t忙nker du m氓ske, lad mig dog have mine form氓lsl酶se s酶gninger i fred, men det ang氓r faktisk andre, det ang氓r dine medmennesker her p氓 planeten, for hver eneste gang dine fingre trykker en tast i bund i jagten p氓 svar, er der et forbrug af energi, som sender CO2 op i atmosf忙ren.

Helt konkret koster en gennemsnitlig google s酶gning i omegnen af 0,0003 kWh. Med den m忙ngde energi kan du t忙nde en 60 watts p忙re i 17 sekunder. Hvis du sp酶rger ChatGPT i stedet for google, stiger forbruget mange gange, og s氓 lander energiforbruget for en typisk s酶gning p氓 2,5 鈥� 10 Wt. Dertil kommer et vandforbrug p氓 10-25 ml til k酶ling. Hvis vi 鈥� konservativt - regner med, at 100 millioner mennesker hver dag sp酶rger ChatGPT-4 om 3-4 ting, vil energiforbruget p氓 bare en m氓ned svare til adskillige atomkraftv忙rkers output og millioner af kubikmeter vand.

Burde vi lære at styre os?

Bør vi tage os sammen og skrue ned for vores ligegyldige og unødvendige søgninger for at spare på energiforbruget?

- Det kan man selvfølgelig godt diskutere. Men hvem skal bestemme, om en søgning er nødvendig? Det, der er unødvendigt for nogle, kan være nødvendigt for andre, så det kan da være et svært sted at sætte ind for at få energiforbruget ned, siger Lukas Galke, der er adjunkt i Data Science-gruppen på Institut for Matematik og Datalogi.

I stedet vil han og kolleger i et nyt projekt hellere se på, hvad udviklerne af chatbots kan gøre for, at vores søgninger bliver mere bæredygtige – altså mindre energikrævende. Helt specifikt har han øjnene rettet mod de store sprogmodeller, som er hjernen i de mange tilgængelige chatbots.

Sammen med kollegaen, professor Peter Schneider-Kamp, ogs氓 fra Institut for Matematik og Datalogi, har han modtaget en bevilling p氓 100.000 s氓kaldte node hours (svarende til seks mio. kr.) p氓 supercomputeren LEONARDO til to projekter, hvoraf det ene handler om at g酶re store sprogmodeller mere b忙redygtige. Med p氓 holdet er ogs氓 den danske virksomhed Ordbogen A/S. Det andet projekt har fokus p氓 at udvikle danske sprogmodeller.

- Vi kan ikke og 酶nsker heller ikke at forhindre, at folk interagerer med store sprogmodeller, men vi kan i det mindste g酶re en indsats for, at forbruget ikke 酶del忙gger planeten, siger Lukas Galke.

De store sprogmodeller er ekstremt energikr忙vende at tr忙ne. Tr忙ning er altafg酶rende og n酶dvendig, f酶r en chatbot kan begynde at give et nogenlunde fornuftigt svar p氓 brugerens sp酶rgsm氓l.

Det myldrer med store sprogmodeller

- Det koster hurtigt flere hundrede millioner dollars på strømregningen at træne en sprogmodel, og der bliver hele tiden trænet i hundrede tusindvis af dem. Nogle er udbredte og bliver brugt af mange, nogle har en kort storhedstid på måske blot en uge, og atter andre bliver aldrig rigtigt brugt, forklarer Lukas Galke.

Tag OpenAIs GPT-4: Det tog 5-6 seks måneder at træne den, og energiforbruget røg op omkring de 50 gigawatt timer. Hvis man omregner det til den energi, der får en bil til at køre, vil det svare til at have så meget benzin i tanken, at man ikke skal tanke de første 29 millioner km.

Med til dette regnestykke hører, pointerer Lukas Galke, at der er tale om engangsudgifter til træning, og at prisen for en søgning så selvsagt bliver mindre jo flere, der bruger modellen.

H氓ber p氓 at neds忙tte energiforbruget med 30 gange

- Men det er stadig mange penge, og derfor arbejder vi p氓 at nedbringe energiforbruget. Vores m氓l er ikke at nedbringe energiforbruget p氓 selve tr忙ningen, men at tr忙ne en model, der vil have et lavere energiforbrug ved inferens; alts氓 ved den aktivitet, der opst氓r, n氓r en bruger interagerer med systemet.

En sprogmodel har milliarder af s氓kaldte parametre, som hver is忙r best氓r af et antal bits, som s酶rger for at udf酶re beregningerne. 8-16 bits pr. parameter er ikke unormalt, men det kan blive f忙rre, mener Lukas Galke, og f忙rre bits betyder mindre energiforbrug.

- Vi 酶nsker at minimere det til 1,58 bits pr. parameter, s氓 modellen f氓r tre mulige v忙rdier for hver paramater: -1, 0 og 1. Det vil g酶re driften af en sprogmodel meget billigere og g酶re det muligt at k酶re sprogmodeller p氓 f.eks. en PC eller m氓ske endda p氓 mobile enheder. Dette er s忙rligt vigtigt, n氓r man t忙nker p氓, at trenden er at investere mere computerkraft i at f氓 bedre resultater i inferenstiden. Alts氓: at sprogmodeller kan udforske og evaluere mulige svar (at de 鈥漷忙nker鈥�), f酶r de giver deres endelige svar. Det, som vi specifikt g氓r efter i dette projekt er at se, om vi kan tage en standard 8-16 bit pr忙-tr忙net model og transformere den til en 1,58 bit model, efter at den er tr忙net 鈥� det kunne spare endnu mere energi, end hvis man tr忙ner en 1,58 bit.

Hvis det lykkes for Lukas Galke og Peter Schneider-Kamp at f氓 energiforbruget s氓 langt ned, som de h氓ber, vil en s酶gning ende med at koste 30 gange mindre end i dag.