AI-systemernes massive strømbehov sætter fokus på bæredygtighed i halvlederøkosystemet. Chipindustrien skal være i stand til at producere mere effektive halvledere med lavere effekt. Men krav om øget behandlingshastighed stiger med den udbredte brug af store sprogmodeller og den samlede stigning i mængden af data, der skal behandles. Gartner anslår, at 50 % af organisationerne vil anvende bæredygtighedsaktiveret overvågning inden 2026 for at styre energiforbrug og CO2-fodaftryk for deres hybride skymiljøer. Dette er nødvendigt i betragtning af, at 40% af datacentre sandsynligvis vil være strømbegrænsede i 2027, ifølge firmaet.
Halvledere kan hjælpe med bæredygtighed, hvis de er designet korrekt. Det gælder selv for AI/ML-chips designet til maksimal ydeevne, forudsat at de kan få foretaget beregninger hurtigere ved hjælp af sparser-algoritmer. Det resulterer i en samlet reduktion i mængden af forbrugt energi. Det er her tilpassede acceleratorer kommer i spil. De kan give betydelige forbedringer sammenlignet med processorer til generelle formål, som ofte arbejder sammen.
AI's voksende fodaftryk
Databehandling foregår overalt, og det hele skal være mere effektivt. Smarte byer, smart infrastruktur og smart transport er ikke mulige uden smart teknologi, og det aktiveres i stigende grad af AI. Efterhånden som AI bliver mere forankret, forsøger halvlederøkosystemet at minimere sin indvirkning på ressourcerne.
Nutidens datacentre bruger allerede enorme mængder strøm. Globalt er der brug for 460 terawatt-timer (TWh) elektricitet årligt. Det svarer til hele den mængde energi, som Tyskland producerer. I USA var datacentrets elforbrug 2,5% af det samlede amerikanske (~130 TWh) i 2022, og det forventes at tredobles til 7,5% (~390 TWh) i 2030, ifølge Boston Consulting Group. Det svarer til den elektricitet, der bruges af omkring 40 millioner amerikanske huse, eller næsten en tredjedel af de samlede huse i USA
"AI har potentialet til at overgå alle de transformative innovationer skabt i det sidste århundrede," sagde Imran Yusuf, direktør for hardware-økosystemer i Arm's Infrastructure Group. "Men kraftkravene til AI-beregning er betydelige, og efterhånden som virksomheder skynder sig at opbygge deres AI-kapaciteter, risikerer de at overgå deres egne bæredygtighedsmål. Fremtidige AI-modeller vil fortsætte med at blive større og smartere, hvilket øger behovet for mere databehandling, hvilket øger efterspørgsel efter strøm som en del af en dydig cyklus. Simpelthen ingen elektricitet, ingen AI. Hvordan balancerer vi behovet for elektricitet med behovet for at fortsætte med at sætte skub i AI-revolutionen AI computersystemer."
Andre er enige. "Det kommer ned til at være mere effektiv i designet," sagde Neil Hand, marketingdirektør hos Siemens EDA. "Du kan se på en hvilken som helst algoritme. Der er rækkefølger af effektivitet. Den mest ineffektive tilgang fra et strømperspektiv er at køre råkoden på en processor til generelle formål og lade den skrue væk - og riste nogle skumfiduser over CPU'en, fordi den kører at blive meget varm."
Et rack af servere baseret på NVIDIA Grace Blackwell GPU'er kræver 120 kilowatt. Men de er også 1,000 gange mere dygtige end tidligere generationer, hvilket svarer til 500 gange mere beregning pr. magtenhed, ifølge Rich Goldman, direktør hos Ansys. "Hvis du bygger et datacenter af CPU'er og vil lave en masse computere, kan du erstatte CPU'erne med de nyeste GPU'er og få strømmen ned for de samme computeregenskaber. Vi kommer stadig til at have enorme strømproblemer, fordi vi med kunstig intelligens laver mere databehandling, men det vil hjælpe."
Hand ser den specialiserede Grace Blackwell-type af specialbygget hardware til AI som det næste trin i udviklingen, men han tilføjer, at der kan gøres meget mere, fordi disse stadig er chips til generelle formål. Han sagde, at det er muligt at bygge mere effektive AI-chips, der er beregnet til at klassificere og arbejde med en bred klassifikation.
"Dette er, hvad vi ser NVIDIA gøre, det er, hvad vi ser Google og mange af cloud-udbyderne gøre," bemærkede Hand. "Der er effektivitetsniveauer, som vi kan gøre for at gøre det muligt for disse chips at blive produceret mere effektivt, og for at muliggøre alt omkring bæredygtighed, der følger med det. Så kan du gå et skridt videre med nye teknologier, der tager en fuldt trænet AI-model og konvertere det til hardware Det vil være det mest effektive du kan være, og det kommer til at bruge en brøkdel af kræfterne og ændrer sig så hurtigt. Hvor meget kan du låse ned. Vi ser dette med de seneste meddelelser fra Intel og Qualcomm, og Apple har gjort dette i et par generationer uanset hvilket neuralt netværk du vil have på chippen, og der vil bare være det kontinuum."
Steve Roddy, Chief Marketing Officer hos Quadric, var enig. "Kræfterne, der driver eksplosionen af AI/ML-modeller, er massive i omfang. Generativ AI-bølge ændrer den måde, enkeltpersoner og virksomheder arbejder på, og påvirker muligvis millioner af job rundt om i verden. Halvleder/EDA/IP-økosystemet kan ikke med rimelighed bøje kurven for fremskridt i udviklingen af massive AI-modeller, der drives frem af hundredvis af milliarder af dollars i investeringer fra tech-titaner årligt. -til-dag slutningsbrug."
Den største bæredygtighedsudfordring for GenAI-inferens er konvertering af tilstande til heltalskvantiserede formater med lavere strømforbrug. "Datavidenskabshold, der skaber GenAI-modeller, er tilsyneladende uvidende om, at de referencemodeller, de udgiver i flydende kommaformat, bruger 10 gange energien pr. inferens sammenlignet med den samme model konverteret til heltalsformater (sammenligning af en 32b flydende multiplikation-akkumuler versus en 8 x 8 eller 4 x 8 heltals MAC)," sagde Roddy. "Uanset om slutningen sker i datacentret eller på enheden, er energibesparelserne – og de deraf følgende fordele for bæredygtighed – fra konvertering til heltalsformater med lavere effekt. Denne kløft eksisterer i dag, fordi dataforskerne, der skaber nye GenAI-modeller, er matematikere, ikke indlejrede ingeniører."
Teknologien udvikler sig
Når designteamet beslutter, at det er tid til at gå til hardware, selvom AI-algoritmer udvikler sig så hurtigt, vil der være en vis mængde stabilitet, sagde Hand. "Det er lidt ligesom, da vi gik ind i udviklingen af TPU'erne, NPU'erne, XPU'erne. Generelt var de ikke særlig levedygtige i et stykke tid, fordi kernebyggestenene ændrede sig mere regelmæssigt. Men i løbet af de sidste par år har disse kernefunktioner har stabiliseret sig, så du nu kan lave mere energieffektiv hardware, da tingene begynder at stabilisere sig. Vil nok altid ende med at bruge mere, end vi siger, fordi datacentrene er en stor energiforbruger, men hvad opvejer de hele spørgsmålet fra et produktivitetsperspektiv. Tillader de os at gøre ting, vi ellers ikke ville være i stand til Men meget af det er, om det er en kompleks AI-chip eller en hvilken som helst form for chip. Vi forbedrer udbyttet, forbedrer ydeevnen.
En anden overvejelse er, hvordan man genererer nok strøm til datacentret. Hvordan placerer man disse datacentre på steder, hvor der ikke er strøm nok? "Du vil oftere se datacentre på steder, der har et overskud af strøm, og lande, der har et overskud af strøm, vil blive datacenterhubs," sagde Goldman. "De vil lokalisere datacentret der og derefter udsende den viden, du får fra den magt."
Det vil blive ledsaget af nye og nye kraftkilder. "Vi har hørt tale om mini-atomkraftværker til at drive individuelle datacentre, og applikationer som at sætte dem oven på oliebrønde, så den metan, der nu går ud i luften og forurener luften, vi kan brænde det og skabe strøm ud af dem til at drive datacentrene," sagde Goldman. "Vi er nødt til at få sådan en roman for at drive disse datacentre."
En del af diskussionen om AI-bæredygtighed er datacentereffektivitet, hvor der er en vedvarende konflikt mellem den nødvendige kraft til at flytte data, og hvor langt disse data faktisk skal flyttes. "Vi ser folk, der bygger meget store processorer ud af chiplets, og en del af det er, fordi selvom de ved, at de kunne bygge et tilsvarende system ud af to chips, der er forbundet over en bus, men at flytte data mellem dem vil koste meget af magt," forklarede Steven Woo, kollega og fremtrædende opfinder hos Rambus. "Jo mere du samler tingene, jo mindre afstand skal dataene rejse, jo mindre strøm bruger du på at flytte data. Men så er problemet, at strømtætheden stiger. Du skal levere mere strøm, og du skal cool tingen Så tovtrækningen er, hvordan afkøler jeg denne ting. Det er den tovtrækning, som arkitekter på systemniveau står over for nu."
På datacenterniveau er der stigende brug af avancerede køleteknikker i servere. "Flere mennesker taler om væskekøling, herunder kolde plader," sagde Woo. "Google har gjort dette, og NVIDIA har talt om det for Grace Blackwell. Det er den teknologi, som nogle af supercomputerne bruger i dag, og det er ikke en fremmed eller en ny teknologi. Det er bare et spørgsmål om tid, før vi ser det som gennemtrængende Der vil sandsynligvis være nogle systemer, der er luftkølede i en overskuelig fremtid, men du vil se flere systemer, der anvender en form for pumpet væske med et tofaset kølesystem."
I den yderste ende af denne tilgang er nedsænkningskøling. "Dette er måske ikke en levedygtig datacenterserverkølingsløsning på et tidspunkt, men det kan være, hvis vi løber tør for landingsbane på væskerne," tilføjede han. "Når du er i stand til at styre varmen med en væske eller sådan noget, så kan du begrænse det temperaturområde, som en chip går igennem, hvilket betyder, at hvis den termisk cykler, rammer den muligvis ikke de ekstreme temperaturer. Det er godt , for så har du ikke den termiske udvidelse og kontraktion over dette større område, og nogle af de andre pålidelighedsrelaterede fejl bliver lempet lidt."
Big data-analyse spiller også en rolle i bæredygtighed ved at identificere trends i chipdesign baseret på datacenterbrug. "Der er et helt tog af magt," sagde Adam Cron, fremtrædende arkitekt hos Synopsys. "Bekymringerne er på matriceniveauet. Så har du brættet, det er på, stativet det er i, gården det er i, og så går det hele vejen tilbage til transmissionslinjerne. Og det, datacenterledere kan lide at se, er en pæn jævn køl Lad være med at rokke båden for meget, for hvis du vil have meget herovre, så skal du måske falde ned derovre, eller omvendt."
Ideelt set ville strømmen blive reduceret overalt. "Datacentre bruger mellem 1 og 2% af verdens elektricitet, og de er på et lynkursus for at bruge det hele," sagde Cron.
Udbytte, fremstillingsmuligheder
Der er en interessant sammenhæng mellem indsatsen for at lave bæredygtige halvledere og udbytte og fremstillingsevne, bemærkede Siemens' Hand. "Disse chips bliver større. Derfor bliver udbyttet mere af et problem. Jo mere vi kan gøre med udbyttet, jo bedre kan vi være for bæredygtighed, fordi en død die er spild af ressourcer. En god die er altid en bedre ting Hvad kan vi gøre der? bæredygtighedsomkostningerne ved AI og bæredygtighedsmuligheden, og hvordan de arbejder sammen. Generelt set er det positivt, men hvordan måler man det, for det er svært at finde de rå data siger, hvad det koster at træne disse modeller. Det er dyrt at bruge dem. og AI-teknologier kan udnyttes her. Det er bare EDA, der gør sin EDA-ting."
Termisk analyse og aldring vil også spille ind i AI-datacenterets bæredygtighed. Dette er selvfølgelig ikke unikt for AI. Det gælder for alle chips," sagde Hand. "Du kan begynde at forstå, hvad termikken er på matriceniveauet, på undermatriceniveauet, for at forstå implikationerne. Kan jeg nu sætte en 3D-stak sammen og få den til at være pålidelig? Kan jeg køre disse ting med et tilstrækkeligt strømniveau til, at jeg ikke fremskynder deres død? Disse kapaciteter vil give os mulighed for at gå endnu længere. Også, når vi begynder at udvide definitionen af den digitale tvilling og begynder at udvide, hvad der er inkluderet i det, kan du begynde at se virkningerne på systemniveau. Og selvom det ikke er specifikt for AI og bæredygtighed, er det her, vi vil begynde at se store spring i effektivitet, fordi hvor meget er overkonstrueret i øjeblikket? Hvor meget er der for meget affald i det? Når vi først kan begynde at have et mere ensartet design på produktniveau og problemniveau, er der også fordele der. For at bringe det tilbage til AI specifikt, for at komme til ægte multi-domæne omfattende digitale tvillinger, vil AI være nødvendig, fordi AI kommer til at lave analysen på tværs af domæner for dig og surrogatmodeludvindingen og den automatiske troskabstilpasning. Der vil være alle dem. Jo mere AI vi har brug for, jo mere AI bruger vi."
Konklusion
Bæredygtighed er ikke et nyt emne, men det har altid været et emne for en fremtidig diskussion. Sådan er det ikke længere.
"Hardware- og softwareleverandører har i årevis forstået, at computerskalering og bæredygtighed kunne være på kollisionskurs med virkeligheden, men det behøver de ikke at være, hvis industrien udnytter sine økosystemkapaciteter," sagde Arms Yusuf. "Tag for eksempel Arm Total Design, som er et økosystem af førende virksomheder fra hele halvlederindustrien dedikeret til at muliggøre effektive, tilpassede siliciumløsninger til AI/ML-brugssager. Som sådan giver det partnere fortrinsadgang til Arm Neoverse Compute Subsystems (CSS), præ-integrerede IP- og EDA-værktøjer, designtjenester, støberisupport og kommerciel softwaresupport Det repræsenterer også en ny tankegang, der fremmer samarbejde, fleksibilitet og innovation, samtidig med at man forstår, at AI's tidsalder skal eksistere side om side. med globale bæredygtighedsmål."
Det, der har ændret sig, er, at bæredygtighed er flyttet fra "nice to have" til "must have". Fra sit perspektiv som brancheleder har Intel skabt syv tips til brug af kunstig intelligens uden de høje miljøomkostninger. Derudover mener Intel, at det at være bevidst med, hvordan AI implementeres til at designe, er nøglen til at nå bæredygtighedsmål. Med intentionalitet kan de, der udfører AI-initiativer høste fordelene af optimerede arbejdsbelastninger (se her for mere), og en proaktiv tilgang til projektdesign og it-ledelse er afgørende for at maksimere virkningen af AI-initiativer og minimere CO2-fodaftryk (se her for mere use cases).
Grundlæggende vil det at mindske AI's indvirkning på bæredygtighed komme ned til selve teknologien. Quadrics Roddy sagde, at halvlederøkosystemet kan hjælpe ved at "øge den generelle bevidsthed om nødvendigheden af at bruge dataformater med lavere præcision, samt at bygge mere automatiseret værktøj til at bygge bro mellem matematiker og indlejret ingeniør."
