The electricity demand of AI expansion : scenarios and implications for global electricity systems

Abstract

Der Energiebedarf, der aus dem zunehmenden Einsatz von künstlicher Intelligenz (KI) resultiert, gewinnt zunehmend an Bedeutung, da die Verfügbarkeit einiger KI-Modelle für die breite Öffentlichkeit zugänglich ist. Diese Tatsache führt zu einem signifikanten Anstieg ihrer Popularität. Daher ist der Energiebedarf der beiden KI-Prozesse - Training und Inferenz - zu einem wichtigen Thema geworden, vor allem aufgrund der massiven Hardwareanforderungen in den Rechenzentren. Ein Trainingsprozess kann Wochen in Anspruch nehmen und erfordert eine erhebliche Rechenleistung. Andererseits ist die Inferenz ein einfacherer Prozess, bei dem eine einzige Anfrage allein nicht viel Energie verbraucht, obwohl auf globaler Ebene mehrere und kontinuierliche Einsätze auf täglicher Ebene weltweit zu einem großen Bedarf beitragen. In dieser Arbeit wird sowohl der Energiebedarf für das Training als auch für die Inferenz analysiert, wobei der Schwerpunkt auf der Inferenz für zwei verschiedene Aufgaben (Bildklassifizierungund Texterzeugung) liegt. Außerdem wird ein Bottom-up-Modell für eine globale Analyse des Rechenzentrumsbedarfs erstellt, wobei die KI-Last berücksichtigt wird, deren Energieverbrauch in hohem Maße durch das KI-Modell selbst und die eingesetzte Hardware bestimmt wird. Darüber hinaus werden drei Szenarien ausgewählt, um unterschiedliche Nachfrage auf der Grundlage verschiedener Anteile der Serverauslastung zu demonstrieren. Die Ergebnisse zeigen einen deutlichen Unterschied zwischen den beiden Inferenzaufgaben, wobei für die komplexere Aufgabe (Texterzeugung) nicht nur ein höherer Energieverbrauch, sondern auch ein deutlich höherer Anteil der Hardware-Nutzung (d. h. graphics processing units) beobachtet wurde. Im Hinblick auf den Betrieb von Rechenzentren wird erwartet, dass weitere Verbesserungen der Power Usage Effectiveness-Kennzahl den Energiebedarf senken werden, insbesondere unter Berücksichtigung neuester Technologien, die bei bestehenden Anlagen eingesetzt werden (z. B. Flüssigkeitskühlung). Andererseits wird erwartet, dass KI das Management von Rechenzentren und die Ressourcenzuweisung abdecken wird, natürlich mit vielen Einschränkungen, wie z. B. Sicherheitsproblemen und Datenvertraulichkeit, die heftig diskutiert werden. Unabhängig vom Anwendungsgebiet der künstlichen Intelligenz sind ihre Auswirkungen erheblich. Diese Arbeit zeigt in welchem Ausmaß sich die Anwendungen der künstlichen Intelligenz auf den Energieverbrauch auswirken.

The energy demand originating from the rise of the artificial intelligence (AI) is gaining in significance, as the popularity of some models and their availability to the broad public is evident. Hence, the energy footprint of both AI processes, training and inference, has become a significant concern, mainly due to the massive hardware requirements, located in data centers. One training process can take weeks to complete and requires significant computational power. On the other hand, inference is a simpler process, where a single inquiry alone does not consume much energy, although, on a global scale, multiple and continuous deployments on a daily level worldwide contribute to a large scale demand. Both training and inference energy demands are analysed in this thesis, focusing on inference on two different tasks (image classification and text generation) along with a bottom up model for a global scale analysis of the data center demand, with the consideration of the AI workload, which energy consumption is highly determined by the AI model itself along with the hardware put to use.Moreover, three scenarios are selected to demonstrate different demand outcomesbased on different share of server utilization. The results demonstrate a clear difference between both inference tasks, where for the more complex task (text generation) not only a higher energy consumption was observed, but the hardware utilization (i.e. graphics processing units) share is significantly higher, signifying the more complex the task is, more critical the available hardware components are for the computation to be more efficient. In terms of data center operation, further improvements of the Power Usage Effectiveness unit metric are expected to decrease the energy demand, especially considering newest technologies being implemented in existing facilities (e.g. liquid cooling). On the other hand, AI is expected to cover data center management and resources allocation, obviously with a lot of limitations like security issues and data confidentiality being highly discussed. Nevertheless, regardless of the application of artificial intelligence, its energy impact is significant and this thesis shows exactly in which extent.