AI 컴퓨팅 에너지 효율 개선 방법

AI 기술의 발전은 막대한 에너지를 필요로 하는 머신러닝 모델의 훈련에 의해 제약을 받습니다. USC Viterbi와 고급 컴퓨팅 학부의 연구진들은 이러한 문제를 해결하기 위해 다양한 방법을 시도하고 있습니다.

AI 모델의 훈련에는 평균적으로 수십에서 수백 킬로와트시(kWh)의 전기가 필요하며, 이는 한 국가의 작은 가정 약 수십 개가 사용하는 전력량에 해당합니다.
구글과 같은 기업은 데이터센터에서 AI 운용을 위해 재생에너지를 최대 100%까지 사용함으로써 탄소 발자국을 줄이려는 노력을 기울이고 있습니다.

AI 학습 방법의 변화

인간은 제한된 경험을 통해 패턴을 형성하고 시간이 지남에 따라 이를 정교화합니다. 반면, 기계는 방대한 데이터 샘플을 통해 학습합니다. 이러한 과정은 많은 에너지를 소모하므로, 연구진은 보다 효율적인 학습 방법을 연구하고 있습니다.

기계 학습 모델은 종종 ‘훈련 효율성’과 ‘샘플 효율성’을 향상시키기 위한 메타러닝과 같은 기술을 활용하여 에너지를 절약할 수 있습니다.
최근 연구에 따르면 신경망 압축 기술을 통해 10배 이상의 효율성을 달성할 수 있으며, 이는 더 적은 데이터로 고품질 모델을 유지하는 데 기여합니다.

대규모 언어 모델은 GPU에 크게 의존하지만, 이는 비용과 에너지 효율성 측면에서 문제가 있습니다. 연구팀은 CPU와 GPU를 결합하여 비용을 줄이고 효율성을 높이는 방법을 제안하고 있습니다.

데이터를 중앙 데이터 센터가 아닌 데이터 발생지 근처에서 처리하는 엣지 컴퓨팅은 에너지 소비를 크게 줄일 수 있습니다. 이는 자율 주행차와 같은 즉각적인 데이터 처리 응용 분야에서 특히 유용합니다.

컴퓨팅 작업을 에너지 수요가 낮을 때 미리 수행하여 그리드의 부담을 줄이는 정보 배터리 개념은 에너지 절약과 효율성을 동시에 달성할 수 있는 방법입니다.

슈퍼컨덕팅 전자기기는 기존의 CMOS 칩에 비해 100배에서 1000배까지 낮은 전력을 소비합니다. 새로운 재료와 설계 패러다임이 필요하지만, 이는 컴퓨팅 에너지 효율성을 크게 향상시킬 수 있는 혁신적인 접근입니다.

인간의 뇌는 높은 에너지 효율성을 자랑하며, 신경형 컴퓨팅은 이러한 뇌의 효율성을 모방하는 것을 목표로 합니다. USC 연구진은 이러한 신경형 컴퓨팅의 발전을 위해 지속적으로 연구하고 있습니다.

인간의 뇌는 약 20와트의 전력으로 작동하며 이는 현대의 슈퍼컴퓨터가 요구하는 전력보다 훨씬 적다는 점에서 큰 차이를 보입니다.
현재의 신경형 컴퓨팅 연구는 행동을 기반으로 한 학습을 통해 기존 ML 알고리즘보다 더 적은 에너지를 소모하는 것을 목표로 하고 있습니다, 이는 ‘에너지 자급자족형 컴퓨팅’의 잠재적 가능성을 열어줄 수 있습니다.