구형 환경에서 고성능 AI 모델 구현
적은 자원을 활용한 AI 모델 실행 가능성은 EXO Labs의 최신 프로젝트에서 입증되었습니다. 이례적으로, 26년 된 Windows 98을 탑재한 Pentium II 컴퓨터가 Llama라는 AI 대형 언어 모델을 실행하는 데 성공했습니다.
- 해당 프로젝트는 전 세계적으로 구형 장비에서 AI를 활용할 수 있는 가능성을 열었습니다.
- EXO Labs의 성공은 저가 및 저성능 컴퓨터에서도 AI의 상당한 잠재력을 발휘할 수 있음을 시사합니다.
350MHz CPU에서의 AI 이야기 생성
Windows 98이 설치된 350MHz Pentium II 컴퓨터에서 AI 모델을 활용하여 'Sleepy Joe' 주제의 이야기를 생성하는 영상이 공개되었습니다. CPU 속도가 느린 이러한 구형 하드웨어에서도 상당히 신속하게 이야기가 생성되었습니다.
- 이러한 성과는 CPU 속도가 낮은 환경에서도 AI 모델이 효율적으로 작동할 수 있음을 보여줍니다.
- 오랜 기간 동안 업계 표준이었던 Pentium II에서 AI가 구동될 수 있음은 흥미로운 요소를 제공합니다.
EXO Labs의 목표와 철학
EXO Labs는 AI 접근성을 일반 대중에게 확대하고자 하는 목적을 가지고 있습니다. Oxford University 출신의 연구자들이 설립한 이 조직은 AI 기술을 소수의 대기업이 독점하는 것을 막고자 공개 인프라 구축을 목표로 하고 있습니다.
- EXO Labs의 노력이 성공한다면 AI 기술 민주화에 긍정적인 영향을 미칠 것입니다.
- AI 연구가 제한된 자원에서도 수행될 수 있음을 보여주며, 다양한 사회적 가치 창출의 가능성을 열었습니다.
프로젝트 진행 과정과 도전 과제
이 프로젝트는 Windows 98 PC를 eBay에서 구매하는 손쉬운 과정으로 시작되었지만, 파일 전송과 코드 수정을 포함한 여러 도전 과제가 있었습니다. EXO Labs는 제약 조건을 극복하기 위해 "FTP"를 활용하여 데이터 전송을 시도했습니다.
- 프로젝트의 초기 단계는 기존 장비의 재활용에도 초점을 두고 있습니다.
- 전통적인 FTP 프로토콜의 사용은 네트워크 환경의 복잡성을 크게 줄였습니다.
Llama2.c 기반의 AI 모델 실행
EXO는 Andrej Karpathy의 Llama2.c 코드의 도움을 받아 Windows 98에서 AI 언어 모델을 실행하는 데 성공했습니다. 이 코드는 라마 아키텍처를 가진 모델에서 추론을 수행할 수 있는 700줄의 C 언어 코드로 요약됩니다.
- 코드는 간결하면서도 효율적이며, 구형 환경에서도 적합하게 동작합니다.
- Llama2.c는 명확한 아키텍처 설계로 인해 다양한 환경에서의 응용 가능성을 열었습니다.
35.9 tok/sec의 성능 달성
EXO Labs는 Windows 98 환경에서 260K LLM(대형 언어 모델)로 "35.9 tok/sec"의 성능을 보여주었습니다. 이는 구형 350MHz 싱글 코어 PC에서도 빠른 속도로 실행 가능함을 의미합니다.
- 이 성능 지표는 저사양 환경에서의 AI 적용 가능성을 크게 확대합니다.
- 프로젝트가 목표로 했던 성능 효율성을 확인하는 중요한 기준이 되었습니다.
제한된 자원에서의 다양한 실험
EXO는 더 큰 모델에서도 실험을 진행했습니다. 15M LLM에서는 약간 느린 1 tok/sec의 속도를 기록했으며, Llama 3.2 1B 모델에서는 느린 속도의 0.0093 tok/sec이 보고되었습니다. 이러한 실험은 필요한 자원이 제한적인 환경에서 AI 모델이 어떻게 동작할 수 있는지를 보여줍니다.
- 이 실험은 다양한 모델의 성능 한계를 풀어나가는 데 도움을 주었습니다.
- 작은 자원으로도 AI 개발을 지속할 수 있는 방법론을 제시했습니다.
출처 : 원문 보러가기
