Windows 98에서 실행되는 AI 언어 모델
EXO Labs는 26년 된 Windows 98 Pentium II 시스템에서 AI 언어 모델 'Llama'를 성공적으로 구동했습니다. 이 놀라운 실험은 제한된 하드웨어에서 강력한 AI 모델을 실행할 수 있는 가능성을 보여줍니다.
- 이 실험은 AI 모델의 경량화와 최적화 가능성에 대한 새로운 연구 방향을 제시합니다.
- EXO Labs의 시도는 오래된 하드웨어의 새 생명과 더 넓은 AI 활용 가능성을 탐구하는 데 의의가 있습니다.
Pentium II로 이루어낸 AI 성과
Elonex Pentium II 350MHz 속도의 PC가 Windows 98을 실행하며 AI 모델을 구동하는 모습이 소셜 미디어에 공개되었습니다. 이 장치는 Llama 모델을 사용해 'Sleepy Joe'에 대한 이야기를 생성하며 기대 이상의 성과를 보였습니다.
- 이 시스템은 불완전한 환경에서도 복잡한 언어 생성을 실현하는 데 있어 높은 적응력을 보여주었습니다.
- Pentium II 시스템은 당시 일반적인 사무용 PC였으며, 현대 기준에서는 대규모 작업을 하기에 매우 제한적입니다.
EXO Labs의 목표와 비전
EXO Labs는 AI에 대한 접근성을 민주화하겠다는 목표로 연구자들이 구성한 조직입니다. AI를 몇몇 대기업이 독점하는 상황을 우려하며, 누구나 AI 모델을 훈련하고 운영할 수 있는 인프라 구축을 목표로 합니다. 이번 Windows 98에서의 AI 실험은 제한된 자원에서도 AI를 실행할 수 있음을 보여주는 상징적 시연입니다.
- 연구자들은 독점의 장벽을 허물고 참여와 협력이 가능한 AI 생태계를 꿈꾸고 있습니다.
- 제한된 환경에서도 AI 기능을 발휘함으로써 글로벌 AI 접근성 향상에 공헌하고자 합니다.
Windows 98에서의 코드 컴파일 도전
Windows 98용으로 현대 코드를 컴파일하는 것은 쉽지 않았습니다. Andrej Karpathy의 llama2.c와 Borland C++ 5.02 IDE를 활용해 Windows 98과 호환 가능한 실행 파일을 만들어냈으며, 이러한 과정에서 여러 도전 과제를 극복했습니다.
- 컴파일 과정은 현대 소프트웨어 환경과의 호환성 문제를 해결하기 위해 여러 트릭을 필요로 했습니다.
- 고대비기술의 최적화 구현은 역량 있는 개발자들의 독창성을 요구합니다.
Windows 98에서의 LLM 성능
260K LLM이 Windows 98에서 35.9 tok/sec의 성능을 발휘했으며, 크기가 큰 모델로 이동하면서 성능이 저하되었습니다. 이는 제한된 하드웨어에서도 적정 성능을 낼 수 있음을 보여주는 사례입니다.
- 성능 저하에도 불구하고 LLM이 구형 환경에서 작동했다는 점은 큰 기술적 진보를 의미합니다.
- 성능 테스트는 시스템 용량의 한계를 명확히 보여주고, 더 작은 AI 모델의 필요성을 시사합니다.
출처 : 원문 보러가기
